AI মডেলের প্রকৃত দক্ষতা জানতে চান? উত্তর অদলবদল করলেই ৬১% থেকে ৪৬% নেমে গেল
LLM-as-judge পদ্ধতিতে উত্তরগুলোর ক্রম পরিবর্তন করলে win-rate নাটকীয়ভাবে বদলে যায়। একটি গবেষণায় দেখা গেছে, 61% win-rate 46% হয়ে গেছে শুধু উত্তর অদলবদল করায়। এই পক্ষপাত মাপা না হলে AI মডেলের প্রকৃত কর্মক্ষমতা বোঝা যাবে না।
LLM-as-judge পদ্ধতিতে উত্তরগুলোর ক্রম পরিবর্তন করলে win-rate নাটকীয়ভাবে বদলে যায়। একটি গবেষণায় দেখা গেছে, 61% win-rate 46% হয়ে গেছে শুধু উত্তর অদলবদল করায়। এই পক্ষপাত মাপা না হলে AI মডেলের প্রকৃত কর্মক্ষমতা বোঝা যাবে না।
AI মডেলের কর্মক্ষমতা বিচারে LLM-as-judge পদ্ধতি দিন দিন জনপ্রিয় হচ্ছে। কিন্তু এই পদ্ধতির একটি বড় ত্রুটি রয়েছে যা এখন পর্যন্ত সঠিকভাবে মাপা হয়নি। সেটি হলো position bias বা অবস্থানগত পক্ষপাত।
dev.to ML প্ল্যাটফর্মে প্রকাশিত একটি গবেষণায় এই বিষয়টি সামনে আনা হয়েছে। গবেষকরা দেখিয়েছেন, LLM-as-judge যখন দুটি উত্তর তুলনা করে, তখন এটি প্রথমে দেখানো উত্তরটিকেই বেশি পছন্দ করে। অর্থাৎ উত্তর A যদি প্রথমে থাকে, তাহলে সেটি জেতার সম্ভাবনা অনেক বেশি থাকে।
গবেষণার ফলাফল আরও চমকপ্রদ। একটি জাজ 400 জোড়া উত্তর তুলনা করে একটি নতুন মডেলের জন্য 61% win-rate রিপোর্ট করেছিল। কিন্তু একই 400 জোড়া উত্তর যখন অদলবদল করে জাজের সামনে উপস্থাপন করা হলো, তখন win-rate নেমে এলো 46%। এই 15% পার্থক্য পুরো মূল্যায়ন ব্যবস্থাকেই প্রশ্নের মুখে ফেলে দিয়েছে।
এই পক্ষপাতের কারণ সহজ। LLM সাধারণত প্রম্পটের শুরুতে থাকা তথ্যের প্রতি বেশি মনোযোগ দেয়। ফলে উত্তর A প্রথমে রাখলে সেটি জেতার সম্ভাবনা বেড়ে যায়। যদি উত্তরগুলোর ক্রম কখনো পরিবর্তন না করা হয়, তাহলে প্রতিটি রিপোর্ট করা win-rate আসলে দূষিত হয়ে যায়।
বাংলাদেশের AI গবেষক ও ডেভেলপারদের জন্য এই খবর বিশেষ গুরুত্বপূর্ণ। দেশে অনেক স্টার্টআপ ও গবেষণা প্রতিষ্ঠান তাদের নিজস্ব LLM তৈরি করছে। তারা যদি LLM-as-judge পদ্ধতি ব্যবহার করে মূল্যায়ন করে, তাহলে অবশ্যই উত্তরগুলোর ক্রম র্যান্ডমাইজ বা অদলবদল করতে হবে। না হলে তাদের রিপোর্ট করা win-rate বাস্তবতা প্রতিফলিত করবে না।
এই সমস্যার সমাধান কিন্তু সহজ। প্রতিটি জোড়া উত্তরের জন্য দুটি প্রম্পট তৈরি করা যেতে পারে। একটি প্রম্পটে উত্তর A আগে, অন্যটিতে উত্তর B আগে রাখতে হবে। তারপর দুইবারের ফলাফলের গড় নিলে প্রকৃত win-rate পাওয়া যাবে। কিছু গবেষক ইতিমধ্যে এই পদ্ধতি অনুসরণ করছেন।
তবে এই পক্ষপাত শুধু win-rate নয়, বরং পুরো AI মূল্যায়ন ইকোসিস্টেমকে প্রভাবিত করছে। অনেক বেঞ্চমার্ক টেস্টে LLM-as-judge ব্যবহার করা হয়। যদি এই পক্ষপাত সংশোধন না করা হয়, তাহলে একটি মডেল অন্যটির চেয়ে ভালো দেখাতে পারে শুধু উত্তর সাজানোর কারণে।
ভবিষ্যতে গবেষকদের উচিত হবে প্রতিটি মূল্যায়নে পজিশন বায়াস মাপা এবং রিপোর্ট করা। তবেই AI মডেলের প্রকৃত সক্ষমতা বোঝা সম্ভব হবে।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: dev.to ML
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...