AI নিজেই নিজেকে মূল্যায়নে ব্যর্থ: আপনার কাজের নির্ভরযোগ্যতা নিয়ে প্রশ্ন
AI মূল্যায়ন পদ্ধতি LLM-as-judge একই ইনপুটে ভিন্ন ভিন্ন স্কোর দিচ্ছে। একটি ফেইথফুলনেস গেট 0.79 এ ব্যর্থ হয়ে পুনরায় চালানোর পর 0.82 পাস করেছে। এটি AI নির্ভরযোগ্যতা নিয়ে প্রশ্ন তুলেছে।
AI মূল্যায়ন পদ্ধতি LLM-as-judge একই ইনপুটে ভিন্ন ভিন্ন স্কোর দিচ্ছে। একটি ফেইথফুলনেস গেট 0.79 এ ব্যর্থ হয়ে পুনরায় চালানোর পর 0.82 পাস করেছে। এটি AI নির্ভরযোগ্যতা নিয়ে প্রশ্ন তুলেছে।
একটি গুরুত্বপূর্ণ গবেষণা প্রতিবেদনে দেখা গেছে, LLM-as-judge নামক AI মূল্যায়ন পদ্ধতি একই পরীক্ষায় ভিন্ন ভিন্ন ফলাফল দিচ্ছে। dev.to ML সূত্রে জানা গেছে, একটি ফেইথফুলনেস গেট প্রথমবার 0.79 স্কোর পেয়ে ব্যর্থ হয়েছে। দ্বিতীয়বার完全相同 চালানোর পর এটি 0.82 স্কোর পেয়ে পাস করেছে। তৃতীয়বার 0.80 স্কোর পেয়েছে। কোনো কোড পরিবর্তন বা প্রম্পট পরিবর্তন করা হয়নি।
এই সমস্যার কারণে AI মূল্যায়নের নির্ভরযোগ্যতা নিয়ে গভীর প্রশ্ন উঠেছে। একটি গেট যদি একই ইনপুটে ভিন্ন ভিন্ন রায় দেয়, তাহলে তা কোনো গেট না থাকার চেয়েও খারাপ। ব্যবহারকারীরা লাল সিগন্যাল দেখলে বিশ্বাস করা বন্ধ করে দেয়। তারা বারবার রান করে যতক্ষণ না সবুজ সিগন্যাল দেখা যায়। এটি একটি স্লট মেশিনের মতো আচরণে পরিণত হয়েছে।
প্রযুক্তিগতভাবে, LLM-as-judge পদ্ধতি বড় ভাষার মডেল ব্যবহার করে আউটপুট মূল্যায়ন করে। এটি স্বয়ংক্রিয়ভাবে কোড রিভিউ, কন্টেন্ট জেনারেশন এবং অন্যান্য AI কাজের মান যাচাই করে। কিন্তু এই গবেষণা দেখিয়েছে, মডেলটি প্রতিবার একই সিদ্ধান্ত নিচ্ছে না। এমনকি তাপমাত্রা বা সিডের মতো প্যারামিটার পরিবর্তন না করলেও ফলাফল ভিন্ন হচ্ছে।
বাংলাদেশের ডেভেলপার এবং ফ্রিল্যান্সারদের জন্য এই খবর বিশেষ গুরুত্বপূর্ণ। অনেক বাংলাদেশি ডেভেলপার AI টুল ব্যবহার করে কোড রিভিউ এবং কন্টেন্ট জেনারেশন করেন। তারা যদি LLM-as-judge এর উপর নির্ভর করেন, তাহলে ভুল সিদ্ধান্ত নেওয়ার ঝুঁকি থাকে। বিশেষ করে যারা আউটসোর্সিং প্ল্যাটফর্মে কাজ করেন, তাদের জন্য নির্ভরযোগ্য মূল্যায়ন অত্যন্ত জরুরি।
AI গবেষকরা বলছেন, এই সমস্যার সমাধান প্রয়োজন। একাধিক রান করে গড় স্কোর নেওয়া বা আরও উন্নত মূল্যায়ন পদ্ধতি ব্যবহার করা যেতে পারে। কিন্তু বর্তমানে LLM-as-judge এর প্রতি অন্ধ বিশ্বাস রাখা বিপজ্জনক। ডেভেলপারদের উচিত নিজেদের কোড রিভিউ প্রক্রিয়ায় একাধিক পদ্ধতি ব্যবহার করা।
ভবিষ্যতে AI মূল্যায়ন পদ্ধতি আরও নির্ভরযোগ্য হবে বলে আশা করা যায়। কিন্তু আপাতত, LLM-as-judge এর ফলাফলকে চূড়ান্ত সত্য হিসেবে না নেওয়াই ভালো। বাংলাদেশের টেক কমিউনিটির উচিত এই বিষয়ে সচেতন থাকা এবং নিজেদের কাজের মান যাচাইয়ের জন্য একাধিক টুল ব্যবহার করা।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: dev.to ML
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...