OpenAI-র বিশ্লেষণে ধরা পড়ল SWE-Bench Pro-তে ত্রুটি, AI মূল্যায়ন নিয়ে প্রশ্ন

OpenAI তাদের সর্বশেষ বিশ্লেষণে SWE-Bench Pro নামক জনপ্রিয় কোডিং বেঞ্চমার্কে বেশ কিছু সমস্যা চিহ্নিত করেছে। এই বিশ্লেষণ এআই মডেল মূল্যায়নের নির্ভরযোগ্যতা ও সঠিকতা নিয়ে গুরুতর প্রশ্ন তুলে দিয়েছে। গবেষকরা বলছেন, বর্তমান পদ্ধতিতে কোডিং পরীক্ষায় প্রকৃত সংকেত এবং গোলমালের মধ্যে পার্থক্য করা ক্রমশ কঠিন হয়ে পড়ছে।

এই সমস্যা শুধু OpenAI-র জন্য নয়, পুরো এআই শিল্পের জন্য একটি বড় চ্যালেঞ্জ তৈরি করেছে। SWE-Bench Pro-র মতো বেঞ্চমার্কগুলি সাধারণত বিভিন্ন এআই মডেলের কোডিং দক্ষতা যাচাই করতে ব্যবহৃত হয়। কিন্তু যদি এই বেঞ্চমার্কগুলিই সঠিক না হয়, তাহলে মডেলগুলির প্রকৃত কর্মক্ষমতা বোঝা প্রায় অসম্ভব হয়ে দাঁড়ায়।

OpenAI-র বিশ্লেষণে দেখা গেছে, SWE-Bench Pro-র অনেক প্রশ্নই অস্পষ্ট বা ভুলভাবে তৈরি করা হয়েছে। কিছু প্রশ্নের একাধিক সঠিক উত্তর আছে, আবার কিছু প্রশ্নের কোনো সঠিক উত্তরই নেই। এই ত্রুটিগুলির কারণে এআই মডেলগুলির স্কোর বিভ্রান্তিকর হয়ে উঠতে পারে। গবেষকরা বলছেন, একটি মডেল যদি ভুল প্রশ্নের সঠিক উত্তর দেয়, তাহলে তার প্রকৃত দক্ষতা যাচাই করা সম্ভব নয়।

এই আবিষ্কারের পর OpenAI বেঞ্চমার্ক তৈরির জন্য আরও কঠোর মানদণ্ড প্রস্তাব করেছে। তারা বলছে, প্রতিটি প্রশ্নের বৈধতা যাচাই করা এবং একাধিক মানব পর্যালোচক দ্বারা অনুমোদন নেওয়া উচিত। পাশাপাশি, মডেল মূল্যায়নের সময় শুধু সঠিক উত্তরের সংখ্যা নয়, বরং উত্তর দেওয়ার পদ্ধতি এবং যুক্তিও বিচার করা প্রয়োজন।

বাংলাদেশের ডেভেলপার, ফ্রিল্যান্সার এবং শিক্ষার্থীদের জন্য এই খবর বিশেষ গুরুত্বপূর্ণ। দেশের টেক কমিউনিটি বিভিন্ন এআই টুল ব্যবহার করে কোডিং শিখছে এবং কাজ করছে। কিন্তু যদি বেঞ্চমার্কগুলিই নির্ভরযোগ্য না হয়, তাহলে তারা কোন মডেলটি সত্যিই ভাল তা বুঝতে পারবে না। ফ্রিল্যান্সারদের জন্য এটি আরও বড় বিষয়, কারণ তারা প্রায়ই ক্লায়েন্টদের কাছে তাদের দক্ষতা প্রমাণ করতে এআই মডেলের স্কোর ব্যবহার করে।

ভুল বেঞ্চমার্কের উপর ভিত্তি করে সিদ্ধান্ত নেওয়া মানে ভুল মডেল বেছে নেওয়া। এটি দীর্ঘমেয়াদে প্রকল্পের গুণমান এবং সময়মতো ডেলিভারি নিশ্চিত করতে বাধা সৃষ্টি করতে পারে। তাই বাংলাদেশের টেক কমিউনিটির উচিত বেঞ্চমার্কের ফলাফল অন্ধভাবে বিশ্বাস না করে নিজস্ব যাচাই পদ্ধতি তৈরি করা।

ভবিষ্যতে আরও নির্ভরযোগ্য বেঞ্চমার্ক তৈরির জন্য OpenAI-র এই বিশ্লেষণ একটি গুরুত্বপূর্ণ পদক্ষেপ। গবেষকরা আশা করছেন, এই আবিষ্কার এআই মূল্যায়নের মান উন্নত করতে সাহায্য করবে। তবে ততক্ষণ পর্যন্ত, ডেভেলপার এবং গবেষকদের উচিত একাধিক পদ্ধতি ব্যবহার করে মডেলের কর্মক্ষমতা যাচাই করা।

আরও পড়ুন

• AI মডেল কি রুশ প্রচারণায় ফাঁকি দেয়? নতুন পরীক্ষায় ধরা পড়ল বড় দুর্বলতা
• AI থেকে তথ্য মুছে ফেলা যায় না, শুধু লুকানো যায়, LACUNA গবেষণায় ধরা
• Claude Fable 5 বাস্তব নিরাপত্তায় মাত্র 19% সফল, 95% বেঞ্চমার্কের ফাঁকি ধরা পড়ল