OpenAI বলছে SWE-Bench Pro-এর ৩০% টাস্ক ভুল, প্রত্যাহার করলো সমর্থন
OpenAI-র পর্যালোচনায় দেখা গেছে, জনপ্রিয় AI কোডিং বেঞ্চমার্ক SWE-Bench Pro-এর প্রায় 30% টাস্ক ত্রুটিপূর্ণ। প্রতিষ্ঠানটি তার পূর্বের সমর্থন প্রত্যাহার করে নিয়েছে এবং বেঞ্চমার্কের নির্ভরযোগ্যতা নিয়ে প্রশ্ন তুলেছে।
OpenAI-র পর্যালোচনায় দেখা গেছে, জনপ্রিয় AI কোডিং বেঞ্চমার্ক SWE-Bench Pro-এর প্রায় 30% টাস্ক ত্রুটিপূর্ণ। প্রতিষ্ঠানটি তার পূর্বের সমর্থন প্রত্যাহার করে নিয়েছে এবং বেঞ্চমার্কের নির্ভরযোগ্যতা নিয়ে প্রশ্ন তুলেছে।
OpenAI জানিয়েছে, তারা SWE-Bench Pro বেঞ্চমার্ক পর্যালোচনা করে দেখেছে যে এর প্রায় 30 শতাংশ টাস্ক ত্রুটিপূর্ণ। এই আবিষ্কারের পর প্রতিষ্ঠানটি বেঞ্চমার্কটির জন্য তাদের পূর্বের সমর্থন প্রত্যাহার করে নিয়েছে। SWE-Bench Pro বর্তমানে AI কোডিং মডেলের দক্ষতা মাপার জন্য সবচেয়ে বেশি ব্যবহৃত একটি পরীক্ষার মানদণ্ড।
মানব পর্যালোচকরা মোট 249টি ত্রুটিপূর্ণ টাস্ক চিহ্নিত করেছেন। অন্যদিকে AI এজেন্টরা 200টি টাস্ক (27.4%) ত্রুটিপূর্ণ বলে চিহ্নিত করেছে। মজার বিষয় হলো, AI এজেন্ট এবং মানব পর্যালোচকদের মধ্যে 74 শতাংশ মিল পাওয়া গেছে। এই তথ্য বেঞ্চমার্কটির বৈধতা নিয়ে গুরুতর প্রশ্ন তুলেছে।
গত 8 মাসে শীর্ষস্থানীয় AI মডেলগুলোর নির্ভুলতার হার 23.3 শতাংশ থেকে বেড়ে 80.3 শতাংশে পৌঁছেছে। এই অস্বাভাবিক দ্রুত অগ্রগতি বেঞ্চমার্কটির নির্ভরযোগ্যতা নিয়ে সন্দেহ আরও বাড়িয়েছে। বিশেষজ্ঞরা মনে করছেন, ভুল টাস্ক থাকার কারণে মডেলগুলোর প্রকৃত দক্ষতা সঠিকভাবে মাপা যাচ্ছিল না।
OpenAI-র এই সিদ্ধান্ত AI গবেষণা জগতে ব্যাপক আলোড়ন সৃষ্টি করেছে। অনেক গবেষক এবং প্রতিষ্ঠান তাদের মডেলের কর্মক্ষমতা যাচাই করতে SWE-Bench Pro ব্যবহার করত। এখন তারা বিকল্প বেঞ্চমার্ক খুঁজতে বাধ্য হবে। এই ঘটনা প্রমাণ করে যে AI বেঞ্চমার্কগুলোর নিয়মিত পর্যালোচনা এবং আপডেট কতটা জরুরি।
বাংলাদেশের ডেভেলপার এবং ফ্রিল্যান্সারদের জন্য এই খবর গুরুত্বপূর্ণ। যারা AI কোডিং টুল ব্যবহার করেন, তাদের বুঝতে হবে যে বেঞ্চমার্ক রিপোর্ট সবসময় প্রকৃত দক্ষতা প্রতিফলিত করে না। একটি মডেল বেঞ্চমার্কে ভালো করলেই তা বাস্তব কাজে সমান কার্যকর হবে, এমন নয়। তাই নিজেদের কাজের জন্য সঠিক টুল নির্বাচন করতে বাস্তব পরীক্ষা এবং ব্যবহারকারীর অভিজ্ঞতার ওপর নির্ভর করা উচিত।
ভবিষ্যতে AI বেঞ্চমার্ক তৈরির ক্ষেত্রে আরও সতর্কতা এবং স্বচ্ছতা প্রয়োজন। OpenAI-র এই পদক্ষেপ বেঞ্চমার্ক মূল্যায়নের মান উন্নয়নে একটি ইতিবাচক উদাহরণ তৈরি করবে বলে আশা করা যায়। গবেষকরা এখন আরও নির্ভরযোগ্য এবং বাস্তবসম্মত বেঞ্চমার্ক তৈরির দিকে মনোযোগ দেবেন।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: dev.to ML
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...