OpenAI বলছে AI কোডিং পরীক্ষার ৩০% কাজই ভুল, আপনার ফ্রিল্যান্সিং ঝুঁকিতে
OpenAI তাদের নিজস্ব গবেষণায় দেখেছে যে AI মডেলের প্রোগ্রামিং দক্ষতা মাপার জন্য ব্যবহৃত SWE-Bench Pro বেঞ্চমার্কের প্রায় 30% টাস্ক ত্রুটিপূর্ণ। ফলে কোম্পানিটি এই বেঞ্চমার্কের প্রতি তাদের আগের সমর্থন প্রত্যাহার করে নিচ্ছে। এই ঘটনা AI কোডিং পরীক্ষার নির্ভরযোগ্যতা নিয়ে বড় প্রশ্ন তুলে দিয়েছে।
OpenAI তাদের নিজস্ব গবেষণায় দেখেছে যে AI মডেলের প্রোগ্রামিং দক্ষতা মাপার জন্য ব্যবহৃত SWE-Bench Pro বেঞ্চমার্কের প্রায় 30% টাস্ক ত্রুটিপূর্ণ। ফলে কোম্পানিটি এই বেঞ্চমার্কের প্রতি তাদের আগের সমর্থন প্রত্যাহার করে নিচ্ছে। এই ঘটনা AI কোডিং পরীক্ষার নির্ভরযোগ্যতা নিয়ে বড় প্রশ্ন তুলে দিয়েছে।
OpenAI একটি বড় চমক দিয়েছে। তারা জানিয়েছে যে AI মডেলের প্রোগ্রামিং দক্ষতা মাপার জন্য বহুল ব্যবহৃত বেঞ্চমার্ক SWE-Bench Pro-র প্রায় 30 শতাংশ টাস্কই ভাঙা বা ত্রুটিপূর্ণ। এই তথ্য প্রকাশের পর কোম্পানিটি ওই বেঞ্চমার্কের প্রতি তাদের আগের সমর্থন প্রত্যাহার করে নিচ্ছে।
The Decoder-এর প্রতিবেদন অনুযায়ী, OpenAI তাদের নিজস্ব পর্যালোচনায় এই ত্রুটিগুলো শনাক্ত করেছে। SWE-Bench Pro একটি জনপ্রিয় টেস্ট স্যুট। এটি AI মডেলগুলোকে বাস্তব জীবনের সফটওয়্যার ইঞ্জিনিয়ারিং সমস্যা সমাধানের মাধ্যমে মূল্যায়ন করে। কিন্তু এখন দেখা যাচ্ছে, এই পরীক্ষার অনেক কাজই সঠিকভাবে তৈরি করা হয়নি।
একটি AI মডেলকে SWE-Bench Pro-তে ভালো স্কোর করতে হলে তাকে জটিল কোডিং সমস্যার সমাধান করতে হয়। কিন্তু যদি টাস্ক নিজেই ভুল হয়, তাহলে সেই স্কোরের কোনো অর্থ থাকে না। OpenAI-র এই অনুসন্ধান দেখিয়েছে যে বেঞ্চমার্কটির ডিজাইনেই বড় ধরনের গলদ রয়েছে। এর ফলে AI গবেষক এবং ডেভেলপারদের মধ্যে একটি বড় ধরণের বিভ্রান্তি তৈরি হতে পারে।
এই ঘটনা AI শিল্পের জন্য একটি গুরুত্বপূর্ণ শিক্ষা নিয়ে এসেছে। বর্তমানে কোম্পানিগুলো তাদের AI মডেলের ক্ষমতা প্রমাণ করতে বিভিন্ন বেঞ্চমার্ক ব্যবহার করে। কিন্তু যদি সেই বেঞ্চমার্কই নির্ভরযোগ্য না হয়, তাহলে মডেলগুলোর প্রকৃত দক্ষতা যাচাই করা কঠিন হয়ে পড়ে। OpenAI-র এই পদক্ষেপ অন্য কোম্পানিগুলোকেও তাদের নিজস্ব বেঞ্চমার্ক পুনরায় পরীক্ষা করতে উদ্বুদ্ধ করতে পারে।
বাংলাদেশের জন্য এই খবরটি বিশেষভাবে প্রাসঙ্গিক। বাংলাদেশে ফ্রিল্যান্সিং এবং সফটওয়্যার ডেভেলপমেন্ট একটি বড় শিল্প। অনেক তরুণ ডেভেলপার এবং শিক্ষার্থী AI টুলস ব্যবহার করে তাদের কোডিং দক্ষতা বাড়াচ্ছে। তারা ChatGPT বা অন্যান্য AI মডেলের কোডিং ক্ষমতার উপর নির্ভর করে। কিন্তু যদি এসব মডেলের মূল্যায়নই ভুল হয়, তাহলে তাদের উপর নির্ভর করে কাজ করাও ঝুঁকিপূর্ণ হয়ে ওঠে। বাংলাদেশি ফ্রিল্যান্সারদের এখন আরও সচেতন হতে হবে এবং AI-জেনারেটেড কোড যাচাই করার জন্য নিজস্ব দক্ষতা বাড়াতে হবে।
ভবিষ্যতে AI বেঞ্চমার্ক তৈরির প্রক্রিয়া আরও কঠোর এবং স্বচ্ছ হওয়া উচিত। OpenAI-র এই গবেষণা দেখিয়ে দিয়েছে যে একটি বেঞ্চমার্ককে অন্ধভাবে বিশ্বাস করা উচিত নয়। গবেষক এবং ডেভেলপারদের উচিত নিজেদের পরীক্ষার মাধ্যম তৈরি করা বা একাধিক বেঞ্চমার্কের ফলাফল যাচাই করা। তবেই AI-র প্রকৃত অগ্রগতি বোঝা সম্ভব হবে।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: The Decoder
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...