AI নিজের ভুল ধরতে পারে না, ১৫০ টাস্ক পরীক্ষায় ধরা পড়ল বড় দুর্বলতা

একজন সফটওয়্যার ডেভেলপার দুই মাস ধরে AI কোডিং এজেন্টের জন্য একটি যান্ত্রিক যাচাইকরণ পদ্ধতি তৈরি করেছেন। তিনি 150টি স্ট্যান্ডার্ড টাস্কের মাধ্যমে পরীক্ষা চালিয়েছেন। ফলাফল তাক লাগানোর মতো।

ডেভেলপারটি dev.to-তে প্রকাশিত এক গবেষণায় দেখিয়েছেন, AI এজেন্টরা নিজেদের কাজ নিজে যাচাই করতে পারে না। কারণ তাদের আত্ম-মূল্যায়ন এবং কাজ সম্পাদনের পদ্ধতি একই ডিকোডার ডিস্ট্রিবিউশন (decoder distribution) ব্যবহার করে। এটি একটি প্রযুক্তিগত জটিলতা। সহজ ভাষায় বললে, AI যখন নিজের কাজ নিজে পরীক্ষা করে, তখন সে তার নিজের ভুল ধরতে পারে না। কারণ তার চিন্তার প্রক্রিয়া একই থাকে।

গবেষণাটি 6 সেশনে বিভক্ত ছিল। প্রতিটি সেশনে 150টি টাস্ক সম্পন্ন হয়েছে। টাস্কগুলোতে 2 ধরনের নিয়ম ফরম্যাট ব্যবহার করা হয়েছে। একটি ছিল সাধারণ টেক্সট নির্দেশনা। অন্যটি ছিল কাঠামোবদ্ধ নিয়ম।

প্রথম পদ্ধতিতে AI এজেন্টকে বলা হয়েছিল, নিজের কাজ নিজে যাচাই করো। দ্বিতীয় পদ্ধতিতে যান্ত্রিক সিস্টেম ব্যবহার করা হয়েছিল। এই সিস্টেমে ফাইল টাইমস্ট্যাম্প (file timestamps), রেগুলার এক্সপ্রেশন (regex checks) এবং এক্সিট কোড (exit codes) এর মতো পদ্ধতি ছিল। এই পদ্ধতিগুলো AI-র বিচারের ওপর নির্ভর করে না।

ফলাফলে দেখা গেছে, যান্ত্রিক পদ্ধতি (mechanical gate) সব ক্ষেত্রেই জয়ী হয়েছে। AI-র আত্ম-মূল্যায়নের চেয়ে এটি অনেক বেশি নির্ভুল ছিল। গবেষক বলেছেন, Everything else was noise। অর্থাৎ AI-র নিজের মূল্যায়নের ফলাফল ছিল এলোমেলো এবং অবিশ্বস্ত।

বাংলাদেশের ডেভেলপার এবং ফ্রিল্যান্সারদের জন্য এই গবেষণার গুরুত্ব অনেক। যারা AI কোডিং টুল ব্যবহার করেন, তারা এখন বুঝতে পারবেন যে AI-র ওপর পুরোপুরি নির্ভর করা বিপজ্জনক হতে পারে। বিশেষ করে যখন কাজের মান যাচাই করার প্রয়োজন হয়।

এই গবেষণা থেকে শিক্ষা নিতে হবে যে, AI এজেন্টদের কাজ যাচাই করার জন্য যান্ত্রিক পদ্ধতি ব্যবহার করা উচিত। যেমন ফাইল পরিবর্তনের সময় দেখা, নির্দিষ্ট প্যাটার্ন খোঁজা, অথবা প্রোগ্রামের আউটপুট পরীক্ষা করা।

ভবিষ্যতে AI এজেন্টদের আরও উন্নত করতে হলে এই সমস্যার সমাধান করতে হবে। গবেষকরা এখন নতুন পদ্ধতি নিয়ে কাজ করছেন। যাতে AI নিজের ভুল নিজে ধরতে পারে। কিন্তু আপাতত যান্ত্রিক পদ্ধতিই সবচেয়ে নির্ভরযোগ্য উপায়।

আরও পড়ুন

• AI নিজের উত্তরকেই বেশি পছন্দ করে, নামহীন রিভিউ দিচ্ছে সমাধান
• AI এখন নিজের ভুল নিজেই ধরছে, আপনার ডেটাবেসেও কাজ করবে
• AI-র ভুল ব্যাখ্যায় বিপদ, আপনার ফ্রিল্যান্স প্রজেক্টে প্রভাব পড়তে পারে