Apple গবেষণা ফাঁস: ৯ বিচারকের প্যানেলে কার্যকর ভোট মাত্র ২টি
Apple ML Research-এর নতুন গবেষণায় দেখা গেছে, 9টি অত্যাধুনিক ভাষা মডেল দিয়ে গঠিত একটি প্যানেল কার্যকরভাবে মাত্র 2টি স্বাধীন ভোট প্রদান করে। এই তথাকথিত এলএলএম-অ্যাজ-আ-জাজ পদ্ধতির নির্ভরযোগ্যতা নিয়ে প্রশ্ন তুলেছে এই গবেষণা।
Apple ML Research-এর নতুন গবেষণায় দেখা গেছে, 9টি অত্যাধুনিক ভাষা মডেল দিয়ে গঠিত একটি প্যানেল কার্যকরভাবে মাত্র 2টি স্বাধীন ভোট প্রদান করে। এই তথাকথিত এলএলএম-অ্যাজ-আ-জাজ পদ্ধতির নির্ভরযোগ্যতা নিয়ে প্রশ্ন তুলেছে এই গবেষণা।
বৃহৎ ভাষা মডেল বা এলএলএম-এর কর্মক্ষমতা মূল্যায়নের জন্য বহুল ব্যবহৃত একটি পদ্ধতি হচ্ছে এলএলএম-অ্যাজ-আ-জাজ প্যানেল। এই পদ্ধতিতে একাধিক এলএলএমকে বিচারক হিসেবে নিয়োগ করে তাদের ভোটের ভিত্তিতে কোনো মডেলের গুণাগুণ নির্ধারণ করা হয়। কিন্তু সম্প্রতি অ্যাপল মেশিন লার্নিং রিসার্চের একটি গবেষণায় দেখা গেছে, এই পদ্ধতির কার্যকারিতা নিয়ে বড় ধরনের সন্দেহ রয়েছে।
গবেষণাটি 7টি ভিন্ন মডেল পরিবার থেকে নেওয়া 9টি অত্যাধুনিক এলএলএম নিয়ে পরিচালিত হয়েছে। এই প্যানেলকে তিনটি ভিন্ন প্রাকৃতিক ভাষা অনুমান ডেটাসেটের উপর পরীক্ষা করা হয়েছে। প্রতিটি ডেটাসেটে প্রতি আইটেমের জন্য 100টি করে মানব-লিখিত মূল্যায়ন ছিল। গবেষকরা একটি কাঠামো তৈরি করেছেন যা এই প্যানেলের প্রকৃত তথ্যগত মূল্য পরিমাপ করতে পারে।
গবেষণার ফলাফল অত্যন্ত চমকপ্রদ। দেখা গেছে, 9 জন বিচারকের এই প্যানেল কার্যকরভাবে মাত্র 2টি স্বাধীন ভোটের সমতুল্য। এর কারণ হলো বিচারকদের মধ্যে সম্পর্কিত ত্রুটি বা করিলেটেড এরর। অর্থাৎ বিভিন্ন মডেল একই ধরনের ভুল করে থাকে, যার ফলে তাদের ভোট আসলে স্বাধীন নয় বরং পরস্পরের উপর নির্ভরশীল।
এই গবেষণার মূল বার্তা হলো, এলএলএম-অ্যাজ-আ-জাজ প্যানেলের নির্ভরযোগ্যতা স্বাধীন ভোটিং-এর আদর্শ থেকে অনেকটাই পিছিয়ে। গবেষকরা একটি কাঠামো তৈরি করেছেন যা এই প্যানেলের প্রকৃত তথ্যগত মূল্য পরিমাপ করতে পারে এবং দেখিয়েছেন যে এই প্যানেলগুলোর নির্ভরযোগ্যতা স্বাধীন ভোটিং-এর আদর্শ থেকে কতটা দূরে।
বাংলাদেশের কৃত্রিম বুদ্ধিমত্তা গবেষক ও ডেভেলপারদের জন্য এই গবেষণার গুরুত্ব অপরিসীম। দেশে যারা এলএলএম নিয়ে কাজ করছেন বা ভবিষ্যতে কাজ করতে চান, তাদের জন্য এটি একটি গুরুত্বপূর্ণ সতর্কবার্তা। এলএলএম মূল্যায়নের সময় শুধু মডেলের সংখ্যার দিকে না তাকিয়ে তাদের স্বাধীনতা ও বৈচিত্র্যের দিকেও নজর দিতে হবে।
এই গবেষণা ভবিষ্যতে এলএলএম মূল্যায়নের পদ্ধতি পরিবর্তন করতে পারে। গবেষকরা হয়তো আরও বৈচিত্র্যময় ও স্বাধীন মডেল নির্বাচনের দিকে মনোযোগ দেবেন। অথবা সম্পূর্ণ নতুন মূল্যায়ন পদ্ধতি উদ্ভাবনের চেষ্টা করবেন। এলএলএম প্রযুক্তির উন্নয়নের সাথে সাথে এর মূল্যায়ন পদ্ধতিও সমানভাবে উন্নত করতে হবে।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: Apple ML Research
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...