AI মডেল তৈরির খরচ কমাতে গিয়ে নির্ভুলতা হারানোর ঝুঁকি, গবেষণায় চাঞ্চল্য
একটি গবেষণায় দেখা গেছে, পুরো LLM কথোপকথনের ট্রান্সক্রিপ্টকে ছোট মেমরি স্টেট দিয়ে প্রতিস্থাপন করলে খরচ কমলেও নির্ভুলতা ব্যাপকভাবে কমে যায়। সিন্থেটিক টেস্টে 30/30 পাস করলেও বাস্তব বেঞ্চমার্কে স্কোর ছিল মাত্র 0.13। ব্যর্থতার মূল কারণ ছিল মেমরির ধরনের অমিল।
একটি গবেষণায় দেখা গেছে, পুরো LLM কথোপকথনের ট্রান্সক্রিপ্টকে ছোট মেমরি স্টেট দিয়ে প্রতিস্থাপন করলে খরচ কমলেও নির্ভুলতা ব্যাপকভাবে কমে যায়। সিন্থেটিক টেস্টে 30/30 পাস করলেও বাস্তব বেঞ্চমার্কে স্কোর ছিল মাত্র 0.13। ব্যর্থতার মূল কারণ ছিল মেমরির ধরনের অমিল।
একটি পরীক্ষামূলক গবেষণায় প্রমাণিত হয়েছে যে, বড় ভাষার মডেলের (LLM) দীর্ঘ সেশনের খরচ কমানোর জন্য পুরো কথোপকথনের ট্রান্সক্রিপ্টকে ছোট মেমরি স্টেট দিয়ে প্রতিস্থাপন করলে নির্ভুলতা মারাত্মকভাবে কমে যায়। dev.to AI সূত্রে জানা গেছে, গবেষক একটি সহজ অনুমান পরীক্ষা করেছেন। তিনি ভেবেছিলেন যে, সম্পূর্ণ ট্রান্সক্রিপ্টের বদলে সংক্ষিপ্ত মেমরি ব্যবহার করলে উত্তর সঠিক থাকবে এবং খরচ কমবে।
গবেষক নিজের তৈরি করা সিন্থেটিক ইভালুয়েশনে 30টি প্রশ্নের সবকটির সঠিক উত্তর দিতে পেরেছেন। কিন্তু বাইরের একটি দীর্ঘমেয়াদী কথোপকথন মেমরি বেঞ্চমার্কে (LoCoMo) তার স্কোর মাত্র 0.13-এ নেমে গেছে। এই স্কোর প্রায় শূন্য। এটি প্রমাণ করে যে, মেমরি সংরক্ষণের ধরনেই মূল সমস্যা ছিল।
গবেষণায় দেখা গেছে, ব্যর্থতা একটি নির্দিষ্ট প্রম্পটের কারণে হয়নি। বরং এটি মেমরির ধরনের অমিল থেকে এসেছে। গবেষকের তৈরি সিন্থেটিক টেস্টে সঠিক তথ্য (exact facts) সংরক্ষণ করা হচ্ছিল। কিন্তু LoCoMo বেঞ্চমার্ক পরীক্ষা করে এপিসোডিক মেমরি, অর্থাৎ ঘটনা ও প্রসঙ্গ মনে রাখার ক্ষমতা। এই দুই ধরনের মেমরির মধ্যে বড় পার্থক্য রয়েছে।
বাংলাদেশের ডেভেলপার ও ফ্রিল্যান্সারদের জন্য এই গবেষণার গুরুত্ব অপরিসীম। বর্তমানে অনেক স্টার্টআপ ও ডেভেলপার বড় LLM ব্যবহার করে চ্যাটবট বা অ্যাসিস্ট্যান্ট তৈরি করেন। কিন্তু এগুলোর খরচ অনেক বেশি। এই গবেষণা দেখায় যে, শুধু খরচ কমাতে মেমরি সিস্টেম সরল করলে অ্যাপ্লিকেশনের গুণগত মান নষ্ট হতে পারে। বিশেষ করে দীর্ঘমেয়াদী কথোপকথনের প্রয়োজন হলে মেমরি সিস্টেম ডিজাইনে আরও সতর্ক হতে হবে।
ভবিষ্যতে গবেষকরা হয়তো হাইব্রিড পদ্ধতি নিয়ে কাজ করবেন। যেখানে একই সাথে সঠিক তথ্য ও এপিসোডিক মেমরি সংরক্ষণ করা সম্ভব হবে। তবে আপাতত এই গবেষণা একটি গুরুত্বপূর্ণ শিক্ষা দিয়েছে। মেমরি সিস্টেম তৈরি করার সময় শুধু খরচ নয়, মেমরির ধরন ও ব্যবহারের প্রসঙ্গও বিবেচনা করতে হবে।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: dev.to AI
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...