AI মডেল নিজেই তথ্য খুঁজবে, RAG-কে ৮ গুণ গতিতে হারালো
গবেষকরা আবিষ্কার করেছেন যে ডিফিউশন মডেলের নিজের অনিশ্চিত পূর্বাভাসই আসলে লুকানো সম্পদ। এটি পুনর্ব্যবহার করে মডেলটিই নিজের জন্য প্রয়োজনীয় তথ্য খুঁজে বের করতে পারে, যার ফলে প্রচলিত RAG পদ্ধতির চেয়ে ৮ গুণ দ্রুত কাজ করা সম্ভব হয়েছে।
গবেষকরা আবিষ্কার করেছেন যে ডিফিউশন মডেলের নিজের অনিশ্চিত পূর্বাভাসই আসলে লুকানো সম্পদ। এটি পুনর্ব্যবহার করে মডেলটিই নিজের জন্য প্রয়োজনীয় তথ্য খুঁজে বের করতে পারে, যার ফলে প্রচলিত RAG পদ্ধতির চেয়ে ৮ গুণ দ্রুত কাজ করা সম্ভব হয়েছে।
কৃত্রিম বুদ্ধিমত্তার জগতে একটি নতুন গবেষণা দৃষ্টান্ত পরিবর্তন করে দিতে পারে। গবেষকরা দেখিয়েছেন যে ডিসক্রিট ডিফিউশন ল্যাঙ্গুয়েজ মডেল নিজেই নিজের ভুল বা অনিশ্চিত পূর্বাভাস থেকে শিখে আরও নির্ভুল তথ্য সংগ্রহ করতে সক্ষম। এই নতুন পদ্ধতিটি প্রচলিত রিট্রিভাল-অগমেন্টেড জেনারেশন বা RAG-এর তুলনায় ৮ গুণ দ্রুত কাজ করে।
গবেষণাপত্রটি dev.to ML-এ প্রকাশিত হয়েছে। এতে দেখা গেছে, যখন এই মডেলগুলো সমান্তরালভাবে টেক্সট জেনারেট করে, তখন তারা প্রতিটি ধাপে কিছু কম নিশ্চিত শব্দের পূর্বাভাস বাদ দেয়। গবেষকদের মতে, এই বাদ দেওয়া তথ্যগুলোতে মূল্যবান সিগন্যাল লুকিয়ে থাকে। সেগুলো পুনর্ব্যবহার করে মডেল নিজেই পরবর্তী ধাপে আরও ভালো তথ্য খুঁজে বের করতে পারে।
প্রচলিত RAG পদ্ধতিতে একটি মডেলকে বাইরের ডাটাবেস বা সার্চ ইঞ্জিন থেকে তথ্য এনে নিজের জবাব তৈরি করতে হয়। এই প্রক্রিয়ায় সময় এবং কম্পিউটিং শক্তি অনেক বেশি লাগে। নতুন পদ্ধতিতে মডেলটি নিজের ভেতরেই প্রাসঙ্গিক তথ্য খুঁজে পায়। ফলে বাইরের কোনো সিস্টেমের ওপর নির্ভর করতে হয় না।
গবেষকরা ব্যাখ্যা করেছেন যে ডিসক্রিট ডিফিউশন মডেলগুলো যখন টেক্সট জেনারেট করে, তখন তারা কিছু শব্দকে 'মাস্ক' বা লুকিয়ে রাখে এবং ধীরে ধীরে সেগুলো উন্মোচন করে। এই প্রক্রিয়ায় মডেলের কম আত্মবিশ্বাসের শব্দগুলোই আসলে পরবর্তী ধাপের জন্য সবচেয়ে বেশি তথ্য বহন করে। এই তথ্য পুনর্ব্যবহার করলে মডেলের আউটপুটের গুণমানও উল্লেখযোগ্যভাবে উন্নত হয়।
বাংলাদেশের ডেভেলপার, গবেষক এবং AI উদ্যোক্তাদের জন্য এই খবর অত্যন্ত গুরুত্বপূর্ণ। বর্তমানে দেশে অনেক স্টার্টআপ এবং ফ্রিল্যান্সার বড় ভাষার মডেল ব্যবহার করে বিভিন্ন অ্যাপ্লিকেশন তৈরি করছে। এই নতুন পদ্ধতি ব্যবহার করে তারা কম খরচে এবং দ্রুত গতিতে আরও নির্ভুল AI সিস্টেম তৈরি করতে পারবে। বিশেষ করে যেসব অ্যাপ্লিকেশনে রিয়েল-টাইম তথ্যের প্রয়োজন, সেখানে এটি বড় পরিবর্তন আনতে পারে।
এই গবেষণা ভবিষ্যতে AI মডেলগুলোর ডিজাইনেই পরিবর্তন আনতে পারে। মডেলগুলো নিজেদের ভুল থেকে শিখে আরও দক্ষ হয়ে উঠবে। এটি কেবল গতি নয়, নির্ভুলতা এবং সাশ্রয়ীতার দিক থেকেও বড় অগ্রগতি। বাংলাদেশের প্রযুক্তি খাতের জন্য এটি একটি নতুন দিগন্ত উন্মোচন করতে পারে।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: dev.to ML
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...