AI এখন নিজের ভুল নিজেই ধরছে, আপনার ডেটাবেসেও কাজ করবে
একজন ডেভেলপার তার লোকাল RAG সিস্টেমে একটি ভেরিফিকেশন লেয়ার যুক্ত করেছেন যা হ্যালুসিনেশন ধরে ফেলে। পরীক্ষায় দেখা গেছে, সিস্টেমটি তার নিজের সংগ্রহ করা তথ্য নিয়েও দুবার ভুল ধরতে পেরেছে।
একজন ডেভেলপার তার লোকাল RAG সিস্টেমে একটি ভেরিফিকেশন লেয়ার যুক্ত করেছেন যা হ্যালুসিনেশন ধরে ফেলে। পরীক্ষায় দেখা গেছে, সিস্টেমটি তার নিজের সংগ্রহ করা তথ্য নিয়েও দুবার ভুল ধরতে পেরেছে।
একটি লোকাল RAG সিস্টেমে ভেরিফিকেশন লেয়ার যুক্ত করে হ্যালুসিনেশন ধরা সম্ভব হয়েছে। ডেভ টু প্ল্যাটফর্মে প্রকাশিত এক নিবন্ধে এক ডেভেলপার জানিয়েছেন, তিনি তার নিজের গবেষণাপত্র নিয়ে তৈরি RAG সিস্টেমে এই লেয়ার যোগ করেছেন। সিস্টেমটি সম্পূর্ণ লোকাল এবং ওলামা প্ল্যাটফর্মে চলে। কোনো ডেটা বাইরে যায় না।
গবেষণা সহায়ক টুলের জন্য হ্যালুসিনেশন সবচেয়ে বড় ঝুঁকি। একটি টুল যদি ভুল তথ্য দেয় কিন্তু আত্মবিশ্বাসের সাথে দেয়, তাহলে তা কোনো টুল না থাকার চেয়েও খারাপ। ব্যবহারকারী সেই ভুল তথ্য বিশ্বাস করে ফেলবেন। এই সমস্যা সমাধানের জন্যই ভেরিফিকেশন লেয়ারটি তৈরি করা হয়েছে।
আন্দ্রেই কার্পাথির এলএলএম-উইকি নোট থেকে এই ধারণা এসেছে। কার্পাথি পরামর্শ দিয়েছিলেন, প্রতিটি প্রশ্নের জন্য নতুন করে রিট্রিভ না করে মডেলকে একটি স্থায়ী উইকি তৈরি করতে দেওয়া উচিত। সেই উইকি ইনজেস্টের সময় একটি লিন্ট পাস চলে যা ভুল ধরে। এই পদ্ধতি অনুসরণ করেই ভেরিফিকেশন লেয়ারটি তৈরি করা হয়েছে।
ভেরিফিকেশন লেয়ারটি কীভাবে কাজ করে? এটি প্রথমে RAG সিস্টেমের উত্তর নেয়। তারপর সেই উত্তর মূল ডেটাবেসের সাথে মিলিয়ে দেখে। যদি কোনো তথ্য ডেটাবেসে না থাকে বা ভুল থাকে, তাহলে সেটি চিহ্নিত করে। এই প্রক্রিয়ায় লেখক নিজেই দুবার ভুল ধরেছেন। তার নিজের তৈরি কর্পাস নিয়েও তিনি ভুল তথ্য দিয়েছিলেন। সিস্টেম সেটি ধরে ফেলেছে।
বাংলাদেশের ডেভেলপার ও গবেষকদের জন্য এই পদ্ধতি অত্যন্ত গুরুত্বপূর্ণ। স্থানীয় ভাষায় AI টুল তৈরি করতে গেলে হ্যালুসিনেশন একটি বড় সমস্যা। বিশেষ করে চিকিৎসা, আইন বা শিক্ষার মতো গুরুত্বপূর্ণ ক্ষেত্রে ভুল তথ্য মারাত্মক ক্ষতি করতে পারে। এই ভেরিফিকেশন লেয়ার ব্যবহার করে ডেভেলপাররা তাদের টুলের নির্ভরযোগ্যতা বাড়াতে পারেন। ফ্রিল্যান্সাররা ক্লায়েন্টের জন্য নির্ভুল ডেটা বিশ্লেষণ করতে পারবেন। শিক্ষার্থীরা গবেষণার জন্য নির্ভরযোগ্য AI সহায়ক পাবেন।
ভেরিফিকেশন লেয়ারটি সম্পূর্ণ ওপেন সোর্স এবং যেকোনো RAG সিস্টেমে যোগ করা যায়। এটি ব্যবহার করতে কোনো বিশেষ হার্ডওয়্যার বা জিপিইউ প্রয়োজন নেই। সাধারণ ল্যাপটপেই চলে। ডেভেলপাররা গিটহাব থেকে কোড ডাউনলোড করে নিজেদের প্রজেক্টে ব্যবহার করতে পারবেন।
ভবিষ্যতে এই পদ্ধতি আরও উন্নত হবে বলে আশা করা যায়। বড় ভাষা মডেলের সাথে সরাসরি সংযুক্ত হয়ে আরও দ্রুত ভেরিফিকেশন সম্ভব হবে। বাংলাদেশের AI গবেষকরা এই পদ্ধতি স্থানীয় ভাষায় অভিযোজিত করতে পারেন। বাংলা ভাষায় নির্ভুল AI টুল তৈরির পথ আরও সহজ হবে।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: dev.to ML
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...