AI যাচাইয়ে দ্বিতীয় LLM ব্যবহারে বাড়ছে খরচ, কমছে গতি
একটি LLM দিয়ে আরেকটি LLM-এর আউটপুট যাচাই করার প্রচলিত পদ্ধতি লেটেন্সি ও GPU সম্পদের অপচয় করছে। বিশেষজ্ঞরা বলছেন, এই অভ্যাস এজেন্টিক AI স্ট্যাকের কার্যকারিতা মারাত্মকভাবে কমিয়ে দিচ্ছে।
একটি LLM দিয়ে আরেকটি LLM-এর আউটপুট যাচাই করার প্রচলিত পদ্ধতি লেটেন্সি ও GPU সম্পদের অপচয় করছে। বিশেষজ্ঞরা বলছেন, এই অভ্যাস এজেন্টিক AI স্ট্যাকের কার্যকারিতা মারাত্মকভাবে কমিয়ে দিচ্ছে।
আধুনিক এজেন্টিক AI স্ট্যাকগুলোতে একটি সাধারণ কিন্তু ব্যয়বহুল ভুল হচ্ছে। ডেভেলপাররা একটি প্রোবাবিলিস্টিক মডেলকে (LLM) বিশ্বাস না করে সেটিকে যাচাই করার জন্য আরেকটি প্রোবাবিলিস্টিক মডেল ব্যবহার করছেন। dev.to AI-এর একটি প্রতিবেদনে এই অভ্যাসকে সরাসরি সমালোচনা করা হয়েছে।
এই পদ্ধতিতে একটি এজেন্ট যখন কোনো টুল চালাতে, ডেটাবেস অ্যাক্সেস করতে বা API কল করতে চায়, তখন প্রথম LLM-এর সিদ্ধান্ত যাচাই করতে দ্বিতীয় LLM ব্যবহার করা হয়। এর ফলে প্রতি অপারেশনে শত শত বিলিয়ন প্যারামিটার চালানো হয়, টোকেন খরচ হয় এবং GPU রিসোর্স পুড়িয়ে ফেলা হয়। ফলস্বরূপ, একটি সাধারণ অপারেশন সম্পন্ন করতে কয়েকশ মিলিসেকেন্ড থেকে কয়েক সেকেন্ড পর্যন্ত লেটেন্সি যুক্ত হচ্ছে।
এই পদ্ধতির মূল সমস্যা হলো এটি একে অপরের ওপর নির্ভরশীল দুটি প্রোবাবিলিস্টিক সিস্টেম তৈরি করে। প্রথম মডেলের আউটপুট যদি সঠিকও হয়, দ্বিতীয় মডেল ভুলভাবে সেটিকে প্রত্যাখ্যান করতে পারে। অথবা প্রথম মডেলের ভুল আউটপুট দ্বিতীয় মডেলের দ্বারা অনুমোদিত হতে পারে। ফলে নির্ভরযোগ্যতা বাড়ানোর পরিবর্তে এটি একটি দ্বৈত অনিশ্চয়তার জন্ম দিচ্ছে।
বাংলাদেশের ডেভেলপার ও ফ্রিল্যান্সারদের জন্য এই খবর বিশেষভাবে গুরুত্বপূর্ণ। দেশে AI-ভিত্তিক স্টার্টআপ ও এজেন্টিক অ্যাপ্লিকেশন তৈরি করার প্রবণতা বাড়ছে। অনেকেই GPT-4 বা ওপেন-সোর্স মডেল ব্যবহার করে এমন সিস্টেম তৈরি করছেন যেখানে একটি LLM আরেকটিকে অডিট করে। কিন্তু এই পদ্ধতি শুধু লেটেন্সিই বাড়াচ্ছে না, বরং ক্লাউড বিলও আকাশছোঁয়া করে দিচ্ছে। যারা সীমিত বাজেটে কাজ করেন, তাদের জন্য এটি টেকসই নয়।
বিশেষজ্ঞরা বলছেন, এই সমস্যার সমাধান হলো ডিটারমিনিস্টিক ভ্যালিডেশন মেথড ব্যবহার করা। যেমন, নিয়ম-ভিত্তিক চেক, স্কিমা ভ্যালিডেশন বা স্ট্রাকচার্ড আউটপুট ফরম্যাট। শুধুমাত্র সত্যিকারের জটিল সিদ্ধান্তের ক্ষেত্রেই দ্বিতীয় LLM ব্যবহার করা উচিত। অন্যথায়, এই অভ্যাস এজেন্টিক AI-এর মূল সুবিধা অর্থাৎ দ্রুততা ও দক্ষতা নষ্ট করছে।
ভবিষ্যতে AI সিস্টেম ডিজাইন করার সময় ডেভেলপারদের উচিত প্রোবাবিলিস্টিক মডেলের ওপর অতিরিক্ত নির্ভরতা কমানো। একটি LLM-এর আউটপুট যাচাই করতে আরেকটি LLM ব্যবহার করার পরিবর্তে লাইটওয়েট ভ্যালিডেশন টুল বা রুল-বেসড সিস্টেম ব্যবহার করা বেশি কার্যকর। এতে করে লেটেন্সি কমবে, খরচ সাশ্রয় হবে এবং সিস্টেম আরও স্কেলেবল হবে।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: dev.to AI
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...