AI খরচ কমবে ৬০%, জানুন কীভাবে টোকেন অপচয় বন্ধ করবেন
গবেষণায় দেখা গেছে, প্রচলিত RAG পদ্ধতিতে অপ্রয়োজনীয় কনটেক্সটের কারণে টোকেন বাজেটের 60% পর্যন্ত নষ্ট হয়। এই অপচয় কমিয়ে খরচ কমানো এবং আউটপুটের মান বাড়ানো সম্ভব।
গবেষণায় দেখা গেছে, প্রচলিত RAG পদ্ধতিতে অপ্রয়োজনীয় কনটেক্সটের কারণে টোকেন বাজেটের 60% পর্যন্ত নষ্ট হয়। এই অপচয় কমিয়ে খরচ কমানো এবং আউটপুটের মান বাড়ানো সম্ভব।
বাংলার শীর্ষস্থানীয় AI ও প্রযুক্তি সংবাদমাধ্যম AIখবর-এর পক্ষ থেকে আপনাকে স্বাগতম।
আপনার LLM পাইপলাইন কি টোকেন বাজেটের সিংহভাগ নষ্ট করছে? সম্প্রতি dev.to ML প্ল্যাটফর্মে প্রকাশিত এক গবেষণায় উদ্বেগজনক তথ্য উঠে এসেছে। দেখা গেছে, বেশিরভাগ RAG (Retrieval-Augmented Generation) পাইপলাইনে টোকেন বাজেটের 60% পর্যন্ত অপ্রাসঙ্গিক বা প্যাডেড কনটেক্সটের জন্য নষ্ট হয়।
গবেষণাটি বলছে, প্রচলিত পদ্ধতিতে ডেভেলপাররা যা করে তা হলো: প্রথমে top-k ডকুমেন্ট রিট্রিভ করে, সেগুলোকে একসঙ্গে কনক্যাটেনেট করে পুরো কনটেক্সট LLM-এ পাঠানো হয়। এই পদ্ধতি কাজ করলেও এর ভেতরে লুকিয়ে আছে বিশাল অপচয়। কনটেক্সটের একটি বড় অংশ জুড়ে থাকে ফিলার টেক্সট, যেমন ব্যাকগ্রাউন্ড বাক্য যা সুস্পষ্ট তথ্য পুনরাবৃত্তি করে, ট্রানজিশন প্যারাগ্রাফ যা মডেলের সংযোগের প্রয়োজন নেই, এবং প্রোজ প্যাডিং যা কেবল জায়গা দখল করে।
এই অপচয় কেন গুরুত্বপূর্ণ? প্রতিটি টোকেনের খরচ আছে। যখন আপনি API-তে টোকেন পাঠান, আপনি প্রতি টোকেনের জন্য অর্থ দেন। 60% টোকেন নষ্ট মানে আপনার বাজেটের 60% অপচয়। শুধু তাই নয়, অপ্রয়োজনীয় কনটেক্সট মডেলের আউটপুটের মানও কমিয়ে দেয়। মডেলকে অপ্রাসঙ্গিক তথ্যের মধ্য দিয়ে প্রয়োজনীয় তথ্য খুঁজে বের করতে হয়, যা উত্তরকে দুর্বল বা ভুল করে তুলতে পারে।
সমাধান কী? গবেষকরা বলছেন, কনটেক্সট সিলেকশন অপ্টিমাইজ করা জরুরি। আপনি যে ডকুমেন্ট রিট্রিভ করেন, সেখান থেকে শুধুমাত্র প্রাসঙ্গিক অংশ বেছে নেওয়া উচিত। পুরো ডকুমেন্ট কনক্যাটেনেট না করে, প্রতিটি ডকুমেন্টের সবচেয়ে গুরুত্বপূর্ণ সেন্টেন্স বা প্যারাগ্রাফ নির্বাচন করে কনটেক্সট তৈরি করা যেতে পারে। এতে টোকেন খরচ কমে এবং আউটপুটের মান বাড়ে।
বাংলাদেশের ডেভেলপার, ফ্রিল্যান্সার এবং শিক্ষার্থীদের জন্য এই গবেষণার বাস্তব অর্থ অনেক। আপনি যদি RAG-ভিত্তিক অ্যাপ্লিকেশন তৈরি করেন, যেমন চ্যাটবট বা ডকুমেন্ট অ্যানালাইসিস টুল, তাহলে এই অপ্টিমাইজেশন আপনার খরচ কমাতে পারে। উদাহরণস্বরূপ, একটি ছোট ব্যবসা যদি প্রতিদিন 1000 API কল করে, তাহলে 60% টোকেন সাশ্রয় মাসে হাজার হাজার টাকা বাঁচাতে পারে। ফ্রিল্যান্সারদের জন্য এটি ক্লায়েন্টের বাজেটের মধ্যে আরও ভালো আউটপুট দেওয়ার সুযোগ তৈরি করে।
ভবিষ্যতে AI মডেলের দক্ষ ব্যবহারের জন্য এই ধরনের অপ্টিমাইজেশন আরও গুরুত্বপূর্ণ হয়ে উঠবে। ডেভেলপারদের উচিত তাদের পাইপলাইন পর্যালোচনা করা এবং অপ্রয়োজনীয় কনটেক্সট কমানোর কৌশল প্রয়োগ করা। গবেষণাটি dev.to ML-এ প্রকাশিত হয়েছে এবং এটি প্রযুক্তি জগতে ব্যাপক আলোচনা সৃষ্টি করেছে।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: dev.to ML
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...