বাংলাদেশে AI খরচ ৮৫% কমানোর নতুন পদ্ধতি, জানুন কীভাবে
RAG সিস্টেমের উচ্চ LLM খরচ কমানোর জন্য একটি কার্যকর কস্ট কন্ট্রোল লেয়ার তৈরি করা হয়েছে। সেম্যান্টিক ক্যাশিং, কোয়েরি রাউটিং, টোকেন বাজেটিং এবং সার্কিট ব্রেকিংয়ের সমন্বয়ে এই পদ্ধতি খরচ 85% কমিয়ে আনে। উত্তর মান ঠিক রেখেই অপারেশনাল খরচ কমানো সম্ভব হয়েছে।
RAG সিস্টেমের উচ্চ LLM খরচ কমানোর জন্য একটি কার্যকর কস্ট কন্ট্রোল লেয়ার তৈরি করা হয়েছে। সেম্যান্টিক ক্যাশিং, কোয়েরি রাউটিং, টোকেন বাজেটিং এবং সার্কিট ব্রেকিংয়ের সমন্বয়ে এই পদ্ধতি খরচ 85% কমিয়ে আনে। উত্তর মান ঠিক রেখেই অপারেশনাল খরচ কমানো সম্ভব হয়েছে।
বিশ্বজুড়ে ব্যবহৃত RAG সিস্টেমগুলো উত্তর মানের জন্য অপ্টিমাইজ করা হয়, কিন্তু খরচ নিয়ন্ত্রণে তাদের কোনো নজর নেই। এই সমস্যা সমাধানে একটি কস্ট কন্ট্রোল লেয়ার তৈরি করা হয়েছে যা LLM খরচ 85% পর্যন্ত কমাতে পারে। টুওয়ার্ডস ডেটা সায়েন্সে প্রকাশিত এক নিবন্ধে এই পদ্ধতির বিস্তারিত বর্ণনা দেওয়া হয়েছে।
RAG বা Retrieval Augmented Generation সিস্টেমগুলো বড় ভাষার মডেল ব্যবহার করে তথ্য খুঁজে বের করে এবং উত্তর তৈরি করে। কিন্তু এই প্রক্রিয়ায় প্রতি কুয়েরির জন্য বিপুল সংখ্যক টোকেন ব্যবহার হয়, যা খরচ দ্রুত বাড়িয়ে তোলে। নতুন কস্ট কন্ট্রোল লেয়ারটি চারটি মূল উপাদান নিয়ে কাজ করে।
প্রথম উপাদান হলো সেম্যান্টিক ক্যাশিং। এটি একই ধরনের প্রশ্নের উত্তর সংরক্ষণ করে রাখে, যাতে বারবার LLM-কে কল না করতে হয়। দ্বিতীয় উপাদান কোয়েরি রাউটিং প্রশ্নের জটিলতা অনুযায়ী সঠিক মডেল বা ডেটাবেসে পাঠায়। তৃতীয় উপাদান টোকেন বাজেটিং প্রতিটি কুয়েরির জন্য নির্দিষ্ট টোকেন সংখ্যা নির্ধারণ করে দেয়। চতুর্থ উপাদান সার্কিট ব্রেকিং অতিরিক্ত খরচ বা ত্রুটি দেখা দিলে সিস্টেম বন্ধ করে দেয়।
এই পদ্ধতি বাস্তবে প্রয়োগ করে দেখা গেছে যে LLM খরচ 85% কমেছে, কিন্তু উত্তর মানের কোনো পরিবর্তন হয়নি। বরং কিছু ক্ষেত্রে ক্যাশিংয়ের কারণে উত্তর দ্রুত পাওয়া গেছে। কোম্পানিগুলো এখন এই কস্ট কন্ট্রোল লেয়ার ব্যবহার করে তাদের RAG সিস্টেমের অপারেশনাল খরচ উল্লেখযোগ্যভাবে কমাতে পারে।
বাংলাদেশের ডেভেলপার, ফ্রিল্যান্সার এবং স্টার্টআপের জন্য এই পদ্ধতি বিশেষ গুরুত্বপূর্ণ। ছোট বাজেটে কাজ করা ডেভেলপাররা এখন তাদের AI অ্যাপ্লিকেশনে RAG ব্যবহার করতে পারবেন খরচের চিন্তা না করেই। ফ্রিল্যান্সাররা তাদের ক্লায়েন্টদের জন্য কম খরচে উন্নত AI সলিউশন তৈরি করতে পারবেন। শিক্ষার্থী ও গবেষকরা এই পদ্ধতি ব্যবহার করে নিজস্ব প্রজেক্টে AI মডেল চালাতে পারবেন।
ভবিষ্যতে আরও উন্নত ক্যাশিং অ্যালগরিদম এবং ডায়নামিক বাজেটিং সিস্টেম যুক্ত করার সম্ভাবনা রয়েছে। কস্ট কন্ট্রোল লেয়ারটি এখন ওপেন সোর্স হিসেবে প্রকাশের পরিকল্পনা রয়েছে। এটি প্রযুক্তি বিশ্বে আরও সাশ্রয়ী ও কার্যকর AI সিস্টেম তৈরির পথ সুগম করবে।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: Towards Data Science
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...