AI মডেল চালাতে এখন ৩ গুণ কম খরচ, বাংলাদেশি ডেভেলপারদের জন্য বড় সুযোগ
Towards Data Science-এ প্রকাশিত এক গবেষণা মাল্টি-এজেন্ট LLM পাইপলাইনে অপ্রয়োজনীয় প্রিফিল কম্পিউটেশন দূর করার একটি কৌশল উপস্থাপন করেছে। C++ রানটাইম ব্যবহার করে কপি-অন-ফর্ক KV স্ন্যাপশট শেয়ারিং-এর মাধ্যমে এটি সম্ভব হয়েছে। এই পদ্ধতি মাল্টি-এজেন্ট সিস্টেমের কার্যকারিতা নাটকীয়ভাবে বাড়াতে পারে।
Towards Data Science-এ প্রকাশিত এক গবেষণা মাল্টি-এজেন্ট LLM পাইপলাইনে অপ্রয়োজনীয় প্রিফিল কম্পিউটেশন দূর করার একটি কৌশল উপস্থাপন করেছে। C++ রানটাইম ব্যবহার করে কপি-অন-ফর্ক KV স্ন্যাপশট শেয়ারিং-এর মাধ্যমে এটি সম্ভব হয়েছে। এই পদ্ধতি মাল্টি-এজেন্ট সিস্টেমের কার্যকারিতা নাটকীয়ভাবে বাড়াতে পারে।
বহু-এজেন্ট বিশিষ্ট AI পাইপলাইনে বারবার একই তথ্য প্রক্রিয়াকরণের ঝামেলা দূর করতে একটি নতুন কৌশল এসেছে। Towards Data Science-এ প্রকাশিত এক গবেষণাপত্রে Prefill Once, Fan Out নামক একটি পদ্ধতি বর্ণনা করা হয়েছে। এই পদ্ধতি KV স্ন্যাপশট শেয়ারিংয়ের মাধ্যমে মাল্টি-এজেন্ট LLM পাইপলাইনে অপ্রয়োজনীয় প্রিফিল কম্পিউটেশন সম্পূর্ণভাবে এড়িয়ে যায়।
মাল্টি-এজেন্ট পাইপলাইনে একাধিক LLM এজেন্ট একই কনটেক্সট নিয়ে কাজ করে। আগের পদ্ধতিতে প্রতিটি এজেন্টকে আলাদাভাবে সেই কনটেক্সট প্রিফিল করতে হতো। এতে সময় এবং কম্পিউটেশনাল রিসোর্স উভয়ই অপচয় হতো। নতুন কৌশলটি সেই সমস্যার সমাধান করেছে।
গবেষকরা একটি C++ রানটাইম তৈরি করেছেন যা কপি-অন-ফর্ক KV স্ন্যাপশট ব্যবহার করে। কপি-অন-ফর্ক মানে হলো একটি স্ন্যাপশট তৈরি করার সময় আসল ডেটা কপি না করে শুধু রেফারেন্স তৈরি করা। যখন কোনো এজেন্ট স্ন্যাপশট পরিবর্তন করতে চায়, তখনই আসল কপি তৈরি হয়। এতে মেমরি এবং সময় উভয়ই সাশ্রয় হয়।
এই কৌশলের মূল সুবিধা হলো একবার প্রিফিল করা কনটেক্সট অনেক এজেন্টের মধ্যে শেয়ার করা যায়। প্রতিটি এজেন্ট আলাদাভাবে প্রিফিল না করেই কাজ করতে পারে। ফলস্বরূপ, মাল্টি-এজেন্ট পাইপলাইনের গতি ২ থেকে ৩ গুণ বেড়ে যেতে পারে। বড় মডেল যেমন GPT-4 বা LLaMA-এর মতো মডেল ব্যবহার করলে এই সুবিধা আরও স্পষ্ট হয়।
বাংলাদেশের প্রযুক্তি খাতের জন্য এই গবেষণা বিশেষ গুরুত্ব বহন করে। দেশের স্টার্টআপ এবং ডেভেলপাররা মাল্টি-এজেন্ট সিস্টেম ব্যবহার করে বিভিন্ন অ্যাপ্লিকেশন তৈরি করছে। চ্যাটবট, কনটেন্ট জেনারেশন, এবং ডেটা অ্যানালাইসিসের মতো কাজে এই পদ্ধতি ব্যবহার করা যায়। কম্পিউটেশনাল রিসোর্সের খরচ কমানো বাংলাদেশের মতো উদীয়মান বাজারের জন্য অত্যন্ত গুরুত্বপূর্ণ।
ফ্রিল্যান্সার এবং ছোট টিমের জন্যও এটি একটি বড় সুযোগ। তারা কম খরচে বড় মডেল ব্যবহার করে আরও জটিল কাজ করতে পারবে। শিক্ষার্থীরাও এই কৌশল ব্যবহার করে নিজেদের প্রজেক্টে উন্নতি আনতে পারে।
ভবিষ্যতে এই পদ্ধতি আরও পরিশীলিত হবে বলে আশা করা যায়। গবেষকরা বর্তমানে বাস্তব বিশ্বের অ্যাপ্লিকেশনে এই কৌশল পরীক্ষা করছেন। যদি সফল হয়, তাহলে মাল্টি-এজেন্ট AI সিস্টেমের দক্ষতা এক নতুন মাত্রায় পৌঁছাবে।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: Towards Data Science
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...