বাংলাদেশে AI মডেল ৪ গুণ সস্তা হবে, নতুন KVarN পদ্ধতি মেমোরি কমিয়ে দেবে
গবেষকরা KVarN নামের একটি নতুন KV-Cache কোয়ান্টাইজেশন পদ্ধতি তৈরি করেছেন। এটি AI মডেলের মেমোরি ব্যবহার ৩ থেকে ৪ গুণ কমিয়ে দেয়। ফলে রিজনিং, কোড জেনারেশন এবং এজেন্টিক কাজ অনেক দ্রুত ও সস্তা হবে।
গবেষকরা KVarN নামের একটি নতুন KV-Cache কোয়ান্টাইজেশন পদ্ধতি তৈরি করেছেন। এটি AI মডেলের মেমোরি ব্যবহার ৩ থেকে ৪ গুণ কমিয়ে দেয়। ফলে রিজনিং, কোড জেনারেশন এবং এজেন্টিক কাজ অনেক দ্রুত ও সস্তা হবে।
বাংলাদেশের AI ও প্রযুক্তি সংবাদমাধ্যম AIখবর জানাচ্ছে, বড় ভাষার মডেলের (LLM) মেমোরি চাপ কমানোর জন্য একটি নতুন পদ্ধতি এসেছে। গবেষকরা KVarN নামের একটি KV-Cache কোয়ান্টাইজেশন পদ্ধতি তৈরি করেছেন। এটি Hadamard রোটেশন এবং ভ্যারিয়েন্স-নর্মালাইজেশন একসঙ্গে ব্যবহার করে মডেলের গতি ও নির্ভুলতা বাড়িয়েছে।
KV-Cache হলো বড় ভাষার মডেলের একটি গুরুত্বপূর্ণ অংশ। এটি মডেলকে পূর্ববর্তী কথোপকথন মনে রাখতে সাহায্য করে। কিন্তু এই ক্যাশে অনেক মেমোরি নেয়। KVarN এই ক্যাশেকে ৩ থেকে ৪ গুণ পর্যন্ত সংকুচিত করে। গবেষণায় দেখা গেছে, AIME24-এর মতো কঠিন বেঞ্চমার্কেও নির্ভুলতা মাত্র ০ থেকে ১ শতাংশ কমে।
গবেষকরা জানিয়েছেন, এই পদ্ধতি vLLM-এর মতো ফ্রেমওয়ার্কে fp16 বেসলাইনের চেয়েও দ্রুত কাজ করে। বিশেষ করে ডিকোড-হেভি টেস্ট-টাইম স্কেলিং পরিস্থিতিতে এটি বেশি কার্যকর। যেমন দীর্ঘ চিন্তাধারা বা রিজনিং, কোড জেনারেশন এবং এজেন্টিক কাজ।
প্রযুক্তিগত দিক থেকে KVarN সহজ কিন্তু শক্তিশালী। এটি K এবং V ম্যাট্রিক্সের উভয় অক্ষে Hadamard রোটেশন প্রয়োগ করে। তারপর ভ্যারিয়েন্স-নর্মালাইজেশন করে নিকটতম পূর্ণসংখ্যায় রাউন্ড করে। এই সহজ পদক্ষেপগুলো মিলিয়ে মডেলের নির্ভুলতা প্রায় অক্ষত রাখে।
বাংলাদেশের ডেভেলপার ও ফ্রিল্যান্সারদের জন্য এই খবর গুরুত্বপূর্ণ। বর্তমানে বড় AI মডেল চালানোর জন্য উচ্চক্ষমতার GPU প্রয়োজন। KVarN মেমোরির চাপ কমিয়ে দেবে। ফলে কম শক্তির হার্ডওয়্যারেও জটিল AI কাজ করা সম্ভব হবে। বিশেষ করে রিমোট ওয়ার্কিং ফ্রিল্যান্সাররা দ্রুত কোড জেনারেশন ও এজেন্টিক টুল ব্যবহার করতে পারবেন। শিক্ষার্থীরাও গবেষণা ও প্রজেক্টে সুবিধা পাবে।
ভবিষ্যতে KVarN আরও উন্নত হতে পারে। গবেষকরা ইতিমধ্যেই বিভিন্ন মডেল আর্কিটেকচারে এটি পরীক্ষা করছেন। যদি বড় প্রযুক্তি কোম্পানিগুলো এটি গ্রহণ করে, তাহলে AI পরিষেবার খরচ উল্লেখযোগ্যভাবে কমবে। বাংলাদেশের উদ্যোক্তাদের জন্যও এটি নতুন সুযোগ তৈরি করবে।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: Reddit r/MachineLearning
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...