AI মডেল দ্রুত চালাতে নতুন পদ্ধতি, নির্ভুলতা কমছে না এক বিটও
KVarN নামের নতুন KV ক্যাশে কোয়ান্টাইজেশন পদ্ধতি 6-বিটে q8_0 এবং 4-বিটে q5_0-এর সমান নির্ভুলতা অর্জন করেছে। Reddit-এ প্রকাশিত বেঞ্চমার্ক অনুযায়ী, এটি প্রতি আকারে স্বাভাবিক পদ্ধতির চেয়ে এক বিট বেশি নির্ভুলতা দেয়।
KVarN নামের নতুন KV ক্যাশে কোয়ান্টাইজেশন পদ্ধতি 6-বিটে q8_0 এবং 4-বিটে q5_0-এর সমান নির্ভুলতা অর্জন করেছে। Reddit-এ প্রকাশিত বেঞ্চমার্ক অনুযায়ী, এটি প্রতি আকারে স্বাভাবিক পদ্ধতির চেয়ে এক বিট বেশি নির্ভুলতা দেয়।
লার্জ ল্যাঙ্গুয়েজ মডেলের (LLM) মেমোরি ব্যবহার কমানোর জন্য KV ক্যাশে কোয়ান্টাইজেশনে একটি বড় অগ্রগতি এসেছে। KVarN নামের নতুন পদ্ধতি 6-বিট কোয়ান্টাইজেশনে q8_0-এর নির্ভুলতা এবং 4-বিটে q5_0-এর নির্ভুলতা অর্জন করেছে। Reddit-এর r/LocalLLaMA সম্প্রদায়ে প্রকাশিত বেঞ্চমার্ক ফলাফল অনুযায়ী, KVarN স্বাভাবিক llama.cpp KV ক্যাশে কোয়ান্টাইজেশনের চেয়ে প্রতিটি আকারেই ভালো পারফর্ম করেছে।
এই গবেষণার মূল উদ্ভাবন হলো KVarN-কে শুধুমাত্র নিচু বিটের টয় কোয়ান্টাইজেশনের জন্য নয়, বরং উচ্চ-প্রান্তের কোয়ান্টাইজেশনের জন্যও প্রয়োগ করা হয়েছে। গবেষকরা পূর্ববর্তী পোস্টের মন্তব্যে আসা একটি যুক্তিসঙ্গত প্রশ্নের উত্তর দিয়েছেন: যদি আমরা 2-বিট এবং 3-বিটের টয় কোয়ান্ট থেকে সরে এসে KVarN-কে উচ্চ-প্রান্তে প্রয়োগ করি তাহলে কী হবে? তারা BeeLlama v0.3.2 প্রিভিউতে (llama.cpp-এর একটি ফর্ক) এটি বাস্তবায়ন করে দীর্ঘ কনটেক্সট KLD বেঞ্চমার্ক চালিয়েছেন।
ফলাফলগুলো স্পষ্টভাবে দেখিয়েছে যে KVarN প্রতিটি আকারে স্বাভাবিক কোয়ান্টাইজেশনের চেয়ে এক বিট বেশি নির্ভুলতা মেলে ধরছে। অর্থাৎ 6-বিট KVarN 8-বিটের সমান এবং 4-বিট KVarN 5-বিটের সমান নির্ভুলতা দিচ্ছে। এটি মডেলের মান বজায় রেখে মেমোরি ব্যবহার উল্লেখযোগ্যভাবে কমানোর সম্ভাবনা তৈরি করেছে।
বাংলাদেশের ডেভেলপার এবং ফ্রিল্যান্সারদের জন্য এই গবেষণার বিশেষ গুরুত্ব রয়েছে। সীমিত GPU রিসোর্সে বড় মডেল চালানোর জন্য KV ক্যাশে কোয়ান্টাইজেশন একটি গুরুত্বপূর্ণ কৌশল। KVarN ব্যবহার করে তারা একই মেমোরি বাজেটে আরও বড় মডেল চালাতে পারবেন অথবা একই মডেল কম মেমোরি ব্যবহার করে চালাতে পারবেন। এটি বিশেষ করে দীর্ঘ কনটেক্সট প্রসেসিংয়ের জন্য কার্যকর হবে, যেমন চ্যাটবট, ডকুমেন্ট অ্যানালাইসিস এবং কোড জেনারেশন।
ভবিষ্যতে KVarN পদ্ধতি llama.cpp-এর মূল শাখায় যুক্ত হওয়ার সম্ভাবনা রয়েছে। এটি ওপেন সোর্স AI সরঞ্জামের জন্য একটি বড় অগ্রগতি হবে। গবেষকরা ইতিমধ্যেই বলেছেন যে তারা আরও উন্নত বেঞ্চমার্ক এবং বিভিন্ন মডেল আর্কিটেকচারে KVarN-এর কার্যকারিতা পরীক্ষা করবেন।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: Reddit r/LocalLLaMA
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...