বাংলাদেশে এখন ছোট ডিভাইসেও চালানো যাবে বড় AI, ওপেন সোর্স NanoQuant-এ
একটি নতুন কোয়ান্টাইজেশন পদ্ধতি NanoQuant এখন ওপেন সোর্স। এটি ঘন ট্রান্সফরমার মডেলের ওজন মাত্র 0.5 বিটে নামিয়ে আনতে পারে, যা ছোট ডিভাইসে বড় AI মডেল চালানোর পথ খুলে দেয়।
একটি নতুন কোয়ান্টাইজেশন পদ্ধতি NanoQuant এখন ওপেন সোর্স। এটি ঘন ট্রান্সফরমার মডেলের ওজন মাত্র 0.5 বিটে নামিয়ে আনতে পারে, যা ছোট ডিভাইসে বড় AI মডেল চালানোর পথ খুলে দেয়।
AI মডেলকে ছোট করার এক নতুন দিগন্ত উন্মোচন করেছে NanoQuant। গবেষক চং ও তার দলের 2026 সালের গবেষণাপত্রের একটি কমিউনিটি ইমপ্লিমেন্টেশন এখন GitHub-এ পাওয়া যাচ্ছে। এই পদ্ধতি পোস্ট-ট্রেনিং কোয়ান্টাইজেশন ব্যবহার করে। অর্থাৎ মডেলকে পুরোপুরি নতুন করে প্রশিক্ষণ না দিয়েই তার আকার কমানো যায়।
NanoQuant-এর সবচেয়ে বড় বৈশিষ্ট্য হলো এটি অত্যন্ত নিম্ন-বিট কোয়ান্টাইজেশন সক্ষম করে। একটি মডেলের প্রতিটি প্যারামিটার বা ওজন সাধারণত 16 বা 32 বিটের হয়। NanoQuant সেটিকে 2 বিট, 1 বিট এমনকি 0.5 বিটে নামিয়ে আনতে পারে। এর ফলে মডেলের মেমোরি ব্যবহার নাটকীয়ভাবে কমে যায়।
একটি ঘন ট্রান্সফরমার মডেলের জন্য এটি বিশেষভাবে গুরুত্বপূর্ণ। ঘন মডেলগুলোতে সব প্যারামিটার সক্রিয় থাকে। তাই এগুলোকে ছোট করা কঠিন। NanoQuant সেই বাধা ভেঙে দিয়েছে। এখন একটি বড় ভাষার মডেল যেমন LLaMA-কে মাত্র কয়েকশ মেগাবাইট মেমোরিতে চালানোর সম্ভাবনা তৈরি হয়েছে।
এই ইমপ্লিমেন্টেশনটি তৈরি করেছেন পিটবক্স46 নামের একজন ডেভেলপার। তিনি মূল NanoQuant টিমের সাথে যুক্ত নন। তার কাজ এখনও চলমান এবং তিনি একে একটি ওয়ার্ক ইন প্রোগ্রেস বলেছেন। তবু প্রাথমিক ফলাফল অত্যন্ত আশাব্যঞ্জক। মডেলের নির্ভুলতা অনেকটাই ধরে রাখা সম্ভব হচ্ছে।
বাংলাদেশের ডেভেলপার ও ফ্রিল্যান্সারদের জন্য এই খবর অত্যন্ত প্রাসঙ্গিক। এখন তারা নিজেদের ল্যাপটপ বা এমনকি মোবাইল ডিভাইসে বড় AI মডেল চালাতে পারবেন। এর জন্য ব্যয়বহুল GPU বা ক্লাউড সার্ভিসের প্রয়োজন হবে না। শিক্ষার্থী ও গবেষকরাও কম খরচে মডেল নিয়ে পরীক্ষা চালাতে পারবেন।
NanoQuant এখনও গবেষণার স্তরে আছে। তবে এর সম্ভাবনা বিশাল। এটি বিশেষ করে এজ ডিভাইস, যেমন স্মার্টফোন বা IoT ডিভাইসের জন্য আদর্শ। ভবিষ্যতে আরও অপ্টিমাইজেশন ও কমিউনিটি কন্ট্রিবিউশন এটিকে আরও শক্তিশালী করবে।
যারা নিজেরাই এটি পরীক্ষা করতে চান, তারা GitHub রিপোজিটরিতে গিয়ে কোড দেখতে পারেন। পদ্ধতিটি এখনো নিখুঁত নয়, তবে এটি একটি বড় পদক্ষেপ। ছোট ডিভাইসে বড় মডেল চালানোর স্বপ্ন বাস্তবে রূপ নিচ্ছে।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: Reddit r/LocalLLaMA
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...