মোবাইল ও রাস্পবেরি পাই-তে এখন চালানো যাবে গুগলের জেমা-৪ মডেল
llama.cpp-এ নতুন Pull Request যুক্ত করেছে MTP সাপোর্ট। এর ফলে Gemma-4 E2B ও E4B অ্যাসিস্ট্যান্টরা চলবে মোবাইল, Raspberry Pi ও পুরনো হার্ডওয়্যারে। প্রযুক্তি প্রতিবেদনে বিস্তারিত।
llama.cpp-এ নতুন Pull Request যুক্ত করেছে MTP সাপোর্ট। এর ফলে Gemma-4 E2B ও E4B অ্যাসিস্ট্যান্টরা চলবে মোবাইল, Raspberry Pi ও পুরনো হার্ডওয়্যারে। প্রযুক্তি প্রতিবেদনে বিস্তারিত।
ছোট ডিভাইসে বড় AI মডেল চালানোর স্বপ্ন আরও একধাপ এগিয়েছে। জনপ্রিয় ওপেন সোর্স টুল llama.cpp-এ একটি নতুন Pull Request যুক্ত হয়েছে। এই পুল রিকোয়েস্টটি MTP বা Multi-Token Prediction সাপোর্ট এনেছে Gemma-4 E2B ও E4B অ্যাসিস্ট্যান্টদের জন্য।
MTP সাপোর্টের সবচেয়ে বড় সুবিধা হলো এটি অত্যন্ত কম শক্তির ডিভাইসে কাজ করতে পারে। এর মধ্যে রয়েছে মোবাইল ফোন, Raspberry Pi এবং পুরনো বা দুর্বল হার্ডওয়্যার। সাধারণত বড় ভাষার মডেল চালানোর জন্য শক্তিশালী GPU বা প্রচুর RAM প্রয়োজন হয়। কিন্তু MTP সাপোর্ট এই বাধা দূর করছে।
এই পুল রিকোয়েস্টটি তৈরি করেছেন ডেভেলপার max-krasnyansky। তিনি ggml-org/llama.cpp রিপোজিটরিতে এটি জমা দিয়েছেন। Reddit-এর r/LocalLLaMA সাবরেডিটে বিষয়টি নিয়ে আলোচনা শুরু হয়েছে। একজন ব্যবহারকারী মজা করে বলেছেন, এটি পিঁপড়েদের জন্যও কাজ করবে।
প্রযুক্তিগত দিক থেকে MTP একটি উন্নত পদ্ধতি। এটি একসঙ্গে একাধিক টোকেন ভবিষ্যদ্বাণী করতে পারে। প্রচলিত পদ্ধতিতে একটি করে টোকেন ভবিষ্যদ্বাণী করতে হয়। MTP সেই প্রক্রিয়াকে দ্রুততর করে। এর ফলে ছোট মডেলগুলোও দ্রুত ও নির্ভুল উত্তর দিতে পারে।
Gemma-4 মডেল দুটি ভিন্ন আকারে আসে। E2B এবং E4B সংস্করণ দুটি ছোট আকারের জন্য ডিজাইন করা হয়েছে। এরা খুব কম মেমোরি ব্যবহার করে। MTP সাপোর্ট যুক্ত হওয়ায় এদের পারফরম্যান্স আরও উন্নত হবে।
বাংলাদেশের ডেভেলপার ও ফ্রিল্যান্সারদের জন্য এই খবর অত্যন্ত গুরুত্বপূর্ণ। দেশে অনেক শিক্ষার্থী ও প্রযুক্তি উৎসাহী আছেন যাদের কাছে দামি GPU নেই। তারা এখন তাদের পুরনো ল্যাপটপ বা Raspberry Pi-তে Gemma-4 মডেল চালাতে পারবেন। এটি লোকাল AI গবেষণা ও অ্যাপ ডেভেলপমেন্টের পথ খুলে দেবে।
ছোট ব্যবসা ও স্টার্টআপগুলোর জন্যও এটি সুবিধাজনক। তারা ক্লাউড সার্ভিস ছাড়াই নিজেদের ডিভাইসে AI অ্যাসিস্ট্যান্ট চালাতে পারবে। এতে খরচ কমবে এবং ডেটা গোপনীয়তা রক্ষা পাবে। শিক্ষার্থীরা AI মডেল নিয়ে পরীক্ষা-নিরীক্ষা করতে পারবেন বিনা খরচে।
ভবিষ্যতে এই প্রযুক্তি আরও ছোট ডিভাইসে পৌঁছাবে। এআই এখন শুধু বড় কোম্পানির জন্য নয়, বরং সবার জন্য উন্মুক্ত হচ্ছে। এই ধরনের ওপেন সোর্স উদ্যোগই সেই স্বপ্নকে বাস্তবে রূপ দিচ্ছে।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: Reddit r/LocalLLaMA
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...