স্মার্টফোনে AI মডেল ৪২ গুণ দ্রুত, llada.cpp এনে দিল নতুন সুযোগ
গবেষকরা প্রথমবারের মতো স্মার্টফোনের NPU ব্যবহার করে ডিফিউশন AI মডেল চালানোর কাঠামো তৈরি করেছেন। llada.cpp নামের এই ফ্রেমওয়ার্ক LLaDA-8B মডেলের লেটেন্সি 17 থেকে 42 গুণ কমিয়ে এনেছে। ফলে বড় ভাষার মডেল এখন মোবাইল ডিভাইসেই রিয়েল-টাইমে কাজ করতে পারবে।
গবেষকরা প্রথমবারের মতো স্মার্টফোনের NPU ব্যবহার করে ডিফিউশন AI মডেল চালানোর কাঠামো তৈরি করেছেন। llada.cpp নামের এই ফ্রেমওয়ার্ক LLaDA-8B মডেলের লেটেন্সি 17 থেকে 42 গুণ কমিয়ে এনেছে। ফলে বড় ভাষার মডেল এখন মোবাইল ডিভাইসেই রিয়েল-টাইমে কাজ করতে পারবে।
মোবাইল ডিভাইসে বড় ভাষার মডেল চালানো এখন আর ধীরগতির স্বপ্ন নয়। গবেষকরা llada.cpp নামের একটি নতুন ফ্রেমওয়ার্ক তৈরি করেছেন যা স্মার্টফোনের NPU ব্যবহার করে LLaDA-8B মডেলের গতি 17 থেকে 42 গুণ বাড়িয়ে দিয়েছে। এই প্রথম কোনো ফ্রেমওয়ার্ক ডিফিউশন ল্যাঙ্গুয়েজ মডেলের জন্য NPU-সচেতন ইনফারেন্স কাঠামো তৈরি করল।
এই আবিষ্কার মোবাইল AI ব্যবহারের একটি বড় মাইলফলক। NPU বা নিউরাল প্রসেসিং ইউনিট হল স্মার্টফোনের বিশেষ চিপ যা AI কাজের জন্য তৈরি। llada.cpp এই NPU-কে কাজে লাগিয়ে CPU-র তুলনায় অনেক দ্রুত ফলাফল দিচ্ছে। গবেষণাপত্রটি arXiv-এ প্রকাশ করেছে তুওয়েই ওয়াং এবং তার দল।
গবেষকরা OnePlus Ace5 Pro ফোনে পরীক্ষা চালিয়েছেন যাতে SM8750 SoC ব্যবহার করা হয়েছে। এই ফোনে LLaDA-8B মডেলের আউটপুট জেনারেশনের সময় CPU-র তুলনায় 17 থেকে 42 গুণ কমেছে। সবচেয়ে বড় কথা, গতি বাড়লেও আউটপুটের মান আগের মতোই রয়েছে। মডেলটি আগের মতোই নির্ভুল এবং কার্যকরী উত্তর দিচ্ছে।
llada.cpp তিনটি মূল বৈশিষ্ট্য নিয়ে এসেছে। প্রথমত, এটি NPU-তে ডিফিউশন স্টেপ গণনা করতে পারে যা সবচেয়ে সময়সাপেক্ষ কাজ। দ্বিতীয়ত, এটি মেমোরি ব্যবহার অপ্টিমাইজ করে ফোনের সীমিত সম্পদকে কাজে লাগায়। তৃতীয়ত, এটি বিভিন্ন স্মার্টফোনের NPU-র সঙ্গে মানিয়ে নিতে পারে। এই তিনটি বৈশিষ্ট্য মিলিয়েই এত বড় গতির উন্নতি সম্ভব হয়েছে।
বাংলাদেশের ডেভেলপার, ফ্রিল্যান্সার এবং শিক্ষার্থীদের জন্য এই খবর অত্যন্ত গুরুত্বপূর্ণ। এখন তারা নিজেদের ফোনেই বড় AI মডেল চালাতে পারবেন যার জন্য আগে শক্তিশালী কম্পিউটার বা ক্লাউড সার্ভিস প্রয়োজন হতো। ছোট অ্যাপ ডেভেলপাররাও কম খরচে AI ফিচার যুক্ত করতে পারবেন। শিক্ষার্থীরা গবেষণার জন্য ব্যয়বহুল হার্ডওয়্যার ছাড়াই AI নিয়ে পরীক্ষা চালাতে পারবেন।
ভবিষ্যতে llada.cpp আরও বেশি মডেল এবং ফোনে কাজ করবে বলে আশা করা যাচ্ছে। গবেষকরা ইতিমধ্যেই অন্যান্য ডিফিউশন মডেলের জন্য এই ফ্রেমওয়ার্ক সম্প্রসারণের কাজ শুরু করেছেন। মোবাইল AI-র এই নতুন পথ বাংলাদেশের প্রযুক্তি খাতে বড় পরিবর্তন আনতে পারে।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: dev.to ML
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...