সাধারণ CPU-তেই AI ৩ গুণ দ্রুত হবে, GPU ছাড়াই লাভবান হবেন ফ্রিল্যান্সাররা
দুই বছরের পুরনো স্টার্টআপ Mindbeam AI Inc. Litespark-Inference নামের একটি ওপেন সোর্স ফ্রেমওয়ার্ক প্রকাশ করেছে। এটি সাধারণ কনজিউমার CPU-তে বড় ভাষার মডেল চালানোর গতি ব্যাপকভাবে বাড়িয়ে দেবে, যা GPU-র ওপর নির্ভরতা কমাতে পারে।
দুই বছরের পুরনো স্টার্টআপ Mindbeam AI Inc. Litespark-Inference নামের একটি ওপেন সোর্স ফ্রেমওয়ার্ক প্রকাশ করেছে। এটি সাধারণ কনজিউমার CPU-তে বড় ভাষার মডেল চালানোর গতি ব্যাপকভাবে বাড়িয়ে দেবে, যা GPU-র ওপর নির্ভরতা কমাতে পারে।
দুই বছরের পুরনো স্টার্টআপ Mindbeam AI Inc. আজ একটি ওপেন সোর্স আর্টিফিশিয়াল ইন্টেলিজেন্স ইনফারেন্স ফ্রেমওয়ার্ক প্রকাশ করেছে। ফ্রেমওয়ার্কটির নাম Litespark-Inference। এটি বড় ভাষার মডেলকে সাধারণ কনজিউমার প্রসেসরে আরও কার্যকরভাবে চালানোর জন্য ডিজাইন করা হয়েছে।
SiliconAngle AI-এর এক্সক্লুসিভ রিপোর্ট অনুযায়ী, এই ফ্রেমওয়ার্কটি টারনারি লার্জ ল্যাঙ্গুয়েজ মডেল চালাতে পারে। টারনারি এলএলএম হলো সেই মডেল যা তথ্য সংরক্ষণের জন্য মাত্র তিনটি মান ব্যবহার করে। এর ফলে মডেলটির আকার অনেক ছোট হয় এবং এটি CPU-তে দ্রুত চলে।
Mindbeam AI দাবি করছে যে Litespark-Inference আগের যেকোনো CPU-ভিত্তিক সমাধানের চেয়ে ৩ গুণ বেশি পারফরম্যান্স দিতে পারে। এই উন্নতি AI ওয়ার্কলোডের জন্য দামি GPU-র ওপর নির্ভরতা কমিয়ে দিতে পারে। বিশেষ করে ছোট ব্যবসা এবং ডেভেলপারদের জন্য এটি বড় সুবিধা হবে।
প্রযুক্তিগতভাবে, এই ফ্রেমওয়ার্কটি মেমোরি ব্যবহার এবং প্রসেসিং সময় উভয়ই কমিয়ে আনে। সাধারণত বড় ভাষার মডেল চালানোর জন্য GPU প্রয়োজন হয় কারণ CPU-তে তা খুব ধীরগতিতে চলে। কিন্তু টারনারি মডেল এবং Litespark-Inference-এর অপ্টিমাইজেশন একে CPU-তেও দ্রুত করে তুলেছে।
বাংলাদেশের ডেভেলপার, ফ্রিল্যান্সার এবং শিক্ষার্থীদের জন্য এই খবর বিশেষভাবে গুরুত্বপূর্ণ। দেশে GPU-র মূল্য অনেক বেশি এবং সহজলভ্যতা সীমিত। এখন তারা নিজেদের সাধারণ ল্যাপটপ বা ডেস্কটপেই AI মডেল চালাতে পারবেন। এটি AI গবেষণা এবং অ্যাপ ডেভেলপমেন্টের খরচ অনেক কমিয়ে দেবে।
তবে মনে রাখতে হবে, এই ফ্রেমওয়ার্ক শুধুমাত্র টারনারি মডেলের জন্য কাজ করে। পূর্ণাঙ্গ ফ্লোটিং-পয়েন্ট মডেল এখনও GPU-তেই ভালো চলে। তবুও, যারা দ্রুত প্রোটোটাইপ তৈরি করতে চান বা ছোট অ্যাপ্লিকেশন বানাতে চান, তাদের জন্য এটি একটি শক্তিশালী টুল হয়ে উঠতে পারে।
ভবিষ্যতে Mindbeam AI আরও উন্নত ভার্সন প্রকাশ করতে পারে। কোম্পানিটি ইতিমধ্যেই জানিয়েছে যে তারা এই ফ্রেমওয়ার্কটিকে ওপেন সোর্স সম্প্রদায়ের কাছে উন্মুক্ত করে দিয়েছে। ফলে যে কেউ এটি ব্যবহার এবং উন্নত করতে পারবেন।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: SiliconAngle AI
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...