৭৪৪ বিলিয়ন প্যারামিটারের AI এখন আপনার ল্যাপটপে, GPU লাগবে না
Colibri নামের একটি নতুন ইনফারেন্স ইঞ্জিন 744 বিলিয়ন প্যারামিটারের GLM-5.2 মডেলকে মাত্র 25 GB RAM-এর ল্যাপটপে চালাতে সক্ষম। এটি মডেলের বিশেষজ্ঞ অংশগুলো ডিস্ক থেকে স্ট্রিম করে, ব্যয়বহুল GPU-র প্রয়োজনীয়তা দূর করে দিয়েছে।
Colibri নামের একটি নতুন ইনফারেন্স ইঞ্জিন 744 বিলিয়ন প্যারামিটারের GLM-5.2 মডেলকে মাত্র 25 GB RAM-এর ল্যাপটপে চালাতে সক্ষম। এটি মডেলের বিশেষজ্ঞ অংশগুলো ডিস্ক থেকে স্ট্রিম করে, ব্যয়বহুল GPU-র প্রয়োজনীয়তা দূর করে দিয়েছে।
এখন আপনার ল্যাপটপেই চলবে পৃথিবীর সবচেয়ে বড় AI মডেলগুলোর একটি। Colibri নামের একটি ওপেন সোর্স ইনফারেন্স ইঞ্জিন GLM-5.2 মডেলকে মাত্র 25 GB RAM-এর ল্যাপটপে চালানোর পথ দেখিয়েছে। Z.ai কর্তৃক প্রকাশিত এই মডেলটিতে 744 বিলিয়ন প্যারামিটার রয়েছে, যা সাধারণত চালানোর জন্য H100 GPU এবং কয়েকশ gigabytes VRAM প্রয়োজন হতো।
Colibri একটি Pure C ভাষায় লেখা ইনফারেন্স ইঞ্জিন। এটি Mixture of Experts বা MoE আর্কিটেকচার ব্যবহার করে। MoE মানে হলো মডেলটি অনেকগুলো ছোট ছোট বিশেষজ্ঞ নেটওয়ার্কে বিভক্ত। প্রতিটি ইনপুটের জন্য শুধুমাত্র প্রাসঙ্গিক বিশেষজ্ঞ সক্রিয় হয়। Colibri-র কৌশল হলো এটি সম্পূর্ণ মডেলটি RAM-এ লোড করে না। পরিবর্তে, এটি প্রয়োজন অনুযায়ী ডিস্ক থেকে বিশেষজ্ঞ অংশগুলো স্ট্রিম করে আনে। এই পদ্ধতি RAM-এর বদলে ডিস্ক I/O ব্যবহার করে। ফলে ব্যয়বহুল GPU-র পরিবর্তে সাধারণ ল্যাপটপেই কাজ চলে।
এই আবিষ্কারের গুরুত্ব অপরিসীম। এখন পর্যন্ত 700 বিলিয়নের বেশি প্যারামিটারের মডেল চালানোর জন্য ক্লাউড সার্ভিস ভাড়া করতে হতো, যার মাসিক খরচ একটি গাড়ির কিস্তির চেয়েও বেশি ছিল। Colibri সেই বাধা ভেঙে দিয়েছে। ডেভেলপাররা এখন নিজের ল্যাপটপে বসেই এই ফ্রন্টিয়ার মডেল নিয়ে পরীক্ষা চালাতে পারবেন। এটি গবেষণা এবং ছোট প্রকল্পের জন্য বিশাল সুযোগ তৈরি করবে।
বাংলাদেশের ডেভেলপার, ফ্রিল্যান্সার এবং শিক্ষার্থীদের জন্য এটি একটি বড় খবর। এখন তারা ব্যয়বহুল ক্লাউড GPU-র উপর নির্ভর না করে নিজেদের ল্যাপটপেই বিশাল AI মডেল নিয়ে কাজ করতে পারবেন। এটি বাংলাদেশের AI গবেষণা এবং অ্যাপ্লিকেশন ডেভেলপমেন্টকে আরও সাশ্রয়ী এবং সহজলভ্য করে তুলবে। বিশেষ করে যারা বড় মডেল নিয়ে পরীক্ষা করতে চান কিন্তু সম্পদের সীমাবদ্ধতায় ছিলেন, তাদের জন্য Colibri একটি গেম চেঞ্জার হতে পারে।
তবে এই প্রযুক্তির কিছু সীমাবদ্ধতাও আছে। ডিস্ক থেকে স্ট্রিমিং করার কারণে ইনফারেন্সের গতি ধীর হতে পারে। দ্রুত SSD ব্যবহার করলে গতি কিছুটা বাড়বে। তবুও, এই পদ্ধতি প্রমাণ করে যে বড় AI মডেলকে সবার জন্য সহজলভ্য করা সম্ভব। Colibri ভবিষ্যতে আরও অপটিমাইজেশন নিয়ে আসতে পারে, যা AI-কে আরও গণতান্ত্রিক করে তুলবে।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: dev.to ML
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...