Mac-এ AI মডেল ৭ গুণ দ্রুত: oMLX ব্যবহারে কাজের গতি বাড়বে
Mac Studio M2 Max-এ Qwen3.5-35B মডেল চালাতে oMLX Ollama-কে ৭ গুণ পিছনে ফেলেছে। মাল্টি-টার্ন লেটেন্সি ৩০ সেকেন্ড থেকে ৪ সেকেন্ডে নেমে এসেছে শুধু ইনফারেন্স ইঞ্জিন পরিবর্তন করে।
Mac Studio M2 Max-এ Qwen3.5-35B মডেল চালাতে oMLX Ollama-কে ৭ গুণ পিছনে ফেলেছে। মাল্টি-টার্ন লেটেন্সি ৩০ সেকেন্ড থেকে ৪ সেকেন্ডে নেমে এসেছে শুধু ইনফারেন্স ইঞ্জিন পরিবর্তন করে।
একই হার্ডওয়্যার, একই মডেল, কিন্তু কর্মক্ষমতায় ৭ গুণের ব্যবধান। এটি কোনো ভুয়া দাবি নয়, বরং একটি বাস্তব পরীক্ষার ফলাফল। সম্প্রতি একটি ডেভ টু ডেভ পোস্টে প্রকাশিত বেঞ্চমার্কে দেখা গেছে, Mac Studio M2 Max-এ Qwen3.5-35B মডেল চালানোর জন্য oMLX ইনফারেন্স ইঞ্জিন Ollama-কে প্রায় প্রতিটি মেট্রিকে হারিয়ে দিয়েছে।
বাংলাদেশের ডেভেলপার, ফ্রিল্যান্সার এবং এআই গবেষকদের জন্য এই খবর গুরুত্বপূর্ণ। কারণ স্থানীয়ভাবে বড় ভাষার মডেল চালানোর খরচ ও সময় কমানো এখন সম্ভব হচ্ছে। বিশেষ করে যারা ক্লাউড API-এর ওপর নির্ভর না করে নিজের মেশিনে মডেল চালাতে চান, তাদের জন্য oMLX একটি কার্যকর বিকল্প হয়ে উঠতে পারে।
পরীক্ষাটি একটি Mac Studio M2 Max 96GB মেশিনে করা হয়েছে। একই Qwen3.5-35B-A3B মডেল ব্যবহার করে দুটি ইঞ্জিনের তুলনা করা হয়েছে। ফলাফল বলছে, oMLX-এর গড় জেনারেশন স্পিড ৪১.৬ টোকেন প্রতি সেকেন্ড, যেখানে Ollama দিয়েছে ৩০.৯ টোকেন। অর্থাৎ oMLX ৩৫ শতাংশ দ্রুত। মডেল লোডিং সময়েও oMLX এগিয়ে। এটি মাত্র ২০.৮ সেকেন্ডে মডেল লোড করতে পারে, যেখানে Ollama সময় নেয় ২৭ সেকেন্ড।
সবচেয়ে বড় পার্থক্য দেখা গেছে মাল্টি-টার্ন লেটেন্সিতে। যখন একই মডেলের সাথে ধারাবাহিক কথোপকথন চালানো হয়, তখন Ollama-তে প্রতি রেসপন্সের জন্য অপেক্ষা করতে হয় প্রায় ৩০.৬৬ সেকেন্ড। অথচ oMLX-এ এই সময় নেমে আসে মাত্র ৪.৩৭ সেকেন্ডে। এটি প্রায় ৭ গুণ দ্রুত। এই পার্থক্যের মূল কারণ হলো oMLX-এর এসএসডি ক্যাশে সাপোর্ট। এটি হার্ড ড্রাইভের জায়গা ব্যবহার করে ক্যাশিং করতে পারে, যা Ollama-তে নেই।
এপিআই কম্প্যাটিবিলিটির দিক থেকে দুটো ইঞ্জিনই প্রায় সমান। oMLX ওপেনএআই এবং অ্যানথ্রপিক উভয়ের এপিআই স্টাইল সাপোর্ট করে। Ollama শুধু ওপেনএআই এবং নিজস্ব নেটিভ এপিআই দেয়। তবে oMLX বর্তমানে শুধুমাত্র ম্যাক প্ল্যাটফর্মেই কাজ করে।
বাংলাদেশের প্রেক্ষাপটে এই পরীক্ষার ফলাফল বিশেষভাবে প্রাসঙ্গিক। দেশের অনেক ডেভেলপার এবং স্টার্টআপ ম্যাক মিনি বা ম্যাকবুক প্রো ব্যবহার করে ছোট আকারের এআই মডেল চালান। তাদের জন্য oMLX একটি বিনামূল্যের এবং দ্রুততর বিকল্প হতে পারে। যারা ফ্রিল্যান্সিং বা লোকাল এআই অ্যাপ্লিকেশন তৈরি করছেন, তাদের জন্য ৭ গুণ কম লেটেন্সি মানে ব্যবহারকারীর অভিজ্ঞতার ব্যাপক উন্নতি।
ভবিষ্যতে oMLX যদি উইন্ডোজ এবং লিনাক্স প্ল্যাটফর্মেও আসে, তাহলে এটি বিশ্বব্যাপী লোকাল এআই ইনফারেন্সের মানচিত্র বদলে দিতে পারে। আপাতত ম্যাক ব্যবহারকারীদের জন্য এটি একটি শক্তিশালী টুল হিসেবে প্রমাণিত হয়েছে।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: dev.to AI
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...