NVIDIA-র নতুন AI মডেলে সার্ভার গতি দ্বিগুণ, বাংলাদেশি ডেভেলপারদের জন্য বড় সুযোগ
NVIDIA নতুন Nemotron-Labs-3-Puzzle-75B-A9B মডেল প্রকাশ করেছে। এটি একটি কম্প্রেসড হাইব্রিড MoE LLM যা আগের মডেলের তুলনায় ২.০৩ গুণ বেশি সার্ভার থ্রুপুট দেয়। মডেলটির প্যারামিটার সংখ্যা ১২০.৭ বিলিয়ন থেকে কমিয়ে ৭৫.৩ বিলিয়নে আনা হয়েছে।
NVIDIA নতুন Nemotron-Labs-3-Puzzle-75B-A9B মডেল প্রকাশ করেছে। এটি একটি কম্প্রেসড হাইব্রিড MoE LLM যা আগের মডেলের তুলনায় ২.০৩ গুণ বেশি সার্ভার থ্রুপুট দেয়। মডেলটির প্যারামিটার সংখ্যা ১২০.৭ বিলিয়ন থেকে কমিয়ে ৭৫.৩ বিলিয়নে আনা হয়েছে।
NVIDIA সম্প্রতি Nemotron-Labs-3-Puzzle-75B-A9B নামের একটি নতুন লার্জ ল্যাঙ্গুয়েজ মডেল প্রকাশ করেছে। এটি একটি কম্প্রেসড হাইব্রিড মিক্সচার অফ এক্সপার্টস বা MoE মডেল। এই মডেলটি আগের Nemotron-3-Super মডেলের একটি ছোট এবং দ্রুত সংস্করণ।
এই মডেলের সবচেয়ে বড় বৈশিষ্ট্য হলো এর কম্প্রেশন প্রক্রিয়া। গবেষকরা Iterative Puzzle নামের একটি পদ্ধতি ব্যবহার করেছেন। এই পদ্ধতিতে হার্ডওয়্যার-অবগত স্ট্রাকচারাল কম্প্রেশন এবং স্বল্প সময়ের নলেজ ডিস্টিলেশন রিকভারি ফেজ একসঙ্গে চালানো হয়। ফলে মডেলের মোট প্যারামিটার ১২০.৭ বিলিয়ন থেকে নেমে এসেছে ৭৫.৩ বিলিয়নে। একইসঙ্গে অ্যাকটিভ প্যারামিটার কমেছে ১২.৮ বিলিয়ন থেকে ৯.৩ বিলিয়নে।
MarkTechPost এর প্রতিবেদন অনুযায়ী, এই মডেল একটি একক ৮xB200 নোডে ব্যবহারকারী প্রতি ১০০ টোকেন প্রতি সেকেন্ড গতিতে ২.০৩ গুণ বেশি সার্ভার থ্রুপুট দেয়। অর্থাৎ একই হার্ডওয়্যারে আগের চেয়ে দ্বিগুণের বেশি অনুরোধ প্রক্রিয়া করা সম্ভব। H100 GPU তেও এটি চমকপ্রদ পারফরম্যান্স দেখিয়েছে। সেখানে ১ মিলিয়ন টোকেন কনকারেন্সি ১ রিকোয়েস্ট থেকে বেড়ে ৮ রিকোয়েস্টে পৌঁছেছে।
এই মডেলের মূল সুবিধা হলো এটি কম্পিউট রিসোর্স কম ব্যবহার করেও বেশি কাজ করতে পারে। ছোট কোম্পানি এবং স্টার্টআপদের জন্য এটি বড় সুযোগ। কারণ তাদের ব্যয়বহুল হাই-এন্ড সার্ভার কেনার প্রয়োজন কমে যাবে। একই হার্ডওয়্যার দিয়ে আরও বেশি ব্যবহারকারীকে সেবা দেওয়া সম্ভব হবে।
বাংলাদেশের ডেভেলপার, ফ্রিল্যান্সার এবং প্রযুক্তি উদ্যোক্তাদের জন্য এই মডেল গুরুত্বপূর্ণ হতে পারে। স্থানীয় ডাটা সেন্টারে বা ক্লাউড সার্ভারে এই মডেল চালিয়ে কম খরচে AI সেবা দেওয়া যাবে। বিশেষ করে যারা ন্যাচারাল ল্যাঙ্গুয়েজ প্রসেসিং, চ্যাটবট বা কন্টেন্ট জেনারেশন নিয়ে কাজ করেন, তারা উপকৃত হবেন। মডেলটি ওপেন সোর্স না হলেও NVIDIA এর প্ল্যাটফর্মে সহজেই ব্যবহার করা যাবে।
ভবিষ্যতে NVIDIA এই ধরনের কম্প্রেসড মডেলের সংখ্যা আরও বাড়াবে বলে ধারণা করা হচ্ছে। যত বেশি হার্ডওয়্যার-অবগত অপটিমাইজেশন আসবে, ততই AI মডেলগুলো সবার জন্য আরও সুলভ হবে। এটি প্রযুক্তির গণতন্ত্রীকরণে বড় ভূমিকা রাখবে।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: MarkTechPost
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...