NVIDIA-র নতুন AI মডেল বাংলাদেশের ডেভেলপারদের কাজের গতি দ্বিগুণ করবে
NVIDIA একটি কম্প্রেসড হাইব্রিড MoE মডেল প্রকাশ করেছে। এটি তার পূর্বসূরির তুলনায় মাত্র 75.3 বিলিয়ন প্যারামিটার নিয়ে 2 গুণ বেশি সার্ভার থ্রুপুট দেয়। বাংলাদেশের ডেভেলপার ও গবেষকদের জন্য এটি বড় সুযোগ এনে দিতে পারে।
NVIDIA একটি কম্প্রেসড হাইব্রিড MoE মডেল প্রকাশ করেছে। এটি তার পূর্বসূরির তুলনায় মাত্র 75.3 বিলিয়ন প্যারামিটার নিয়ে 2 গুণ বেশি সার্ভার থ্রুপুট দেয়। বাংলাদেশের ডেভেলপার ও গবেষকদের জন্য এটি বড় সুযোগ এনে দিতে পারে।
NVIDIA সম্প্রতি তাদের নতুন AI মডেল Nemotron-Labs-3-Puzzle-75B-A9B প্রকাশ করেছে। এটি একটি কম্প্রেসড হাইব্রিড মিক্সচার-অফ-এক্সপার্টস (MoE) লার্জ ল্যাঙ্গুয়েজ মডেল (LLM)। MarkTechPost এই খবর নিশ্চিত করেছে।
এই মডেলটি NVIDIA-র পূর্ববর্তী Nemotron-3-Super মডেলের একটি সংকুচিত সংস্করণ। Iterative Puzzle নামক একটি বিশেষ কম্প্রেশন কৌশল ব্যবহার করে প্যারামিটারের সংখ্যা 120.7 বিলিয়ন থেকে কমিয়ে 75.3 বিলিয়নে আনা হয়েছে। একইসঙ্গে সক্রিয় প্যারামিটার কমে 12.8 বিলিয়ন থেকে 9.3 বিলিয়নে দাঁড়িয়েছে।
Iterative Puzzle পদ্ধতি দুটি ধাপে কাজ করে। প্রথমে এটি হার্ডওয়্যার-সচেতন স্ট্রাকচারাল কম্প্রেশন চালায়। তারপর একটি ছোট নলেজ ডিস্টিলেশন রিকভারি ফেজ চলে। এই প্রক্রিয়ায় মডেলের গুণগত মান প্রায় অক্ষুণ্ণ থাকে কিন্তু আকার অনেক ছোট হয়ে যায়।
ফলাফল হিসেবে এই মডেল একটি একক 8xB200 নোডে 2.03 গুণ বেশি সার্ভার থ্রুপুট দিতে সক্ষম। অর্থাৎ প্রতি ব্যবহারকারীর জন্য প্রতি সেকেন্ডে 100 টোকেন গতিতে এটি আগের মডেলের চেয়ে দ্বিগুণের বেশি কাজ করতে পারে। একটি মাত্র H100 GPU-তে 1 মিলিয়ন টোকেনের কনকারেন্সি আগে যেখানে 1টি রিকোয়েস্ট ছিল, সেখানে এখন 8টি রিকোয়েস্ট পরিচালনা করা যায়।
এই মডেলটি মূলত বড় আকারের AI সার্ভিস চালানোর জন্য ডিজাইন করা হয়েছে। যেখানে একাধিক ব্যবহারকারী একইসঙ্গে মডেল ব্যবহার করেন, সেখানে এটি বিশেষভাবে কার্যকর। কম প্যারামিটার এবং বেশি থ্রুপুট মানে কম খরচ ও দ্রুত সেবা।
বাংলাদেশের ডেভেলপার ও ফ্রিল্যান্সারদের জন্য এটি একটি গুরুত্বপূর্ণ খবর। যারা AI-ভিত্তিক অ্যাপ্লিকেশন তৈরি করেন, তারা এই মডেল ব্যবহার করে আরও কম্পিউটেশনাল রিসোর্সে বেশি কাজ করতে পারবেন। বিশেষ করে যারা ক্লাউড সার্ভিস বা স্থানীয় সার্ভারে মডেল চালান, তাদের জন্য এটি খরচ কমাতে সাহায্য করবে। শিক্ষার্থী ও গবেষকরাও ছোট আকারের মডেল নিয়ে পরীক্ষা-নিরীক্ষা চালাতে পারবেন।
NVIDIA এই মডেলটি ওপেন সোর্স হিসেবে প্রকাশ করেছে কি না তা এখনও স্পষ্ট নয়। তবে প্রযুক্তি বিশ্লেষকরা মনে করছেন, এটি AI শিল্পে আরও দক্ষ মডেল তৈরির দিকে একটি বড় পদক্ষেপ। ভবিষ্যতে আরও ছোট ও দ্রুত মডেলের প্রবণতা বাড়বে।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: MarkTechPost
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...