মাত্র ১২B প্যারামিটারে বড় মডেলের জবাব! এক GPU-তে চালান Inkling-Small
Thinking Machines Lab তাদের নতুন multimodal MoE মডেল Inkling-Small উন্মুক্ত করেছে, যা মাত্র 12B active প্যারামিটার ব্যবহার করেও বড় মডেলের সমান পারফরম্যান্স দেয়। একক NVIDIA B300 GPU-তে চালানোর সুবিধা এই মডেলকে ডেভেলপার ও গবেষকদের জন্য আরও সহজলভ্য করে তুলেছে।
Thinking Machines Lab তাদের নতুন multimodal MoE মডেল Inkling-Small উন্মুক্ত করেছে, যা মাত্র 12B active প্যারামিটার ব্যবহার করেও বড় মডেলের সমান পারফরম্যান্স দেয়। একক NVIDIA B300 GPU-তে চালানোর সুবিধা এই মডেলকে ডেভেলপার ও গবেষকদের জন্য আরও সহজলভ্য করে তুলেছে।
যুক্তরাষ্ট্রের প্রযুক্তি প্রতিষ্ঠান Thinking Machines Lab তাদের নতুন ওপেন ওয়েটস multimodal মডেল Inkling-Small প্রকাশ করেছে। এই মডেলটির মোট প্যারামিটার 276B হলেও সক্রিয় থাকে মাত্র 12B, ফলে এটি আগের বড় মডেল Inkling-এর সমান কর্মক্ষমতা দেয় মাত্র এক-চতুর্থাংশ আকারে। ফলে ডেভেলপাররা এখন কম কম্পিউটিং শক্তিতে উন্নত AI সুবিধা পাবেন।
Inkling-Small একটি Mixture of Experts বা MoE আর্কিটেকচার ব্যবহার করে, যেখানে প্রতিটি কাজের জন্য শুধু প্রাসঙ্গিক অংশ সক্রিয় হয়। এই কৌশলটি মডেলটিকে দ্রুত ও সাশ্রয়ী করে তুলেছে, কারণ পুরো মডেলটি লোড না করেই কাজ চালানো যায়। MarkTechPost-এর প্রতিবেদন অনুযায়ী, এই মডেলের NVFP4 checkpoint একটি মাত্র NVIDIA B300 GPU-তে চালানো সম্ভব, যা ছোট প্রতিষ্ঠান বা ব্যক্তিগত গবেষকদের জন্যও বড় মডেল ব্যবহারের দরজা খুলে দিয়েছে।
মডেলটি multimodal, অর্থাৎ এটি টেক্সট, ছবি এবং অন্যান্য ডেটা একসাথে প্রক্রিয়া করতে পারে। এই বৈশিষ্ট্য এটিকে ইমেজ ক্যাপশনিং, ভিজ্যুয়াল প্রশ্নোত্তর এবং মাল্টিমিডিয়া কনটেন্ট বিশ্লেষণের মতো কাজে কার্যকর করে তুলবে। ওপেন ওয়েটস হওয়ায় ডেভেলপাররা মডেলটিকে নিজেদের ডেটায় ফাইন-টিউন করতে পারবেন, যা নির্দিষ্ট প্রয়োজনে আরও ভালো ফল দেবে।
বাংলাদেশের ডেভেলপার, ফ্রিল্যান্সার এবং AI গবেষকদের জন্য এই মডেল একটি বড় সুযোগ। আগে বড় মডেল চালাতে হলে দামি হার্ডওয়্যার বা ক্লাউড সার্ভিসের প্রয়োজন হতো, কিন্তু Inkling-Small-এর NVFP4 ভার্সন একটি মাত্র GPU-তে চলে, যা খরচ অনেক কমিয়ে দেবে। শিক্ষার্থী বা স্টার্টআপরা এখন নিজস্ব সেটআপে এই মডেল ব্যবহার করে AI-ভিত্তিক অ্যাপ, কনটেন্ট টুল বা রিসার্চ প্রজেক্ট করতে পারবেন।
এই মডেলটি ওপেন সোর্স সম্প্রদায়ের জন্যও গুরুত্বপূর্ণ, কারণ এটি বড় মডেলের কর্মক্ষমতাকে ছোট আকারে পৌঁছে দেওয়ার একটি উল্লেখযোগ্য উদাহরণ। Thinking Machines Lab-এর এই পদক্ষেপ ভবিষ্যতে আরও সাশ্রয়ী ও সহজলভ্য AI মডেল তৈরির পথ দেখাবে। যারা এই মডেলটি ব্যবহার করতে চান, তারা প্রতিষ্ঠানটির অফিসিয়াল ওয়েবসাইট থেকে ওজন ডাউনলোড করে শুরু করতে পারবেন।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: MarkTechPost
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...