ট্রিলিয়ন প্যারামিটার AI মডেল এখন ওপেন সোর্স, বাংলাদেশি গবেষকদের জন্য বড় সুযোগ
Prime Intellect তাদের ওপেন সোর্স ফ্রেমওয়ার্ক prime-rl-এর নতুন ভার্সন 0.6.0 প্রকাশ করেছে। এটি ট্রিলিয়ন প্যারামিটার MoE মডেলকে অ্যাসিনক্রোনাস রিইনফোর্সমেন্ট লার্নিংয়ে প্রশিক্ষণ দিতে সক্ষম। এই রিলিজ দিয়ে তারা GLM-5 মডেলকে অত্যন্ত দীর্ঘ সিকোয়েন্স দৈর্ঘ্যে সফলভাবে প্রশিক্ষণ দিয়েছে।
Prime Intellect তাদের ওপেন সোর্স ফ্রেমওয়ার্ক prime-rl-এর নতুন ভার্সন 0.6.0 প্রকাশ করেছে। এটি ট্রিলিয়ন প্যারামিটার MoE মডেলকে অ্যাসিনক্রোনাস রিইনফোর্সমেন্ট লার্নিংয়ে প্রশিক্ষণ দিতে সক্ষম। এই রিলিজ দিয়ে তারা GLM-5 মডেলকে অত্যন্ত দীর্ঘ সিকোয়েন্স দৈর্ঘ্যে সফলভাবে প্রশিক্ষণ দিয়েছে।
Prime Intellect তাদের ওপেন সোর্স ফ্রেমওয়ার্ক prime-rl-এর নতুন ভার্সন 0.6.0 প্রকাশ করেছে। এই ভার্সনটি ট্রিলিয়ন প্যারামিটার Mixture-of-Experts বা MoE মডেলের জন্য অ্যাসিনক্রোনাস রিইনফোর্সমেন্ট লার্নিং সক্ষম করে। MarkTechPost জানিয়েছে, এই ফ্রেমওয়ার্ক ব্যবহার করে তারা GLM-5 মডেলকে SWE টাস্কে প্রশিক্ষণ দিয়েছে।
এই রিলিজের সবচেয়ে বড় অগ্রগতি হলো মডেল প্রশিক্ষণের গতি ও দক্ষতা। আগের চেয়ে অনেক বড় মডেল এখন অনেক কম সময়ে প্রশিক্ষণ দেওয়া সম্ভব হচ্ছে। এটি কৃত্রিম বুদ্ধিমত্তার জগতে একটি বড় পরিবর্তন আনতে পারে। বিশেষ করে যারা বড় ভাষার মডেল নিয়ে কাজ করেন তাদের জন্য এটি অত্যন্ত গুরুত্বপূর্ণ।
প্রযুক্তিগত দিক থেকে prime-rl 0.6.0 অনেক উন্নত ফিচার নিয়ে এসেছে। এতে রয়েছে FP8 ইনফারেন্স যা মডেলের গণনা দ্রুত করে। Wide Expert Parallelism নামক একটি কৌশল ব্যবহার করা হয়েছে যা একাধিক GPU জুড়ে কাজ ভাগ করে নেয়। এছাড়াও prefill এবং decode ডিসঅ্যাগ্রিগেশন, রাউটার রিপ্লে, এবং 3-D প্যারালালিজম FSDP, EP, CP অন্তর্ভুক্ত রয়েছে।
Prime Intellect জানিয়েছে, তারা GLM-5 মডেলকে 131k সিকোয়েন্স দৈর্ঘ্য পর্যন্ত প্রশিক্ষণ দিয়েছে। প্রতিটি স্টেপের সময় ছিল 5 মিনিটের কম। তারা মোট 256টি রোলআউট ব্যবহার করেছে এবং 28টি H200 নোডে এই প্রশিক্ষণ চালিয়েছে। এই সংখ্যাগুলো দেখায় যে ফ্রেমওয়ার্কটি কতটা শক্তিশালী এবং দক্ষ।
বাংলাদেশের ডেভেলপার ও গবেষকদের জন্য এই খবর অত্যন্ত গুরুত্বপূর্ণ। ওপেন সোর্স হওয়ায় যে কেউ এই ফ্রেমওয়ার্ক ব্যবহার করতে পারবেন। স্থানীয় স্টার্টআপ ও শিক্ষাপ্রতিষ্ঠান এখন বড় ভাষার মডেল নিয়ে পরীক্ষা-নিরীক্ষা চালাতে পারবে। এটি বাংলাদেশের এআই গবেষণাকে আরও এগিয়ে নিয়ে যেতে সাহায্য করবে।
প্রযুক্তি বিশেষজ্ঞরা মনে করছেন, prime-rl 0.6.0 ভবিষ্যতে আরও বড় মডেল তৈরির পথ খুলে দেবে। এই ফ্রেমওয়ার্ক ব্যবহার করে গবেষকরা আরও উন্নত এআই সিস্টেম তৈরি করতে পারবেন। Prime Intellect ঘোষণা করেছে যে তারা এই ফ্রেমওয়ার্কের উন্নয়ন চালিয়ে যাবে এবং আরও নতুন ফিচার যুক্ত করবে।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: MarkTechPost
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...