২৩২ মিলিয়ন প্যারামিটারের AI মডেল ট্রান্সফরমারকে চ্যালেঞ্জ জানালো
গবেষকরা Hierarchos নামের একটি 232M প্যারামিটারের রিকারেন্ট মেমরি-অগমেন্টেড ল্যাঙ্গুয়েজ মডেল তৈরি করেছেন। এটি ট্রান্সফরমার আর্কিটেকচারের বিকল্প হিসেবে কাজ করতে পারে। এই প্রাথমিক গবেষণা AI জগতে নতুন দিগন্ত খুলতে পারে।
গবেষকরা Hierarchos নামের একটি 232M প্যারামিটারের রিকারেন্ট মেমরি-অগমেন্টেড ল্যাঙ্গুয়েজ মডেল তৈরি করেছেন। এটি ট্রান্সফরমার আর্কিটেকচারের বিকল্প হিসেবে কাজ করতে পারে। এই প্রাথমিক গবেষণা AI জগতে নতুন দিগন্ত খুলতে পারে।
AI ও প্রযুক্তি জগতে একটি নতুন গবেষণা আলোড়ন সৃষ্টি করেছে। Hierarchos নামের একটি 232M প্যারামিটারের রিকারেন্ট মেমরি-অগমেন্টেড অ্যাসিস্ট্যান্ট মডেল তৈরি করেছেন গবেষকরা। এই মডেলটি সম্পূর্ণ নতুন করে তৈরি করা হয়েছে এবং এটি ট্রান্সফরমার আর্কিটেকচারের ওপর নির্ভর করে না।
গবেষণাপত্রটি Reddit-এর Machine Learning সাবরেডিটে প্রকাশিত হয়েছে। গবেষক দলের নেতৃত্বে ছিলেন Makhi Burroughs এবং Lost Time। এই প্রজেক্টের নাম Hierarchos বা KortexHOS। এটি এখনও প্রাথমিক গবেষণা পর্যায়ে রয়েছে এবং প্রাথমিক ফলাফল প্রকাশ করা হয়েছে।
এই মডেলের সবচেয়ে বড় বৈশিষ্ট্য হলো এটি একটি হাইব্রিড নন-ট্রান্সফরমার মডেল। বর্তমানে ChatGPT, GPT-4, LLaMA-এর মতো সব বড় ভাষার মডেল ট্রান্সফরমার আর্কিটেকচারের ওপর ভিত্তি করে তৈরি। Hierarchos সেই ধারা ভেঙে একটি ভিন্ন পথ দেখিয়েছে। এটি প্রমাণ করে যে ট্রান্সফরমার ছাড়াও কার্যকর ভাষার মডেল তৈরি করা সম্ভব।
মডেলটিতে রিকারেন্ট মেমরি মেকানিজম ব্যবহার করা হয়েছে। এর মানে হলো মডেলটি আগের তথ্য মনে রাখতে পারে এবং সেটি ব্যবহার করে পরবর্তী উত্তর তৈরি করতে পারে। এই পদ্ধতি ট্রান্সফরমার মডেলের চেয়ে কম কম্পিউটেশনাল পাওয়ার ব্যবহার করতে পারে। গবেষকরা জানিয়েছেন, Hierarchos GPT-3 বা GPT-3.5-এর মতো বড় মডেল নয়, তবে এটি একটি সফল প্রমাণ-অব-কনসেপ্ট (proof-of-concept) হিসেবে কাজ করছে।
বাংলাদেশের ডেভেলপার ও ফ্রিল্যান্সারদের জন্য এই গবেষণার গুরুত্ব অনেক। বর্তমানে বড় AI মডেল চালানোর জন্য প্রচুর GPU ও বিদ্যুৎ প্রয়োজন। Hierarchos-এর মতো রিকারেন্ট মডেল কম সম্পদে কাজ করতে পারে। এর ফলে বাংলাদেশের শিক্ষার্থী ও ছোট স্টার্টআপরা নিজেদের মতো করে AI মডেল তৈরি করতে পারবে। এটি ফ্রিল্যান্সারদের জন্য নতুন সুযোগ তৈরি করতে পারে।
গবেষণাটি এখনও প্রাথমিক পর্যায়ে রয়েছে। গবেষকরা আরও বড় মডেল ও আরও উন্নত প্রশিক্ষণের পরিকল্পনা করছেন। Hierarchos দেখিয়েছে যে AI গবেষণায় ট্রান্সফরমার আর্কিটেকচারের বাইরেও সম্ভাবনা রয়েছে। ভবিষ্যতে এই ধরণের মডেল আরও দক্ষ ও সাশ্রয়ী হতে পারে।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: Reddit r/MachineLearning
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...