বাংলাদেশে AI মডেলের নতুন চ্যালেঞ্জ: বড় মডেল কেন ছোটের চেয়ে খারাপ পারফর্ম করলো
একজন ডেভেলপার CPU-তে চালানোর জন্য Hillock নামে একটি অফলাইন মেমরি লেয়ার তৈরি করেছেন। কিন্তু পরীক্ষায় দেখা গেছে, বড় 7B মডেলটি ছোট 1.5B মডেলের চেয়ে খারাপ ফল দিয়েছে। কারণ মেমরি গেটটি ছোট মডেলের জন্য 'অতিরিক্ত স্মার্ট' ছিল।
একজন ডেভেলপার CPU-তে চালানোর জন্য Hillock নামে একটি অফলাইন মেমরি লেয়ার তৈরি করেছেন। কিন্তু পরীক্ষায় দেখা গেছে, বড় 7B মডেলটি ছোট 1.5B মডেলের চেয়ে খারাপ ফল দিয়েছে। কারণ মেমরি গেটটি ছোট মডেলের জন্য 'অতিরিক্ত স্মার্ট' ছিল।
একজন ডেভেলপার স্থানীয় এবং সম্পূর্ণ অফলাইন মেমরি লেয়ার তৈরি করেছেন যা CPU-তে চলে। এই প্রকল্পটির নাম Hillock, যা মানব নিউরনের Axon Hillock থেকে অনুপ্রাণিত। পরীক্ষায় দেখা গেছে, একটি 7B প্যারামিটার মডেল 1.5B প্যারামিটার মডেলের চেয়ে খারাপ পারফর্ম করেছে।
এই গবেষণাটি dev.to AI প্ল্যাটফর্মে প্রকাশিত হয়েছে। ডেভেলপার জানিয়েছেন, Hillock এমন একটি সিস্টেম যা ভারী নিউরাল ভেক্টর ডেটাবেস বা মূল্যবান VRAM ব্যবহার না করেই স্থানীয় LLM-এর জন্য হালকা মেমরি সরবরাহ করে। এটি CPU-তে চলে, তাই ব্যয়বহুল GPU ছাড়াই ব্যবহার করা যায়।
Hillock-এর মূল ধারণা হলো জৈবিক নিউরনের অ্যাক্সন হিলকের মতো কাজ করা। মানব মস্তিষ্কের এই অংশটি আগত বৈদ্যুতিক চার্জ যোগ করে এবং সিদ্ধান্ত নেয় যে নিউরনটি ফায়ার করবে কিনা। একইভাবে, Hillock মেমরি গেট হিসেবে কাজ করে এবং মডেলের জন্য প্রাসঙ্গিক তথ্য নির্বাচন করে।
তবে পরীক্ষায় একটি অপ্রত্যাশিত ফলাফল দেখা গেছে। 7B প্যারামিটার মডেলটি 1.5B মডেলের চেয়ে ১৫ শতাংশ বেশি ভুল উত্তর দিয়েছে। ডেভেলপার ব্যাখ্যা করেছেন, Hillock-এর মেমরি গেটটি বড় মডেলের জটিল চিন্তাধারার জন্য তৈরি করা হয়েছিল। কিন্তু ছোট মডেলের কাছে এটি অতিরিক্ত স্মার্ট প্রমাণিত হয়েছে। মেমরি গেটটি এমন তথ্য ফিল্টার করেছে যা ছোট মডেলের বুঝতে অসুবিধা হয়েছিল।
বাংলাদেশের প্রেক্ষাপটে এই গবেষণা বিশেষ গুরুত্বপূর্ণ। দেশের অনেক ডেভেলপার এবং ফ্রিল্যান্সার সীমিত সম্পদ নিয়ে কাজ করেন। তাদের কাছে দামি GPU বা ক্লাউড সার্ভিস সবসময় সহজলভ্য নয়। CPU-তে চলা একটি অফলাইন AI মেমরি সিস্টেম তাদের জন্য বড় সুযোগ তৈরি করতে পারে। ছোট মডেল ব্যবহার করে স্থানীয়ভাবে কাজ চালানো সম্ভব হবে।
Hillock এখনো উন্নয়নের প্রাথমিক পর্যায়ে আছে। ডেভেলপার জানিয়েছেন, এটি কোনো নিখুঁত সাফল্য নয়। তবে এই প্রকল্প দেখায় যে স্থানীয় AI মেমরি তৈরি করা সম্ভব। ভবিষ্যতে মেমরি গেটের ডিজাইন পরিবর্তন করে ছোট এবং বড় উভয় মডেলের জন্য সমান কার্যকর করা যেতে পারে।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: dev.to AI
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...