টারনারি এলএলএম ২ বিলিয়ন প্যারামিটারের বেশি যেতে পারছে না, ভবিষ্যৎ কী?
টারনারি আর্কিটেকচারের এলএলএমগুলো ২ বিলিয়ন প্যারামিটারের বেশি স্কেল করতে পারেনি। ফ্রন্টিয়ার ওপেন ওয়েট ল্যাবগুলো এই পথ এড়িয়ে চলছে। সম্প্রদায়ের আলোচনায় এই প্রযুক্তিকে ডেড এন্ড বলা হচ্ছে।
টারনারি আর্কিটেকচারের এলএলএমগুলো ২ বিলিয়ন প্যারামিটারের বেশি স্কেল করতে পারেনি। ফ্রন্টিয়ার ওপেন ওয়েট ল্যাবগুলো এই পথ এড়িয়ে চলছে। সম্প্রদায়ের আলোচনায় এই প্রযুক্তিকে ডেড এন্ড বলা হচ্ছে।
টারনারি লার্জ ল্যাঙ্গুয়েজ মডেল (LLM) নিয়ে আশা ছিল অনেক। কিন্তু বাস্তবতা ভিন্ন। Reddit-এর r/LocalLLaMA সম্প্রদায়ে BitNet ও অন্যান্য টারনারি মডেলের ভবিষ্যৎ নিয়ে গভীর প্রশ্ন উঠেছে। সর্ববৃহৎ টারনারি মডেলটি এখনো মাত্র ২ বিলিয়ন প্যারামিটারে আটকে আছে।
টারনারি মডেল বলতে বোঝায় এমন নিউরাল নেটওয়ার্ক যেখানে ওজনের মান শুধু -১, ০ এবং +১ এই তিনটি মানে সীমাবদ্ধ। এটি মেমোরি ও শক্তি খরচ ব্যাপকভাবে কমায়। কিন্তু এই সীমাবদ্ধতা মডেলের শেখার ক্ষমতাকে বাধাগ্রস্ত করছে।
ফ্রন্টিয়ার ওপেন ওয়েট ল্যাবগুলো যেমন Meta, Mistral বা Google-এর মতো প্রতিষ্ঠানগুলো এই পথে এগোয়নি। তারা বরং ফুল-প্রেসিশন বা কোয়ান্টাইজড মডেল নিয়ে কাজ করছে। এই সিদ্ধান্তের পেছনে কারণ কী?
গবেষকরা বলছেন, টারনারি আর্কিটেকচার ছোট মডেলের জন্য কার্যকর হলেও বড় মডেলে এর কর্মক্ষমতা কমে যায়। ২ বিলিয়ন প্যারামিটারের বেশি হলে টারনারি মডেলের নির্ভুলতা দ্রুত হ্রাস পায়। অন্যদিকে ফুল-প্রেসিশন মডেল স্কেলিংয়ের সময় ভালো পারফরম্যান্স ধরে রাখে।
কমিউনিটির আলোচনায় একটি গুরুত্বপূর্ণ প্রশ্ন উঠেছে: টারনারি মডেল কি ডেড এন্ড? অনেক ডেভেলপার মনে করেন, এই প্রযুক্তি নির্দিষ্ট কিছু এজ ডিভাইসের জন্য উপযোগী। কিন্তু বৃহৎ ভাষার মডেল তৈরির জন্য এটি যথেষ্ট নয়।
বাংলাদেশের প্রযুক্তি সম্প্রদায়ের জন্য এই আলোচনার গুরুত্ব অনেক। স্থানীয় ডেভেলপার ও গবেষকরা ছোট মডেল দিয়ে কাজ করতে আগ্রহী। টারনারি মডেল যদি সীমিত হয়, তাহলে তাদের বড় মডেলের দিকে ঝুঁকতে হবে। এটি কম্পিউটেশনাল খরচ বাড়িয়ে দেবে।
তবে ভবিষ্যতে টারনারি মডেলের উন্নতি হতে পারে। নতুন অ্যালগরিদম বা হার্ডওয়্যার সাপোর্ট এলে এই সীমাবদ্ধতা কাটিয়ে ওঠা সম্ভব। আপাতত ফ্রন্টিয়ার ল্যাবগুলো টারনারি পথ এড়িয়ে চলছে।
সব মিলিয়ে টারনারি LLM-এর বর্তমান অবস্থা হতাশাজনক। কিন্তু প্রযুক্তির জগতে আজকের ডেড এন্ড আগামীকালের ব্রেকথ্রু হতে পারে। গবেষণা অব্যাহত থাকলে এই পথ নতুন দিগন্ত খুলে দিতে পারে।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: Reddit r/LocalLLaMA
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...