4GB GPU-তে 70B AI মডেল চালানো যাবে, কিন্তু ধীরগতিতে কাজ হবে অচল
AirLLM-এর দাবি, কোনো quantization বা pruning ছাড়াই 4GB GPU-তে 70B প্যারামিটারের বিশাল ভাষা মডেল চালানো যায়। প্রযুক্তিগতভাবে সত্য হলেও ধীরগতির কারণে রিয়েল-টাইম কাজে এটি ব্যবহার করা কার্যকর নয়।
AirLLM-এর দাবি, কোনো quantization বা pruning ছাড়াই 4GB GPU-তে 70B প্যারামিটারের বিশাল ভাষা মডেল চালানো যায়। প্রযুক্তিগতভাবে সত্য হলেও ধীরগতির কারণে রিয়েল-টাইম কাজে এটি ব্যবহার করা কার্যকর নয়।
একটি 70 বিলিয়ন প্যারামিটারের বিশাল ভাষা মডেল চালানোর জন্য সাধারণত ৪০GB-এর বেশি ভিডিও মেমরি প্রয়োজন। কিন্তু AirLLM নামের একটি ওপেন সোর্স টুল দাবি করেছে যে, তারা মাত্র 4GB GPU-তে এই মডেল চালাতে পারে। dev.to-এর এক প্রতিবেদনে এই দাবির সত্যতা যাচাই করা হয়েছে এবং দেখা গেছে, কৌশলটি প্রযুক্তিগতভাবে সঠিক।
AirLLM-এর মূল কৌশল হলো লেয়ার-বাই-লেয়ার লোডিং। সাধারণত একটি মডেলের সব লেয়ার একসাথে GPU-তে লোড করতে হয়। AirLLM একেকটি লেয়ারকে আলাদাভাবে প্রসেস করে, ফলে মেমরির চাপ অনেক কমে যায়। এটি quantization, distillation বা pruning-এর মতো মডেল ছোট করার কৌশল ব্যবহার করে না, তাই মডেলের নির্ভুলতা অটুট থাকে।
কিন্তু এই পদ্ধতির একটি বড় দুর্বলতা আছে। মডেলটি প্রতি ধাপে হার্ড ডিস্ক থেকে ডেটা পড়ে, ফলে ইনফারেন্স স্পিড অত্যন্ত ধীর হয়ে যায়। একটি সাধারণ উত্তরের জন্য ব্যবহারকারীকে কয়েক মিনিট অপেক্ষা করতে হতে পারে। রিয়েল-টাইম চ্যাটবট বা ইন্টারঅ্যাকটিভ অ্যাপ্লিকেশনের জন্য এই গতি একদমই উপযুক্ত নয়।
বাংলাদেশের ডেভেলপার এবং গবেষকদের জন্য AirLLM একটি শিক্ষণীয় উদাহরণ। যাদের হাতে সীমিত হার্ডওয়্যার আছে, তারা এই টুল দিয়ে বড় মডেল নিয়ে পরীক্ষা-নিরীক্ষা করতে পারবেন। নতুন কোনো অ্যালগরিদম শিখতে বা মডেলের আউটপুট যাচাই করতে এটি কাজে লাগতে পারে। তবে প্রোডাকশন পর্যায়ে বা গ্রাহকদের সেবা দিতে এই পদ্ধতি নির্ভরযোগ্য নয়।
AirLLM-এর মতো উদ্ভাবন দেখায় যে, সীমিত সম্পদ দিয়েও বড় স্বপ্ন দেখা সম্ভব। ভবিষ্যতে মেমরি অপটিমাইজেশন কৌশল আরও উন্নত হলে হয়তো ধীরগতির সমস্যাটিও কাটিয়ে ওঠা যাবে। ততদিন পর্যন্ত AirLLM-কে গবেষণার হাতিয়ার হিসেবেই বিবেচনা করা উচিত।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: dev.to ML
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...