১.২ জিবি মেমোরি সাশ্রয়! লামা ডট সিপিপির নতুন API ফ্রিল্যান্সারদের জন্য বড় সুবিধা
লামা ডট সিপিপি প্রকল্পের নতুন পুল রিকোয়েস্ট VRAM ব্যবহারে বড় পরিবর্তন এনেছে। এটি মাত্র একটি API পরিবর্তনের মাধ্যমে ১.২ জিবি পর্যন্ত মেমোরি সাশ্রয় করতে পারে।
লামা ডট সিপিপি প্রকল্পের নতুন পুল রিকোয়েস্ট VRAM ব্যবহারে বড় পরিবর্তন এনেছে। এটি মাত্র একটি API পরিবর্তনের মাধ্যমে ১.২ জিবি পর্যন্ত মেমোরি সাশ্রয় করতে পারে।
লামা ডট সিপিপি প্রকল্পে একটি গুরুত্বপূর্ণ পুল রিকোয়েস্ট জমা পড়েছে যা লোকাল লার্জ ল্যাঙ্গুয়েজ মডেল ব্যবহারকারীদের জন্য বড় খবর। ডেভেলপার am17an-এর এই পুল রিকোয়েস্টটি VRAM বা ভিডিও র্যান্ডম অ্যাক্সেস মেমোরির ব্যবহার অপ্টিমাইজ করার জন্য ডিজাইন করা হয়েছে। এটি শুধুমাত্র প্রয়োজনীয় সিকোয়েন্সের জন্য লজিটস স্পেস সংরক্ষণ করে কাজ করে।
এই পরিবর্তনের ফলে VRAM সাশ্রয়ের পরিমাণ বেশ চিত্তাকর্ষক। ডেভেলপার জানিয়েছেন যে -ub 2048 এবং MTP বা মাল্টি-টোকেন প্রেডিকশন সক্রিয় থাকলে এটি ১.২ জিবি পর্যন্ত VRAM সাশ্রয় করতে পারে। এটি বিশেষ করে যারা সীমিত VRAM-সহ GPU ব্যবহার করেন তাদের জন্য বড় সুবিধা।
পুল রিকোয়েস্টটি মূলত একটি নতুন API প্রস্তাব করছে যা llama-context-এ সিকোয়েন্স কাউন্ট ১ সেট করার সুযোগ দেবে। ডিফল্ট অবস্থায় এটি সব টোকেনের জন্য জায়গা সংরক্ষণ করবে। কিন্তু সার্ভার কনটেক্সটে ব্যবহারকারীরা যখন সম্ভব তখন এটি ১ এ সেট করতে পারবেন। এই ছোট পরিবর্তনই VRAM ব্যবহারে বড় প্রভাব ফেলে।
বাংলাদেশের প্রযুক্তি সম্প্রদায়ের জন্য এই খবরটি বিশেষভাবে গুরুত্বপূর্ণ। দেশের অনেক ডেভেলপার এবং ফ্রিল্যান্সার সীমিত সম্পদ নিয়ে AI মডেল নিয়ে কাজ করেন। VRAM সাশ্রয়ের এই পদ্ধতি তাদের জন্য একটি বাস্তব সমাধান হতে পারে। তারা এখন আরও বড় মডেল বা আরও বেশি কনকারেন্ট রিকোয়েস্ট হ্যান্ডেল করতে পারবেন।
পুল রিকোয়েস্টটি এখনও খসড়া অবস্থায় আছে। ডেভেলপার আরও ভালো API ডিজাইন নিয়ে কাজ করছেন। তবে এটি ইতিমধ্যে কমিউনিটির দৃষ্টি আকর্ষণ করেছে। রেডিটের r/LocalLLaMA সাবরেডিটে এই খবরটি শেয়ার করা হয়েছে এবং সেখানে ইতিবাচক সাড়া পাওয়া যাচ্ছে।
ভবিষ্যতে এই ধরনের অপ্টিমাইজেশন আরও সাধারণ হয়ে উঠবে বলে আশা করা যায়। স্থানীয় ভাষার মডেল ব্যবহারের প্রবণতা বাড়ছে এবং এর সাথে সাথে সম্পদের দক্ষ ব্যবহারের প্রয়োজনীয়তাও বাড়ছে। এই পুল রিকোয়েস্টটি সেই দিকেই একটি গুরুত্বপূর্ণ পদক্ষেপ।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: Reddit r/LocalLLaMA
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...