AI সার্ভিং ৩ গুণ দ্রুত: নতুন পদ্ধতি বাংলাদেশি ফ্রিল্যান্সারদের লাভ

বড় ভাষার মডেল বা LLM-এর ইনফারেন্স প্রক্রিয়ায় বড় ধরনের পরিবর্তন আনছে এক নতুন গবেষণা। dev.to ML-এ প্রকাশিত এই গবেষণাপত্রে 'Disaggregated LLM Inference' নামক একটি পদ্ধতি উপস্থাপন করা হয়েছে। এই পদ্ধতি LLM ইনফারেন্সের দুটি মূল ধাপকে আলাদা করে সম্পাদন করে।

প্রথাগত পদ্ধতিতে LLM ইনফারেন্সের prefill এবং decode এই দুটি ফেজ একসঙ্গে চলে। Prefill ফেজে মডেল ইনপুট টোকেনগুলো প্রক্রিয়া করে এবং একটি ক্যাশ তৈরি করে। Decode ফেজে সেই ক্যাশ ব্যবহার করে ধাপে ধাপে আউটপুট জেনারেট করা হয়। এই দুটি ফেজের সম্পদ ব্যবহারের ধরন সম্পূর্ণ ভিন্ন। Prefill ফেজে কম্পিউটেশন বেশি লাগে আর decode ফেজে মেমোরি ব্যান্ডউইথ বেশি প্রয়োজন।

গবেষকরা দেখিয়েছেন যে এই দুটি ফেজকে আলাদা করে বিভিন্ন সার্ভারে বা GPU-তে চালানো হলে সম্পদের ব্যবহার অনেক বেশি কার্যকর হয়। মিশ্র downstream workloads-এর ক্ষেত্রে এই পদ্ধতি বিশেষভাবে কার্যকর। যেমন কোনো সার্ভার একইসঙ্গে ছোট উত্তর এবং বড় রিপোর্ট জেনারেট করলে এই পদ্ধতি থ্রুপুট এবং লেটেন্সি উভয়ই উন্নত করে।

এই পদ্ধতির মূল সুবিধা হলো এটি AI সার্ভিং ইনফ্রাস্ট্রাকচারকে আরও নমনীয় করে তোলে। একটি সার্ভার শুধু prefill কাজ করবে আরেকটি সার্ভার শুধু decode কাজ করবে। এতে করে প্রতিটি সার্ভার তার কাজের জন্য প্রয়োজনীয় সম্পদ পায়। ফলে কোনো সার্ভার অলস বসে থাকে না এবং কোনো সার্ভার অতিরিক্ত চাপে পড়ে না।

বাংলাদেশের ডেভেলপার এবং ফ্রিল্যান্সারদের জন্য এই গবেষণা অত্যন্ত গুরুত্বপূর্ণ। দেশে AI-ভিত্তিক সেবা তৈরি করছে এমন অনেক স্টার্টআপ আছে। এই পদ্ধতি ব্যবহার করে তারা তাদের সার্ভার খরচ কমাতে পারে এবং ব্যবহারকারীদের দ্রুত সেবা দিতে পারে। বিশেষ করে যারা ChatGPT-এর মতো বড় মডেল ব্যবহার করে নিজেদের অ্যাপ্লিকেশন তৈরি করছেন, তারা এই পদ্ধতি থেকে সরাসরি উপকৃত হবেন।

গবেষণাটি এখনও প্রাথমিক পর্যায়ে থাকলেও এটি AI ইনফারেন্স অপ্টিমাইজেশনের একটি গুরুত্বপূর্ণ দিক নির্দেশনা দিচ্ছে। ভবিষ্যতে এই পদ্ধতি বড় কোম্পানিগুলোর AI সার্ভিং খরচ কমাতে এবং সাধারণ ব্যবহারকারীদের অভিজ্ঞতা উন্নত করতে বড় ভূমিকা রাখবে।

আরও পড়ুন

• AI-এর ভুল ধরা এখন সহজ, নতুন পদ্ধতি দেবে সঠিক উত্তর
• চীনের ইলেকট্রনিক ওয়ারফেয়ার AI: ৩টি চমক!
• গুগলের নতুন AI নিজেরাই শিখবে, বাংলাদেশের ফ্রিল্যান্সারদের কাজ বদলে যাবে