AWS-এর নতুন কৌশলে AI মডেলের গতি বাড়বে, জানুন কী লাভ হবে বাংলাদেশে

AWS তাদের AI ব্লগে একটি গুরুত্বপূর্ণ নতুন কৌশল ব্যাখ্যা করেছে যা বড় ভাষার মডেল (LLM) ইনফারেন্সের কার্যকারিতা বাড়াবে। এই কৌশলের নাম disaggregated prefill and decode বা DPD।

DPD পদ্ধতিতে LLM ইনফারেন্সের দুটি প্রধান ধাপকে আলাদা করা হয়। প্রথম ধাপটি হলো prefill যেখানে মডেল ইনপুট টোকেনগুলো প্রক্রিয়া করে। দ্বিতীয় ধাপটি হলো decode যেখানে মডেল আউটপুট টোকেন তৈরি করে।

AWS জানিয়েছে যে তারা এই DPD কৌশল বাস্তবায়ন করেছে vLLM ব্যবহার করে SageMaker HyperPod প্ল্যাটফর্মে। এই বাস্তবায়নের জন্য তারা HyperPod Inference Operator ব্যবহার করেছে।

এই পদ্ধতি কেন গুরুত্বপূর্ণ? সাধারণত LLM ইনফারেন্সে prefill এবং decode ধাপগুলো একসঙ্গে চলে। কিন্তু এতে সম্পদের ব্যবহার অদক্ষ হয়। কারণ prefill ধাপে বেশি মেমরি ও কম্পিউট দরকার হয়। অন্যদিকে decode ধাপে কম মেমরি কিন্তু বেশি latency sensitivity থাকে।

DPD পদ্ধতি এই দুটি ধাপকে আলাদা করে আলাদা সার্ভারে চালানোর সুযোগ দেয়। এতে প্রতিটি ধাপের জন্য সম্পদ অপ্টিমাইজ করা যায়। ফলে ইনফারেন্সের গতি বাড়ে এবং খরচ কমে।

AWS ব্লগে বলা হয়েছে যে এই পদ্ধতি বিশেষ করে বড় মডেল যেমন Llama 3 বা GPT-4 স্কেলের মডেলের জন্য কার্যকর। DPD ব্যবহার করে throughput 2 থেকে 3 গুণ বাড়ানো সম্ভব। পাশাপাশি latency কমানো যায়।

বাংলাদেশের কৃত্রিম বুদ্ধিমত্তা গবেষক ও ডেভেলপারদের জন্য এই খবর অত্যন্ত প্রাসঙ্গিক। যারা বড় ভাষার মডেল নিয়ে কাজ করেন তারা SageMaker HyperPod ব্যবহার করে DPD কৌশল প্রয়োগ করতে পারবেন।

বাংলাদেশের ফ্রিল্যান্সার ও স্টার্টআপগুলোর জন্য এটি একটি বড় সুযোগ। কারণ DPD পদ্ধতি ব্যবহার করে তারা কম খরচে বেশি কার্যকরী AI অ্যাপ্লিকেশন তৈরি করতে পারবে। বিশেষ করে চ্যাটবট, কন্টেন্ট জেনারেশন এবং অনুবাদ সেবার জন্য এই পদ্ধতি কাজে লাগবে।

AWS আশা করছে যে DPD কৌশল LLM ইনফারেন্সের ক্ষেত্রে একটি নতুন মানদণ্ড তৈরি করবে। ভবিষ্যতে আরও উন্নত অপ্টিমাইজেশন কৌশল বের হবে যা AI মডেলের ব্যবহারকে আরও সহজ ও সাশ্রয়ী করবে।

আরও পড়ুন

• বাংলাদেশে লোকাল AI ৩ গুণ দ্রুত হবে, নতুন পদ্ধতি এলো
• অ্যাপলের নতুন কৌশলে AI মডেল ৩ গুণ দ্রুত হবে, জানুন কী লাভ
• AI মডেলের ভুল তথ্য ঠেকাতে গার্ডরেল নির্দেশিকা, জানুন কী লাভ