LLM API খরচ ৭০% কমানো সম্ভব, জানালেন বাংলাদেশি ডেভেলপার

একজন ডেভেলপার সম্প্রতি দেখিয়েছেন যে LLM API-তে অনুরোধ ব্যাচ করে পাঠানোর মাধ্যমে খরচ ৭০% পর্যন্ত কমানো সম্ভব। তিনি dev.to প্ল্যাটফর্মে একটি নিবন্ধে এই পদ্ধতি বিস্তারিতভাবে ব্যাখ্যা করেছেন। এই কৌশলটি বিশেষ করে বড় ডেটাসেট নিয়ে কাজ করা ডেভেলপারদের জন্য অত্যন্ত কার্যকর হবে বলে মনে করা হচ্ছে।

কয়েক মাস আগে ওই ডেভেলপার হাজার হাজার কাস্টমার সাপোর্ট টিকিট স্বয়ংক্রিয়ভাবে শ্রেণিবদ্ধ করার একটি ফিচার তৈরি করছিলেন। প্রথম দিকে তিনি প্রতিটি টিকিট আলাদাভাবে LLM API-তে পাঠাতেন। কিন্তু এতে খরচ দ্রুত বেড়ে যায় এবং লেটেন্সি এত বেশি হয় যে তার ডেভ সার্ভার ডায়াল-আপ কানেকশনের মতো ধীর হয়ে যায়।

তিনি খরচ কমানোর জন্য বিভিন্ন পদ্ধতি চেষ্টা করেছিলেন। প্রম্পট সংকুচিত করা, ছোট মডেল ব্যবহার করা এবং এমনকি রেজেক্স-ভিত্তিক সমাধানও পরীক্ষা করেছিলেন। রেজেক্স পদ্ধতি প্রায় ৬০% ক্ষেত্রে কাজ করলেও বাকি জটিল কেসগুলোর জন্য তা অকার্যকর ছিল।

শেষ পর্যন্ত তিনি ব্যাচিং পদ্ধতি ব্যবহার করেন। এই পদ্ধতিতে একসঙ্গে অনেকগুলো অনুরোধ LLM-এ পাঠানো হয়। এটি একক অনুরোধ পাঠানোর তুলনায় অনেক বেশি কার্যকর। ব্যাচিং শুধু খরচ কমায় না, লেটেন্সিও উল্লেখযোগ্যভাবে হ্রাস করে।

বাংলাদেশের ডেভেলপার এবং ফ্রিল্যান্সারদের জন্য এই পদ্ধতি বিশেষভাবে গুরুত্বপূর্ণ। যারা বড় ভাষার মডেল ব্যবহার করে অ্যাপ্লিকেশন তৈরি করেন, তারা ব্যাচিং প্রয়োগ করে খরচ অনেক কমাতে পারেন। বিশেষ করে যারা ক্লায়েন্ট প্রজেক্টে LLM API ব্যবহার করেন, তাদের জন্য এটি একটি বড় সাশ্রয় হতে পারে।

ব্যাচিং পদ্ধতি বাস্তবায়ন করা খুব কঠিন নয়। বেশিরভাগ জনপ্রিয় LLM API ব্যাচিং সাপোর্ট করে। ডেভেলপাররা তাদের কোডে সামান্য পরিবর্তন এনে এই সুবিধা নিতে পারেন। এটি শেখার জন্য অনলাইনে প্রচুর রিসোর্স এবং টিউটোরিয়াল পাওয়া যায়।

ভবিষ্যতে আরও বেশি ডেভেলপার এই পদ্ধতি গ্রহণ করবেন বলে আশা করা যায়। এটি LLM-ভিত্তিক অ্যাপ্লিকেশন তৈরির খরচ কমিয়ে আরও বেশি উদ্ভাবনের পথ খুলে দেবে।

আরও পড়ুন

• ফ্রিল্যান্সারের কৌশল: মাল্টিমোডাল AI খরচ ৯৭% কমানো সম্ভব
• AI খরচ ৬০% কমানো সম্ভব, জানুন বাংলাদেশি ডেভেলপারদের জন্য সহজ কৌশল
• ডিপসিক মডেলে খরচ কমবে কয়েকগুণ, জানালেন বাংলাদেশি ডেটা সায়েন্টিস্ট