AI খরচ ৯৫% কমানো গেল, নির্ভরযোগ্যতা অটুট, জানুন AWS পদ্ধতি
তিন মাস আগে একজন CFO তার কোম্পানির LLM বিল ৪ গুণ বেড়ে যাওয়ার কারণ জানতে চেয়েছিলেন। এখন সেই কোম্পানির ইঞ্জিনিয়াররা টায়ার্ড ইনফারেন্স, SLA এবং ফলব্যাক পাথ ব্যবহার করে 95% খরচ কমিয়েছে নির্ভরযোগ্যতা বজায় রেখে।
তিন মাস আগে একজন CFO তার কোম্পানির LLM বিল ৪ গুণ বেড়ে যাওয়ার কারণ জানতে চেয়েছিলেন। এখন সেই কোম্পানির ইঞ্জিনিয়াররা টায়ার্ড ইনফারেন্স, SLA এবং ফলব্যাক পাথ ব্যবহার করে 95% খরচ কমিয়েছে নির্ভরযোগ্যতা বজায় রেখে।
AI API-তে মাসে লক্ষ লক্ষ টাকা খরচ করা কোম্পানিগুলোর জন্য একটি বড় সুখবর এসেছে। dev.to AI-তে প্রকাশিত একটি বিস্তারিত কেস স্টাডি দেখিয়েছে যে সঠিক আর্কিটেকচার ব্যবহার করলে LLM খরচ 95% কমানো সম্ভব নির্ভরযোগ্যতা একটুও কমিয়ে না দিয়ে।
তিন মাস আগে একটি টেক কোম্পানির CFO তার ইঞ্জিনিয়ারিং টিমের কাছে একটি স্প্রেডশিট এনে জানতে চেয়েছিলেন কেন তাদের LLM বিল প্রকৃত ট্রাফিকের চেয়ে ৪ গুণ দ্রুত বাড়ছে। প্রকৌশলীদের কাছে সেটা ছিল একটি ন্যায্য প্রশ্ন। তারা তখন তাদের ইনফারেন্স লেয়ার পুরোপুরি ভেঙে নতুন করে তৈরি করার সিদ্ধান্ত নেয়।
প্রকৌশলীরা AWS-এ অন্য যেকোনো প্রোডাকশন সার্ভিস যেভাবে তৈরি করেন ঠিক সেভাবেই AI সার্ভিস তৈরি করেছেন। তারা তিনটি মূল স্তম্ভ ব্যবহার করেছেন: টায়ার্ড ইনফারেন্স, SLA বা সার্ভিস লেভেল এগ্রিমেন্ট এবং ফলব্যাক পাথ। এর সাথে যুক্ত হয়েছে p99 লেটেন্সি বাজেট যা প্রোডাকশন-গ্রেড AI সার্ভিসের জন্য অপরিহার্য।
টায়ার্ড ইনফারেন্স মানে হলো বিভিন্ন ধরনের কাজের জন্য বিভিন্ন স্তরের মডেল ব্যবহার করা। সহজ প্রশ্নের জন্য সস্তা এবং দ্রুত মডেল আর জটিল কাজের জন্য শক্তিশালী কিন্তু দামি মডেল ব্যবহার করা হয়। প্রতিটি টায়ারের জন্য আলাদা SLA নির্ধারণ করা থাকে। যদি একটি টায়ার নির্ধারিত সময়ের মধ্যে উত্তর দিতে ব্যর্থ হয় তাহলে স্বয়ংক্রিয়ভাবে ফলব্যাক পাথ কাজ করে।
p99 লেটেন্সি বাজেট হলো সেই সময়সীমা যার মধ্যে 99% রিকোয়েস্ট সম্পন্ন হতে হবে। প্রোডাকশন পরিবেশে এটি অত্যন্ত গুরুত্বপূর্ণ কারণ ব্যবহারকারীরা দ্রুত উত্তর আশা করে। এই পদ্ধতি ব্যবহার করে কোম্পানিটি তাদের মাসিক AI খরচ 95% কমিয়ে এনেছে এবং একইসঙ্গে সার্ভিসের গুণগত মান আগের মতোই রেখেছে।
বাংলাদেশের ডেভেলপার, ফ্রিল্যান্সার এবং স্টার্টআপগুলোর জন্য এই পদ্ধতি বিশেষভাবে গুরুত্বপূর্ণ। দেশে অনেক কোম্পানি AI ইন্টিগ্রেশন করছে কিন্তু খরচ নিয়ন্ত্রণ করতে পারছে না। বিশেষ করে যারা ChatGPT API বা অন্যান্য LLM API ব্যবহার করে তাদের জন্য এই টায়ার্ড পদ্ধতি একটি কার্যকর সমাধান হতে পারে। ছোট বাজেটের প্রকল্পগুলোও এখন উচ্চমানের AI সার্ভিস দিতে পারবে।
এই পদ্ধতি শুধু বড় কোম্পানির জন্য নয়। যেকোনো ডেভেলপার AWS-এ এই আর্কিটেকচার বাস্তবায়ন করতে পারে। ফলে বাংলাদেশের ফ্রিল্যান্সাররা তাদের ক্লায়েন্টদের কম খরচে ভালো সার্ভিস দিতে পারবেন। শিক্ষার্থীরাও তাদের প্রজেক্টে বড় মডেল ব্যবহার করে শেখার সুযোগ পাবে খরচের ভয় ছাড়াই।
ভবিষ্যতে আরও বেশি কোম্পানি এই টায়ার্ড ইনফারেন্স পদ্ধতি গ্রহণ করবে বলে আশা করা যায়। AI খরচ নিয়ন্ত্রণ করা সম্ভব এবং নির্ভরযোগ্যতা বজায় রাখাও সম্ভব। শুধু সঠিক কাঠামো এবং পরিকল্পনা প্রয়োজন।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: dev.to AI
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...