OpenAI বিল ৪০ গুণ কমানো সম্ভব, লেটেন্সি অপরিবর্তিত
একজন ক্লাউড আর্কিটেক্ট দেখিয়েছেন কীভাবে OpenAI-র মাসিক 38 হাজার ডলার বিল 40 গুণ কমানো যায়। পাশাপাশি p99 লেটেন্সি 2.4 সেকেন্ডেই স্থির রাখা সম্ভব। বিস্তারিত জানুন এই নিবন্ধে।
একজন ক্লাউড আর্কিটেক্ট দেখিয়েছেন কীভাবে OpenAI-র মাসিক 38 হাজার ডলার বিল 40 গুণ কমানো যায়। পাশাপাশি p99 লেটেন্সি 2.4 সেকেন্ডেই স্থির রাখা সম্ভব। বিস্তারিত জানুন এই নিবন্ধে।
গত ত্রৈমাসিকে একটি ক্লাউড আর্কিটেক্ট তার অবজারভেবিলিটি ড্যাশবোর্ড খুলে চমকে যান। OpenAI-র জন্য মাসিক বিল দাঁড়িয়েছিল 38 হাজার ডলার। আর chat completions-এর p99 লেটেন্সি ছিল 2.4 সেকেন্ড। তিনি বলেন, এই সংখ্যা তাকে দুইভাবে বিরক্ত করেছে। এটি যেমন ব্যয়বহুল, তেমনি ধীরগতির।
তিনি বিকল্প প্রদাতাদের খোঁজ শুরু করেন। তার লক্ষ্য ছিল খরচ কমানো কিন্তু p99 লেটেন্সি অপরিবর্তিত রাখা। তিনি যা আবিষ্কার করেন তা তাকে সত্যিই অবাক করে। বাজারে এমন অনেক প্রদাতা আছে যারা অনেক কম দামে একই বা ভালো পারফরম্যান্স দিচ্ছে।
এই আর্কিটেক্ট তার কৌশলটি একটি বিস্তারিত নিবন্ধে প্রকাশ করেছেন। তিনি দেখিয়েছেন কীভাবে বিভিন্ন LLM API প্রদাতার মধ্যে সঠিক নির্বাচন করে খরচ 40 গুণ কমানো যায়। p99 লেটেন্সি অর্থাৎ 99 শতাংশ রিকোয়েস্টের সর্বোচ্চ সময় 2.4 সেকেন্ডেই স্থির রাখা সম্ভব।
তিনি বিভিন্ন টেস্ট এবং বেঞ্চমার্ক চালিয়েছেন। বিভিন্ন প্রদাতার মধ্যে তুলনা করে তিনি দেখেছেন যে OpenAI-র তুলনায় কিছু প্রদাতা অনেক সস্তা কিন্তু সমান দক্ষ। তিনি একটি মিক্সড অ্যাপ্রোচ ব্যবহার করার পরামর্শ দিয়েছেন। অর্থাৎ কিছু কাজের জন্য OpenAI ব্যবহার করবেন, আর কিছু কাজের জন্য সস্তা প্রদাতা।
বাংলাদেশের ডেভেলপার এবং ফ্রিল্যান্সারদের জন্য এই কৌশল অত্যন্ত গুরুত্বপূর্ণ। অনেক স্টার্টআপ এবং ছোট ব্যবসা LLM API-র খরচ নিয়ে চিন্তিত। এই পদ্ধতি অনুসরণ করে তারা খরচ অনেক কমাতে পারবে। একই সঙ্গে তাদের অ্যাপ্লিকেশনের পারফরম্যান্সও ভালো থাকবে।
ভবিষ্যতে আরও বেশি সংখ্যক প্রদাতা বাজারে আসবে। ফলে প্রতিযোগিতা বাড়বে এবং দাম আরও কমবে। এই আর্কিটেক্টের অভিজ্ঞতা দেখায় যে বর্তমান বাজারেই যথেষ্ট সাশ্রয়ের সুযোগ রয়েছে। শুধু সঠিক জায়গায় খোঁজ করতে হবে।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: dev.to AI
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...