চীনা AI মডেলে স্যুইচ করে খরচ কমালেন বাংলাদেশি ক্লাউড আর্কিটেক্ট
একজন ক্লাউড আর্কিটেক্ট OpenAI ও Anthropic থেকে চীনা LLM-এ স্থানান্তর করে ইনফারেন্স খরচ কমানোর অভিজ্ঞতা শেয়ার করেছেন। ৮০০ মিলিয়ন টোকেনের মাসিক ব্যয় দেখে তিনি 'অপারেশন সস্তা ইনফারেন্স' শুরু করেন।
একজন ক্লাউড আর্কিটেক্ট OpenAI ও Anthropic থেকে চীনা LLM-এ স্থানান্তর করে ইনফারেন্স খরচ কমানোর অভিজ্ঞতা শেয়ার করেছেন। ৮০০ মিলিয়ন টোকেনের মাসিক ব্যয় দেখে তিনি 'অপারেশন সস্তা ইনফারেন্স' শুরু করেন।
একটি বড় প্রযুক্তি কোম্পানির ক্লাউড আর্কিটেক্ট তার দলের LLM (লার্জ ল্যাঙ্গুয়েজ মডেল) ব্যবহারের খরচ নিয়ে উদ্বেগ প্রকাশ করেছেন। তিনি dev.to-তে একটি ব্যক্তিগত নিবন্ধে জানান, তিন মাস আগে কোম্পানির CFO তাকে একটি স্প্রেডশিট পাঠান। সেই স্প্রেডশিটে দেখানো হয়, তাদের দল মাসে প্রায় ৮০০ মিলিয়ন টোকেন প্রক্রিয়া করছে। এই টোকেনগুলোর ৩৮ শতাংশ GPT-4o-তে ব্যবহার করা হচ্ছিল, যার দর $১০.০০ প্রতি মিলিয়ন আউটপুট টোকেন।
আর্কিটেক্ট বুঝতে পারেন, অনেক কাজের জন্য এত উচ্চ মূল্যের মডেল ব্যবহার করা অর্থের অপচয়। তিনি সিদ্ধান্ত নেন, কম গুরুত্বপূর্ণ কাজের জন্য চীনা LLM ব্যবহার করবেন। এই সিদ্ধান্তকে তিনি 'অপারেশন চিপার ইনফারেন্স' নাম দেন। তার লক্ষ্য ছিল, খরচ কমানোর পাশাপাশি মান বজায় রাখা।
নিবন্ধে তিনি উল্লেখ করেন, চীনা কোম্পানিগুলোর মডেল যেমন Qwen, DeepSeek এবং Baidu-এর Ernie Bot অনেক সস্তা। এই মডেলগুলো GPT-4o-এর তুলনায় প্রায় ৫ থেকে ১০ গুণ কম খরচে কাজ করে। তবে তিনি স্বীকার করেন, কিছু জটিল কাজে চীনা মডেলগুলো এখনও পিছিয়ে আছে। তাই তিনি শুধু সাধারণ কাজের জন্য এই পরিবর্তন এনেছেন।
এই স্থানান্তর প্রক্রিয়ায় আর্কিটেক্টকে API (অ্যাপ্লিকেশন প্রোগ্রামিং ইন্টারফেস) পরিবর্তন করতে হয়েছে। পুরোনো OpenAI API-এর সঙ্গে নতুন চীনা API-এর কোডিং স্টাইল ভিন্ন। তিনি একটি মিডলওয়্যার তৈরি করেন, যা দুই সিস্টেমের মধ্যে সমন্বয় করে। এটি তৈরি করতে তার দলের দুই সপ্তাহ সময় লেগেছে।
বাংলাদেশের ডেভেলপার ও ফ্রিল্যান্সারদের জন্য এই অভিজ্ঞতা গুরুত্বপূর্ণ। দেশের অনেক স্টার্টআপ ও ছোট ব্যবসা GPT-4-এর মতো ব্যয়বহুল মডেল ব্যবহার করে। তাদের জন্য চীনা LLM একটি সাশ্রয়ী বিকল্প হতে পারে। তবে মান নিয়ন্ত্রণের জন্য পরীক্ষা-নিরীক্ষা জরুরি।
এই খবর দেখায়, বড় কোম্পানিগুলোও খরচ কমাতে বিকল্প খুঁজছে। আগামী দিনে আরও বেশি প্রতিষ্ঠান চীনা LLM-এর দিকে ঝুঁকতে পারে। তবে প্রযুক্তির দ্রুত পরিবর্তনের কারণে সঠিক মডেল বাছাই করা গুরুত্বপূর্ণ।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: dev.to ML
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...