মাসে মাত্র ১০ ডলারে AI মডেল চালান, খরচ কমবে ১৫০ গুণ

ডিজিটালওশান তাদের জিপিইউ ড্রপলেটে একটি অসাধারণ সাশ্রয়ী সমাধান এনেছে। ডেভেলপাররা এখন মাসে মাত্র ১০ ডলার খরচ করে একটি ৭০ বিলিয়ন প্যারামিটার ল্যাঙ্গুয়েজ মডেল Llama 3.3 70B চালাতে পারবেন। এই সিস্টেম vLLM এবং কোয়ান্টাইজেশন প্রযুক্তি ব্যবহার করে এন্টারপ্রাইজ-গ্রেড রিজনিং প্রদান করে।

এই সমাধানের সবচেয়ে বড় আকর্ষণ এর খরচ। ক্লদ ওপাসের তুলনায় এটি ১৫০ ভাগ কম খরচে একই ধরনের পারফরম্যান্স দেয়। dev.to AI সোর্স জানিয়েছে, পুরো ডিপ্লয়মেন্ট প্রক্রিয়া ১০ মিনিটেরও কম সময়ে সম্পন্ন করা যায়।

প্রযুক্তিগত দিক থেকে এই সিস্টেম অত্যন্ত শক্তিশালী। vLLM একটি উচ্চ-পারফরম্যান্স ইনফারেন্স ইঞ্জিন যা মডেলকে দ্রুত রেসপন্স দিতে সাহায্য করে। কোয়ান্টাইজেশন প্রক্রিয়া মডেলের আকার কমিয়ে আনে কিন্তু মান বজায় রাখে। এই দুটি প্রযুক্তি মিলিয়ে একটি ৭০ বিলিয়ন প্যারামিটার মডেলকে একটি সাশ্রয়ী জিপিইউ ড্রপলেটে চালানো সম্ভব হয়েছে।

ডিজিটালওশান এই উদ্যোগের জন্য নতুন ব্যবহারকারীদের ২০০ ডলার ফ্রি ক্রেডিট দিচ্ছে। এর মাধ্যমে যে কেউ বিনা খরচে এই সিস্টেম টেস্ট করে দেখতে পারেন। সবচেয়ে সস্তা সার্ভার প্রতি মাসে মাত্র ৫ ডলার থেকে শুরু।

বাংলাদেশের প্রযুক্তি খাতের জন্য এই খবর অত্যন্ত গুরুত্বপূর্ণ। স্থানীয় স্টার্টআপ এবং ডেভেলপাররা এখন খুব কম খরচে বড় ভাষা মডেল ব্যবহার করতে পারবেন। ফ্রিল্যান্সাররা তাদের প্রকল্পে এআই ইন্টিগ্রেশন করতে পারবেন অনেক কম খরচে। শিক্ষার্থীরা গবেষণার জন্য এই প্রযুক্তি ব্যবহার করতে পারবেন। ব্যবসায়ীরা তাদের পণ্যে এআই ফিচার যুক্ত করতে পারবেন বড় বিনিয়োগ ছাড়াই।

ভবিষ্যতে এই ধরনের সাশ্রয়ী সমাধান এআই প্রযুক্তিকে আরও সহজলভ্য করে তুলবে। ডিজিটালওশানের এই উদ্যোগ প্রমাণ করে যে উন্নত এআই প্রযুক্তি এখন সবার নাগালে। বাংলাদেশের ডেভেলপাররা এই সুযোগ কাজে লাগিয়ে আন্তর্জাতিক বাজারে প্রতিযোগিতা করতে পারবেন।

আরও পড়ুন

• মাসে মাত্র ৮ ডলারে AI ভিশন মডেল, GPT-4o-এর চেয়ে ১৮০ গুণ সস্তা
• মাত্র ৫ ডলারে নিজের AI মডেল চালান, ফ্রিল্যান্সারদের জন্য বড় সুযোগ
• মাত্র ৫ ডলারে এলএলএমএ ৩.২: ক্লডের চেয়ে ১৮০ গুণ সস্তা আরএজি সিস্টেম