মাত্র ৫ ডলারে এলএলএমএ ৩.২: ক্লডের চেয়ে ১৮০ গুণ সস্তা আরএজি সিস্টেম
একজন ডেভেলপার দেখিয়েছেন কীভাবে মাত্র ৫ ডলার মাসিক খরচে ডিজিটালওশান ড্রপলেটে এলএলএমএ ৩.২ মডেল ও পিজিভেক্টর ব্যবহার করে একটি প্রোডাকশন-গ্রেড আরএজি সিস্টেম তৈরি করা যায়। এই সিস্টেম ৫০টির বেশি কনকারেন্ট রিকোয়েস্ট হ্যান্ডেল করতে পারে এবং ক্লড এপিআইয়ের তুলনায় খরচ কমিয়ে ১৮০ ভাগের এক ভাগে নামিয়ে আনে।
একজন ডেভেলপার দেখিয়েছেন কীভাবে মাত্র ৫ ডলার মাসিক খরচে ডিজিটালওশান ড্রপলেটে এলএলএমএ ৩.২ মডেল ও পিজিভেক্টর ব্যবহার করে একটি প্রোডাকশন-গ্রেড আরএজি সিস্টেম তৈরি করা যায়। এই সিস্টেম ৫০টির বেশি কনকারেন্ট রিকোয়েস্ট হ্যান্ডেল করতে পারে এবং ক্লড এপিআইয়ের তুলনায় খরচ কমিয়ে ১৮০ ভাগের এক ভাগে নামিয়ে আনে।
প্রযুক্তি বিশ্বে বড় ভাষার মডেল ব্যবহারের খরচ এখন অনেকের জন্যই চিন্তার কারণ হয়ে দাঁড়িয়েছে। কিন্তু একটি নতুন পদ্ধতি সেই ধারণা বদলে দিতে পারে। একজন ডেভেলপার ডেভ.টু-তে প্রকাশিত এক নিবন্ধে দেখিয়েছেন কীভাবে মাত্র ৫ ডলার মাসিক খরচে ডিজিটালওশানের একটি ছোট ড্রপলেট সার্ভারে এলএলএমএ ৩.২ মডেল ও পিজিভেক্টর ব্যবহার করে একটি প্রোডাকশন-গ্রেড আরএজি সিস্টেম তৈরি করা যায়।
এই সিস্টেমটি ৫০টির বেশি কনকারেন্ট রিকোয়েস্ট হ্যান্ডেল করতে পারে। অর্থাৎ একই সময়ে অনেক ব্যবহারকারী এটি ব্যবহার করতে পারবেন। আরএজি বা রিট্রিভাল-অগমেন্টেড জেনারেশন হলো এমন একটি প্রযুক্তি যা বড় ভাষার মডেলকে নির্দিষ্ট ডকুমেন্ট বা ডেটাবেস থেকে তথ্য এনে উত্তর দিতে সাহায্য করে। এটি প্রশ্নোত্তর সিস্টেম, কাস্টমার সাপোর্ট ও ডকুমেন্ট অ্যানালাইসিসের জন্য খুবই কার্যকর।
এই পদ্ধতির সবচেয়ে বড় আকর্ষণ হলো খরচ। ডেভেলপার দাবি করেছেন যে এই সিস্টেমের খরচ ক্লড এপিআইয়ের তুলনায় ১৮০ ভাগের এক ভাগে নেমে এসেছে। ক্লড হলো অ্যানথ্রপিকের তৈরি একটি জনপ্রিয় বড় ভাষার মডেল যা এপিআই-এর মাধ্যমে ব্যবহার করতে হয় এবং প্রতি রিকোয়েস্টে খরচ হয়। কিন্তু এই পদ্ধতিতে একটি ওপেন সোর্স মডেল নিজের সার্ভারে রান করায় মাসিক খরচ অনেক কমে যায়।
প্রযুক্তিগত দিক থেকে এই সিস্টেমটি তৈরি করতে হয়েছে ওলামা ও পিজিভেক্টর ব্যবহার করে। ওলামা একটি টুল যা স্থানীয়ভাবে বড় ভাষার মডেল চালানোর কাজ সহজ করে। পিজিভেক্টর হলো পোস্টগ্রেএসকিউএল ডেটাবেসের একটি এক্সটেনশন যা ভেক্টর সার্চ বা ভেক্টর অনুসন্ধানের কাজ করে। আরএজি সিস্টেমে ভেক্টর সার্চ ব্যবহার করে ডকুমেন্ট থেকে প্রাসঙ্গিক তথ্য দ্রুত খুঁজে বের করা যায়।
বাংলাদেশের ডেভেলপার ও ফ্রিল্যান্সারদের জন্য এই পদ্ধতি বিশেষভাবে গুরুত্বপূর্ণ। অনেক স্টার্টআপ ও ছোট ব্যবসা এআই প্রযুক্তি ব্যবহার করতে চায় কিন্তু এপিআই খরচ বহন করতে পারে না। এই পদ্ধতি ব্যবহার করে তারা নিজেদের সার্ভারে একটি শক্তিশালী আরএজি সিস্টেম চালাতে পারবে। শিক্ষার্থীরাও কম খরচে বড় ভাষার মডেল নিয়ে পরীক্ষা-নিরীক্ষা করতে পারবে।
ডেভেলপারটি জানিয়েছেন যে এই সিস্টেমটি ১০ মিনিটেরও কম সময়ে ডিপ্লয় করা যায়। তিনি ডিজিটালওশানের একটি রেফারেল লিংক দিয়েছেন যেখানে নতুন ব্যবহারকারীরা ২০০ ডলার ফ্রি ক্রেডিট পেতে পারেন। এই ক্রেডিট দিয়ে কয়েক মাসের সার্ভার খরচ চালানো সম্ভব।
সব মিলিয়ে এই পদ্ধতি প্রমাণ করে যে বড় ভাষার মডেল ব্যবহারের জন্য ব্যাংক ভাঙার প্রয়োজন নেই। সঠিক টুল ও পরিকল্পনা থাকলে কম খরচেও প্রোডাকশন-গ্রেড এআই সিস্টেম তৈরি করা সম্ভব। ভবিষ্যতে আরও বেশি ডেভেলপার এই পদ্ধতি অনুসরণ করবেন বলে আশা করা যায়।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: dev.to AI
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...