RTX 3090 দিয়ে লোকাল AI চালানোর প্রকৃত বিদ্যুৎ খরচ জানুন, বাঁচাতে পারবেন কত টাকা
একটি RTX 3090 GPU-তে আটটি লোকাল ল্যাঙ্গুয়েজ মডেল চালানোর প্রকৃত বিদ্যুৎ খরচ ইউরোতে মাপা হয়েছে। ফলাফলে দেখা গেছে, মডেলের আকার আর খরচ সবসময় সমানুপাতিক নয়। বাজেট সচেতন ডেভেলপারদের জন্য এই তথ্য অত্যন্ত গুরুত্বপূর্ণ।
একটি RTX 3090 GPU-তে আটটি লোকাল ল্যাঙ্গুয়েজ মডেল চালানোর প্রকৃত বিদ্যুৎ খরচ ইউরোতে মাপা হয়েছে। ফলাফলে দেখা গেছে, মডেলের আকার আর খরচ সবসময় সমানুপাতিক নয়। বাজেট সচেতন ডেভেলপারদের জন্য এই তথ্য অত্যন্ত গুরুত্বপূর্ণ।
লোকাল ল্যাঙ্গুয়েজ মডেল (LLM) চালানোর প্রকৃত খরচ কত, তা নিয়ে একটি ব্যবহারিক গবেষণা প্রকাশ করেছে টুওয়ার্ডস ডেটা সায়েন্স। গবেষক একটি মাত্র RTX 3090 GPU-তে আটটি ভিন্ন ভিন্ন লোকাল মডেল চালিয়ে প্রতি মিলিয়ন টোকেনে কত ইউরো খরচ হচ্ছে তা মাপেন। এই পরীক্ষা থেকে বেরিয়ে এসেছে চমকপ্রদ তথ্য যা ডেভেলপারদের বাজেট পরিকল্পনায় বড় ভূমিকা রাখবে।
গবেষণাটির মূল আকর্ষণ হলো এটি প্রমাণ করেছে যে লোকাল মডেলের খরচ সবসময় মডেলের আকারের ওপর নির্ভর করে না। সবচেয়ে সস্তা মডেলটি ছিল সবচেয়ে ছোট নয়, আর সবচেয়ে দামি মডেলটিও ছিল সবচেয়ে বড় নয়। এই ফলাফল প্রচলিত ধারণাকে ভেঙে দেয় এবং ডেভেলপারদের জন্য মডেল নির্বাচনের নতুন দিক উন্মোচন করে।
পরীক্ষায় ব্যবহৃত আটটি মডেলের মধ্যে কিছু ছিল ছোট ও দ্রুত, আবার কিছু ছিল বড় ও ধীর। গবেষকরা প্রতিটি মডেলের জন্য GPU-র বিদ্যুৎ খরচ সঠিকভাবে মেপেছেন। তারা শুধু মডেল চালানোর সময়ই নয়, আইডল অবস্থায় GPU-র খরচও হিসাব করেছেন। এই তথ্য ব্যবহার করে ডেভেলপাররা তাদের প্রয়োজন অনুযায়ী সবচেয়ে সাশ্রয়ী মডেল বেছে নিতে পারবেন।
গবেষণায় দেখা গেছে, কিছু মাঝারি আকারের মডেল বড় মডেলের চেয়ে কম খরচে ভালো পারফরম্যান্স দিতে পারে। উদাহরণস্বরূপ, একটি 7 বিলিয়ন প্যারামিটারের মডেল 13 বিলিয়ন প্যারামিটারের মডেলের চেয়ে প্রতি মিলিয়ন টোকেনে বেশি খরচ করতে পারে। এর কারণ হলো মডেলের আর্কিটেকচার, ইনফারেন্স অপটিমাইজেশন এবং মেমোরি ব্যবস্থাপনা।
বাংলাদেশের জন্য এই গবেষণার গুরুত্ব অনেক। দেশের ফ্রিল্যান্সার ও স্টার্টআপ ডেভেলপাররা প্রায়ই সীমিত বাজেটে কাজ করেন। তারা লোকাল LLM ব্যবহার করে API-নির্ভরতা কমাতে চান। এই গবেষণা তাদের দেখাবে যে বড় মডেল সবসময় ভালো নয় এবং সঠিক মডেল নির্বাচন করলে বিদ্যুৎ বিল অনেক কমানো সম্ভব।
শিক্ষার্থী ও গবেষকদের জন্যও এই তথ্য কাজে লাগবে। তারা নিজেদের GPU-তে মডেল চালানোর আগে খরচের একটি স্পষ্ট ধারণা পাবেন। এটি তাদের গবেষণার বাজেট ঠিক করতে সাহায্য করবে। বিশেষ করে যারা ক্লাউড সার্ভিসের পরিবর্তে নিজস্ব হার্ডওয়্যার ব্যবহার করতে চান, তাদের জন্য এটি দারুণ সহায়ক।
ভবিষ্যতে আরও বেশি মডেল এবং বিভিন্ন GPU-র ওপর এই ধরনের গবেষণা হওয়া দরকার। বর্তমানে GPU-র দাম ও সরবরাহ নিয়ে অনিশ্চয়তা থাকায়, সঠিক খরচের তথ্য ডেভেলপারদের জন্য অত্যন্ত মূল্যবান। টুওয়ার্ডস ডেটা সায়েন্সের এই গবেষণা সেই দিকেই একটি গুরুত্বপূর্ণ পদক্ষেপ।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: Towards Data Science
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...