পুরনো RTX 3090 দিয়ে AI চালান ১০ গুণ দ্রুত, জানুন কীভাবে

লোকাল AI ইনফারেন্সের জগতে এক বড় অগ্রগতি ঘটেছে। Reddit-এর r/artificial ফোরামের এক ব্যবহারকারী জানিয়েছেন যে Qwen 3.6:35b-a3b মডেলটি একটি মাত্র RTX 3090 গ্রাফিক্স কার্ডে 160 টোকেন প্রতি সেকেন্ড (tps) গতিতে আউটপুট দিতে সক্ষম হয়েছে। এই গতি আগের চেয়ে প্রায় ১০ গুণ বেশি।

ব্যবহারকারীটি আগে Anthropic ও OpenAI-র API ব্যবহার করতেন। পরে তিনি ollama-র ধীরগতির কারণে লোকাল মডেল পুরোপুরি এড়িয়ে গিয়েছিলেন। তবে গত সপ্তাহে তিনি একটি ব্যবহৃত গেমিং রিগ কিনেছেন যাতে একটি RTX 3090 কার্ড ছিল। সেখানে তিনি batiai/qwen3.6-35b:iq4 নামের একটি সংকুচিত মডেল সেটআপ করেন যা মাত্র ২০ জিবি ভিআরএএম দখল করে।

প্রথমে মডেলটি সিস্টেম র্যামে চলছিল এবং তখন আউটপুট গতি ছিল ১৫ টিপিএস। এটি একটি গ্রহণযোগ্য গতি হলেও বড় মডেলের জন্য যথেষ্ট ছিল না। কিন্তু পুরো মডেলটি ভিআরএএম-এ স্থানান্তর করার পর গতি লাফিয়ে ১৬০ টিপিএস-এ পৌঁছে যায়। এই পরিবর্তন দেখায় যে লোকাল AI এখন বাস্তবিক ব্যবহারের উপযোগী হয়ে উঠছে।

ব্যবহারকারীটি আরও জানিয়েছেন যে তিনি মডেলটিকে একটি ছবি ইনপুট দিয়েছেন। এটি নির্দেশ করে যে Qwen 3.6 মডেলটি মাল্টিমোডাল কাজেও সক্ষম। RTX 3090-এর ২৪ জিবি ভিআরএএম-এর মধ্যে ২০ জিবি ব্যবহার করায় মডেলটি আরামে ফিট হয়েছে এবং কোনো মেমরি সমস্যা হয়নি।

এই সাফল্যের পেছনে মূল কারণ হলো মডেল কোয়ান্টাইজেশন। Qwen 3.6:35b-a3b মডেলটিকে বিশেষভাবে সংকুচিত করা হয়েছে যাতে এটি ২০ জিবি ভিআরএএম-এ ফিট হয়। সাধারণত ৩৫ বিলিয়ন প্যারামিটারের মডেল চালাতে ৪০ জিবি বা তার বেশি মেমরি প্রয়োজন হয়। কিন্তু কোয়ান্টাইজেশন প্রক্রিয়ায় মডেলের নির্ভুলতা কিছুটা কমিয়ে আকার ছোট করা হয়েছে।

বাংলাদেশের ডেভেলপার ও ফ্রিল্যান্সারদের জন্য এই খবর অত্যন্ত গুরুত্বপূর্ণ। এখন ব্যবহৃত RTX 3090 কার্ড (যার দাম প্রায় ৩০-৪০ হাজার টাকা) কিনে একটি শক্তিশালী লোকাল AI সার্ভার তৈরি করা সম্ভব। এর ফলে API-র মাসিক খরচ বাঁচবে এবং ডেটা গোপনীয়তা নিশ্চিত হবে। শিক্ষার্থীরা গবেষণার জন্য বড় মডেল নিয়ে পরীক্ষা করতে পারবেন।

তবে কিছু সীমাবদ্ধতা রয়েছে। মডেলটি সংকুচিত হওয়ায় এর নির্ভুলতা মূল মডেলের চেয়ে কম হতে পারে। এছাড়া RTX 3090-এর বিদ্যুৎ খরচ ও তাপ নিয়ন্ত্রণ একটি চ্যালেঞ্জ। তবুও ব্যবহৃত গেমিং হার্ডওয়্যার ব্যবহার করে লোকাল AI-র এই অগ্রগতি প্রযুক্তি খাতে একটি নতুন দিগন্ত খুলে দিয়েছে।

ভবিষ্যতে আরও উন্নত কোয়ান্টাইজেশন কৌশল ও সস্তা হার্ডওয়্যার আসলে লোকাল AI আরও সহজলভ্য হবে। ডেভেলপারদের এখনই এই সুযোগ কাজে লাগানো উচিত।

আরও পড়ুন

• বাংলাদেশে AI মডেলের দাম ১০ গুণ কম, কোনো ক্রেডিট কার্ড লাগে না
• AI টুল ছেড়ে নিজে কোড লিখে ৩ গুণ দ্রুত শিখছেন এই ইঞ্জিনিয়ার
• লোকাল AI চালাতে ১.২ জিবি ভিআরএএম সাশ্রয়, জানুন কীভাবে