একটি মাত্র আরটিএক্স 3090 দিয়ে ক্লডের কাজ করবে লোকাল Qwen, খরচ বাঁচবে ১০ গুণ
একজন ডেভেলপার দুই সপ্তাহ ধরে ক্লডের পরিবর্তে লোকাল Qwen3.6-27B মডেল ব্যবহার করে তার মাল্টি-এজেন্ট সিস্টেম চালিয়েছেন। একটি মাত্র আরটিএক্স 3090 গ্রাফিক্স কার্ডেই এই মডেল চালানো সম্ভব হয়েছে, যা প্রমাণ করে যে ব্যয়বহুল ক্লাউড API-র বিকল্প হিসেবে শক্তিশালী লোকাল মডেল কাজ করতে পারে।
একজন ডেভেলপার দুই সপ্তাহ ধরে ক্লডের পরিবর্তে লোকাল Qwen3.6-27B মডেল ব্যবহার করে তার মাল্টি-এজেন্ট সিস্টেম চালিয়েছেন। একটি মাত্র আরটিএক্স 3090 গ্রাফিক্স কার্ডেই এই মডেল চালানো সম্ভব হয়েছে, যা প্রমাণ করে যে ব্যয়বহুল ক্লাউড API-র বিকল্প হিসেবে শক্তিশালী লোকাল মডেল কাজ করতে পারে।
একজন ডেভেলপার দুই সপ্তাহ ধরে তার মাল্টি-এজেন্ট অর্কেস্ট্রেটরে ক্লডের পরিবর্তে একটি লোকাল মডেল ব্যবহার করেছেন। তিনি Qwen3.6-27B মডেলটি একটি মাত্র আরটিএক্স 3090 গ্রাফিক্স কার্ডে (24GB VRAM) চালিয়ে দেখেছেন যে এটি ক্লডের মতো কাজ করতে পারে কিনা। এই পরীক্ষার ফলাফল Reddit-এর r/LocalLLaMA কমিউনিটিতে শেয়ার করেছেন তিনি।
এই পরীক্ষাটি গুরুত্বপূর্ণ কারণ এটি দেখায় যে ব্যয়বহুল ক্লাউড API-র উপর নির্ভর না করেও একটি শক্তিশালী রিজনিং লেয়ার তৈরি করা সম্ভব। ডেভেলপাররা এখন নিজেদের কম্পিউটারেই উন্নত AI মডেল চালাতে পারবেন, যা খরচ কমাবে এবং ডেটার গোপনীয়তা রক্ষা করবে। বিশেষ করে বাংলাদেশের মতো দেশে যেখানে ডলারের দাম বেশি, সেখানে এটি একটি বড় সুযোগ।
সেটআপটি ছিল বেশ সরল। একটি আরটিএক্স 3090 গ্রাফিক্স কার্ডে Qwen3.6-27B মডেলটি Q6_K কোয়ান্টাইজেশনে চালানো হয়েছে। এই কোয়ান্টাইজেশন মডেলটির আকার কমিয়ে 22GB-তে নিয়ে এসেছে, যা 24GB VRAM-এ সহজেই ফিট হয়েছে। ইনফারেন্স ইঞ্জিন হিসেবে ব্যবহার করা হয়েছে Ollama, যার মাধ্যমে 32k কার্যকর কনটেক্সট এবং স্ট্রাকচার্ড JSON প্ল্যান তৈরি করা সম্ভব হয়েছে।
মাল্টি-এজেন্ট অর্কেস্ট্রেটরে তিনটি স্তর ছিল। প্রথম স্তরে একজন লিড এজেন্ট, দ্বিতীয় স্তরে একজন ম্যানেজার এজেন্ট এবং তৃতীয় স্তরে একাধিক সাব-এজেন্ট। ক্লড এই সিস্টেমের রিজনিং লেয়ার হিসেবে কাজ করত। এখন Qwen3.6-27B সেই দায়িত্ব পালন করেছে। সিস্টেমটি স্ট্রাকচার্ড JSON প্ল্যান তৈরি করত, প্ল্যান অ্যাপ্রুভাল মোডাল দেখাত এবং সাব-এজেন্ট কাজ শেষ করার পর অটো-রিভিউ পাস করত।
কোথায় কাজ করেছে এবং কোথায় ব্যর্থ হয়েছে, সেটি ডেভেলপার বিস্তারিতভাবে উল্লেখ করেছেন। সহজ টাস্ক যেমন তথ্য সংগ্রহ ও সারসংক্ষেপ তৈরিতে মডেলটি ক্লডের কাছাকাছি পারফরম্যান্স দেখিয়েছে। কিন্তু জটিল মাল্টি-স্টেপ রিজনিং এবং লং-কনটেক্সট মেমোরি প্রয়োজন এমন কাজে ক্লড এখনও এগিয়ে। বিশেষ করে যখন প্ল্যানে 10টির বেশি স্টেপ থাকত, তখন Qwen3.6-27B কিছু ভুল সিদ্ধান্ত নিত।
বাংলাদেশের ডেভেলপার ও ফ্রিল্যান্সারদের জন্য এই খবরটি বিশেষভাবে প্রাসঙ্গিক। একটি আরটিএক্স 3090 কার্ড বর্তমানে বাংলাদেশের বাজারে প্রায় ১ লাখ টাকায় পাওয়া যায়। অন্যদিকে ক্লডের API ব্যবহার করতে প্রতি মাসে কয়েক হাজার টাকা খরচ হতে পারে। যারা দীর্ঘমেয়াদে AI সিস্টেম তৈরি করবেন, তাদের জন্য লোকাল মডেল একটি সাশ্রয়ী বিকল্প হতে পারে। তবে শুরুতে কিছু টেকনিক্যাল দক্ষতা প্রয়োজন হবে।
ভবিষ্যতে আরও শক্তিশালী লোকাল মডেল আসবে, যা ক্লড বা GPT-4-এর কাছাকাছি পারফরম্যান্স দেবে। Qwen3.6-27B ইতিমধ্যে প্রমাণ করেছে যে একটি মাত্র গ্রাফিক্স কার্ড দিয়েও পেশাদার মানের মাল্টি-এজেন্ট সিস্টেম চালানো সম্ভব। ডেভেলপাররা এখন নিজেদের প্রয়োজন অনুযায়ী লোকাল এবং ক্লাউড মডেলের মধ্যে ভারসাম্য রাখতে পারবেন।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: Reddit r/LocalLLaMA
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...