লোকাল AI-তে বিপ্লব: Intel Arc B70 Pro-তে সেকেন্ডে 977 টোকেন প্রসেসিং
Qwen 3.6-35B-A3B মডেল Intel Arc B70 Pro গ্রাফিক্স কার্ডে 977 টোকেন প্রতি সেকেন্ড প্রসেসিং গতি অর্জন করেছে। 262k কনটেক্সট উইন্ডো সমর্থন করে এই মডেলটি লোকাল AI ব্যবহারে নতুন দিগন্ত খুলে দিয়েছে।
Qwen 3.6-35B-A3B মডেল Intel Arc B70 Pro গ্রাফিক্স কার্ডে 977 টোকেন প্রতি সেকেন্ড প্রসেসিং গতি অর্জন করেছে। 262k কনটেক্সট উইন্ডো সমর্থন করে এই মডেলটি লোকাল AI ব্যবহারে নতুন দিগন্ত খুলে দিয়েছে।
লোকাল AI মডেল চালানোর জগতে এক নতুন মাইলফলক স্থাপন করেছে চীনা প্রযুক্তি কোম্পানি Alibaba-র ওপেন সোর্স মডেল Qwen 3.6-35B-A3B। Reddit-এর r/LocalLLaMA কমিউনিটিতে প্রকাশিত বেঞ্চমার্ক ফলাফল অনুযায়ী, এই মডেলটি Intel Arc B70 Pro গ্রাফিক্স কার্ডে 977 টোকেন প্রতি সেকেন্ড (tk/s) প্রম্পট প্রসেসিং গতি অর্জন করেছে। এটি একটি বিশাল ল্যাঙ্গুয়েজ মডেলের জন্য অস্বাভাবিকভাবে উচ্চ গতি, যা সাধারণত ডেডিকেটেড সার্ভার বা ক্লাউড API-তে দেখা যায়।
এই গতি অর্জনের পেছনে রয়েছে মডেলটির বিশেষ আর্কিটেকচার এবং SYCL ব্যাকএন্ডের সমন্বয়। SYCL একটি ওপেন স্ট্যান্ডার্ড যা বিভিন্ন GPU-তে কোড চালানোর অনুমতি দেয়। Qwen 3.6-35B-A3B মডেলটি Q4_K কোয়ান্টাইজেশন ব্যবহার করে, যার ফলে মডেলটির মেমরি ব্যবহার মাত্র 20.81 GiB-তে সীমাবদ্ধ হয়েছে। এর মানে হলো একটি মিড-রেঞ্জ গ্রাফিক্স কার্ড দিয়েও এই শক্তিশালী মডেল চালানো সম্ভব।
মডেলটির আরেকটি উল্লেখযোগ্য বৈশিষ্ট্য হলো 262k কনটেক্সট উইন্ডো। এই বিশাল কনটেক্সট উইন্ডো একটি মডেলকে একসঙ্গে অনেক বড় টেক্সট, যেমন একটি সম্পূর্ণ বই বা একটি দীর্ঘ গবেষণাপত্র বিশ্লেষণ করতে সাহায্য করে। সাধারণত GPT-4-এর মতো বাণিজ্যিক মডেলগুলোর কনটেক্সট উইন্ডো 128k-এর মধ্যে সীমাবদ্ধ থাকে। Qwen 3.6-35B-A3B-এর এই সক্ষমতা লোকাল AI ব্যবহারকারীদের জন্য বড় প্রকল্প হাতে নেওয়ার পথ খুলে দিয়েছে।
টোকেন প্রসেসিং গতি এবং কনটেক্সট উইন্ডোর এই সমন্বয় ব্যবহারকারীদের জন্য একটি বাস্তব সুবিধা তৈরি করেছে। একজন ব্যবহারকারী Reddit-এ জানিয়েছেন যে তিনি এই মডেলটি দিয়ে একটি সম্পূর্ণ পোকার গেম ডিজাইন করতে পেরেছেন, কোনো বাধা ছাড়াই। মডেলটি Oh My Pi-র মতো টুলের সঙ্গেও সহজে কাজ করে, যা ডেভেলপারদের জন্য এটিকে আরও আকর্ষণীয় করে তুলেছে।
বাংলাদেশের ডেভেলপার, ফ্রিল্যান্সার এবং শিক্ষার্থীদের জন্য এই খবর বিশেষভাবে গুরুত্বপূর্ণ। স্থানীয়ভাবে শক্তিশালী AI মডেল চালানোর অর্থ হলো ক্লাউড API-র জন্য প্রতি মাসে ব্যয় কমানো যেতে পারে। একটি মিড-রেঞ্জ Intel Arc গ্রাফিক্স কার্ড দিয়ে এখন নিজের কম্পিউটারে AI মডেল চালিয়ে কোডিং, কনটেন্ট জেনারেশন এবং ডেটা বিশ্লেষণের কাজ করা সম্ভব। এটি বাংলাদেশের প্রযুক্তি খাতে লোকাল AI গ্রহণের গতি বাড়িয়ে দেবে।
ভবিষ্যতে আরও অপ্টিমাইজেশন এবং নতুন হার্ডওয়্যার সাপোর্টের মাধ্যমে এই ধরনের মডেল আরও সুলভ হয়ে উঠবে। Qwen 3.6-35B-A3B প্রমাণ করেছে যে ওপেন সোর্স AI মডেলগুলো বাণিজ্যিক প্রতিযোগীদের চ্যালেঞ্জ জানাতে প্রস্তুত।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: Reddit r/LocalLLaMA
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...