Samsung S26 Ultra-তে AI মডেল চালিয়ে প্রতি সেকেন্ডে ৯০ টোকেন গতি, জানুন কী লাভ
একজন স্বশিক্ষিত AI গবেষক Samsung Galaxy S26 Ultra-তে Qwen 35B MoE মডেল সফলভাবে চালিয়েছেন। মোবাইল ডিভাইসেই প্রতি সেকেন্ডে 90টি ইনপুট টোকেন ও 8টি আউটপুট টোকেন প্রক্রিয়া করা সম্ভব হয়েছে। এই পরীক্ষা প্রমাণ করে যে বড় ভাষার মডেল এখন স্মার্টফোনেও সীমাবদ্ধতা ছাড়াই চলতে পারে।
একজন স্বশিক্ষিত AI গবেষক Samsung Galaxy S26 Ultra-তে Qwen 35B MoE মডেল সফলভাবে চালিয়েছেন। মোবাইল ডিভাইসেই প্রতি সেকেন্ডে 90টি ইনপুট টোকেন ও 8টি আউটপুট টোকেন প্রক্রিয়া করা সম্ভব হয়েছে। এই পরীক্ষা প্রমাণ করে যে বড় ভাষার মডেল এখন স্মার্টফোনেও সীমাবদ্ধতা ছাড়াই চলতে পারে।
বিশাল আকারের ভাষার মডেল এখন আর শুধু শক্তিশালী সার্ভার বা GPU-র জন্য সীমাবদ্ধ নয়। একজন স্বশিক্ষিত AI গবেষক Reddit-এর r/MachineLearning ফোরামে জানিয়েছেন যে তিনি Samsung Galaxy S26 Ultra স্মার্টফোনে Qwen 35B MoE মডেল সফলভাবে পরীক্ষা করেছেন। এই পরীক্ষায় মডেলটি ডিভাইসের মেমরি সীমার মধ্যেই ফিট হয়েছে এবং উল্লেখযোগ্য গতি প্রদর্শন করেছে।
গবেষকটি জানিয়েছেন যে অপটিমাইজেশনের পর মোবাইলে ইনপুট প্রসেসিং গতি প্রায় 90 টোকেন প্রতি সেকেন্ড এবং আউটপুট জেনারেশন গতি প্রায় 8 টোকেন প্রতি সেকেন্ড অর্জন করা সম্ভব হয়েছে। তিনি তার পদ্ধতি বা আর্কিটেকচার সম্পর্কে বিস্তারিত না জানালেও বলেছেন যে এই রানটাইম সম্পূর্ণ প্রাইভেট এবং নিজস্ব উদ্ভাবন।
Qwen 35B MoE একটি মিশ্র বিশেষজ্ঞ মডেল যা 35 বিলিয়ন প্যারামিটার ধারণ করে। MoE বা Mixture of Experts আর্কিটেকচার মডেলটিকে শুধুমাত্র প্রয়োজনীয় অংশ সক্রিয় রেখে কাজ করতে সাহায্য করে। এ কারণে মডেলটির সক্রিয় ফুটপ্রিন্ট ডিভাইসের মেমরি সীমার মধ্যে থাকে এবং মোবাইলের মতো সীমিত সম্পদেও চালানো সম্ভব হয়।
এই সাফল্য বিশেষভাবে গুরুত্বপূর্ণ কারণ বর্তমানে বড় ভাষার মডেল যেমন GPT-4 বা LLaMA চালানোর জন্য সাধারণত ক্লাউড সার্ভার বা উচ্চক্ষমতাসম্পন্ন কম্পিউটার প্রয়োজন হয়। কিন্তু এই পরীক্ষা প্রমাণ করে যে ভবিষ্যতে স্মার্টফোনেই এআই অ্যাসিস্ট্যান্ট, টেক্সট জেনারেশন এবং ডেটা বিশ্লেষণের মতো কাজ করা যাবে।
বাংলাদেশের জন্য এই খবর অত্যন্ত প্রাসঙ্গিক। দেশের ডেভেলপার, ফ্রিল্যান্সার এবং শিক্ষার্থীরা এখন নিজেদের স্মার্টফোনেই বড় ভাষার মডেল নিয়ে পরীক্ষা করতে পারবেন। এটি এআই শিক্ষা ও গবেষণার ক্ষেত্রে একটি বড় সুযোগ তৈরি করবে। তবে গবেষকটি জানিয়েছেন যে তিনি এখনও সহযোগী খুঁজছেন এবং তার পদ্ধতি শেয়ার করতে আগ্রহী নন।
এই পরীক্ষা প্রমাণ করে যে মোবাইল ডিভাইসে বড় এআই মডেল চালানোর সম্ভাবনা এখন বাস্তবে রূপ নিচ্ছে। ভবিষ্যতে আরও অপটিমাইজেশন এবং ওপেন সোর্স কন্ট্রিবিউশনের মাধ্যমে এই প্রযুক্তি সাধারণ ব্যবহারকারীর কাছেও পৌঁছে যেতে পারে।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: Reddit r/MachineLearning
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...