পুরনো রোবটে AI চালিয়ে ১০ টোকেন/সেকেন্ড, জানুন কীভাবে
একজন ডেভেলপার পুরনো রোবটিক্স প্রজেক্টের Jetson Orin NX ডিভাইসে Hermes Agent চালানোর জন্য হ্যাকস দিয়ে হিটসিঙ্ক কেটে একটি নীরব ও শক্তিশালী সিস্টেম তৈরি করেছেন। লক্ষ্য ছিল প্রতি সেকেন্ডে 10 টোকেনের বেশি জেনারেশন স্পিড এবং 300 টোকেনের বেশি প্রিফিল স্পিড অর্জন করা।
একজন ডেভেলপার পুরনো রোবটিক্স প্রজেক্টের Jetson Orin NX ডিভাইসে Hermes Agent চালানোর জন্য হ্যাকস দিয়ে হিটসিঙ্ক কেটে একটি নীরব ও শক্তিশালী সিস্টেম তৈরি করেছেন। লক্ষ্য ছিল প্রতি সেকেন্ডে 10 টোকেনের বেশি জেনারেশন স্পিড এবং 300 টোকেনের বেশি প্রিফিল স্পিড অর্জন করা।
একজন প্রযুক্তি উৎসাহী Reddit-এর LocalLLaMA কমিউনিটিতে জানিয়েছেন যে তিনি একটি পুরনো Jetson Orin NX ডিভাইসে Hermes Agent লোকালি চালানোর জন্য একটি বিশেষ বিল্ড তৈরি করেছেন। এই ডিভাইসটি আগে একটি রোবটিক্স প্রজেক্টে ব্যবহৃত হতো এবং Llama-7B মডেলের যুগ থেকে অব্যবহৃত ছিল। এখন MoE এবং ছোট মডেলগুলোর উন্নতির সুযোগ নিয়ে তিনি আবার এটি নিয়ে কাজ শুরু করেছেন।
এই বিল্ডের মূল লক্ষ্য ছিল তিনটি। প্রথমত, ডিভাইসটিকে যতটা সম্ভব নীরব করা। দ্বিতীয়ত, টোকেন জেনারেশন (TG) প্রতি সেকেন্ডে 10 টোকেনের বেশি এবং প্রিফিল (PP) প্রতি সেকেন্ডে 300 টোকেনের বেশি অর্জন করা। তৃতীয়ত, কমপক্ষে 65K কনটেক্সট সাপোর্ট করা। এই লক্ষ্যগুলো পূরণ করতে তাকে স্টক হিটসিঙ্কে হ্যাকসো দিয়ে কাটতে হয়েছে। কারণ ডিভাইসটির পাওয়ার 25W থেকে 40W-তে বাড়ানো হয়েছে এবং নীরব অপারেশন নিশ্চিত করতে তাপ ব্যবস্থাপনা উন্নত করা জরুরি ছিল।
Jetson Orin NX মূলত একটি এম্বেডেড AI কম্পিউটার যা ছোট আকারের হলেও শক্তিশালী GPU এবং CPU ধারণ করে। এটি সাধারণত রোবটিক্স, ড্রোন এবং ইন্ডাস্ট্রিয়াল অটোমেশনে ব্যবহৃত হয়। তবে এই ডেভেলপার প্রমাণ করেছেন যে এটি লোকাল LLM চালানোর জন্যও কার্যকর হতে পারে। হার্ডওয়্যার মডিফিকেশন এবং সফটওয়্যার অপ্টিমাইজেশনের মাধ্যমে তিনি একটি ছোট, নীরব কিন্তু শক্তিশালী AI সার্ভার তৈরি করেছেন।
বাংলাদেশের ডেভেলপার এবং ফ্রিল্যান্সারদের জন্য এই খবর গুরুত্বপূর্ণ। কারণ দেশে অনেকেই সীমিত বাজেটে AI মডেল চালানোর জন্য বিকল্প খুঁজছেন। Jetson Orin NX-এর মতো এম্বেডেড ডিভাইস ব্যবহার করে তারা কম খরচে এবং কম শব্দে নিজস্ব AI সিস্টেম তৈরি করতে পারেন। এছাড়াও Hermes Agent-এর মতো উন্নত এজেন্ট মডেল স্থানীয়ভাবে চালানোর মাধ্যমে ডেটা গোপনীয়তা রক্ষা করা সম্ভব।
এই বিল্ডটি দেখায় যে পুরনো হার্ডওয়্যার দিয়েও আধুনিক AI মডেল চালানো সম্ভব। ভবিষ্যতে আরও ছোট এবং শক্তিশালী এম্বেডেড ডিভাইস বাজারে আসবে। তবে আপাতত এই ধরনের DIY প্রজেক্ট প্রযুক্তি উৎসাহীদের জন্য একটি উত্তেজনাপূর্ণ সম্ভাবনা তৈরি করেছে।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: Reddit r/LocalLLaMA
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...