এআই মডেল এখন নিজের পিসিতেই চালান, জানুন কীভাবে
StepFun-এর 3.7 Flash মডেলটি AMD-এর নতুন Ryzen AI Max+ 395 প্রসেসরে সফলভাবে চালানো হয়েছে। 128 GB মেমরি ও বিশেষ Vulkan/RADV বিল্ড ব্যবহার করে এই পরীক্ষা করা হয়। এটি স্থানীয়ভাবে বড় AI মডেল চালানোর নতুন সম্ভাবনা তৈরি করবে।
StepFun-এর 3.7 Flash মডেলটি AMD-এর নতুন Ryzen AI Max+ 395 প্রসেসরে সফলভাবে চালানো হয়েছে। 128 GB মেমরি ও বিশেষ Vulkan/RADV বিল্ড ব্যবহার করে এই পরীক্ষা করা হয়। এটি স্থানীয়ভাবে বড় AI মডেল চালানোর নতুন সম্ভাবনা তৈরি করবে।
বাংলাদেশের কৃত্রিম বুদ্ধিমত্তা ও প্রযুক্তি সম্প্রদায়ের জন্য বড় খবর। Reddit-এর r/LocalLLaMA ফোরামে এক ব্যবহারকারী StepFun 3.7 Flash মডেলটিকে AMD Ryzen AI Max+ 395 প্রসেসরে চালানোর সফল পরীক্ষার তথ্য প্রকাশ করেছে। এই পরীক্ষায় StepFun 3.7 Flash-এর MTP ড্রাফট মডেলটি ব্যবহার করা হয়েছে।
এই পরীক্ষাটি গুরুত্বপূর্ণ কারণ এটি প্রমাণ করে যে বড় ভাষার মডেলগুলো এখন স্থানীয় ডিভাইসে চালানো সম্ভব হচ্ছে। আগে এই ধরনের মডেল চালানোর জন্য শক্তিশালী GPU বা ক্লাউড সার্ভিসের প্রয়োজন হতো। কিন্তু AMD-এর এই নতুন প্রসেসর এবং 128 GB LPDDR5X মেমরির সমন্বয়ে এখন বাড়িতেই AI মডেল চালানো যাচ্ছে।
সিস্টেম কনফিগারেশনটি ছিল চিত্তাকর্ষক। মাদারবোর্ডে ছিল AMD Ryzen AI Max+ 395 প্রসেসর এবং Radeon 8060S গ্রাফিক্স। মেমরি ছিল 128 GB ইউনিফায়েড LPDDR5X। অপারেটিং সিস্টেম হিসেবে ব্যবহার করা হয়েছে Ubuntu 25.04। BIOS-এ UMA বা ইউনিফর্ম মেমরি অ্যাক্সেস মোডে VRAM বরাদ্দ রাখা হয়েছে 4 GB। GTT সিলিং ছিল 112 GiB। IOMMU চালু রাখা হয়েছে।
মডেলটি সার্ভ করার জন্য ব্যবহার করা হয়েছে প্যাচ করা llama.cpp Vulkan/RADV বিল্ড। গ্রাফিক্স ড্রাইভার হিসেবে ছিল Mesa 25.2.8 এবং RADV। ROCm সংস্করণ ছিল 7.1.1 বেসলাইন। কিছু রান এ ROCm 7.2.x রানটাইমও ব্যবহার করা হয়েছে। এই সব উপাদান একসঙ্গে কাজ করে StepFun 3.7 Flash মডেলটিকে সঠিকভাবে চালাতে সাহায্য করেছে।
বাংলাদেশের ডেভেলপার ও প্রযুক্তি উৎসাহীদের জন্য এই খবর নতুন দিগন্ত খুলে দিতে পারে। যারা স্থানীয়ভাবে AI মডেল টেস্ট করতে চান বা প্রাইভেসি-সংবেদনশীল অ্যাপ্লিকেশন তৈরি করছেন, তাদের জন্য এটি বড় সুযোগ। ক্লাউডের ওপর নির্ভর না করে নিজের কম্পিউটারেই বড় মডেল চালানো এখন বাস্তব। বিশেষ করে যারা AMD-এর Ryzen AI সিরিজের ল্যাপটপ ব্যবহার করেন, তারা সহজেই এই মডেল চালিয়ে দেখতে পারেন।
ভবিষ্যতে আরও অপ্টিমাইজেশন এবং সহজ টুলস আসলে এই প্রযুক্তি আরও জনপ্রিয় হবে। স্থানীয় AI মডেল চালানোর মাধ্যমে ডেভেলপাররা দ্রুত প্রোটোটাইপ তৈরি করতে পারবেন এবং ডেটা নিরাপত্তা নিশ্চিত করতে পারবেন।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: Reddit r/LocalLLaMA
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...