সীমিত হার্ডওয়্যারেও চালানো যাবে শক্তিশালী AI মডেল, জানুন কীভাবে
Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled মডেলের APEX-MTP GGUF ভার্সন প্রকাশ করা হয়েছে। এই কোয়ান্টাইজেশন মডেলটিকে NVIDIA DGX Spark-এর মতো সীমিত হার্ডওয়্যারে চালানোর সুযোগ দেয়। নির্মাতা 30টির বেশি বিনামূল্যের APEX MoE কোয়ান্টাইজেশন হোস্ট করছেন।
Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled মডেলের APEX-MTP GGUF ভার্সন প্রকাশ করা হয়েছে। এই কোয়ান্টাইজেশন মডেলটিকে NVIDIA DGX Spark-এর মতো সীমিত হার্ডওয়্যারে চালানোর সুযোগ দেয়। নির্মাতা 30টির বেশি বিনামূল্যের APEX MoE কোয়ান্টাইজেশন হোস্ট করছেন।
কৃত্রিম বুদ্ধিমত্তা জগতে একটি উল্লেখযোগ্য সংযোজন ঘটেছে। Reddit-এর r/LocalLLaMA কমিউনিটিতে mudler/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-APEX-MTP-GGUF মডেলটি প্রকাশ করা হয়েছে। এই মডেলটি APEX (Adaptive Precision for EXpert Models) কোয়ান্টাইজেশন প্রযুক্তি ব্যবহার করে তৈরি করা হয়েছে।
APEX কোয়ান্টাইজেশন প্রযুক্তি MoE (Mixture of Experts) মডেলগুলিকে সীমিত হার্ডওয়্যারে চালানোর জন্য ডিজাইন করা হয়েছে। সাধারণত বড় AI মডেল চালাতে শক্তিশালী GPU প্রয়োজন হয়। কিন্তু APEX প্রযুক্তি মডেলের আকার ছোট করে ফেলে, ফলে NVIDIA DGX Spark-এর মতো 122 GB ইউনিফাইড মেমরি সম্পন্ন ডিভাইসেও মডেলটি চালানো যায়।
মডেলটির নির্মাতা জানিয়েছেন যে তিনি 30টির বেশি বিনামূল্যের APEX MoE কোয়ান্টাইজেশন হোস্ট করছেন। তাঁর নিজস্ব হার্ডওয়্যার শুধুমাত্র একটি NVIDIA DGX Spark, যা 30B থেকে 50B শ্রেণীর MoE মডেল চালানোর জন্য যথেষ্ট। তবে 200B প্যারামিটারের বড় মডেলের জন্য H100, H200 বা Blackwell GPU ভাড়া করতে হয়, যার খরচ প্রতি কোয়ান্টাইজেশনে 20 থেকে 100 ডলার পর্যন্ত হতে পারে।
এই নতুন কোয়ান্টাইজেশন পদ্ধতি গবেষক এবং ডেভেলপারদের জন্য বড় সুযোগ তৈরি করেছে। এখন তারা ব্যয়বহুল হার্ডওয়্যার ছাড়াই অত্যাধুনিক AI মডেল নিয়ে পরীক্ষা-নিরীক্ষা করতে পারবেন। নির্মাতা কমিউনিটির সহায়তা চেয়েছেন, যাতে আরও বড় মডেলের কোয়ান্টাইজেশন চালানো সম্ভব হয়।
বাংলাদেশের ডেভেলপার এবং ফ্রিল্যান্সারদের জন্য এই খবর বিশেষভাবে গুরুত্বপূর্ণ। অনেকের কাছেই ব্যয়বহুল GPU কেনার সামর্থ্য নেই। APEX কোয়ান্টাইজেশন ব্যবহার করে তারা নিজেদের কম্পিউটারেই অত্যাধুনিক AI মডেল চালাতে পারবেন। এটি AI গবেষণা এবং অ্যাপ্লিকেশন ডেভেলপমেন্টকে আরও সহজ করে তুলবে।
ভবিষ্যতে আরও বড় মডেলের কোয়ান্টাইজেশন আসার সম্ভাবনা রয়েছে। কমিউনিটির সমর্থন পেলে নির্মাতা 200B প্যারামিটারের বেশি মডেলের জন্যও APEX ভার্সন প্রকাশ করতে পারবেন। এটি AI প্রযুক্তিকে আরও সবার জন্য উন্মুক্ত করে দেবে।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: Reddit r/LocalLLaMA
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...