RTX 5090-এ ২৬B মডেল টিউনিং, ২২GB VRAM-এ চালানো গেল
RTX 5090 গ্রাফিক্স কার্ডে DiffusionGemma 26B A4B মডেলের টিউনিং ফলাফল প্রকাশিত হয়েছে। মডেলটি মাত্র 22 GB VRAM ব্যবহার করে Q6_K কোয়ান্টাইজেশনে চলে। তবে ফ্ল্যাশ অ্যাটেনশন অটো-ডিজেবল হওয়ায় কনটেক্সট সীমিত হচ্ছে।
RTX 5090 গ্রাফিক্স কার্ডে DiffusionGemma 26B A4B মডেলের টিউনিং ফলাফল প্রকাশিত হয়েছে। মডেলটি মাত্র 22 GB VRAM ব্যবহার করে Q6_K কোয়ান্টাইজেশনে চলে। তবে ফ্ল্যাশ অ্যাটেনশন অটো-ডিজেবল হওয়ায় কনটেক্সট সীমিত হচ্ছে।
ডিফিউশন মডেলের জগতে নতুন সংযোজন নিয়ে এলো DiffusionGemma 26B A4B। Reddit-এর r/LocalLLaMA কমিউনিটিতে একজন ব্যবহারকারী তাদের টিউনিং ফলাফল শেয়ার করেছেন। NVIDIA-এর নতুন RTX 5090 গ্রাফিক্স কার্ডে এই পরীক্ষা চালানো হয়েছে।
এই মডেলটি 26 বিলিয়ন প্যারামিটার নিয়ে কাজ করে কিন্তু A4B আর্কিটেকচারের কারণে মাত্র 4 বিলিয়ন প্যারামিটার সক্রিয় রাখে। ফলে এটি তুলনামূলকভাবে কম মেমোরি ব্যবহার করে। ব্যবহারকারী unsloth/diffusiongemma-26B-A4B-it-GGUF মডেলটি llama.cpp বিল্ডের মাধ্যমে পরীক্ষা করেছেন।
পরীক্ষায় দেখা গেছে Q6_K কোয়ান্টাইজেশন ব্যবহার করলে মডেলটি মাত্র 22 GB VRAM দখল করে। এটি 32 GB VRAM বিশিষ্ট RTX 5090-এর জন্য আদর্শ। তবে একটি গুরুত্বপূর্ণ সীমাবদ্ধতা হলো ফ্ল্যাশ অ্যাটেনশন SM120 আর্কিটেকচারে অটো-ডিজেবল হয়ে যায়। এর ফলে মডেলের সর্বোচ্চ কনটেক্সট দৈর্ঘ্য সীমিত হচ্ছে।
ব্যবহারকারী জানিয়েছেন যে Deepseek টেস্টিং স্ক্রিপ্ট এবং রিপোর্ট তৈরিতে সহায়তা করেছে। তবে টিউনিং ফলাফল সম্পূর্ণ নিজস্ব। CUDA 13.3 এবং GCC-15 কম্পাইলার ব্যবহার করে বিল্ড তৈরি করা হয়েছে। Ninja এবং ccache বিল্ড প্রক্রিয়াকে ত্বরান্বিত করেছে।
বাংলাদেশের এআই গবেষক এবং ডেভেলপারদের জন্য এটি একটি গুরুত্বপূর্ণ খবর। স্থানীয়ভাবে শক্তিশালী গ্রাফিক্স কার্ডের দাম বেশি হওয়ায় কম VRAM ব্যবহার করে এমন মডেল অত্যন্ত প্রয়োজন। DiffusionGemma 26B A4B-এর মতো মডেল কম খরচে বড় ভাষা মডেল নিয়ে কাজ করার সুযোগ তৈরি করছে। ফ্রিল্যান্সার এবং স্টার্টআপরা এই মডেল ব্যবহার করে ইমেজ জেনারেশন এবং টেক্সট-টু-ইমেজ টাস্ক করতে পারবেন।
ভবিষ্যতে ফ্ল্যাশ অ্যাটেনশন সমর্থন আসলে মডেলটির কার্যকারিতা আরও বাড়বে। ইতিমধ্যে unsloth-এর মতো প্রতিষ্ঠান GGUF ফরম্যাটে মডেল সরবরাহ করে স্থানীয় ডিপ্লয়মেন্ট সহজ করেছে। RTX 5090-এর মতো নতুন হার্ডওয়্যার এবং এই ধরনের অপ্টিমাইজড মডেল একসঙ্গে কাজ করলে এআই প্রযুক্তি আরও সবার জন্য প্রবেশযোগ্য হবে।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: Reddit r/LocalLLaMA
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...