বাংলাদেশে AI চালাতে GPU না Mac? RTX 2080 Ti-র Llama জয়, Phi-3-এ হার
একই GPU মডেল ভেদে ভিন্ন ফল দেয়। Llama 8B-তে RTX 2080 Ti জিতলেও Phi-3-তে Mac M2 Pro এগিয়ে। ফলাফল স্থানীয় LLM ইনফারেন্সে GPU-র কার্যকারিতা নিয়ে পুরনো ধারণা ভাঙছে।
একই GPU মডেল ভেদে ভিন্ন ফল দেয়। Llama 8B-তে RTX 2080 Ti জিতলেও Phi-3-তে Mac M2 Pro এগিয়ে। ফলাফল স্থানীয় LLM ইনফারেন্সে GPU-র কার্যকারিতা নিয়ে পুরনো ধারণা ভাঙছে।
একটি বেঞ্চমার্ক পরীক্ষায় দেখা গেছে, GPU-র কার্যকারিতা নির্ভর করে কোন মডেল ব্যবহার করা হচ্ছে তার ওপর। dev.to-তে প্রকাশিত এক গবেষণায় Llama 8B এবং Phi-3 নামের দুটি ভিন্ন ছোট ভাষার মডেলের পারফরম্যান্স তুলনা করা হয়েছে। পরীক্ষায় ব্যবহৃত হয়েছে Mac M2 Pro এবং RTX 2080 Ti সমৃদ্ধ একটি Linux ডেস্কটপ। ফলাফল GPU-র সর্বব্যাপী কার্যকারিতা নিয়ে পুরনো ধারণাকে চ্যালেঞ্জ জানিয়েছে।
গবেষক প্রথমে একটি পোস্টে দেখিয়েছিলেন যে ছোট টেক্সট এম্বেডিংয়ের জন্য batch=1-এ GPU খুব কমই কাজে লাগে। এবার তিনি একই তিনটি মেশিনে স্থানীয় LLM ইনফারেন্স বেঞ্চমার্ক চালান। ফলাফল তার নিজের হার্ডওয়্যার সম্পর্কে ধারণাকেই জটিল করে দিয়েছে। তিনি মনে করেন এই ফলাফল সবার সঙ্গে ভাগ করে নেওয়া উচিত।
পরীক্ষার সেটআপে তিনটি মেশিন ছিল। একটি Mac M2 Pro যার 16 GB ইউনিফায়েড মেমরি আছে এবং এটি llama-cpp-python-এর মাধ্যমে Metal ব্যবহার করেছে। অন্যটি Linux ডেস্কটপ যাতে Intel 13700K প্রসেসর, 62 GB RAM এবং 11 GB VRAM সমৃদ্ধ RTX 2080 Ti GPU আছে। এই ডেস্কটপ CUDA ব্যবহার করেছে।
Llama 8B মডেল চালানোর সময় RTX 2080 Ti Mac M2 Pro-কে হারিয়েছে। GPU-র কাঁচা শক্তি এখানে কাজে লেগেছে। কিন্তু Phi-3 মডেলে পুরো চিত্র উল্টে গেছে। একই GPU Phi-3 চালাতে গিয়ে Mac M2 Pro-র কাছে হেরে গেছে। এর কারণ Phi-3 মডেলের আর্কিটেকচার ভিন্ন এবং এটি GPU-র সুবিধা ততটা নিতে পারেনি।
এই ফলাফল দেখায় যে শুধু GPU থাকলেই হবে না। মডেলের প্রকৃতি এবং অপ্টিমাইজেশনও সমান গুরুত্বপূর্ণ। ছোট মডেলের জন্য CPU এবং ইউনিফায়েড মেমরি কখনো কখনো বেশি কার্যকর হতে পারে। গবেষক বলেছেন, এই ফলাফল তার হার্ডওয়্যার নির্বাচনের মানসিক মডেলকে জটিল করে দিয়েছে।
বাংলাদেশের ডেভেলপার এবং ফ্রিল্যান্সারদের জন্য এই তথ্য গুরুত্বপূর্ণ। স্থানীয় LLM চালানোর সময় শুধু GPU-র দিকে তাকানো ঠিক হবে না। কোন মডেল ব্যবহার করবেন, তার ওপর নির্ভর করবে আপনার হার্ডওয়্যার পছন্দ। ছোট প্রকল্পে Mac M2 Pro Phi-3-এর জন্য ভালো হতে পারে। বড় মডেলের জন্য RTX 2080 Ti এখনও কার্যকর।
গবেষণাটি স্পষ্ট করে দিয়েছে যে AI হার্ডওয়্যার নির্বাচন এখন আর সহজ নয়। মডেল-নির্ভর পারফরম্যান্স বোঝা জরুরি হয়ে উঠেছে। ভবিষ্যতে আরও মডেল এবং হার্ডওয়্যার সংমিশ্রণ নিয়ে পরীক্ষা প্রয়োজন।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: dev.to ML
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...