গুগলের নতুন AI মডেল বাংলাদেশে লোকাল ডিভাইসে ৩ গুণ দ্রুত কাজ করবে
গুগলের নতুন জেমা 4 QAT মডেল স্থানীয়ভাবে স্ট্রিক্স হ্যালো APU-তে চালানো হয়েছে। কোয়ান্টাইজেশন-অ্যাওয়ার ট্রেনিং পদ্ধতি ছোট মডেলের মান অনেক বেশি ধরে রাখে। ফলাফল প্রকাশ করেছে Reddit-এর r/LocalLLaMA কমিউনিটি।
গুগলের নতুন জেমা 4 QAT মডেল স্থানীয়ভাবে স্ট্রিক্স হ্যালো APU-তে চালানো হয়েছে। কোয়ান্টাইজেশন-অ্যাওয়ার ট্রেনিং পদ্ধতি ছোট মডেলের মান অনেক বেশি ধরে রাখে। ফলাফল প্রকাশ করেছে Reddit-এর r/LocalLLaMA কমিউনিটি।
গুগলের জেমা 4 মডেলের বিশেষ একটি সংস্করণ সম্প্রতি বেঞ্চমার্ক পরীক্ষায় ভালো ফল দেখিয়েছে। Reddit-এর r/LocalLLaMA কমিউনিটির একজন ব্যবহারকারী স্ট্রিক্স হ্যালো APU-তে গুগলের অফিসিয়াল জেমা 4 QAT Q4_0 GGUF মডেল পরীক্ষা করেছেন। এই পরীক্ষায় মডেলটি স্থানীয়ভাবে llama.cpp Vulkan/RADV ব্যাকএন্ডের মাধ্যমে চালানো হয়েছে।
QAT মানে কোয়ান্টাইজেশন-অ্যাওয়ার ট্রেনিং। সাধারণত মডেল তৈরি শেষ হওয়ার পর সেটিকে ছোট করার জন্য পোস্ট-ট্রেনিং কোয়ান্টাইজেশন ব্যবহার করা হয়। কিন্তু QAT পদ্ধতিতে মডেলটিকে প্রশিক্ষণের সময়ই শেখানো হয় কীভাবে কম নির্ভুলতায় (যেমন Q4) নিজের আচরণ ধরে রাখতে হবে। লক্ষ্য হলো একটি ছোট Q4 মডেল যাতে মূল মডেলের আচরণ ও মান অনেকটাই অক্ষুণ্ন থাকে।
এই পদ্ধতির ফলে মডেলের গুণগত মান পোস্ট-ট্রেনিং কোয়ান্টাইজেশনের চেয়ে অনেক ভালো থাকে। স্ট্রিক্স হ্যালো APU-তে পরীক্ষাটি দেখিয়েছে যে জেমা 4 QAT মডেল স্থানীয় ডিভাইসে কার্যকরভাবে কাজ করতে পারে। ব্যবহারকারীরা এখন উচ্চক্ষমতাসম্পন্ন ল্যাপটপ বা ডেস্কটপে বড় ভাষার মডেল চালাতে পারবেন ক্লাউডের ওপর নির্ভর না করে।
বাংলাদেশের ডেভেলপার ও এআই গবেষকদের জন্য এই খবর বিশেষভাবে গুরুত্বপূর্ণ। স্থানীয়ভাবে মডেল চালানোর অর্থ হলো ডেটা নিজের ডিভাইসেই থাকে এবং ইন্টারনেট সংযোগের প্রয়োজন হয় না। ফ্রিল্যান্সার ও ছোট স্টার্টআপরা বড় বাজেট ছাড়াই শক্তিশালী ভাষা মডেল ব্যবহার করতে পারবেন। শিক্ষার্থীরাও নিজেদের প্রকল্পে জেমা 4 মডেল নিয়ে পরীক্ষা-নিরীক্ষা করতে পারবেন।
স্ট্রিক্স হ্যালো APU বিশেষ করে এআই ওয়ার্কলোডের জন্য ডিজাইন করা হয়েছে। এতে সমন্বিত GPU ও CPU একসঙ্গে কাজ করতে পারে। ফলে মডেলটি দ্রুত এবং সাশ্রয়ীভাবে চলে। গুগলের এই উদ্যোগ দেখায় যে বড় প্রযুক্তি কোম্পানিগুলো ছোট, স্থানীয় ডিভাইস-বান্ধব মডেল তৈরিতে মনোযোগ দিচ্ছে।
ভবিষ্যতে আরও বেশি মডেল QAT পদ্ধতিতে আসবে বলে আশা করা যায়। এটি সাধারণ ব্যবহারকারীদের জন্য এআই টুলস আরও সহজলভ্য করে তুলবে। স্থানীয় প্রক্রিয়াকরণের সুবিধা এবং উন্নত মানের মডেল মিলিয়ে বাংলাদেশের প্রযুক্তি সম্প্রদায়ের জন্য এটি একটি বড় সুযোগ।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: Reddit r/LocalLLaMA
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...