গুগলের মেডজেমা মডেল ৪০% ছোট, নিজের সার্ভারে চালানোর সুযোগ
গুগলের মেডজেমা-১.৫-৪বি মডেলকে ইন্টিজার ৪ বিটে কোয়ান্টাইজ করে সাইজ কমানো হয়েছে ৮.৬ জিবি থেকে ৫.২ জিবিতে। এই প্রক্রিয়ায় জিপিটিকিউ পদ্ধতি ব্যবহার করা হয়েছে কারণ অটোএডব্লিউকিউ আনুষ্ঠানিকভাবে বাতিল ঘোষণা করা হয়েছে। সেলফ-হোস্টেড ডেপ্লয়মেন্টের জন্য এটি একটি গুরুত্বপূর্ণ অগ্রগতি।
গুগলের মেডজেমা-১.৫-৪বি মডেলকে ইন্টিজার ৪ বিটে কোয়ান্টাইজ করে সাইজ কমানো হয়েছে ৮.৬ জিবি থেকে ৫.২ জিবিতে। এই প্রক্রিয়ায় জিপিটিকিউ পদ্ধতি ব্যবহার করা হয়েছে কারণ অটোএডব্লিউকিউ আনুষ্ঠানিকভাবে বাতিল ঘোষণা করা হয়েছে। সেলফ-হোস্টেড ডেপ্লয়মেন্টের জন্য এটি একটি গুরুত্বপূর্ণ অগ্রগতি।
গুগলের মেডিকেল ভিশন-ল্যাঙ্গুয়েজ মডেল মেডজেমা-১.৫-৪বি-কে ইন্টিজার ৪ বিটে কোয়ান্টাইজ করে সাইজ কমানো হয়েছে ৮.৬ জিবি থেকে ৫.২ জিবিতে। এই কাজটি করেছে llm-compressor টুল ব্যবহার করে জিপিটিকিউ মডিফায়ারের মাধ্যমে। ফলে মডেলটির সাইজ প্রায় ৪০ শতাংশ কমে গেছে যা সেলফ-হোস্টেড ডেপ্লয়মেন্টের জন্য একটি বড় সুবিধা তৈরি করেছে।
এই কোয়ান্টাইজেশন প্রক্রিয়ায় ডেভেলপাররা জিপিটিকিউ পদ্ধতি বেছে নিয়েছে কারণ অটোএডব্লিউকিউ আনুষ্ঠানিকভাবে বাতিল ঘোষণা করা হয়েছে। এমনকি সেটিংস অ্যাডজাস্ট করলেও অটোএডব্লিউকিউ আর নির্ভরযোগ্য নয় বলে টেক কমিউনিটিতে জানানো হয়েছে। জিপিটিকিউ পদ্ধতি বর্তমানে সবচেয়ে কার্যকর এবং আপডেটেড কোয়ান্টাইজেশন টেকনিক হিসেবে বিবেচিত হচ্ছে।
মডেলটি বিএফ১৬ ফরম্যাটে ছিল ৮.৬ জিবি সাইজের। কোয়ান্টাইজেশনের পর এটি দাঁড়িয়েছে ৫.২ জিবিতে। এই সাইজ কমানোর ফলে ছোট স্টোরেজ এবং কম মেমোরি ব্যবহার করেই মডেলটি চালানো সম্ভব হবে। বিশেষ করে যেসব প্রতিষ্ঠান নিজস্ব সার্ভারে মডেল হোস্ট করতে চায় তাদের জন্য এটি একটি বড় সুবিধা।
প্রক্রিয়াটি সম্পূর্ণ করতে ডেভেলপাররা gemma3_example.py ফাইল থেকে মডেল ক্লাস এবং জিপিটিকিউ রেসিপি ব্যবহার করেছে। এছাড়া gemma4_example.py ফাইল থেকে ক্যালিব্রেশন ডেটাসেট প্যাটার্ন নেওয়া হয়েছে। পুরো স্টেপ-বাই-স্টেপ গাইড এবং মডেল লিংক ডেভেলপারদের জন্য উন্মুক্ত করে দেওয়া হয়েছে।
বাংলাদেশের ডেভেলপার এবং ফ্রিল্যান্সারদের জন্য এই খবর বিশেষ গুরুত্বপূর্ণ। দেশে মেডিকেল এআই সলিউশন তৈরি করতে আগ্রহীরা এখন নিজস্ব সার্ভারে এই মডেল ব্যবহার করতে পারবেন। ক্লাউড নির্ভরতা কমিয়ে ডেটা সুরক্ষা নিশ্চিত করা সম্ভব হবে। ছোট ও মাঝারি প্রতিষ্ঠানগুলোর জন্য এটি একটি সাশ্রয়ী সমাধান হতে পারে।
ভবিষ্যতে আরও উন্নত কোয়ান্টাইজেশন টেকনিক আসবে বলে আশা করা যাচ্ছে। জিপিটিকিউ পদ্ধতি বর্তমানে সবচেয়ে নির্ভরযোগ্য বিকল্প হিসেবে প্রতিষ্ঠিত হয়েছে। চিকিৎসা খাতে এআই ব্যবহারের ক্ষেত্রে এই অগ্রগতি একটি মাইলফলক হিসেবে বিবেচিত হবে।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: dev.to ML
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...