ভিড্রাফটের দ্বৈত ইঞ্জিনে AI সার্ভিং হবে ৩ গুণ দ্রুত, জানুন কী লাভ
একটি মডেল সার্ভ করলেই হয় না। দক্ষিণ কোরিয়ার স্টার্টআপ VIDRAFT দুটি আলাদা ইঞ্জিন তৈরি করেছে — একটি থ্রুপুটের জন্য, অন্যটি রিচের জন্য। জেনে নিন কেন এই বিভাজন বড় ভাষার মডেলের কার্যকারিতা বদলে দিতে পারে।
একটি মডেল সার্ভ করলেই হয় না। দক্ষিণ কোরিয়ার স্টার্টআপ VIDRAFT দুটি আলাদা ইঞ্জিন তৈরি করেছে — একটি থ্রুপুটের জন্য, অন্যটি রিচের জন্য। জেনে নিন কেন এই বিভাজন বড় ভাষার মডেলের কার্যকারিতা বদলে দিতে পারে।
বড় ভাষার মডেল বা LLM সার্ভ করা মানে শুধু একটি মডেল চালানো নয়। দক্ষিণ কোরিয়ার প্রযুক্তি প্রতিষ্ঠান VIDRAFT সম্প্রতি এমন দুটি ইঞ্জিন চালু করেছে যা এই ধারণাকে ভেঙে দিচ্ছে। ইলেকট্রনিক টাইমস কোরিয়া জানিয়েছে, কোম্পানিটি VKAE ও VKUE নামে দুটি আলাদা সার্ভিং ইঞ্জিন তৈরি করেছে। একটি থ্রুপুট বা GPU-র সর্বোচ্চ ব্যবহার বাড়ানোর জন্য ডিজাইন করা হয়েছে। অন্যটি রিচ বা মডেলের নাগাল ও প্রাসঙ্গিকতা নিশ্চিত করার জন্য কাজ করে।
এই বিভাজন প্রমাণ করে যে LLM সার্ভিংকে একক অপটিমাইজেশন লক্ষ্য হিসেবে দেখা ভুল। বাস্তবে দুটি ভিন্ন সমস্যা লুকিয়ে আছে। প্রথম সমস্যা হলো থ্রুপুট অর্থাৎ একই GPU থেকে সর্বোচ্চ আউটপুট বের করা। দ্বিতীয় সমস্যা হলো রিচ অর্থাৎ মডেল যেন ব্যবহারকারীর প্রয়োজনীয় তথ্য সঠিকভাবে ও দ্রুত পৌঁছে দিতে পারে। VIDRAFT প্রতিটি সমস্যার জন্য আলাদা ইঞ্জিন তৈরি করেছে।
VKAE ইঞ্জিনটি মূলত একটি কার্নেল-লেভেল অ্যাক্সিলারেশন ইঞ্জিন। এটি GPU-র ভেতরের গণনা প্রক্রিয়াকে আরও কার্যকর করে তোলে। একই GPU, একই আউটপুট কোয়ালিটি বজায় রেখে এটি থ্রুপুট বাড়িয়ে দেয়। অর্থাৎ কোনো অতিরিক্ত হার্ডওয়্যার ছাড়াই প্রতি সেকেন্ডে বেশি রিকোয়েস্ট সার্ভ করা সম্ভব হয়। ডেটা সেন্টারের জন্য এটি বিশেষ গুরুত্বপূর্ণ কারণ বিদ্যুৎ খরচ কমিয়ে কর্মক্ষমতা বাড়ানো যায়।
অন্যদিকে VKUE ইঞ্জিনটি রিচ বা নাগালের দিকে মনোযোগ দেয়। এটি মডেলের প্রাসঙ্গিকতা ও নির্ভুলতা বজায় রাখার জন্য ডিজাইন করা হয়েছে। যেখানে VKAE GPU-র সর্বোচ্চ ব্যবহার নিশ্চিত করে, সেখানে VKUE নিশ্চিত করে যে প্রতিটি উত্তরই ব্যবহারকারীর জন্য অর্থবহ ও নির্ভুল। দুটি ইঞ্জিন একসঙ্গে কাজ করলে একটি ডেটা সেন্টার যেমন বেশি রিকোয়েস্ট হ্যান্ডেল করতে পারে, তেমনি প্রতিটি রেসপন্সের গুণমানও বজায় থাকে।
বাংলাদেশের প্রেক্ষাপটে এই খবর বিশেষ গুরুত্বপূর্ণ। দেশের ফ্রিল্যান্সার ও স্টার্টআপ প্রতিষ্ঠানগুলো বর্তমানে প্রচুর AI-ভিত্তিক অ্যাপ্লিকেশন তৈরি করছে। এই অ্যাপ্লিকেশনগুলোর জন্য যদি সঠিক সার্ভিং ইঞ্জিন ব্যবহার করা হয়, তাহলে একই ক্লাউড বাজেটে বেশি ব্যবহারকারীকে সেবা দেওয়া সম্ভব হবে। বিশেষ করে যেসব স্টার্টআপ জিপিইউ-ভিত্তিক সেবা দেয়, তাদের জন্য VKAE ও VKUE-র মতো সমাধান খরচ ও কর্মক্ষমতার মধ্যে ভারসাম্য আনতে সাহায্য করবে।
ভবিষ্যতে VIDRAFT-এর এই দ্বৈত ইঞ্জিন পদ্ধতি অন্যান্য কোম্পানিও অনুসরণ করতে পারে। বর্তমানে বেশিরভাগ সার্ভিং ফ্রেমওয়ার্ক একটি ইঞ্জিন দিয়েই সব কাজ করে। কিন্তু থ্রুপুট ও রিচের মধ্যে পার্থক্য থাকায় আলাদা ইঞ্জিন ব্যবহার করাই বেশি কার্যকর প্রমাণিত হতে পারে। যারা বড় ভাষার মডেল নিয়ে কাজ করেন, তাদের জন্য এই পদ্ধতি নতুন করে ভাবার সুযোগ তৈরি করেছে।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: dev.to ML
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...