SGLang এলো, বাংলাদেশি ডেভেলপারদের AI সার্ভিং হবে ৩ গুণ দ্রুত
vLLM মডেল সার্ভিংয়ে বিপ্লব ঘটালেও গবেষকরা কেন SGLang তৈরি করলেন? নতুন এই টুলটি কী কী সমস্যা সমাধান করে এবং বাংলাদেশের ডেভেলপারদের জন্য এর অর্থ কী?
vLLM মডেল সার্ভিংয়ে বিপ্লব ঘটালেও গবেষকরা কেন SGLang তৈরি করলেন? নতুন এই টুলটি কী কী সমস্যা সমাধান করে এবং বাংলাদেশের ডেভেলপারদের জন্য এর অর্থ কী?
২০২২-২০২৩ সালে ChatGPT ও ওপেন সোর্স মডেলের দৌলতে বহু কোম্পানি GPU ইনফ্রাস্ট্রাকচারে মডেল হোস্ট করতে শুরু করে। কিন্তু তারা দ্রুত বুঝতে পারে যে GPU আইডল টাইম ও কম্পিউটেশনাল বটলনেক তাদের বড় বাধা হয়ে দাঁড়িয়েছে। ঠিক সেই সময়ে বার্কলির স্কাই কম্পিউটিং ল্যাব থেকে আসে vLLM। এটি মডেল সার্ভিংয়ের জগৎ পুরোপুরি বদলে দেয়। GPU ব্যবহারের হার আকাশচুম্বী হয় এবং ডেভেলপাররা স্বস্তির নিঃশ্বাস ফেলে।
কিন্তু প্রশ্ন থেকে যায়। যদি vLLM সব সমস্যার সমাধান করে ফেলে, তাহলে কেন ইউসি বার্কলি, স্ট্যানফোর্ড ও কার্নেগি মেলনের গবেষকরা মিলে SGLang নামে আরেকটি সার্ভিং টুল বানালেন? উত্তরটা লুকিয়ে আছে বিশদে। vLLM দারুণভাবে মেমোরি ম্যানেজমেন্ট ও বেচিং অপটিমাইজ করলেও এটি মূলত একক মডেলের জন্য ডিজাইন করা হয়েছিল। অন্যদিকে SGLang তৈরি হয়েছে মাল্টি-মডেল ও জটিল প্রম্পট পাইপলাইনের কথা মাথায় রেখে।
SGLang-এর মূল উদ্ভাবন হলো এটি প্রোগ্রামেবল প্রম্পট ফ্রন্টএন্ড সরবরাহ করে। এর মানে ডেভেলপাররা চাইলেই একাধিক মডেলকে একসঙ্গে চালাতে পারেন। যেমন একটি চ্যাটবটে প্রথমে একটি মডেল টেক্সট জেনারেট করবে, তারপর দ্বিতীয় মডেল সেই টেক্সটের সারাংশ তৈরি করবে। vLLM-এ এই কাজটি করতে গেলে আলাদা আলাদা API কল ও ম্যানুয়াল অপটিমাইজেশন দরকার হতো। SGLang সেই জটিলতা কমিয়ে দিয়েছে।
তুলনামূলক পরীক্ষায় SGLang কিছু নির্দিষ্ট ওয়ার্কলোডে vLLM-এর চেয়ে ২ থেকে ৩ গুণ দ্রুত কাজ করতে পারে। বিশেষ করে যখন একাধিক মডেল একসঙ্গে কাজ করে বা যখন প্রম্পটে অনেক কন্ডিশনাল লজিক থাকে। তবে vLLM এখনো সহজ ও একক মডেল সার্ভিংয়ের জন্য সবচেয়ে জনপ্রিয় টুল। দুটো টুলই ওপেন সোর্স এবং সম্প্রদায়ের অবদানে দিন দিন উন্নত হচ্ছে।
বাংলাদেশের ডেভেলপার ও ফ্রিল্যান্সারদের জন্য এই খবর বিশেষ গুরুত্বপূর্ণ। দেশে AI স্টার্টআপ ও ফ্রিল্যান্সিং বাড়ছে। অনেকেই ক্লায়েন্টের জন্য চ্যাটবট বা কাস্টম AI টুল তৈরি করেন। SGLang ব্যবহার করে তারা জটিল মাল্টি-মডেল পাইপলাইন দ্রুত তৈরি করতে পারবেন। এর ফলে কম GPU খরচে বেশি কাজ করা সম্ভব হবে। যারা ইতিমধ্যে vLLM ব্যবহার করছেন, তারা SGLang-কে একটি পরিপূরক টুল হিসেবে ভাবতে পারেন।
ভবিষ্যতে দেখা যাবে যে vLLM ও SGLang হয়তো একীভূত হবে অথবা আলাদা পথে চলবে। তবে বর্তমানে এদের অস্তিত্বই প্রমাণ করে যে AI সার্ভিংয়ের সমস্যা পুরোপুরি সমাধান হয়নি। গবেষকরা এখনো আরও দক্ষ, নমনীয় ও ব্যবহারবান্ধব সমাধানের পেছনে ছুটছেন। বাংলাদেশের টেক সম্প্রদায়ের উচিত এই টুলগুলো নিয়ে পরীক্ষা-নিরীক্ষা করা এবং নিজেদের প্রোজেক্টে প্রয়োগ করা।
সূত্র: dev.to ML
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: dev.to ML
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...