GPU কোল্ড স্টার্ট ৭৪% কমিয়ে ৩০ সেকেন্ডে আনল ওপেন সোর্স টুল, জানুন কী লাভ
একটি নতুন ওপেন সোর্স টুল GPUHedge একাধিক সার্ভারলেস GPU প্রোভাইডার জুড়ে হেজিং কৌশল ব্যবহার করে কোল্ড স্টার্ট লেটেন্সি 74% কমিয়ে এনেছে। বেঞ্চমার্কিংয়ে দেখা গেছে, কোনো একক প্রোভাইডারই টেইল লেটেন্সি এড়াতে পারে না। টুলটি বর্তমানে আলফা সংস্করণে GitHub-এ পাওয়া যাচ্ছে।
একটি নতুন ওপেন সোর্স টুল GPUHedge একাধিক সার্ভারলেস GPU প্রোভাইডার জুড়ে হেজিং কৌশল ব্যবহার করে কোল্ড স্টার্ট লেটেন্সি 74% কমিয়ে এনেছে। বেঞ্চমার্কিংয়ে দেখা গেছে, কোনো একক প্রোভাইডারই টেইল লেটেন্সি এড়াতে পারে না। টুলটি বর্তমানে আলফা সংস্করণে GitHub-এ পাওয়া যাচ্ছে।
সার্ভারলেস GPU কম্পিউটিংয়ে দীর্ঘদিনের বড় সমস্যা কোল্ড স্টার্ট লেটেন্সি সমাধানে নতুন একটি ওপেন সোর্স টools বাজারে এসেছে। GPUHedge নামের এই টুলটি একাধিক সার্ভারলেস GPU প্রোভাইডার জুড়ে স্মার্ট হেজিং কৌশল প্রয়োগ করে কোল্ড স্টার্ট লেটেন্সি 117 সেকেন্ড থেকে 30 সেকেন্ডে নামিয়ে এনেছে। টুলটির নির্মাতা মিরেক লিজিকার সম্প্রতি Reddit-এর r/MachineLearning ফোরামে এই সাফল্যের কথা জানিয়েছেন।
এই টুলের গুরুত্ব বোঝার জন্য প্রথমে কোল্ড স্টার্ট সমস্যাটি বুঝতে হবে। যখন কোনো সার্ভারলেস GPU প্রোভাইডারে প্রথমবারের মতো একটি মডেল লোড করা হয়, তখন সেই GPU ইনস্ট্যান্স চালু হতে এবং মডেলটি মেমোরিতে লোড হতে সময় লাগে। এই সময়কেই কোল্ড স্টার্ট লেটেন্সি বলা হয়। বড় AI মডেলের ক্ষেত্রে এই সময় কখনো কখনো ২ মিনিটের বেশি হতে পারে, যা রিয়েল টাইম অ্যাপ্লিকেশনের জন্য মারাত্মক সমস্যা তৈরি করে। GPUHedge এই সমস্যার সমাধান করেছে একই অনুরোধ একাধিক প্রোভাইডারে পাঠিয়ে এবং যেটি প্রথমে উত্তর দেয় সেটি ব্যবহার করে।
GPUHedge তৈরির পেছনের গল্পটি বেশ মজার। লিজিকার একটি 17 GB-র AI মডেল বেঞ্চমার্ক করার সময় দেখেন যে তার প্রধান প্রোভাইডারে রিকোয়েস্টগুলো সাধারণত 6 থেকে 8 সেকেন্ডে সম্পন্ন হয়। কিন্তু যখন কোল্ড স্টার্ট হয়, তখন সেই সময় বেড়ে 90 থেকে 122 সেকেন্ডে পৌঁছে যায়। তিনি অন্য প্রোভাইডারে সুইচ করে দেখেন যে সমস্যা যায়নি। কারণ প্রতিটি প্রোভাইডারেরই নিজস্ব টেইল লেটেন্সি ছিল। কোনো একক প্রোভাইডারই এই টেইল লেটেন্সি সম্পূর্ণ এড়াতে পারে না।
এই পর্যবেক্ষণ থেকেই GPUHedge-এর জন্ম। টুলটি Apache-2.0 লাইসেন্সের অধীনে ওপেন সোর্স এবং বর্তমানে আলফা সংস্করণে GitHub-এ উপলব্ধ। এটি একই সাথে একাধিক সার্ভারলেস GPU প্রোভাইডারে (যেমন RunPod, Vast.ai, Lambda Labs ইত্যাদি) রিকোয়েস্ট পাঠায় এবং যে প্রোভাইডার প্রথমে উত্তর দেয় তার ফলাফল গ্রহণ করে। বাকি রিকোয়েস্টগুলো তখনই বাতিল করা হয়। এই পদ্ধতিতে পি৯৫ লেটেন্সি 117 সেকেন্ড থেকে 30 সেকেন্ডে নেমে এসেছে। পি৯৫ লেটেন্সি বলতে বোঝায় ৯৫% রিকোয়েস্ট যত সময়ের মধ্যে সম্পন্ন হয়।
বাংলাদেশের ডেভেলপার এবং ফ্রিল্যান্সারদের জন্য এই টুলটি বিশেষভাবে গুরুত্বপূর্ণ হতে পারে। বাংলাদেশে AI এবং মেশিন লার্নিং নিয়ে কাজ করা অনেক ডেভেলপার এবং স্টার্টআপ সার্ভারলেস GPU পরিষেবা ব্যবহার করে। কোল্ড স্টার্ট লেটেন্সির কারণে তাদের মডেল ডিপ্লয়মেন্টে অপ্রত্যাশিত বিলম্ব হতো। GPUHedge ব্যবহার করে তারা এই বিলম্ব অনেকটাই কমিয়ে আনতে পারবে। বিশেষ করে যারা রিয়েল টাইম চ্যাটবট, ইমেজ জেনারেশন বা ভিডিও প্রসেসিং নিয়ে কাজ করেন তাদের জন্য এটি বড় সুবিধা।
তবে টুলটি এখনও আলফা সংস্করণে রয়েছে। তাই প্রোডাকশনে ব্যবহারের আগে ভালোভাবে পরীক্ষা করে নেওয়া উচিত। লিজিকার মতে, তিনি টুলটিকে আরও পরিণত করতে কাজ চালিয়ে যাচ্ছেন। ভবিষ্যতে এটি আরও বেশি প্রোভাইডার সাপোর্ট এবং উন্নত হেজিং অ্যালগরিদম নিয়ে আসতে পারে।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: Reddit r/MachineLearning
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...