বাংলাদেশে AI চালাতে GPU-র গতি ৩ গুণ বাড়াল নতুন C++ পদ্ধতি
প্যাডিং ওভারহেড দূর করে জিপিইউ-এর দক্ষতা বাড়ানোর একটি নতুন পদ্ধতি। সিকোয়েন্স প্যাকিং টেকনিক ব্যবহার করে এলএলএম ইনফারেন্সকে করেছে ৩ গুণ দ্রুততর।
প্যাডিং ওভারহেড দূর করে জিপিইউ-এর দক্ষতা বাড়ানোর একটি নতুন পদ্ধতি। সিকোয়েন্স প্যাকিং টেকনিক ব্যবহার করে এলএলএম ইনফারেন্সকে করেছে ৩ গুণ দ্রুততর।
বড় ভাষার মডেল এলএলএম চালানোর সময় জিপিইউ-এর অর্ধেকের বেশি শক্তি অলস বসে থাকত। এই সমস্যা সমাধানে এক গবেষক তৈরি করেছেন হার্ডওয়্যার-অবগত সিকোয়েন্স প্যাকিং কৌশল। টুওয়ার্ডস ডেটা সায়েন্সে প্রকাশিত এক নিবন্ধে এই উদ্ভাবনের বিস্তারিত বর্ণনা দেওয়া হয়েছে।
এলএলএম ইনফারেন্সের সময় প্রতিটি ইনপুট সিকোয়েন্সকে সমান দৈর্ঘ্যে প্যাড করতে হয়। এই প্যাডিং জিপিইউ-এর মেমোরি ও প্রসেসিং ক্ষমতার অপচয় ঘটায়। গবেষক দেখেছেন যে প্যাডিং অপসারণ করলে আগের চেয়ে ৩ গুণ দ্রুত ইনফারেন্স সম্ভব হয়।
নতুন পদ্ধতিটি হার্ডওয়্যার-অবগত সিকোয়েন্স প্যাকিং নামে পরিচিত। এটি বিভিন্ন দৈর্ঘ্যের সিকোয়েন্সকে এমনভাবে একত্র করে যাতে জিপিইউ-এর প্রতিটি কোর সম্পূর্ণরূপে ব্যবহৃত হয়। গবেষক একটি কাস্টম সি++ ব্যাকএন্ড তৈরি করেছেন যা এই প্যাকিং প্রক্রিয়াকে স্বয়ংক্রিয়ভাবে পরিচালনা করে।
এই ব্যাকএন্ড সরাসরি জিপিইউ-এর মেমোরি ব্যবস্থাপনাকে নিয়ন্ত্রণ করে। ফলে প্যাডিংয়ের জন্য কোনো অতিরিক্ত গণনা বা মেমোরি বরাদ্দের প্রয়োজন হয় না। গবেষক দাবি করেছেন যে এই পদ্ধতি বিদ্যমান এলএলএম মডেল যেমন জিপিটি-৪ বা এলএলএএমএ-এর ক্ষেত্রেও প্রযোজ্য।
বাংলাদেশের ডেভেলপার ও ফ্রিল্যান্সারদের জন্য এই গবেষণা অত্যন্ত গুরুত্বপূর্ণ। ক্লাউড জিপিইউ ভাড়া করে এলএলএম অ্যাপ্লিকেশন তৈরির খরচ অনেক কমিয়ে দিতে পারে এই পদ্ধতি। ছোট স্টার্টআপ বা ব্যক্তি উদ্যোক্তারাও এখন সীমিত বাজেটে বড় মডেল চালাতে পারবেন।
শিক্ষার্থী ও গবেষকরাও এই কৌশল ব্যবহার করে নিজেদের মডেল দ্রুত ট্রেনিং করতে পারবেন। সাধারণত ট্রেনিংয়ের সময়ও প্যাডিংয়ের কারণে জিপিইউ-এর দক্ষতা কমে যায়। নতুন পদ্ধতি ট্রেনিং ইনফারেন্স উভয় ক্ষেত্রেই কার্যকর হতে পারে বলে গবেষক মনে করেন।
ভবিষ্যতে এই কৌশল আরও পরিশীলিত আকারে পাওয়া যাবে বলে আশা করা যাচ্ছে। গবেষক ইতিমধ্যে ওপেন সোর্স কমিউনিটিতে কোড প্রকাশের পরিকল্পনা ঘোষণা করেছেন। বাংলাদেশের প্রযুক্তি সম্প্রদায়ের জন্য এটি একটি বড় সুযোগ তৈরি করবে বলে বিশেষজ্ঞরা মনে করছেন।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: Towards Data Science
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...