AMD-র নতুন প্রযুক্তিতে AI সার্ভিং হবে ৩ গুণ দ্রুত, জানুন কী লাভ
AMD তাদের নতুন ROCm-নেটিভ LLM সার্ভিং স্ট্যাক ATOM ও ATOMesh প্রকাশ করেছে। এর মূল বৈশিষ্ট্য হলো প্রিফিল ও ডিকোড ফেজ আলাদা GPU পুলে ভাগ করে নেওয়া। ফলে লম্বা প্রম্পটের কারণে সৃষ্ট লেটেন্সি কমে যাবে এবং হার্ডওয়্যার ব্যবহারের দক্ষতা বাড়বে।
AMD তাদের নতুন ROCm-নেটিভ LLM সার্ভিং স্ট্যাক ATOM ও ATOMesh প্রকাশ করেছে। এর মূল বৈশিষ্ট্য হলো প্রিফিল ও ডিকোড ফেজ আলাদা GPU পুলে ভাগ করে নেওয়া। ফলে লম্বা প্রম্পটের কারণে সৃষ্ট লেটেন্সি কমে যাবে এবং হার্ডওয়্যার ব্যবহারের দক্ষতা বাড়বে।
এএমডি (AMD) তাদের নতুন ROCm-নেটিভ LLM সার্ভিং স্ট্যাক ATOM ও ATOMesh প্রকাশ করেছে। এই স্ট্যাকটি প্রিফিল ও ডিকোড ইনফারেন্স ফেজকে আলাদা GPU পুলে বিভক্ত করে। এর ফলে লম্বা প্রম্পটের কারণে সৃষ্ট লেটেন্সি কমে যাবে এবং হার্ডওয়্যার ব্যবহারের দক্ষতা বাড়বে।
এই স্ট্যাকটি কেন গুরুত্বপূর্ণ? প্রিফিল ও ডিকোড ফেজের বাধা একে অপরের বিপরীত। প্রিফিল ফেজ কম্পিউট-বাউন্ড বা গণনার সীমাবদ্ধ। অন্যদিকে ডিকোড ফেজ মেমোরি-ব্যান্ডউইথ-বাউন্ড বা মেমোরি ব্যান্ডউইথের সীমাবদ্ধ। একই ওয়ার্কারে এই দুই ফেজ চালালে হার্ডওয়্যারের অপচয় হয় এবং একটি লম্বা প্রম্পট অন্য সবার টোকেন স্ট্রিম আটকে দিতে পারে।
প্রযুক্তিগত দিক থেকে ATOM ও ATOMesh এই সমস্যার সমাধান করে। এটি প্রিফিল ও ডিকোড ফেজকে আলাদা GPU পুলে ভাগ করে নেয়। ফলে একটি লম্বা প্রম্পট অন্য সবার টোকেন স্ট্রিমে প্রভাব ফেলতে পারে না। এই বিভাজন হার্ডওয়্যার ব্যবহারের দক্ষতা বাড়ায় এবং লেটেন্সি কমায়।
আগের পদ্ধতি বা কো-লোকেটেড সার্ভার (যেখানে সব GPU একই পুলে থাকে) এর তুলনায় এই নতুন পদ্ধতি অনেক বেশি কার্যকর। কো-লোকেটেড সার্ভারে সব GPU একসঙ্গে কাজ করে। কিন্তু ATOM ও ATOMesh GPU পুল আলাদা করে দিয়ে প্রতিটি ফেজের জন্য বিশেষায়িত হার্ডওয়্যার ব্যবহারের সুযোগ করে দেয়।
বাংলাদেশের ডেভেলপার ও ফ্রিল্যান্সারদের জন্য এই খবর গুরুত্বপূর্ণ। তারা এখন ROCm-ভিত্তিক সিস্টেমে বড় ভাষার মডেল (LLM) চালাতে পারবেন। লম্বা প্রম্পট নিয়ে কাজ করার সময় লেটেন্সি সমস্যা কমে যাবে। ছোট ব্যবসা ও শিক্ষার্থীরাও এই প্রযুক্তি ব্যবহার করে নিজেদের AI প্রকল্প দ্রুত বাস্তবায়ন করতে পারবেন।
ভবিষ্যতে AMD আরও উন্নত LLM সার্ভিং স্ট্যাক আনতে পারে। ATOM ও ATOMesh শুধু শুরু। এটি প্রমাণ করে যে AMD ROCm প্ল্যাটফর্মে গুরুত্ব দিচ্ছে এবং প্রতিযোগিতায় টিকে থাকতে চায়। ডেভেলপারদের জন্য এটি একটি বড় সুযোগ।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: dev.to ML
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...