Google ও Sakana AI-এর নতুন কৌশলে AI দ্রুত হবে, কম খরচে চালানো যাবে

Transformer আর্কিটেকচার বর্তমান AI জগতের ভিত্তি। কিন্তু এর সেলফ-অ্যাটেনশন মেকানিজমের একটি বড় সমস্যা আছে। এটি মেমরি আর গণনা একসঙ্গে বেঁধে ফেলে। এর খরচ O(L^2) যেখানে L হলো ইনপুটের দৈর্ঘ্য। এই খরচ কমানোর জন্য দুটি নতুন গবেষণাপত্র সামনে এসেছে।

Google-এর Memory Caching এবং Sakana AI-এর Continuous Thought Machine বা CTM এই দুটি গবেষণা। সম্প্রতি এগুলোকে অনেকে 'Transformer Killer' বলে প্রচার করছে। কিন্তু বাস্তবে এগুলো কোনো পণ্য নয়। এগুলো শুধুমাত্র গবেষণাপত্র। এগুলো Transformer-কে প্রতিস্থাপন করার জন্য তৈরি হয়নি।

dev.to ML সোর্স অনুযায়ী এই গবেষণাপত্র দুটির মূল বক্তব্য খুব সহজ। Transformer-এর সেলফ-অ্যাটেনশন মেমরি আর গণনা একই প্রক্রিয়ায় করে। Memory Caching মেমরি অংশটি আলাদা করে নিচ্ছে। অন্যদিকে CTM গণনার অংশটি আলাদা করছে। এই ধারণা বোঝা গেলে বাকি সব বিস্তারিত পরিষ্কার হয়ে যায়।

মজার বিষয় হলো এই গবেষণাপত্র দুটির ফলাফল নিয়ে অনেক ভুল তথ্য ছড়িয়েছে। বিশেষ করে SWE-bench বা GPQA বেঞ্চমার্কের ফলাফল নিয়ে গুজব আছে। কিন্তু মূল গবেষণাপত্র দুটিতে SWE-bench ফলাফলের কোনো উল্লেখ নেই। যারা এই গবেষণাপত্র নিয়ে সেকেন্ডারি আর্টিকেল লিখছে তারা প্রায়ই ভুয়া তথ্য যোগ করছে। এই নিবন্ধে শুধুমাত্র মূল গবেষণাপত্রের তথ্যই ব্যবহার করা হয়েছে।

বাংলাদেশের AI গবেষক ও ডেভেলপারদের জন্য এই খবর গুরুত্বপূর্ণ। Transformer-এর খরচ কমানোর এই পদ্ধতি বোঝা মানে বড় ল্যাঙ্গুয়েজ মডেলের ভবিষ্যৎ বোঝা। বিশেষ করে যারা ছোট সংস্থায় কাজ করেন তাদের জন্য এটি কার্যকর হতে পারে। কারণ কম্পিউটেশনাল রিসোর্স কম থাকলেও এই কৌশল ব্যবহার করে বড় মডেল চালানো সম্ভব হবে।

ভবিষ্যতে এই গবেষণা থেকে বাস্তব পণ্য আসতে পারে। কিন্তু এখনই বলা সম্ভব না। গবেষকদের এখন আরও পরীক্ষা-নিরীক্ষা করতে হবে। ট্রান্সফরমারের ভবিষ্যৎ কী হবে তা নির্ভর করছে এই ধরনের গবেষণার ওপর।

আরও পড়ুন

• ChatGPT এখন স্বপ্ন দেখবে, আপনার কাজ হবে ৩ গুণ দ্রুত
• AI এজেন্টের স্মৃতিশক্তি বাড়ল, আপনার ফ্রিল্যান্সিং কাজ হবে ৩ গুণ দ্রুত
• AI এজেন্ট এখন নিজেই সিদ্ধান্ত নেয়, আপনার চাকরি বদলে যাবে