AI চ্যাটে খরচ কমবে ৩ গুণ, নতুন প্রম্পট-প্রুনিং লেয়ার আনলো বাংলাদেশি ডেভেলপাররা
বড় ভাষার মডেল দীর্ঘ কথোপকথনে ধীর ও ভুল হয়, কারণ তারা অতিরিক্ত তথ্য মনে রাখে। একটি নির্ধারক প্রম্পট-প্রুনিং লেয়ার অপ্রয়োজনীয় টোকেন কেটে খরচ ও লেটেন্সি কমিয়েছে। বাস্তব বেঞ্চমার্ক ও প্রোডাকশন টেস্টিং-এ এই পদ্ধতি কার্যকর প্রমাণিত হয়েছে।
বড় ভাষার মডেল দীর্ঘ কথোপকথনে ধীর ও ভুল হয়, কারণ তারা অতিরিক্ত তথ্য মনে রাখে। একটি নির্ধারক প্রম্পট-প্রুনিং লেয়ার অপ্রয়োজনীয় টোকেন কেটে খরচ ও লেটেন্সি কমিয়েছে। বাস্তব বেঞ্চমার্ক ও প্রোডাকশন টেস্টিং-এ এই পদ্ধতি কার্যকর প্রমাণিত হয়েছে।
বড় ভাষার মডেল (LLM) দীর্ঘ কথোপকথনে ধীর ও ভুল হতে শুরু করে। অনেকেই মনে করেন মডেলের স্মৃতিশক্তি দুর্বল হওয়ায় এমন হয়। কিন্তু Towards Data Science-এর এক নতুন বিশ্লেষণ বলছে, আসল সমস্যা হলো মডেল অতিরিক্ত তথ্য মনে রাখে।
কথোপকথন বাড়ার সাথে সাথে Prompt-এ অপ্রয়োজনীয় ও কম গুরুত্বপূর্ণ টোকেন জমতে থাকে। এই টোকেনগুলো API কলের খরচ বাড়ায়, লেটেন্সি (প্রতিক্রিয়ার সময়) বাড়িয়ে দেয় এবং আউটপুটের মান নিচে নামিয়ে আনে। গবেষকরা একে 'মেমোরি লস' নয়, বরং 'মেমোরি ওভারলোড' বলছেন।
এই সমস্যা সমাধানে একটি নির্ধারক প্রম্পট-প্রুনিং লেয়ার তৈরি করা হয়েছে। এই লেয়ারটি স্বয়ংক্রিয়ভাবে Prompt থেকে সেসব টোকেন শনাক্ত ও সরিয়ে দেয় যা মূল নির্ভরতা (dependency) ভাঙে না। অর্থাৎ প্রয়োজনীয় তথ্য অক্ষত রেখে শুধু অপ্রয়োজনীয় অংশ কেটে ফেলা হয়।
পদ্ধতিটি বাস্তব বেঞ্চমার্ক ও প্রোডাকশন টেস্টিং-এ পরীক্ষা করা হয়েছে। ফলাফলে দেখা গেছে, টোকেন ব্যবহার উল্লেখযোগ্যভাবে কমেছে, কিন্তু আউটপুটের গুণগত মান আগের মতোই রয়েছে। কিছু ক্ষেত্রে মডেলের কর্মক্ষমতা আগের চেয়েও ভালো হয়েছে, কারণ মডেলকে কম অপ্রাসঙ্গিক তথ্য নিয়ে কাজ করতে হয়েছে।
বাংলাদেশের ডেভেলপার ও ফ্রিল্যান্সারদের জন্য এই খবর বিশেষ গুরুত্বপূর্ণ। যারা ChatGPT API, Claude বা অন্যান্য LLM-ভিত্তিক অ্যাপ তৈরি করেন, তারা দীর্ঘ Prompt-এ খরচ ও লেটেন্সির সমস্যায় পড়েন। এই প্রম্পট-প্রুনিং লেয়ার ব্যবহার করে তারা API বিল ৩০-৪০ শতাংশ কমাতে পারেন। বিশেষ করে চ্যাটবট, কাস্টমার সাপোর্ট সিস্টেম ও ডকুমেন্ট প্রসেসিং টুলে এটি কার্যকর হবে।
শিক্ষার্থী ও গবেষকরাও উপকৃত হবেন। যারা দীর্ঘ গবেষণাপত্র বা বইয়ের সারসংক্ষেপ তৈরি করতে LLM ব্যবহার করেন, তাদের জন্য এটি সময় ও অর্থ দুটোই বাঁচাবে। সাধারণ ব্যবহারকারীরাও উপকৃত হবেন, কারণ অ্যাপগুলোর প্রতিক্রিয়া দ্রুত হবে এবং উত্তর আরও নির্ভুল হবে।
ভবিষ্যতে এই পদ্ধতি আরও উন্নত হবে বলে আশা করা যাচ্ছে। গবেষকরা এখন বিভিন্ন মডেল আর্কিটেকচারে এটি প্রয়োগের উপায় খুঁজছেন। বাংলাদেশের টেক কমিউনিটির জন্য এটি একটি বড় সুযোগ — নিজেদের অ্যাপে এই পদ্ধতি যুক্ত করে তারা আন্তর্জাতিক মানের সেবা দিতে পারবেন।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: Towards Data Science
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...