প্রম্পট বারবার পাঠিয়ে AI-তে লাভের দাবি, বাস্তবে মাত্র ২% উন্নতি
একটি গবেষণা দাবি করেছে যে প্রম্পট বারবার পাঠানো নন-রিজনিং LLM-এর কর্মক্ষমতা 21% থেকে 97% পর্যন্ত উন্নত করে। কিন্তু স্বাধীন প্রতিলিপিকরণে দেখা গেছে মাত্র 2% উন্নতি, যা পরিসংখ্যানগতভাবে গুরুত্বহীন।
একটি গবেষণা দাবি করেছে যে প্রম্পট বারবার পাঠানো নন-রিজনিং LLM-এর কর্মক্ষমতা 21% থেকে 97% পর্যন্ত উন্নত করে। কিন্তু স্বাধীন প্রতিলিপিকরণে দেখা গেছে মাত্র 2% উন্নতি, যা পরিসংখ্যানগতভাবে গুরুত্বহীন।
একটি সাম্প্রতিক গবেষণাপত্র দাবি করেছে যে নন-রিজনিং লার্জ ল্যাঙ্গুয়েজ মডেলের (LLM) কাছে প্রম্পট বারবার পাঠালে তার কর্মক্ষমতা নাটকীয়ভাবে বেড়ে যায়। গবেষণাটি বলছে, এই সহজ কৌশলে মডেলের নির্ভুলতা 21% থেকে 97% পর্যন্ত বাড়ানো সম্ভব। কিন্তু একজন স্বাধীন গবেষক সেই দাবি যাচাই করে সম্পূর্ণ ভিন্ন ফল পেয়েছেন।
ডেভ.টু প্ল্যাটফর্মে প্রকাশিত এক বিশ্লেষণে দেখা গেছে, গবেষণাপত্রের প্রতিলিপিকরণ করে মাত্র 2% উন্নতি পাওয়া গেছে। গবেষকটি 100টি MMLU (ম্যাসিভ মাল্টিটাস্ক ল্যাঙ্গুয়েজ আন্ডারস্ট্যান্ডিং) প্রশ্ন নিয়ে একটি নন-রিজনিং মডেলে পরীক্ষা চালান। প্রম্পট একবার পাঠিয়ে বেসলাইন নির্ভুলতা ছিল 59%। প্রম্পট দুবার পাঠানোর পর তা বেড়ে দাঁড়ায় 61%।
এই ফলাফল পরিসংখ্যানগতভাবে তাৎপর্যপূর্ণ নয় বলে গবেষকটি জানিয়েছেন। অর্থাৎ, এই ছোট পরিবর্তন নিশ্চিতভাবে বলা যায় না যে প্রম্পট রিপিটিশনের জন্যই হয়েছে। গবেষকটি আরও বলেছেন, এই প্রতিলিপিকরণ ব্যর্থতা তাকে ট্রান্সফরমার অ্যাটেনশন মেকানিজম সম্পর্কে মূল গবেষণাপত্রের চেয়েও বেশি শিখিয়েছে।
গবেষণাপত্রটির শিরোনাম ছিল 'Prompt Repetition Improves Non-Reasoning LLMs'। এতে দাবি করা হয়, প্রম্পট দুবার পাঠালে মডেলের 'অ্যাটেনশন' আরও ভালোভাবে কাজ করে। কিন্তু প্রতিলিপিকরণে দেখা গেছে, এই কৌশলটি সব মডেল বা সব কাজের ক্ষেত্রে সমানভাবে কার্যকর নয়। বরং, নির্দিষ্ট কিছু মডেল বা নির্দিষ্ট কিছু প্রশ্নের জন্যই এটি কাজ করতে পারে।
বাংলাদেশের প্রেক্ষাপটে এই গবেষণার গুরুত্ব রয়েছে। দেশের ডেভেলপার ও গবেষকরা যারা LLM নিয়ে কাজ করছেন, তাদের জন্য এটি একটি সতর্কবার্তা। গবেষণাপত্রের দাবি অন্ধভাবে মেনে নেওয়া বিপজ্জনক হতে পারে। বরং, নিজেদের ডেটাসেট ও মডেলে পরীক্ষা করে দেখার পরামর্শ দিচ্ছেন বিশেষজ্ঞরা। বাংলাদেশে ফ্রিল্যান্সার ও স্টার্টআপগুলো যারা AI সেবা দিচ্ছে, তাদের জন্য নির্ভরযোগ্য গবেষণার ওপর ভিত্তি করে কাজ করা জরুরি।
এই ঘটনা গবেষণার স্বচ্ছতা ও প্রতিলিপিকরণযোগ্যতার গুরুত্ব আবারও সামনে এনেছে। বড় দাবি যাচাই না করে গ্রহণ করা উচিত নয়। ভবিষ্যতে গবেষকদের উচিত হবে তাদের কোড, ডেটাসেট ও সম্পূর্ণ পদ্ধতি উন্মুক্ত রাখা, যাতে অন্যরা সহজেই তা যাচাই করতে পারে। তবেই AI গবেষণার অগ্রগতি হবে সঠিক পথে।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: dev.to ML
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...