ChatGPT কেন স্ট্রবেরিতে R গণনা করতে ভুল করে, জানেন? টোকেনাইজেশনই আসল কারণ

আপনি নিশ্চয়ই ইন্টারনেটে মিম দেখেছেন। কেউ GPT-4-কে জিজ্ঞেস করছে স্ট্রবেরি শব্দে কয়টি R আছে, আর এটি আত্মবিশ্বাসের সাথে উত্তর দিচ্ছে 2। এটি কোনো যুক্তির ব্যর্থতা নয়। এটি জ্ঞানের ঘাটতিও নয়। এটি আধুনিক প্রতিটি Large Language Model বা LLM-এর টেক্সট পড়ার পদ্ধতির সরাসরি ফল। একবার আপনি এটি বুঝলে, AI-এর অদ্ভুত আচরণের একটি বড় অংশ আপনার কাছে পরিষ্কার হয়ে যাবে।

ডেভেলপার কমিউনিটির একটি ইন্টারেক্টিভ সিরিজের তৃতীয় দিনে এই বিষয়টি নিয়ে বিস্তারিত আলোচনা করা হয়েছে। তারা একটি হ্যান্ডস-অন BPE টোকেনাইজার সিমুলেটর তৈরি করেছে। এই সিমুলেটরে আপনি একটি বাস্তব টোকেনাইজার ইঞ্জিনে টেক্সট টাইপ করতে পারবেন এবং দেখতে পারবেন কীভাবে টোকেন তৈরি হয় এবং একীভূত হয়। এটি টোকেনাইজেশন প্রক্রিয়াকে দৃশ্যমান এবং বোধগম্য করে তোলে।

BPE বা Byte Pair Encoding হলো সেই পদ্ধতি যা দিয়ে LLM-গুলো টেক্সটকে ছোট ছোট ইউনিট বা টোকেনে ভাগ করে। এই টোকেনগুলো শব্দ, শব্দাংশ বা এমনকি অক্ষরও হতে পারে। স্ট্রবেরি শব্দটি যখন টোকেনে ভাগ করা হয়, তখন এটি 'str', 'aw', 'berry' বা 'straw', 'berry' এর মতো অংশে বিভক্ত হতে পারে। LLM এই টোকেনগুলোর প্যাটার্ন চিনতে পারে, কিন্তু পৃথক অক্ষর বা অক্ষরের অবস্থান নয়। তাই যখন জিজ্ঞেস করা হয় কয়টি R আছে, মডেলটি টোকেনের প্যাটার্ন থেকে উত্তর বের করার চেষ্টা করে, যা প্রায়ই ভুল হয়।

এই ঘটনা থেকে বোঝা যায় যে AI-এর যেকোনো অদ্ভুত আচরণের পেছনে গভীর কোনো প্রযুক্তিগত কারণ থাকতে পারে। শুধু বলার পরিবর্তে যে AI বোকা, আমাদের বুঝতে হবে এটি কীভাবে কাজ করে। টোকেনাইজেশন বোঝা মানে AI-এর সীমাবদ্ধতা এবং শক্তি দুটোই বোঝা। ডেভেলপারদের জন্য এই জ্ঞান অত্যন্ত গুরুত্বপূর্ণ, বিশেষ করে যারা AI মডেল নিয়ে কাজ করছেন বা অ্যাপ্লিকেশন তৈরি করছেন।

বাংলাদেশের ডেভেলপার এবং ফ্রিল্যান্সারদের জন্যও এই বিষয়টি প্রাসঙ্গিক। যারা ChatGPT বা অন্যান্য LLM ব্যবহার করে কন্টেন্ট তৈরি, কোডিং বা ডেটা বিশ্লেষণ করেন, তাদের জন্য টোকেনাইজেশন বোঝা জরুরি। এটি বুঝতে পারলে আপনি মডেলের আউটপুট নিয়ে আরও বাস্তবসম্মত প্রত্যাশা রাখতে পারবেন। আপনি জানবেন কখন মডেলের উত্তর বিশ্বাস করতে হবে এবং কখন সন্দেহ করতে হবে। শিক্ষার্থীদের জন্যও এটি একটি গুরুত্বপূর্ণ শিক্ষা। AI নিয়ে কাজ করতে গেলে শুধু ব্যবহার নয়, এর অন্তর্নিহিত প্রক্রিয়াও বোঝা দরকার।

ভবিষ্যতে টোকেনাইজেশন প্রক্রিয়া আরও উন্নত হবে বলে আশা করা যায়। গবেষকরা ইতিমধ্যে এমন মডেল নিয়ে কাজ করছেন যা অক্ষর-ভিত্তিক বা সাবওয়ার্ড-ভিত্তিক টোকেনাইজেশনকে আরও কার্যকর করতে পারে। কিন্তু যতদিন না সেই দিন আসছে, ততদিন আমাদের এই প্রক্রিয়াটি বুঝে নিতে হবে। কারণ AI-এর সাথে কাজ করার সময় এর সীমাবদ্ধতা জানাই হলো সবচেয়ে বড় শক্তি।

আরও পড়ুন

• ChatGPT কেন Strawberry-তে R গণনা করতে পারে না, জানলে চমকে যাবেন
• ChatGPT-এর ভেতরে কী ঘটে: টোকেন থেকে উত্তর তৈরির সরল ব্যাখ্যা
• RAG সিস্টেমের আসল শত্রু চিহ্নিত: ভুল ডকুমেন্ট বিভাজন, সমাধান জানুন