AI মডেলের নির্ভুলতা বাড়াতে কোহেনস কাপা স্থিতিশীল করার সহজ উপায়

AI মডেল মূল্যায়নের নির্ভরযোগ্যতা নিয়ে কাজ করা ডেভেলপারদের জন্য কোহেনস কাপা একটি গুরুত্বপূর্ণ মেট্রিক। কিন্তু অনেক সময় দেখা যায়, এই মান সপ্তাহে সপ্তাহে অপ্রত্যাশিতভাবে ওঠানামা করে। ডেভেলপাররা প্রায়ই মনে করেন লেবেলারদের আচরণে সমস্যা আছে। কিন্তু প্রকৃত কারণ ভিন্ন।

ডেভেলপার সম্প্রদায়ের জনপ্রিয় প্ল্যাটফর্ম dev.to-তে প্রকাশিত একটি গবেষণা নিবন্ধ এই বিষয়ে আলোকপাত করেছে। নিবন্ধটি বলছে, কোহেনস কাপার এই ড্রিফটের মূল কারণ ক্যালিব্রেশন সেটের মার্জিনাল ডিস্ট্রিবিউশনে পরিবর্তন। লেবেলারদের আচরণে কোনো সমস্যা নেই।

কোহেনস কাপা কীভাবে কাজ করে তা বুঝলে সমস্যাটি স্পষ্ট হয়। এই মেট্রিকটি দুটি অংশ নিয়ে গঠিত: Po বা পর্যবেক্ষিত চুক্তি এবং Pe বা এলোমেলো চুক্তির সম্ভাবনা। সূত্রটি হলো: কাপা = (Po - Pe) / (1 - Pe)। এখানে Pe নির্ভর করে ক্যালিব্রেশন সেটের লেবেল বিতরণের ওপর।

উদাহরণস্বরূপ, যদি গত সপ্তাহে লেবেলার A 70 শতাংশ ট্রেসকে গ্রহণযোগ্য এবং 25 শতাংশকে ভালো হিসেবে চিহ্নিত করে, তাহলে Pe-এর মান একটি নির্দিষ্ট রূপ নেয়। কিন্তু এই সপ্তাহে যদি লেবেল বিতরণ পরিবর্তিত হয়, যেমন 50 শতাংশ গ্রহণযোগ্য এবং 40 শতাংশ ভালো, তাহলে Pe-এর মান বদলে যায়। ফলে কাপার মানও পরিবর্তিত হয়, যদিও লেবেলারদের আচরণ একই থাকে।

এই সমস্যার সমাধান সহজ। ক্যালিব্রেশন সেটের লেবেল বিতরণ নিয়মিত পর্যবেক্ষণ করতে হবে। যদি বিতরণে বড় ধরনের পরিবর্তন দেখা যায়, তাহলে সেটিকে আগের সপ্তাহের বিতরণের কাছাকাছি আনার চেষ্টা করতে হবে। এটি করার মাধ্যমে Pe-এর মান স্থিতিশীল রাখা সম্ভব, যা কাপার মানকেও স্থিতিশীল করবে।

বাংলাদেশের প্রেক্ষাপটে এই গবেষণা বিশেষ গুরুত্বপূর্ণ। দেশের ফ্রিল্যান্সার এবং স্টার্টআপগুলো AI মডেল মূল্যায়নে কোহেনস কাপা ব্যবহার করে। সঠিকভাবে ক্যালিব্রেশন সেট পরিচালনা করতে পারলে তারা আরও নির্ভরযোগ্য ফলাফল পাবে। এটি তাদের কাজের মান বাড়াবে এবং আন্তর্জাতিক বাজারে প্রতিযোগিতায় টিকে থাকতে সাহায্য করবে।

ভবিষ্যতে AI মডেল মূল্যায়নের জন্য আরও উন্নত পদ্ধতি আসতে পারে। তবে বর্তমানে কোহেনস কাপা একটি বহুল ব্যবহৃত মেট্রিক। তাই এর ড্রিফট নিয়ন্ত্রণ করা ডেভেলপারদের জন্য অত্যন্ত জরুরি। ক্যালিব্রেশন সেটের লেবেল বিতরণের দিকে নজর দিলেই এই সমস্যার সমাধান সম্ভব।

আরও পড়ুন

• AI মডেলের নির্ভরযোগ্যতা: ৩ চ্যালেঞ্জে সম্ভাবনাময় ভবিষ্যৎ!
• AI ভুলের আসল কারণ জানুন: মডেল নয়, বিষয়বস্তুই দায়ী
• ১০০ বছরের পুরনো গবেষণা: এআই প্রশিক্ষণের চাবিকাঠি মানব ডেটা!