ডিসিশন ট্রির উচ্চ ভ্যারিয়েন্স: সামান্য ডেটা পরিবর্তনে মডেল ভুল করছে কেন?
মেশিন লার্নিং কোর্সে বারবার বলা হয় 'ডিসিশন ট্রির উচ্চ ভ্যারিয়েন্স আছে'। কিন্তু মডেলটি আসলে কী করে যে এই বৈশিষ্ট্য তৈরি হয়? একটি সহজ উদাহরণ দিয়ে ব্যাখ্যা করা হলো কেন সামান্য ডেটা পরিবর্তনে গাছের গঠন নাটকীয়ভাবে বদলে যায়।
মেশিন লার্নিং কোর্সে বারবার বলা হয় 'ডিসিশন ট্রির উচ্চ ভ্যারিয়েন্স আছে'। কিন্তু মডেলটি আসলে কী করে যে এই বৈশিষ্ট্য তৈরি হয়? একটি সহজ উদাহরণ দিয়ে ব্যাখ্যা করা হলো কেন সামান্য ডেটা পরিবর্তনে গাছের গঠন নাটকীয়ভাবে বদলে যায়।
মেশিন লার্নিং শেখার সময় প্রতিটি কোর্সে একটি কথা বারবার শোনানো হয়: 'ডিসিশন ট্রির উচ্চ ভ্যারিয়েন্স আছে।' প্রথমবার শুনে অনেক শিক্ষার্থী এটি মেনে নেয় এবং পরবর্তী বিষয়ে চলে যায়। কিন্তু কিছুদিন আগে একটি প্রশ্ন আমার মাথায় ঘুরছিল: এর আসল অর্থ কী? টেক্সটবুকের সংজ্ঞা নয়, বরং মডেলটি আসলে কী করছে যার কারণে সবাই একে 'হাই ভ্যারিয়েন্স' অ্যালগরিদম বলে?
dev.to ML-এর একটি সাম্প্রতিক লেখা এই প্রশ্নের উত্তর দিয়েছে একটি চমৎকার উপমা দিয়ে। কল্পনা করুন আপনি একই সমস্যার জন্য দুটি ভিন্ন ডিসিশন ট্রি তৈরি করছেন। একটি ডেটাসেটে সামান্য পরিবর্তন আনুন, যেমন একটি রো বাদ দিন বা একটি মান একটু ঘুরিয়ে দিন। ডিসিশন ট্রি তখন সম্পূর্ণ ভিন্ন সিদ্ধান্ত নিতে শুরু করবে। প্রথম গাছের প্রথম স্প্লিট যেখানে ছিল, দ্বিতীয় গাছের স্প্লিট অন্য জায়গায় হতে পারে। এর ফলে পুরো গাছের কাঠামো বদলে যায়।
কেন এমন হয়? ডিসিশন ট্রি ডেটার প্রতিটি ছোটখাটো বিচ্যুতিকে গুরুত্ব দিয়ে ফেলে। এটি ডেটার মধ্যে থাকা নয়েজ বা দৈব পরিবর্তনকেও শিখে ফেলে। উদাহরণস্বরূপ, একটি ডেটাসেটে যদি একটি আউটলায়ার থাকে, তাহলে ট্রি সেই আউটলায়ারকে ধরার জন্য একটি নতুন শাখা তৈরি করতে পারে। অন্যদিকে, লিনিয়ার রিগ্রেশনের মতো মডেলগুলি ডেটার গড় প্রবণতা শেখে এবং একক আউটলায়ার তাদের তেমন প্রভাব ফেলে না।
এই বৈশিষ্ট্যটি ডিসিশন ট্রিকে অস্থির করে তোলে। আপনি যদি একই ডেটার দুটি ভিন্ন নমুনায় দুটি ট্রি ট্রেন করেন, তাহলে তাদের ভবিষ্যদ্বাণী অনেক আলাদা হতে পারে। এটাই মেশিন লার্নিংয়ে 'ভ্যারিয়েন্স' নামে পরিচিত। ভ্যারিয়েন্স বলতে বোঝায়, প্রশিক্ষণ ডেটার পরিবর্তনের সাথে মডেলের আউটপুট কতটা পরিবর্তিত হয়। ডিসিশন ট্রির ক্ষেত্রে এই পরিবর্তন অনেক বেশি।
বাংলাদেশের ডেটা সায়েন্স শিক্ষার্থী এবং প্রফেশনালদের জন্য এই বিষয়টি গুরুত্বপূর্ণ। ঢাকা, চট্টগ্রাম বা সিলেটের অনেক তরুণ ডেভেলপার এখন মেশিন লার্নিং প্রজেক্টে ডিসিশন ট্রি ব্যবহার করছে। তারা যদি বুঝতে পারে যে মডেলটির এই দুর্বলতা কোথায়, তাহলে তারা আরও ভালো সমাধান বেছে নিতে পারবে। যেমন, র্যান্ডম ফরেস্ট বা গ্রেডিয়েন্ট বুস্টিংয়ের মতো এনসেম্বল মেথড ব্যবহার করে এই ভ্যারিয়েন্স কমানো যায়।
শেষ পর্যন্ত, ডিসিশন ট্রির উচ্চ ভ্যারিয়েন্স একটি দুর্বলতা নয়, বরং একটি বৈশিষ্ট্য। এটি মডেলটিকে অত্যন্ত নমনীয় করে তোলে, কিন্তু সেই নমনীয়তার দাম দিতে হয় স্থিতিশীলতা দিয়ে। ভবিষ্যতে যখনই আপনি একটি ডিসিশন ট্রি তৈরি করবেন, মনে রাখবেন যে ডেটার সামান্য পরিবর্তনই আপনার মডেলকে পুরোপুরি বদলে দিতে পারে। তাই ডেটা প্রিপ্রসেসিং এবং ক্রস-ভ্যালিডেশনের মতো কৌশল ব্যবহার করা জরুরি।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: dev.to ML
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...