AI ক্রলারদের ফাঁদে ফেলতে জাল তৈরি করছেন ডেভেলপাররা, ব্যান্ডউইথ বাঁচবে
এলএলএম ক্রলাররা ব্যান্ডউইথ খেয়ে ফেলছে এবং আইপি ব্লক এড়িয়ে যাচ্ছে। ডেভেলপাররা এখন জাল তৈরি করে তাদের ফাঁদে ফেলার কৌশল নিচ্ছে। কীভাবে এই প্রতিরক্ষা ব্যবস্থা সার্চ র্যাঙ্কিং নষ্ট না করেই কাজ করে, তা জানাচ্ছে AIখবর।
এলএলএম ক্রলাররা ব্যান্ডউইথ খেয়ে ফেলছে এবং আইপি ব্লক এড়িয়ে যাচ্ছে। ডেভেলপাররা এখন জাল তৈরি করে তাদের ফাঁদে ফেলার কৌশল নিচ্ছে। কীভাবে এই প্রতিরক্ষা ব্যবস্থা সার্চ র্যাঙ্কিং নষ্ট না করেই কাজ করে, তা জানাচ্ছে AIখবর।
বড় ভাষার মডেল বা এলএলএম ক্রলাররা এখন ওয়েবসাইটের ব্যান্ডউইথ দ্রুত গ্রাস করছে। এই ক্রলাররা সহজ আইপি ব্লক এড়াতে আইপি রোটেট করে এবং ইউজার-এজেন্ট পরিবর্তন করে। ফলে সাধারণ ব্লকিং পদ্ধতি যেমন 403 ফিরিয়ে দেওয়া আর কার্যকর নয়।
একটি জনপ্রিয় প্রযুক্তি ব্লগ dev.to AI-এর প্রতিবেদন অনুযায়ী, ক্রমবর্ধমান সংখ্যক ডেভেলপার এখন ব্লক করার পরিবর্তে জাল বা মেজ তৈরি করছে। তারা এআই টার পিট বা এআই ল্যাবিরিন্থ নামে পরিচিত এই কৌশল ব্যবহার করে স্ক্র্যাপারদের ধীর করে দিচ্ছে। একটি টার পিট প্রাকৃতিকভাবে প্রাণীদের আটকে ফেলে, আর এই ডিজিটাল টার পিট এলএলএম ক্রলারদের অযথা সময় নষ্ট করতে বাধ্য করে।
কেন ব্লক করা হারায়
একটি কঠোর ব্লক আসলে একটি সংকেত। স্ক্র্যাপারটি 403 স্ট্যাটাস কোড পড়ে, আপনার প্রতিরক্ষা বুঝে ফেলে এবং সঙ্গে সঙ্গে মানিয়ে নেয়। এটি আইপি পরিবর্তন করে, ইউজার-এজেন্ট বদলায় এবং এক ঘণ্টা পর রেসিডেন্সিয়াল প্রক্সি দিয়ে আবার প্রবেশ করে। তাই ব্লকিং একটি অন্তহীন দৌড়ে পরিণত হয়েছে।
কীভাবে টার পিট কাজ করে
টার পিট বা মেজ তৈরির মূল নীতি হলো স্ক্র্যাপারকে বিভ্রান্ত করা। ওয়েবসাইটে অসীম সংখ্যক লিংক বা পৃষ্ঠা তৈরি করা হয় যা আসলে কোনো বাস্তব তথ্য বহন করে না। এলএলএম ক্রলার এই লিংক অনুসরণ করতে থাকে এবং অযথা ব্যান্ডউইথ ও সময় নষ্ট করে। এই পদ্ধতি সার্চ ইঞ্জিন র্যাঙ্কিং নষ্ট না করার জন্যও ডিজাইন করা হয়েছে। ডেভেলপাররা robots.txt ফাইল এবং নির্দিষ্ট প্যাটার্ন ব্যবহার করে নিশ্চিত করে যে গুগলের মতো বৈধ ক্রলাররা এই ফাঁদে পড়বে না।
বাংলাদেশের ডেভেলপার ও ফ্রিল্যান্সারদের জন্য এর গুরুত্ব
বাংলাদেশে অসংখ্য ডেভেলপার এবং ফ্রিল্যান্সার নিজস্ব ওয়েবসাইট বা অ্যাপ্লিকেশন চালান। তাদের জন্য ব্যান্ডউইথ খরচ একটি গুরুত্বপূর্ণ বিষয়। এলএলএম ক্রলাররা যদি অপ্রয়োজনীয়ভাবে ব্যান্ডউইথ খরচ করে, তাহলে হোস্টিং বিল বেড়ে যায়। এই টার পিট কৌশল তাদের জন্য একটি সস্তা ও কার্যকর সমাধান হতে পারে। এটি বাস্তবায়ন করতে বিশেষ প্রোগ্রামিং দক্ষতার প্রয়োজন নেই, বরং কিছু কনফিগারেশন পরিবর্তন করলেই কাজ হয়।
ভবিষ্যৎ দিকনির্দেশনা
এআই মডেলগুলোর প্রশিক্ষণের জন্য ডেটার চাহিদা দিন দিন বাড়ছে। ফলে ওয়েব স্ক্র্যাপিংয়ের ঘটনাও বাড়বে। টার পিট বা মেজ কৌশল একটি সাময়িক সমাধান হলেও এটি ডেভেলপারদের হাতে একটি শক্তিশালী অস্ত্র দিয়েছে। ভবিষ্যতে আরও স্মার্ট প্রতিরক্ষা ব্যবস্থা আসতে পারে যা স্ক্র্যাপারদের চিহ্নিত করে স্থায়ীভাবে ব্লক করবে।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: dev.to AI
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...