আপনার সাইট কি AI-তে দেখা যাচ্ছে না? CDN সেটিংসই আসল কারণ
আপনার ওয়েবসাইটের CDN কনফিগারেশন AI ক্রলার যেমন GPTBot-কে ব্লক করতে পারে, এমনকি robots.txt অনুমতি দিলেও। একটি সহজ curl কমান্ড দিয়ে আপনি নিজেই পরীক্ষা করতে পারেন আপনার সাইট AI-এর জন্য অ্যাক্সেসযোগ্য কিনা।
আপনার ওয়েবসাইটের CDN কনফিগারেশন AI ক্রলার যেমন GPTBot-কে ব্লক করতে পারে, এমনকি robots.txt অনুমতি দিলেও। একটি সহজ curl কমান্ড দিয়ে আপনি নিজেই পরীক্ষা করতে পারেন আপনার সাইট AI-এর জন্য অ্যাক্সেসযোগ্য কিনা।
আপনার ওয়েবসাইটের কন্টেন্ট কি AI ইঞ্জিন যেমন ChatGPT-এর কাছে পৌঁছাচ্ছে না? সমস্যা আপনার robots.txt ফাইলে নাও থাকতে পারে। বরং দায়ী হতে পারে আপনার CDN (কন্টেন্ট ডেলিভারি নেটওয়ার্ক) কনফিগারেশন। dev.to AI-এর একটি প্রতিবেদনে এই গুরুত্বপূর্ণ বিষয়টি তুলে ধরা হয়েছে।
CDN সাধারণত ওয়েবসাইটের গতি ও নিরাপত্তা বাড়ায়। কিন্তু অনেক সময় CDN-এর নিয়ম AI ক্রলারদের ব্লক করে দেয়। এমনকি আপনার robots.txt ফাইল যদি GPTBot-কে অনুমতি দেয়, তবুও CDN-এর স্তরে ব্লক হয়ে গেলে AI আপনার কন্টেন্ট পড়তে পারে না। এর ফলে AI-ভিত্তিক সার্চ ইঞ্জিন ও টুল আপনার সাইটকে সঠিকভাবে ইনডেক্স করতে পারে না।
আপনার সাইট AI-এর জন্য উন্মুক্ত কিনা তা পরীক্ষা করার একটি সহজ উপায় আছে। একটি curl কমান্ড ব্যবহার করে আপনি দেখতে পারেন আপনার সাইট GPTBot-এর জন্য কী HTTP স্ট্যাটাস কোড রিটার্ন করে। শুধুমাত্র 200 স্ট্যাটাস কোড মানে AI আপনার কন্টেন্ট পড়তে পারবে।
Linux বা macOS ব্যবহারকারীদের জন্য কমান্ডটি হলো: curl -sI -A "GPTBot" https://yoursite.com/ | head -1। Windows PowerShell ব্যবহার করলে লিখুন: (Invoke-WebRequest -Uri "https://yoursite.com/" -UserAgent "GPTBot").StatusCode। Windows Command Prompt-এর জন্য: curl -I -A "GPTBot" https://yoursite.com/। সব ক্ষেত্রেই yoursite.com-এর জায়গায় আপনার নিজের ডোমেইন বসাতে হবে।
যদি এই কমান্ড 200 ছাড়া অন্য কোনো স্ট্যাটাস কোড দেখায়, তাহলে বুঝতে হবে AI ইঞ্জিন আপনার সাইট পড়তে পারছে না। এর মানে আপনার robots.txt ফাইল সঠিক থাকলেও CDN ব্লক করছে। এই সমস্যা সমাধানের জন্য আপনার CDN প্রদানকারীর সেটিংসে গিয়ে GPTBot-এর মতো AI ক্রলারদের জন্য অ্যাক্সেস অনুমতি দিতে হবে।
বাংলাদেশের জন্য এই খবর বিশেষ গুরুত্বপূর্ণ। দেশের অসংখ্য ডেভেলপার, ফ্রিল্যান্সার এবং টেক কোম্পানি তাদের ওয়েবসাইট ও ব্লগের মাধ্যমে কন্টেন্ট প্রকাশ করে। যদি তাদের সাইট AI-এর কাছে অ্যাক্সেসযোগ্য না হয়, তাহলে তারা AI-ভিত্তিক ট্রাফিক ও দৃশ্যমানতা হারাবে। বিশেষ করে যারা টিউটোরিয়াল, টেক ব্লগ বা প্রোডাক্ট ডকুমেন্টেশন লেখেন, তাদের জন্য এটি বড় একটি বাধা।
ভবিষ্যতে AI-ভিত্তিক সার্চ ও কন্টেন্ট ডিসকভারি আরও গুরুত্বপূর্ণ হবে। তাই এখনই নিজের সাইট পরীক্ষা করে নেওয়া বুদ্ধিমানের কাজ। একটি সাধারণ curl কমান্ড আপনার সাইটের AI অ্যাক্সেসিবিলিটি সম্পর্কে সঠিক তথ্য দেবে। এতে করে আপনি সময়মতো CDN কনফিগারেশন ঠিক করতে পারবেন এবং আপনার কন্টেন্ট যাতে AI ইঞ্জিনের কাছে পৌঁছায় তা নিশ্চিত করতে পারবেন।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: dev.to AI
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...