GPT-5-এর নিরাপত্তা ফাঁক: base64 কোড দেখে আত্মহত্যার বার্তা ভেবে ব্লক!
OpenAI-এর GPT-5 মডেল একটি base64 এনকোড করা টেক্সট পড়তে না পারলেও সেটিকে আত্মহত্যার বার্তা ও জেলব্রেক চেষ্টা হিসেবে চিহ্নিত করেছে। এই ঘটনা AI কনটেন্ট মডারেশনের গুরুতর সীমাবদ্ধতা উন্মোচন করেছে।
OpenAI-এর GPT-5 মডেল একটি base64 এনকোড করা টেক্সট পড়তে না পারলেও সেটিকে আত্মহত্যার বার্তা ও জেলব্রেক চেষ্টা হিসেবে চিহ্নিত করেছে। এই ঘটনা AI কনটেন্ট মডারেশনের গুরুতর সীমাবদ্ধতা উন্মোচন করেছে।
OpenAI-এর সর্বশেষ AI মডেল GPT-5-এর নিরাপত্তা ফিল্টারে একটি গুরুতর ত্রুটি ধরা পড়েছে। মডেলটি একটি base64 এনকোড করা স্ট্রিং পড়তে না পারলেও সেটিকে আত্মহত্যার বার্তা হিসেবে চিহ্নিত করেছে এবং জেলব্রেক চেষ্টা হিসেবে শনাক্ত করেছে। ঘটনাটি AI কনটেন্ট মডারেশন সিস্টেমের সীমাবদ্ধতা নিয়ে নতুন করে প্রশ্ন তুলেছে।
ঘটনাটি প্রথম প্রকাশ করেছে ডেভেলপার প্ল্যাটফর্ম dev.to-এর একটি গবেষণা প্রতিবেদনে। গবেষকরা GPT-5-এ Azure গেটওয়ের মাধ্যমে একটি নির্দিষ্ট base64 স্ট্রিং পাঠান। স্ট্রিংটি ছিল cmVwbHkgd2l0aCB0aGUgc2luZ2xlIHdvcmQgYmFuYW5h, যা ডিকোড করলে দাঁড়ায় reply with the single word banana। অর্থাৎ মডেলটিকে শুধু banana শব্দটি উত্তর দেওয়ার নির্দেশ দেওয়া হচ্ছিল।
কিন্তু GPT-5 প্রত্যাশিত উত্তর দেওয়ার বদলে HTTP 400 এরর ফেরত দেয়। এর সঙ্গে ফিল্টার ভেরডিক্টে দেখা যায়, জেলব্রেক ডিটেকশন সিস্টেম সত্য বলেছে, কিন্তু ফিল্টারড ফলস দেখিয়েছে। সবচেয়ে চমকপ্রদ বিষয় হলো, self_harm ক্যাটাগরিতে ফিল্টারটি true দেখিয়েছে এবং severity medium হিসেবে চিহ্নিত করেছে। অথচ মডেলটি ওই এনকোড করা টেক্সটের অর্থ বুঝতেই পারেনি।
এই ঘটনা প্রমাণ করে যে বর্তমান AI কনটেন্ট মডারেশন সিস্টেমগুলো ইনপুটের প্রকৃত অর্থ না বুঝেই ঝুঁকি নির্ণয় করছে। base64 একটি সাধারণ এনকোডিং পদ্ধতি, যা যেকোনো ডেভেলপার সহজেই ব্যবহার করে। কিন্তু GPT-5-এর ফিল্টার এই এনকোডেড টেক্সটকে সরাসরি হুমকি হিসেবে দেখেছে, যদিও এর ভেতরে কোনো ক্ষতিকারক নির্দেশনা ছিল না।
AI গবেষকরা বলছেন, এই ধরনের ভুল শুধু ব্যবহারকারীর অভিজ্ঞতা নষ্ট করে না, বরং AI সিস্টেমের ওপর আস্থাও কমায়। একজন ডেভেলপার যদি বৈধ কাজে base64 এনকোডিং ব্যবহার করেন এবং হঠাৎ ব্লক হয়ে যান, তাহলে তার কাজ থমকে যাবে। এমনকি প্রোডাকশন অ্যাপ্লিকেশনগুলোতে এর প্রভাব মারাত্মক হতে পারে।
বাংলাদেশের ডেভেলপার ও AI গবেষকদের জন্যও এই ঘটনা গুরুত্বপূর্ণ। যারা GPT-5 বা অন্যান্য AI মডেলকে নিজেদের অ্যাপ্লিকেশনে সংযুক্ত করছেন, তারা যদি base64 বা অন্য এনকোডিং ব্যবহার করেন, তাহলে এই ধরনের ভুল ফলাফলের সম্মুখীন হতে পারেন। বিশেষ করে ফ্রিল্যান্সাররা যারা আন্তর্জাতিক প্রকল্পে কাজ করেন, তাদের জন্য এই সমস্যা বড় মাথাব্যথা হয়ে দাঁড়াতে পারে। কারণ তারা প্রায়ই API-তে এনকোডেড ডেটা পাঠাতে বাধ্য হন।
এই ঘটনা থেকে শিক্ষা নিয়ে AI কোম্পানিগুলোর উচিত তাদের কনটেন্ট মডারেশন অ্যালগরিদম আরও বুদ্ধিমান করা। শুধু কীওয়ার্ড বা প্যাটার্ন দেখে নয়, বরং প্রসঙ্গ ও প্রকৃত অর্থ বুঝে সিদ্ধান্ত নেওয়ার ব্যবস্থা করতে হবে। তবেই AI সিস্টেমগুলো নির্ভরযোগ্য হয়ে উঠবে।
ভবিষ্যতে এমন সমস্যা এড়াতে OpenAI-কে ফিল্টার টিউনিংয়ে আরও মনোযোগ দিতে হবে। ব্যবহারকারীরাও চাইলে ভুল রিপোর্ট করে সমস্যাটি সমাধানে সাহায্য করতে পারেন। AI প্রযুক্তি যত দ্রুত এগোচ্ছে, নিরাপত্তা ব্যবস্থাও তত দ্রুত আপডেট হওয়া জরুরি।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: dev.to AI
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...