RAG-এ তথ্য খোঁজা এখন ৩ গুণ দ্রুত, জানুন নতুন পদ্ধতি

এন্টারপ্রাইজ ডকুমেন্ট ইন্টেলিজেন্সের জগতে একটি নতুন গবেষণা পদ্ধতি আলোড়ন সৃষ্টি করেছে। Towards Data Science-এ প্রকাশিত এক নিবন্ধে Anchor Detection for RAG-এর একটি উদ্ভাবনী কৌশল তুলে ধরা হয়েছে। এই পদ্ধতিতে প্যারালাল ডিটেক্টর ব্যবহার করা হয় এবং শেষে মাত্র একটি LLM কল করা হয়।

গবেষণাটি RAG বা Retrieval-Augmented Generation প্রক্রিয়াকে আরও কার্যকর করতে সাহায্য করবে। RAG সাধারণত তথ্য খোঁজার জন্য বিভিন্ন স্তর ব্যবহার করে। নতুন পদ্ধতিতে প্রথমে কীওয়ার্ড, তারপর টেবিল অব কনটেন্ট (TOC) এবং শেষে এম্বেডিং ব্যবহার করে তথ্য নিষ্কাশন করা হয়। এই কৌশলটি ডকুমেন্ট থেকে নির্ভুল তথ্য বের করতে সহায়তা করে।

Anchor Detection পদ্ধতিটি প্যারালাল ডিটেক্টর দিয়ে শুরু হয়। এই ডিটেক্টরগুলো একসঙ্গে কাজ করে ডকুমেন্টের বিভিন্ন অংশ বিশ্লেষণ করে। তারপর একটি একক LLM কল সব তথ্য একত্রিত করে চূড়ান্ত উত্তর তৈরি করে। আগের পদ্ধতিতে একাধিক LLM কলের প্রয়োজন হতো, যা সময়সাপেক্ষ ছিল।

এই গবেষণাটি এন্টারপ্রাইজ ডকুমেন্ট ইন্টেলিজেন্স সিরিজের অংশ। সিরিজটির লক্ষ্য বড় আকারের ডকুমেন্ট থেকে দ্রুত ও নির্ভুল তথ্য নিষ্কাশন করা। নতুন পদ্ধতিটি বিশেষ করে স্ট্রাকচার্ড টেবিল এবং জটিল ডকুমেন্টের জন্য উপযোগী। এটি ব্যবসায়িক প্রতিবেদন, আইনি দলিল এবং শিক্ষামূলক সামগ্রী প্রক্রিয়াকরণে সহায়তা করবে।

বাংলাদেশের ডেভেলপার ও ফ্রিল্যান্সারদের জন্য এই গবেষণা গুরুত্বপূর্ণ। তারা RAG-ভিত্তিক অ্যাপ্লিকেশন তৈরি করতে এই পদ্ধতি ব্যবহার করতে পারে। উদাহরণস্বরূপ, ব্যাংকিং খাতে লোন আবেদন প্রক্রিয়াকরণ বা শিক্ষাখাতে গবেষণাপত্র বিশ্লেষণে এটি কার্যকর হবে। স্থানীয় স্টার্টআপগুলোও এই কৌশল গ্রহণ করে তাদের প্রোডাক্ট উন্নত করতে পারে।

ভবিষ্যতে এই পদ্ধতি আরও উন্নত হবে বলে আশা করা যায়। গবেষকরা প্যারালাল ডিটেক্টরের সংখ্যা বাড়িয়ে আরও দ্রুত তথ্য নিষ্কাশনের চেষ্টা করছেন। এছাড়া LLM কলের সংখ্যা কমানোর মাধ্যমে খরচও কমবে। বাংলাদেশের প্রযুক্তি খাত এই ধরনের উদ্ভাবন থেকে উপকৃত হবে।

আরও পড়ুন

• PDF-এর ছবি-চার্ট এখন AI পড়বে, আপনার কাজ ৩ গুণ দ্রুত হবে
• বাংলাদেশে AI গবেষণায় বিপ্লব: নতুন পদ্ধতি ভাষা তৈরি করবে ৩ গুণ দ্রুত
• মাল্টিমোডাল AI-তে বড় উন্নতি, ডেভেলপারদের কাজ হবে ৩ গুণ দ্রুত