টেক্সট পড়ে ছবি বানিয়ে টোকেন খরচ ৯০% কমালো ওপেন সোর্স pxpipe
একটি ওপেন সোর্স প্রজেক্ট pxpipe দেখিয়েছে, কীভাবে ক্লদ কোডের একই কাজ $42.21 থেকে মাত্র $4.51-এ করা সম্ভব। পদ্ধতিটি টেক্সটকে PNG ইমেজে রূপান্তর করে টোকেনের পরিবর্তে ভিজুয়াল কনটেক্সট ব্যবহার করে।
একটি ওপেন সোর্স প্রজেক্ট pxpipe দেখিয়েছে, কীভাবে ক্লদ কোডের একই কাজ $42.21 থেকে মাত্র $4.51-এ করা সম্ভব। পদ্ধতিটি টেক্সটকে PNG ইমেজে রূপান্তর করে টোকেনের পরিবর্তে ভিজুয়াল কনটেক্সট ব্যবহার করে।
গত ডিসেম্বরে একটি ছোট ওপেন সোর্স প্রজেক্ট pxpipe গিটহাবে ভাইরাল হয়েছে। এই প্রজেক্টটি একটি চমকপ্রদ দাবি নিয়ে এসেছে: ক্লদ কোডের একই সেশন যা প্লেইন টেক্সট হিসেবে পড়তে খরচ হয় $42.21, সেটি PNG ইমেজে রূপান্তর করে পড়লে খরচ হয় মাত্র $4.51। একই মডেল, একই কাজ, একই উত্তর। শুধু পার্থক্য হলো মডেলটি তার টোকেনাইজারের পরিবর্তে চোখ দিয়ে কনটেক্সট পড়েছে।
এই কৌশলটি এলএলএম-এর টোকেন সীমা এড়িয়ে যায়। সাধারণত একটি মডেল টেক্সট পড়তে গেলে প্রতিটি শব্দ বা চিহ্নকে টোকেনে রূপান্তর করে। টোকেন সংখ্যা বেশি হলে খরচ বেড়ে যায়। কিন্তু ইমেজ হিসেবে টেক্সট পড়লে টোকেন কাউন্ট অনেক কমে যায়। pxpipe দেখিয়েছে যে 48,000 ক্যারেক্টারের একটি টেক্সট মাত্র 2,700 টোকেনে রূপান্তরিত হয়েছে।
প্রযুক্তিগতভাবে এটি কাজ করে কীভাবে? pxpipe টেক্সটকে একটি PNG ইমেজে রূপান্তর করে। এই ইমেজে টেক্সটের প্রতিটি চরিত্র পিক্সেল হিসেবে সংরক্ষিত হয়। এলএলএম তখন এই ইমেজটি স্ক্যান করে এবং ভিজুয়াল কনটেক্সট থেকে টেক্সট বোঝে। এর ফলে টোকেনাইজারের প্রয়োজনীয়তা কমে যায় এবং খরচ নাটকীয়ভাবে কমে যায়।
ডেভলপারদের জন্য এই পদ্ধতি বিপ্লব হতে পারে। বিশেষ করে যারা বড় টেক্সট ফাইল নিয়ে কাজ করেন, যেমন কোড রিভিউ, ডকুমেন্টেশন পার্সিং বা ডেটা অ্যানালাইসিস। আগে বড় টেক্সট পড়তে API খরচ অনেক বেশি হতো। এখন pxpipe ব্যবহার করে সেই খরচ ৯০ শতাংশের বেশি কমানো সম্ভব।
বাংলাদেশের ডেভেলপার ও ফ্রিল্যান্সারদের জন্যও এটি গুরুত্বপূর্ণ। যারা AI API ব্যবহার করে প্রজেক্ট করেন, তাদের জন্য খরচ কমানো মানে বেশি লাভ। ছোট স্টার্টআপ বা ব্যক্তি উদ্যোক্তারাও এখন বড় মডেল ব্যবহার করতে পারবেন কম খরচে। শিক্ষার্থীরা গবেষণার কাজে বড় টেক্সট ডেটা নিয়ে পরীক্ষা করতে পারবে।
তবে এই পদ্ধতির কিছু সীমাবদ্ধতাও আছে। ইমেজ প্রসেসিংয়ের জন্য মডেলের ভিজুয়াল ক্ষমতা প্রয়োজন। সব মডেল সমানভাবে ছবি বোঝে না। এছাড়াও ইমেজ রেজল্যুশন ও কোয়ালিটি নির্ভর করে টেক্সট কতটা সঠিকভাবে পড়া যায়। তবুও প্রাথমিক ফলাফল অত্যন্ত আশাব্যঞ্জক।
ভবিষ্যতে এই কৌশল আরও উন্নত হতে পারে। মডেল নির্মাতারা হয়তো সরাসরি টেক্সটকে ইমেজ হিসেবে প্রসেস করার অপশন দেবে। pxpipe এখন ওপেন সোর্স, তাই যে কেউ এটি ব্যবহার করতে পারে। প্রযুক্তির এই নতুন দিকটি AI ব্যবহারের খরচ ও দক্ষতা দুটোই বদলে দিতে পারে।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: dev.to ML
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...