৫ এমবি ফাইলেই NVIDIA 3D ট্রান্সফরমার চালান, পাইথন লাগবে না
একজন ডেভেলপার NVIDIA-র DVLT 3D ট্রান্সফরমার মডেলের জন্য একটি হালকা ইনফারেন্স ইঞ্জিন তৈরি করেছেন। dvlt.cu নামের এই টুলটি মাত্র 5MB আকারের এবং এটি সম্পূর্ণভাবে CUDA ও C++-তে লেখা। এতে পাইথন, পাইটর্চ বা অন্য কোনো ভারী নির্ভরতার প্রয়োজন নেই।
একজন ডেভেলপার NVIDIA-র DVLT 3D ট্রান্সফরমার মডেলের জন্য একটি হালকা ইনফারেন্স ইঞ্জিন তৈরি করেছেন। dvlt.cu নামের এই টুলটি মাত্র 5MB আকারের এবং এটি সম্পূর্ণভাবে CUDA ও C++-তে লেখা। এতে পাইথন, পাইটর্চ বা অন্য কোনো ভারী নির্ভরতার প্রয়োজন নেই।
একজন ডেভেলপার NVIDIA-র DVLT 3D ট্রান্সফরমার মডেলের জন্য একটি হালকা ইনফারেন্স ইঞ্জিন তৈরি করেছেন। dvlt.cu নামের এই টুলটি সম্পূর্ণভাবে CUDA ও C++-তে লেখা এবং এর বাইনারি ফাইলের আকার মাত্র 5MB। এতে পাইথন, পাইটর্চ বা অন্য কোনো ভারী নির্ভরতার প্রয়োজন নেই।
এই টুলটি তৈরি করেছেন একজন HPC (হাই-পারফরম্যান্স কম্পিউটিং) ও 3D রিকনস্ট্রাকশন উত্সাহী ডেভেলপার। তিনি রেডিটের r/LocalLLaMA কমিউনিটিতে এই প্রকল্পটি শেয়ার করেছেন। dvlt.cu শুধুমাত্র cuBLASLt (যা libcuda-র সাথে আসে) এবং cuTLASS (একটি হেডার-অনলি লাইব্রেরি) ব্যবহার করে। বাকি সবকিছুই স্ক্র্যাচ থেকে লেখা হয়েছে।
এই ইঞ্জিনটি mmap'd bf16 ওয়েট ব্যবহার করে। অর্থাৎ ওয়েটগুলো সরাসরি মেমরিতে ম্যাপ করা হয় এবং একবারে GPU-তে আপলোড করা হয়। মডেলটির প্যারামিটার সংখ্যা 117 মিলিয়ন। NVIDIA তাদের মডেলটি নন-কমার্শিয়াল লাইসেন্সে প্রকাশ করেছে। ডেভেলপাররা আলাদাভাবে ওয়েট ডাউনলোড করে এই টুলটি ব্যবহার করতে পারবেন।
প্রথাগত AI ইনফারেন্স টুলগুলোর তুলনায় dvlt.cu অনেক হালকা। সাধারণত AI মডেল চালাতে পাইথন, পাইটর্চ, টেনসরফ্লো বা অনাক্সের মতো বড় ফ্রেমওয়ার্ক লাগে। কিন্তু এই টুলটি কোনো ভারী নির্ভরতা ছাড়াই কাজ করে। এর স্ট্যাটিক ডাইমেনশন এবং ওয়ান-শট অ্যারেনা মেমরি ম্যানেজমেন্টের কারণে এক্সিকিউশন ডিটারমিনিস্টিক, অর্থাৎ প্রতিবার একই ফলাফল পাওয়া যায়।
বাংলাদেশের ডেভেলপার ও গবেষকদের জন্য এই টুলটি বিশেষভাবে গুরুত্বপূর্ণ হতে পারে। যারা 3D রিকনস্ট্রাকশন বা কম্পিউটার ভিশন নিয়ে কাজ করেন, তারা এখন সম্পূর্ণ কমান্ড-লাইন ভিত্তিক একটি টুল ব্যবহার করে NVIDIA-র মডেল চালাতে পারবেন। এতে করে পাইথন ইকোসিস্টেমের জটিলতা এড়ানো যায় এবং সম্পদ সাশ্রয় হয়। ফ্রিল্যান্সার ও ছোট দলের ডেভেলপাররা যাদের কাছে উচ্চক্ষমতার সার্ভার নেই, তারা সহজেই এই টুল ব্যবহার করে 3D মডেলিংয়ের কাজ করতে পারবেন।
dvlt.cu বর্তমানে শুধুমাত্র NVIDIA-র DVLT মডেলের জন্য কাজ করে। তবে এর কোডবেস এতটাই হালকা যে ভবিষ্যতে অন্যান্য ট্রান্সফরমার মডেলের জন্যও এটি সম্প্রসারণ করা যেতে পারে। ডেভেলপার কমিউনিটি ইতিমধ্যেই এই প্রকল্পটিকে স্বাগত জানিয়েছে। যারা হাই-পারফরম্যান্স কম্পিউটিং ও AI-তে কাজ করেন, তাদের জন্য এটি একটি দারুণ উদাহরণ হতে পারে।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: Reddit r/LocalLLaMA
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...