ওরাকল ক্লাউডে ২০ মিনিটে AI মডেল চালান, খরচ অর্ধেক
ওরাকলের OCI ক্লাউডে NVIDIA A10 GPU ব্যবহার করে মাত্র ২০ মিনিটে vLLM ডিপ্লয় করার সহজ পদ্ধতি। AWS ও Azure-এর তুলনায় খরচ অর্ধেকেরও কম, যা ডেভেলপারদের জন্য বড় সুবিধা।
ওরাকলের OCI ক্লাউডে NVIDIA A10 GPU ব্যবহার করে মাত্র ২০ মিনিটে vLLM ডিপ্লয় করার সহজ পদ্ধতি। AWS ও Azure-এর তুলনায় খরচ অর্ধেকেরও কম, যা ডেভেলপারদের জন্য বড় সুবিধা।
ওরাকল ক্লাউড ইনফ্রাস্ট্রাকচারে (OCI) NVIDIA A10 GPU ব্যবহার করে মাত্র ২০ মিনিটে vLLM ডিপ্লয় করার একটি সহজ পদ্ধতি প্রকাশ করেছে ডেভ টু ডট কম। এই সেটআপটি AI ইনফারেন্সের জন্য অত্যন্ত সাশ্রয়ী, যা AWS বা Azure-এর তুলনায় খরচ প্রায় অর্ধেক কমিয়ে দেয়।
vLLM একটি ওপেন সোর্স লাইব্রেরি যা লার্জ ল্যাঙ্গুয়েজ মডেল (LLM) দ্রুত চালাতে সাহায্য করে। এটি OpenAI-এর API-এর সাথে সামঞ্জস্যপূর্ণ, তাই যেকোনো অ্যাপ্লিকেশন সহজেই কানেক্ট করা যায়। ওরাকল কুবারনেটিস ইঞ্জিন (OKE) ব্যবহার করে এই ডিপ্লয়মেন্ট স্বয়ংক্রিয় স্কেলিং ও ম্যানেজমেন্ট সুবিধা দেয়।
একজন ডেভেলপার জানিয়েছেন, তিনি একটি অভ্যন্তরীণ টুলের জন্য Llama 3 ইনফারেন্স এন্ডপয়েন্ট তৈরি করতে চেয়েছিলেন। AWS-তে g5.xlarge ইন্সট্যান্সের জন্য ঘণ্টাপ্রতি 3.06 ডলার খরচ পড়ত। Azure-তেও একই রকম দাম। কিন্তু OCI-তে VM.GPU.A10.1 ইন্সট্যান্সের দাম মাত্র 1.52 ডলার প্রতি ঘণ্টায়। আর প্রিম্পটিবল ইন্সট্যান্স ব্যবহার করলে খরচ নেমে আসে 0.46 ডলারে। এটি একটি কাপ কফির দামের সমান।
এই সেটআপটি বিশেষ করে বাংলাদেশের ডেভেলপার ও স্টার্টআপদের জন্য বড় সুযোগ। যারা AI-ভিত্তিক প্রোডাক্ট তৈরি করতে চান, তাদের জন্য উচ্চ খরচ একটি বড় বাধা ছিল। এখন OCI-তে কম খরচে GPU পাওয়া যাওয়ায় তারা নিজেদের মডেল চালাতে পারবেন। বিশেষ করে ফ্রিল্যান্সার ও ছোট টিম যারা ক্লাউড বাজেট নিয়ে চিন্তিত, তাদের জন্য এটি একটি চমৎকার বিকল্প।
OKE-তে vLLM ডিপ্লয় করার জন্য প্রথমে একটি OCI অ্যাকাউন্ট তৈরি করতে হবে। তারপর VM.GPU.A10.1 ইন্সট্যান্স চালু করে কুবারনেটিস ক্লাস্টার সেটআপ করতে হবে। vLLM কন্টেইনার ইমেজ ডিপ্লয় করে API এন্ডপয়েন্ট তৈরি করা যায়। সম্পূর্ণ প্রক্রিয়াটি ২০ মিনিটের মধ্যে শেষ করা সম্ভব।
ভবিষ্যতে AI মডেল ডিপ্লয়মেন্ট আরও সহজ ও সাশ্রয়ী হবে বলে আশা করা যায়। ওরাকল তাদের GPU ইন্সট্যান্সের দাম আরও কমাতে পারে। এতে করে বাংলাদেশের মতো উদীয়মান বাজারে AI প্রযুক্তির ব্যবহার দ্রুত বাড়বে।
আরও পড়ুন
এই সংবাদটি আন্তর্জাতিক সূত্রের তথ্য অবলম্বনে AI-সহায়তায় বাংলায় উপস্থাপন ও বাংলাদেশের প্রেক্ষাপটে সম্পাদিত। মূল তথ্যের জন্য নিচের সূত্র দেখুন।
মূল প্রতিবেদন: dev.to AI
সোর্স দেখুন ↗মন্তব্য০
লোড হচ্ছে...