যদি আপনি একটি লাইটওয়েট প্রক্সি চেষ্টা করে থাকেন এবং এখন স্বচ্ছ মূল্য নির্ধারণ, বহু-প্রদানকারী স্থিতিশীলতা এবং কম অপারেশন ওভারহেড প্রয়োজন হয়, তাহলে আপনি সম্ভবত খুঁজছেন LiteLLM বিকল্প. । এই গাইডটি টিমগুলির দ্বারা প্রকৃতপক্ষে মূল্যায়িত সরঞ্জামগুলির তুলনা করে—শেয়ারএআই (হ্যাঁ, এটি #1 পছন্দ), ইডেন AI, পোর্টকি, কং AI গেটওয়ে, ওআরকিউ এআই, একীভূত করুন, এবং ওপেনরাউটার—এবং ব্যাখ্যা করে কখন কোনটি উপযুক্ত। আমরা মূল্যায়ন মানদণ্ড, মূল্য/TCO, এবং LiteLLM → ShareAI-এ দ্রুত মাইগ্রেশন পরিকল্পনা কভার করি কপি-পেস্ট API উদাহরণ সহ।
সংক্ষেপে: নির্বাচন করুন শেয়ারএআই যদি আপনি অনেক প্রদানকারীর মধ্যে একটি API চান, একটি স্বচ্ছ মার্কেটপ্লেস (মূল্য, লেটেন্সি, আপটাইম, উপলব্ধতা, প্রদানকারীর ধরন), এবং তাত্ক্ষণিক ফেইলওভার—যখন 70% ব্যয় সেই লোকদের কাছে যায় যারা মডেলগুলি অনলাইনে রাখে। এটি পিপল-পাওয়ার্ড AI API।
প্রাসঙ্গিকতার জন্য আপডেট করা হয়েছে — সেপ্টেম্বর 2026
বিকল্পগুলির ল্যান্ডস্কেপ দ্রুত পরিবর্তিত হয়। এই পৃষ্ঠা সিদ্ধান্ত-গ্রহণকারীদের শব্দের মধ্যে কাটতে সাহায্য করে: একটি অ্যাগ্রিগেটর কী করে বনাম একটি গেটওয়ে বোঝা, বাস্তব-বিশ্বের ট্রেড-অফগুলি তুলনা করা, এবং মিনিটের মধ্যে পরীক্ষা শুরু করা।
প্রসঙ্গে LiteLLM: অ্যাগ্রিগেটর, গেটওয়ে, বা অর্কেস্ট্রেশন?
লাইটএলএলএম অনেক প্রদানকারীর মধ্যে একটি OpenAI-সামঞ্জস্যপূর্ণ সারফেস অফার করে এবং একটি ছোট প্রক্সি/গেটওয়ে হিসাবে চালাতে পারে। এটি দ্রুত পরীক্ষার জন্য বা টিমগুলির জন্য দুর্দান্ত যারা তাদের নিজস্ব শিম পরিচালনা করতে পছন্দ করে। যখন ওয়ার্কলোড বৃদ্ধি পায়, টিমগুলি সাধারণত আরও বেশি জিজ্ঞাসা করে: মার্কেটপ্লেস স্বচ্ছতা (মূল্য/লেটেন্সি/আপটাইম আগে রাউটিং), আরও ইনফ্রা অনলাইনে না রেখে স্থিতিশীলতা, এবং প্রকল্পগুলির মধ্যে গভর্নেন্স।
অ্যাগ্রিগেটর: রাউটিং/ফেইলওভার এবং মূল্য/লেটেন্সি দৃশ্যমানতার সাথে অনেক মডেল/প্রদানকারীর উপর একটি API।
গেটওয়ে: নিরাপত্তা এবং শাসনের জন্য প্রান্তে (BYO প্রদানকারী) নীতি/বিশ্লেষণ।
অর্কেস্ট্রেশন: দলগুলোর মধ্যে পরীক্ষা থেকে উৎপাদনে যাওয়ার জন্য ওয়ার্কফ্লো নির্মাতা।
আমরা কীভাবে LiteLLM বিকল্পগুলি মূল্যায়ন করেছি
- মডেলের বিস্তৃতি ও নিরপেক্ষতা — পুনর্লিখন ছাড়াই ওপেন + বিক্রেতা মডেল।
- লেটেন্সি ও স্থিতিশীলতা। — রাউটিং নীতিমালা, টাইমআউট/পুনরায় চেষ্টা, তাত্ক্ষণিক ব্যর্থতা।
- শাসন ও নিরাপত্তা — কী পরিচালনা, অ্যাক্সেস সীমা, গোপনীয়তার অবস্থান।
- পর্যবেক্ষণযোগ্যতা — লগ, ট্রেস, খরচ/বিলম্ব ড্যাশবোর্ড।
- মূল্য নির্ধারণের স্বচ্ছতা ও TCO — ট্রাফিক পাঠানোর আগে মূল্য/বিলম্ব/আপটাইম/উপলব্ধতা দেখুন।
- ডেভেলপার অভিজ্ঞতা — ডকস, দ্রুত শুরু, SDKs, প্লেগ্রাউন্ড; প্রথম টোকেন পর্যন্ত সময়।
- নেটওয়ার্ক অর্থনীতি — আপনার ব্যয় সরবরাহ বৃদ্ধি করা উচিত; ShareAI প্রদানকারীদের 70% রুট করে।
#1 — ShareAI (মানুষ-চালিত AI API)
শেয়ারএআই এটি একটি মানুষ-চালিত, বহু-প্রদানকারী AI API। একটি REST এন্ডপয়েন্টের সাথে আপনি ১৫০+ মডেল চালাতে পারেন প্রদানকারীদের মধ্যে, তুলনা করতে পারেন মূল্য, প্রাপ্যতা, বিলম্ব, আপটাইম, এবং প্রদানকারীর ধরন, কর্মক্ষমতা বা খরচের জন্য রুট করতে পারেন, এবং যদি কোনো প্রদানকারী অবনতি ঘটে তবে তাৎক্ষণিকভাবে ব্যর্থ হতে পারেন। এটি বিক্রেতা-নিরপেক্ষ এবং প্রতি-টোকেন ভিত্তিতে পেমেন্ট—প্রতি ডলারের 70% সম্প্রদায়/কোম্পানির GPU-তে ফিরে যায় যা মডেলগুলি অনলাইনে রাখে।
- মডেল ব্রাউজ করুন: মডেল মার্কেটপ্লেসে
- ওপেন প্লেগ্রাউন্ড: প্লেগ্রাউন্ডে চেষ্টা করুন
- API কী তৈরি করুন: শংসাপত্র তৈরি করুন
- API রেফারেন্স (কুইকস্টার্ট): API দিয়ে শুরু করুন
কেন ShareAI একটি DIY প্রক্সি যেমন LiteLLM এর চেয়ে ভালো
- স্বচ্ছ বাজার: মূল্য/বিলম্ব/প্রাপ্যতা/আপটাইম দেখুন এবং প্রতি কলের জন্য সেরা রুট নির্বাচন করুন।
- অতিরিক্ত অপস ছাড়াই স্থিতিস্থাপকতা: তাত্ক্ষণিক ব্যর্থতা এবং নীতিভিত্তিক রাউটিং—কোন প্রক্সি বহর রক্ষণাবেক্ষণ করতে হবে না।
- মানুষ-চালিত অর্থনীতি: আপনার ব্যয় যেখানে প্রয়োজন সেখানে ক্ষমতা বৃদ্ধি করে; 70% প্রদানকারীদের কাছে যায়।
- কোনো পুনর্লিখন নয়: 150+ মডেলের জন্য একটি ইন্টিগ্রেশন; প্রদানকারীদের স্বাধীনভাবে পরিবর্তন করুন।
দ্রুত শুরু (কপি-পেস্ট)
# Bash / cURL — Chat Completions
# Prerequisite:
# export SHAREAI_API_KEY="YOUR_KEY"
curl -X POST "https://api.shareai.now/v1/chat/completions" \
-H "Authorization: Bearer $SHAREAI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "llama-3.1-70b",
"messages": [
{ "role": "user", "content": "Explain how ShareAI routing improves reliability in production." }
],
"temperature": 0.3,
"max_tokens": 128
}'
// JavaScript (Node 18+ / Edge) — Chat Completions
const API_KEY = process.env.SHAREAI_API_KEY;
const URL = "https://api.shareai.now/v1/chat/completions";
const payload = {
model: "llama-3.1-70b",
messages: [
{ role: "user", content: "Explain how ShareAI routing improves reliability in production." }
],
temperature: 0.3,
max_tokens: 128
};
const res = await fetch(URL, {
method: "POST",
headers: {
"Authorization": `Bearer ${API_KEY}`,
"Content-Type": "application/json"
},
body: JSON.stringify(payload)
});
const data = await res.json();
console.log(JSON.stringify(data, null, 2));
# Python (requests) — Chat Completions
# pip install requests
import os
import json
import requests
API_KEY = os.getenv("SHAREAI_API_KEY")
URL = "https://api.shareai.now/v1/chat/completions"
payload = {
"model": "llama-3.1-70b",
"messages": [
{ "role": "user", "content": "Explain how ShareAI routing improves reliability in production." }
],
"temperature": 0.3,
"max_tokens": 128
}
headers = {
"Authorization": f"Bearer {API_KEY}",
"Content-Type": "application/json"
}
resp = requests.post(URL, headers=headers, json=payload, timeout=30)
print(resp.status_code)
print(json.dumps(resp.json(), indent=2))
প্রদানকারীদের জন্য: যে কেউ মডেলগুলো অনলাইনে রেখে উপার্জন করতে পারে
ShareAI ওপেন সোর্স: যে কেউ প্রদানকারী হতে পারে (কমিউনিটি বা কোম্পানি)। উইন্ডোজ, উবুন্টু, ম্যাকওএস এবং ডকারের জন্য অনবোর্ডিং অ্যাপস বিদ্যমান। অলস সময়ের বিস্ফোরণ অবদান রাখুন বা সর্বদা চালু রাখুন। প্রণোদনার মধ্যে রয়েছে পুরস্কার (টাকা উপার্জন), বিনিময় (ইনফারেন্সে ব্যয় করার জন্য টোকেন উপার্জন), এবং মিশন (NGO-তে % দান করুন)। আপনি স্কেল করার সাথে সাথে, আপনার নিজস্ব ইনফারেন্স মূল্য নির্ধারণ করুন এবং অগ্রাধিকারমূলক এক্সপোজার লাভ করুন।
সেরা LiteLLM বিকল্পগুলি (সম্পূর্ণ তালিকা)
নীচে প্ল্যাটফর্মগুলি রয়েছে যা দলগুলি সাধারণত LiteLLM-এর পাশাপাশি বা পরিবর্তে মূল্যায়ন করে। আরও পড়ার জন্য, Eden AI-এর LiteLLM বিকল্পগুলির ওভারভিউ দেখুন।
ইডেন AI
এটি কী: একটি AI অ্যাগ্রিগেটর যা LLMs এবং অন্যান্য পরিষেবাগুলি (ইমেজ জেনারেশন, অনুবাদ, TTS, ইত্যাদি) কভার করে। এটি ক্যাশিং, ফ্যালব্যাক প্রদানকারী এবং থ্রুপুটের জন্য ব্যাচ প্রসেসিং অপশন অফার করে।
ভালো জন্য: টেক্সট LLMs-এর বাইরের মাল্টি-মোডাল AI অ্যাক্সেস করার জন্য একটি একক স্থান।
বিনিময়: একটি মার্কেটপ্লেস ফ্রন্ট-ডোরের উপর কম জোর দেওয়া যা রাউটিংয়ের আগে প্রতি-প্রদানকারীর অর্থনীতি এবং লেটেন্সি প্রকাশ করে; ShareAI-এর মার্কেটপ্লেস এই ট্রেড-অফগুলি স্পষ্ট করে তোলে।
পোর্টকি
এটি কী: গার্ডরেল, পর্যবেক্ষণযোগ্যতা এবং শাসন সহ একটি AI গেটওয়ে। নিয়ন্ত্রিত প্রসঙ্গে গভীর ট্রেস এবং নীতির জন্য দুর্দান্ত।
ভালো জন্য: AI ট্রাফিক জুড়ে নীতি, বিশ্লেষণ এবং সম্মতি অগ্রাধিকার দেওয়া সংস্থাগুলি।
বিনিময়: প্রধানত একটি কন্ট্রোল প্লেন—আপনাকে এখনও আপনার নিজস্ব প্রদানকারী আনতে হবে। যদি আপনার শীর্ষ প্রয়োজন হয় স্বচ্ছ প্রদানকারী পছন্দ এবং অতিরিক্ত অপস ছাড়াই স্থিতিস্থাপকতা, ShareAI সহজতর।
কং AI গেটওয়ে
এটি কী: Kong-এর AI/LLM গেটওয়ে প্রান্তে শাসন (নীতিমালা, প্লাগইন, বিশ্লেষণ) এর উপর কেন্দ্রীভূত, প্রায়শই বিদ্যমান Kong স্থাপনাগুলির সাথে।
ভালো জন্য: এন্টারপ্রাইজগুলি AI ট্রাফিক জুড়ে নিয়ন্ত্রণ মানক করছে, বিশেষত যখন ইতিমধ্যে Kong-এ বিনিয়োগ করা হয়েছে।
বিনিময়: এটি একটি মার্কেটপ্লেস নয়; BYO প্রদানকারী। আপনাকে এখনও স্পষ্ট প্রদানকারী নির্বাচন এবং বহু-প্রদানকারী স্থিতিস্থাপকতা প্রয়োজন।
ওআরকিউ এআই
এটি কী: অর্কেস্ট্রেশন এবং সহযোগিতা সরঞ্জামগুলি ক্রস-ফাংশনাল দলগুলিকে পরীক্ষাগুলি থেকে উৎপাদনে স্থানান্তর করতে নিম্ন-কোড প্রবাহের মাধ্যমে।
ভালো জন্য: স্টার্টআপ/SMBs যাদের কর্মপ্রবাহ অর্কেস্ট্রেশন এবং সহযোগী নির্মাণ পৃষ্ঠতল প্রয়োজন।
বিনিময়: মার্কেটপ্লেস স্বচ্ছতা এবং প্রদানকারী-স্তরের অর্থনীতিতে হালকা—রাউটিং স্তরের জন্য ShareAI-এর সাথে ভালভাবে জোড়া।
একীভূত করুন
এটি কী: পারফরম্যান্স-ভিত্তিক রাউটিং এবং মূল্যায়ন সরঞ্জামগুলি প্রতি প্রম্পটে শক্তিশালী মডেল নির্বাচন করতে।
ভালো জন্য: দলগুলি গুণমান-চালিত রাউটিং এবং মডেল জুড়ে প্রম্পটগুলির নিয়মিত মূল্যায়নের উপর জোর দেয়।
বিনিময়: মূল্যায়নে আরও মতামতপূর্ণ; মূলত একটি মার্কেটপ্লেস নয় যা প্রদানকারী অর্থনীতি সামনে প্রকাশ করে।
ওপেনরাউটার
এটি কী: একটি একক API যা অনেক মডেল জুড়ে পরিচিত অনুরোধ/প্রতিক্রিয়া প্যাটার্নের সাথে বিস্তৃত, দ্রুত পরীক্ষার জন্য জনপ্রিয়।
ভালো জন্য: একটি কী দিয়ে দ্রুত বহু-মডেল ট্রায়াল।
বিনিময়: এন্টারপ্রাইজ শাসন এবং মার্কেটপ্লেস মেকানিক্সে কম জোর দেয় যা আপনি কল করার আগে মূল্য/বিলম্ব/আপটাইম দেখায়।
LiteLLM বনাম ShareAI বনাম অন্যান্য — দ্রুত তুলনা।
| প্ল্যাটফর্ম | এটি কার জন্য কাজ করে | মডেলের বিস্তৃতি | শাসন | পর্যবেক্ষণযোগ্যতা | রাউটিং / ফেলওভার। | বাজারের স্বচ্ছতা | প্রদানকারী প্রোগ্রাম |
|---|---|---|---|---|---|---|---|
| শেয়ারএআই | একটি API + ন্যায্য অর্থনীতি চাওয়া পণ্য/প্ল্যাটফর্ম দল। | ১৫০+ মডেলের মধ্যে প্রদানকারীদের জুড়ে। | API কী এবং প্রতি-রুট নিয়ন্ত্রণ | কনসোল ব্যবহার + মার্কেটপ্লেস পরিসংখ্যান | স্মার্ট রাউটিং + তাত্ক্ষণিক ফেলওভার | হ্যাঁ (মূল্য, বিলম্ব, আপটাইম, প্রাপ্যতা, প্রকার) | হ্যাঁ — ওপেন সাপ্লাই; 70% প্রদানকারীদের কাছে |
| লাইটএলএলএম | দলগুলি স্ব-হোস্টেড প্রক্সি পছন্দ করে | অনেকগুলি OpenAI-ফরম্যাটের মাধ্যমে | কনফিগ/সীমাবদ্ধতা | নিজে করুন (DIY) | পুনরায় চেষ্টা/ব্যাকআপ | প্রযোজ্য নয় | প্রযোজ্য নয় |
| ইডেন AI | দলগুলি যাদের LLM + অন্যান্য AI পরিষেবা প্রয়োজন | বিস্তৃত বহু-পরিষেবা | স্ট্যান্ডার্ড এপিআই | পরিবর্তনশীল | ব্যাকআপ/ক্যাশিং | আংশিক | প্রযোজ্য নয় |
| পোর্টকি | নিয়ন্ত্রিত/এন্টারপ্রাইজ | বিস্তৃত (BYO) | শক্তিশালী গার্ডরেল | গভীর ট্রেস | শর্তাধীন রাউটিং | প্রযোজ্য নয় | প্রযোজ্য নয় |
| কং AI গেটওয়ে | কং সহ এন্টারপ্রাইজ | BYO প্রদানকারীরা | শক্তিশালী এজ নীতিমালা | বিশ্লেষণ | প্রক্সি/প্লাগইন | না | প্রযোজ্য নয় |
| ওআরকিউ | দলগুলি যাদের অর্কেস্ট্রেশন প্রয়োজন | বিস্তৃত সমর্থন | প্ল্যাটফর্ম নিয়ন্ত্রণ | প্ল্যাটফর্ম বিশ্লেষণ | ওয়ার্কফ্লো-স্তর | প্রযোজ্য নয় | প্রযোজ্য নয় |
| একীভূত করুন | গুণগত-চালিত রাউটিং | বহু-মডেল | স্ট্যান্ডার্ড | প্ল্যাটফর্ম বিশ্লেষণ | সেরা-মডেল নির্বাচন | প্রযোজ্য নয় | প্রযোজ্য নয় |
| ওপেনরাউটার | ডেভেলপাররা একটি কী চায় | বিস্তৃত ক্যাটালগ | মৌলিক নিয়ন্ত্রণ | অ্যাপ-পক্ষ | ব্যাকআপ/রাউটিং | আংশিক | প্রযোজ্য নয় |
টেবিল পড়া: “মার্কেটপ্লেস স্বচ্ছতা” জিজ্ঞাসা করে, আমি কি মূল্য/লেটেন্সি/আপটাইম/উপলব্ধতা দেখতে এবং ট্রাফিক পাঠানোর আগে রুট নির্বাচন করতে পারি? ডিফল্টভাবে “হ্যাঁ” উত্তর দেওয়ার জন্য ShareAI ডিজাইন করা হয়েছিল।
মূল্য নির্ধারণ এবং TCO: $/1K টোকেনের বাইরে দেখুন।
ইউনিট মূল্য গুরুত্বপূর্ণ, তবে প্রকৃত খরচের মধ্যে পুনরায় চেষ্টা/ফলব্যাক, লেটেন্সি-চালিত UX প্রভাব (যা টোকেন ব্যবহারে পরিবর্তন আনে), অঞ্চল/ইনফ্রা অনুযায়ী প্রদানকারীর বৈচিত্র্য, পর্যবেক্ষণ স্টোরেজ এবং মূল্যায়ন রান অন্তর্ভুক্ত। একটি মার্কেটপ্লেস আপনাকে এই ট্রেড-অফগুলি স্পষ্টভাবে ভারসাম্য করতে সাহায্য করে।
TCO ≈ Σ (Base_tokens × Unit_price × (1 + Retry_rate)) + Observability_storage + Evaluation_tokens + Egress প্রোটোটাইপ (১০k টোকেন/দিন): প্রথম টোকেন পাওয়ার সময়কে অগ্রাধিকার দিন (Playground + Quickstart), তারপর নীতিগুলি পরে শক্ত করুন।
মাঝারি স্কেল পণ্য (৩টি মডেলের মধ্যে প্রতিদিন ২ মিলিয়ন টোকেন): মার্কেটপ্লেস-নির্দেশিত রাউটিং খরচ কমাতে এবং UX উন্নত করতে পারে; একটি রুটকে কম লেটেন্সি প্রদানকারীতে স্যুইচ করা কথোপকথনের পালা এবং টোকেন ব্যবহারের পরিমাণ কমাতে পারে।
স্পাইকযুক্ত ওয়ার্কলোড: ফেইলওভারের সময় পুনরায় চেষ্টা থেকে সামান্য বেশি কার্যকর টোকেন খরচ আশা করুন; এর জন্য বাজেট রাখুন—স্মার্ট রাউটিং ডাউনটাইম খরচ কমায়।
যেখানে ShareAI সাহায্য করে: স্পষ্ট মূল্য এবং লেটেন্সি দৃশ্যমানতা, তাত্ক্ষণিক ফেইলওভার, এবং মানুষ-চালিত সরবরাহ (70% প্রদানকারীদের কাছে) উভয় নির্ভরযোগ্যতা এবং দীর্ঘমেয়াদী দক্ষতা উন্নত করে।
মাইগ্রেশন: LiteLLM → ShareAI (শ্যাডো → ক্যানারি → কাটওভার)
- ইনভেন্টরি এবং মডেল ম্যাপিং: আপনার প্রক্সি কল করা রুটগুলি তালিকাভুক্ত করুন; মডেল নামগুলি ShareAI-এর ক্যাটালগে ম্যাপ করুন এবং অঞ্চল/লেটেন্সি পছন্দগুলি নির্ধারণ করুন।
- প্রম্পট সামঞ্জস্যতা এবং গার্ডরেল: একটি প্রতিনিধিত্বমূলক প্রম্পট সেট পুনরায় চালান; সর্বাধিক টোকেন এবং মূল্য সীমা প্রয়োগ করুন।
- শ্যাডো, তারপর ক্যানারি: ছায়া ট্রাফিক দিয়ে শুরু করুন; যখন প্রতিক্রিয়া ভালো দেখায়, তখন 10% → 25% → 50% → 100%-এ ক্যানারি করুন।
- প্রয়োজনে হাইব্রিড: ডেভেলপমেন্টের জন্য LiteLLM রাখুন, যখন প্রোডাকশন রাউটিং/মার্কেটপ্লেস স্বচ্ছতার জন্য ShareAI ব্যবহার করুন; অথবা আপনার পছন্দের গেটওয়ে ব্যবহার করুন সংস্থার নীতিমালার জন্য ShareAI-এর সাথে প্রদানকারী নির্বাচন ও ব্যর্থতা মোকাবিলার জন্য।
- যাচাই করুন এবং পরিষ্কার করুন: SLA চূড়ান্ত করুন, রানবুক আপডেট করুন, অপ্রয়োজনীয় প্রক্সি নোডগুলি অবসর দিন।
নিরাপত্তা, গোপনীয়তা এবং সম্মতি চেকলিস্ট
- কী পরিচালনা: রোটেশন ক্যাডেন্স; স্কোপড টোকেন; পরিবেশ-ভিত্তিক পৃথকীকরণ।
- ডেটা সংরক্ষণ: কোথায় প্রম্পট/প্রতিক্রিয়া থাকে; কতক্ষণ; রেডাকশন নিয়ন্ত্রণ।
- পিআইআই এবং সংবেদনশীল বিষয়বস্তু: মাস্কিং কৌশল; অ্যাক্সেস নিয়ন্ত্রণ; ডেটা লোকালিটির জন্য আঞ্চলিক রাউটিং।
- পর্যবেক্ষণযোগ্যতা: আপনি কী লগ করেন; প্রয়োজন অনুযায়ী ফিল্টার বা ছদ্মনাম ব্যবহার করুন।
- ঘটনা প্রতিক্রিয়া: SLA, এসকেলেশন পথ, অডিট ট্রেইল।
ডেভেলপার অভিজ্ঞতা যা সরবরাহ করে
- প্রথম টোকেনের সময়: একটি লাইভ অনুরোধ চালান প্লেগ্রাউন্ড, তারপর এর মাধ্যমে ইন্টিগ্রেট করুন API রেফারেন্স—মিনিট, ঘণ্টা নয়।
- মার্কেটপ্লেস আবিষ্কার: মূল্য, লেটেন্সি, প্রাপ্যতা এবং আপটাইম তুলনা করুন মডেলস পৃষ্ঠা.
- অ্যাকাউন্টস ও অথ: সাইন ইন বা সাইন আপ করুন কী, ব্যবহার এবং বিলিং পরিচালনা করতে।
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী:
LiteLLM কি একটি অ্যাগ্রিগেটর নাকি একটি গেটওয়ে?
এটি সর্বোত্তমভাবে একটি SDK + প্রক্সি/গেটওয়ে হিসাবে বর্ণনা করা যেতে পারে যা বিভিন্ন প্রদানকারীর মধ্যে OpenAI-সামঞ্জস্যপূর্ণ অনুরোধগুলি পরিচালনা করে—একটি মার্কেটপ্লেস থেকে ভিন্ন যা আপনাকে রাউটিংয়ের আগে প্রদানকারীর সুবিধা-অসুবিধা বেছে নিতে দেয়।
এন্টারপ্রাইজ গভর্নেন্সের জন্য সেরা LiteLLM বিকল্প কী?
গেটওয়ে-স্টাইল নিয়ন্ত্রণ (Kong AI Gateway, Portkey) নীতিমালা এবং টেলিমেট্রিতে উৎকৃষ্ট। যদি আপনি স্বচ্ছ প্রদানকারী পছন্দ এবং তাত্ক্ষণিক ব্যর্থতা পুনরুদ্ধারও চান, তবে ShareAI-এর মার্কেটপ্লেস রাউটিংয়ের সাথে শাসন জুড়ুন।
মাল্টি-প্রোভাইডার রাউটিংয়ের জন্য LiteLLM বনাম ShareAI?
ShareAI, আপনি যদি একটি প্রক্সি চালানো ছাড়াই রাউটিং এবং ফেইলওভার চান, প্লাস মার্কেটপ্লেস স্বচ্ছতা এবং এমন একটি মডেল যেখানে ৭০১TP3T ব্যয় প্রদানকারীদের কাছে প্রবাহিত হয়।
কেউ কি ShareAI প্রদানকারী হতে পারে?
হ্যাঁ—কমিউনিটি বা কোম্পানি প্রদানকারীরা ডেস্কটপ অ্যাপ বা ডকারের মাধ্যমে অনবোর্ড করতে পারে, অব্যবহৃত সময় বা সর্বদা চালু ক্ষমতা অবদান রাখতে পারে, রিওয়ার্ডস/এক্সচেঞ্জ/মিশন নির্বাচন করতে পারে এবং তাদের স্কেল অনুযায়ী মূল্য নির্ধারণ করতে পারে।
পরবর্তী কোথায় যাবেন
- প্লেগ্রাউন্ডে একটি লাইভ অনুরোধ চেষ্টা করুন
- মূল্য ও লেটেন্সি সহ মডেল ব্রাউজ করুন
- ডকুমেন্টেশন পড়ুন
- আমাদের বিকল্প আর্কাইভ অন্বেষণ করুন
প্লেগ্রাউন্ড চেষ্টা করুন
কয়েক মিনিটের মধ্যে যেকোনো মডেলে একটি লাইভ অনুরোধ চালান।
একটি এপিআই। ১৫০+ এআই মডেল। স্মার্ট রাউটিং এবং তাত্ক্ষণিক ফেলওভার। 70% থেকে জিপিইউ।