প্রদানকারীদের সাজান এবং ফ্যালব্যাক নিয়ন্ত্রণ করুন
ShareAI-এর মূল্য, লেটেন্সি এবং থ্রুপুট র্যাঙ্কিং, ক্রমানুসারে প্রদানকারী, অনুপলব্ধ পরিমাপ এবং নিরাপদ ফ্যালব্যাক সীমা বুঝুন।
এই পৃষ্ঠায়
মূল্য#
মূল্য র্যাঙ্কিং প্রযোজ্য ইনপুট-টিয়ার রেট এবং বেস আউটপুট রেটের তুলনা করে। এটি মোট অনুরোধ বিলের পূর্বাভাস নয়। নির্বাচিত প্রদানকারী এবং আপনার প্রত্যাশিত ওয়ার্কলোডের জন্য ইনপুট, আউটপুট এবং ক্যাশের মূল্য পর্যালোচনা করুন।
লেটেন্সি এবং থ্রুপুট#
লেটেন্সি পর্যবেক্ষিত সম্পন্ন-অনুরোধের সময়কাল ব্যবহার করে, প্রথম টোকেনের সময় নয়। থ্রুপুট পর্যবেক্ষিত আউটপুট টোকেন প্রতি সময়কাল সেকেন্ড ব্যবহার করে। সাম্প্রতিক পর্যবেক্ষণ পাঁচ মিনিটের উইন্ডো কভার করে। এই পরিমাপগুলি রাউটিং নির্দেশ করে; এগুলি প্রতিক্রিয়া সময় বা ক্ষমতা নিশ্চিত করে না।
প্রয়োজনীয় মূল্য বা কর্মক্ষমতা পর্যবেক্ষণ ছাড়া প্রদানকারীরা পরিমাপকৃত প্রদানকারীদের পরে র্যাঙ্ক করে। স্থিতিশীল শনাক্তকারী টাই ব্রেক করে।
সাজানোর আগে ক্রমানুসার#
একটি স্পষ্ট প্রদানকারী ক্রম সাজানোর উপর অগ্রাধিকার পায়। অবশিষ্ট যোগ্য পছন্দগুলির মধ্যে, নির্বাচিত সাজানো র্যাঙ্কিং নির্ধারণ করে। উপেক্ষিত প্রদানকারী, শুধুমাত্র বাহ্যিক প্রদানকারী, অসমর্থিত অপারেশন এবং কী অনুমতিতে বাদ দেওয়া প্রদানকারী অযোগ্য থাকে।
| নীতি | যোগ্য পছন্দ |
|---|---|
allow_fallbacks: true | অন্যান্য যোগ্য প্রদানকারীদের বিবেচনা করা যেতে পারে, প্রতিটি কঠোর সীমাবদ্ধতার মধ্যে। |
allow_fallbacks: false সঙ্গে order | শুধুমাত্র ক্রমানুসারে স্পষ্টভাবে তালিকাভুক্ত প্রদানকারী। |
allow_fallbacks: false বাজেট order | শুধুমাত্র প্রথম-র্যাঙ্কযুক্ত প্রদানকারী। |
ফ্যালব্যাক একই মডেল রাখে#
প্রদানকারী ফ্যালব্যাক নির্দিষ্ট অনুরোধকৃত মডেলের জন্য যোগ্য অবকাঠামো পরিবর্তন করে। এটি অন্য মডেল ট্যাগে পরিবর্তন করে না। ShareAI প্রদানকারীর ভিতরে করা যেকোনো আপস্ট্রিম বিক্রেতা পছন্দ পাবলিক ক্রিয়েটর পরিচয় এবং এক্সিকিউশন-প্রদানকারী নীতির থেকে আলাদা।
বাধাগ্রস্ত অনুরোধ পরিচালনা করুন#
সফল ডিসপ্যাচ, অনিশ্চিত প্রতিক্রিয়া বা আংশিক আউটপুটের পরে রাউটিং স্বয়ংক্রিয়ভাবে পুনরায় চেষ্টা করে না। এটি ডুপ্লিকেট কাজ এবং চার্জ এড়ায়। আংশিক আউটপুট সংরক্ষণ করুন এবং অ্যাপ্লিকেশনটি সিদ্ধান্ত নিতে দিন যে নতুন অনুরোধ শুরু করবে কিনা। সীমাহীন পুনরায় চেষ্টা লুপ এড়িয়ে চলুন।
উদাহরণ#
JSON
{
"provider": {
"sort": {
"by": "latency",
"direction": "asc"
},
"allow_fallbacks": true
}
}
সর্বোচ্চ থ্রুপুট পছন্দ করতে, ব্যবহার করুন {"by":"throughput","direction":"desc"}। শুধুমাত্র যখন সেই ক্রম আপনার উদ্দেশ্যযুক্ত পরীক্ষা বা ওয়ার্কলোডের সাথে মেলে তখন উল্টো দিক পরিবর্তন করুন।
সর্বশেষ আপডেট সেপ্টেম্বর 16, 2026