مرتب‌سازی ارائه‌دهندگان و کنترل جایگزینی

قیمت#

رتبه‌بندی قیمت نرخ ورودی قابل اعمال به‌علاوه نرخ خروجی پایه را مقایسه می‌کند. این پیش‌بینی صورتحساب کل درخواست نیست. قیمت‌های ورودی، خروجی و کش ارائه‌دهنده انتخاب‌شده و حجم کاری مورد انتظار خود را بررسی کنید.

تأخیر و توان عملیاتی#

تأخیر از زمان سپری‌شده درخواست تکمیل‌شده مشاهده‌شده استفاده می‌کند، نه زمان تا اولین توکن. توان عملیاتی از توکن‌های خروجی مشاهده‌شده در هر ثانیه سپری‌شده استفاده می‌کند. مشاهدات اخیر یک بازه زمانی پنج‌دقیقه‌ای را پوشش می‌دهند. این اندازه‌گیری‌ها مسیر‌یابی را هدایت می‌کنند؛ آن‌ها زمان پاسخ یا ظرفیت را تضمین نمی‌کنند.

ارائه‌دهندگانی که فاقد قیمت یا عملکرد موردنیاز هستند، در هر دو جهت پس از ارائه‌دهندگان اندازه‌گیری‌شده رتبه‌بندی می‌شوند. شناسه‌های پایدار تساوی‌ها را می‌شکنند.

ترتیب قبل از مرتب‌سازی#

ترتیب صریح ارائه‌دهنده بر مرتب‌سازی اولویت دارد. در میان گزینه‌های واجد شرایط باقی‌مانده، مرتب‌سازی انتخاب‌شده رتبه‌بندی را تعیین می‌کند. ارائه‌دهندگان نادیده‌گرفته‌شده، ارائه‌دهندگان فقط خارجی، عملیات‌های پشتیبانی‌نشده و ارائه‌دهندگانی که توسط مجوزهای کلیدی حذف شده‌اند، همچنان غیرقابل‌قبول باقی می‌مانند.

جایگزینی مدل یکسان را حفظ می‌کند#

جایگزینی ارائه‌دهنده زیرساخت واجد شرایط را برای مدل دقیق درخواست‌شده تغییر می‌دهد. این به مدل دیگری تغییر نمی‌کند. هر انتخاب فروشنده بالادستی که در داخل ارائه‌دهنده ShareAI انجام می‌شود، جدا از هویت عمومی سازنده و سیاست ارائه‌دهنده اجرا است.

مدیریت درخواست‌های قطع‌شده#

مسیر‌یابی پس از ارسال موفق، پاسخ نامشخص یا خروجی جزئی به‌طور خودکار دوباره تلاش نمی‌کند. این از کار و هزینه‌های تکراری جلوگیری می‌کند. خروجی جزئی را حفظ کنید و به برنامه اجازه دهید تصمیم بگیرد که آیا درخواست جدیدی را شروع کند یا خیر. از حلقه‌های تلاش مجدد نامحدود اجتناب کنید.

مثال‌ها#

{
  "provider": {
    "sort": {
      "by": "latency",
      "direction": "asc"
    },
    "allow_fallbacks": true
  }
}

برای ترجیح بالاترین توان عملیاتی، استفاده کنید {"by":"throughput","direction":"desc"}. جهت را فقط زمانی معکوس کنید که آن ترتیب با آزمون یا حجم کاری موردنظر شما مطابقت داشته باشد.