排序供應商同控制後備選項

價格#

價格排名比較適用嘅輸入層級費率加上基本輸出費率。呢個唔係對總請求費用嘅預測。檢視所選供應商嘅輸入、輸出同緩存價格，以及你預期嘅工作負載。

延遲同吞吐量#

延遲使用觀察到嘅完成請求經過時間，而唔係第一個 token 嘅時間。吞吐量使用觀察到嘅每秒輸出 token 數量。最近嘅觀察涵蓋五分鐘窗口。呢啲測量指導路由，但唔保證響應時間或者容量。

無所需價格或者性能觀察嘅供應商，喺任一方向上會排喺有測量嘅供應商之後。穩定嘅標識符用嚟打破平局。

排序前嘅次序#

明確嘅供應商次序優先於排序。喺剩餘嘅合資格選擇中，所選嘅排序決定排名。被忽略嘅供應商、只喺外部嘅供應商、不支持嘅操作同因關鍵權限被排除嘅供應商仍然唔符合資格。

後備保持相同模型#

供應商後備更改合資格基礎設施以符合精確請求嘅模型。佢唔會切換到其他模型標籤。喺 ShareAI 供應商內作出嘅任何上游供應商選擇，與公共創作者身份同執行供應商政策係分開嘅。

處理中斷請求#

路由喺成功分派、不確定嘅響應或者部分輸出後唔會自動重試。呢個避免重複工作同收費。保留部分輸出，讓應用程序決定是否開始新請求。避免無限重試循環。

例子#

{
  "provider": {
    "sort": {
      "by": "latency",
      "direction": "asc"
    },
    "allow_fallbacks": true
  }
}

如果想優先最高吞吐量，請使用 {"by":"throughput","direction":"desc"}。只有當該次序符合你嘅測試或者工作負載意圖時，先反轉任一方向。