排序提供者并控制回退

价格#

价格排名比较适用的输入层费率加上基础输出费率。这不是对总请求费用的预测。请查看所选提供者的输入、输出和缓存价格以及您的预期工作负载。

延迟和吞吐量#

延迟使用观察到的完成请求的耗时，而不是到第一个令牌的时间。吞吐量使用观察到的每秒输出令牌数。最近的观察覆盖了五分钟的时间窗口。这些测量用于指导路由；它们不保证响应时间或容量。

没有必要价格或性能观测的提供者在任何方向上都排在已测量提供者之后。稳定标识符用于打破平局。

排序前的顺序#

明确的提供者顺序优先于排序。在剩余的合格选择中，所选排序决定排名。被忽略的提供者、仅限外部的提供者、不支持的操作以及因关键权限被排除的提供者仍然不符合条件。

回退保持相同模型#

提供者回退会更改针对确切请求模型的合格基础设施，但不会切换到其他模型标签。在ShareAI提供者内部做出的任何上游供应商选择与公共创作者身份和执行提供者政策是分开的。

处理中断的请求#

路由在成功分派、不确定响应或部分输出后不会自动重试。这避免了重复工作和费用。保留部分输出，让应用程序决定是否启动新请求。避免无限重试循环。

示例#

{
  "provider": {
    "sort": {
      "by": "latency",
      "direction": "asc"
    },
    "allow_fallbacks": true
  }
}

若偏好最高吞吐量，请使用 {"by":"throughput","direction":"desc"}。仅当该顺序与您的预期测试或工作负载匹配时才反转任一方向。