プロバイダーを並べ替え、フォールバックを制御する

価格#

価格ランキングは、適用可能な入力層レートと基本出力レートを比較します。これはリクエスト全体の請求額を予測するものではありません。選択したプロバイダーと予想されるワークロードに対する入力、出力、キャッシュ価格を確認してください。

遅延とスループット#

遅延は、最初のトークンまでの時間ではなく、観測された完了リクエストの経過時間を使用します。スループットは、観測された出力トークンを経過秒数で割った値を使用します。最近の観測は5分間のウィンドウをカバーします。これらの測定値はルーティングの指針となりますが、応答時間や容量を保証するものではありません。

必要な価格またはパフォーマンス観測がないプロバイダーは、どちらの方向でも測定されたプロバイダーの後にランク付けされます。安定した識別子が同順位を解消します。

並べ替え前の順序#

明示的なプロバイダー順序は、並べ替えよりも優先されます。残りの適格な選択肢の中で、選択された並べ替えがランキングを決定します。無視されたプロバイダー、外部のみのプロバイダー、サポートされていない操作、およびキー権限によって除外されたプロバイダーは引き続き適格外です。

フォールバックは同じモデルを保持する#

プロバイダーフォールバックは、正確にリクエストされたモデルに対して適格なインフラストラクチャを変更します。別のモデルタグに切り替えることはありません。ShareAIプロバイダー内で行われた上流のベンダー選択は、公開されたクリエイターのアイデンティティや実行プロバイダーポリシーとは別物です。

中断されたリクエストを処理する#

ルーティングは、成功したディスパッチ、不確実な応答、または部分的な出力の後に自動的に再試行しません。これにより、重複作業や課金を回避します。部分的な出力を保持し、アプリケーションが新しいリクエストを開始するかどうかを決定してください。無制限の再試行ループは避けてください。

例#

{
  "provider": {
    "sort": {
      "by": "latency",
      "direction": "asc"
    },
    "allow_fallbacks": true
  }
}

最高のスループットを優先するには、 {"by":"throughput","direction":"desc"}。その順序が意図したテストまたはワークロードに一致する場合のみ、どちらの方向でも逆にしてください。