Sortează furnizorii și controlează fallback-ul

Înțelege clasificarea ShareAI pentru preț, latență și debit, furnizorii ordonați, măsurătorile indisponibile și limitele de siguranță pentru fallback.

Vizualizează ca Markdown

Pe această pagină

Preț#

Clasificarea prețurilor compară tariful aplicabil pentru nivelul de intrare plus tariful de bază pentru ieșire. Nu este o predicție a costului total al cererii. Revizuiește prețurile pentru intrare, ieșire și cache pentru furnizorul selectat și volumul de lucru așteptat.

Latență și debit#

Latența folosește timpul observat pentru finalizarea cererilor, nu timpul până la primul token. Debit-ul folosește numărul de tokeni de ieșire observați pe secundă scursă. Observațiile recente acoperă o fereastră de cinci minute. Aceste măsurători ghidează rutarea; ele nu garantează un timp de răspuns sau o capacitate.

Furnizorii fără observații necesare privind prețul sau performanța sunt clasați după furnizorii măsurați, în ambele direcții. Identificatorii stabili rezolvă egalitățile.

Ordine înainte de sortare#

O ordine explicită a furnizorilor are prioritate față de sortare. În cadrul alegerilor eligibile rămase, sortarea selectată determină clasificarea. Furnizorii ignorați, cei doar externi, operațiunile neacceptate și furnizorii excluși prin permisiuni cheie rămân neeligibili.

Politică	Alegeri eligibile
`allow_fallbacks: true`	Alți furnizori eligibili pot fi luați în considerare, în limitele fiecărei restricții stricte.
`allow_fallbacks: false` cu `order`	Doar furnizorii listați explicit în ordine.
`allow_fallbacks: false` fără `order`	Doar furnizorul clasat pe primul loc.

Fallback păstrează același model#

Fallback-ul furnizorului schimbă infrastructura eligibilă pentru modelul solicitat exact. Nu comută la un alt tag de model. Orice alegere a furnizorului upstream făcută în cadrul furnizorului ShareAI este separată de identitatea publică a creatorului și de politica furnizorului de execuție.

Gestionează cererile întrerupte#

Rutarea nu reîncearcă automat după o trimitere reușită, un răspuns incert sau o ieșire parțială. Acest lucru evită munca duplicată și costurile suplimentare. Păstrează ieșirea parțială și lasă aplicația să decidă dacă să înceapă o nouă cerere. Evită buclele de reîncercare nelimitate.

Exemple#

JSON

{
  "provider": {
    "sort": {
      "by": "latency",
      "direction": "asc"
    },
    "allow_fallbacks": true
  }
}

Pentru a prefera debitul cel mai mare, folosește {"by":"throughput","direction":"desc"}. Inversează direcția doar atunci când acea ordine corespunde testului sau volumului de lucru intenționat.

Ultima actualizare septembrie 16, 2026