Ayusin ang mga provider at kontrolin ang fallback

Presyo#

Ang price ranking ay naghahambing sa naaangkop na input-tier rate kasama ang base output rate. Hindi ito hula sa kabuuang halaga ng kahilingan. Suriin ang input, output, at cache prices para sa napiling provider at sa inaasahang workload mo.

Latency at throughput#

Ang latency ay gumagamit ng naobserbahang oras ng natapos na kahilingan, hindi ang oras sa unang token. Ang throughput ay gumagamit ng naobserbahang output tokens kada lumipas na segundo. Ang mga kamakailang obserbasyon ay sumasaklaw sa limang minutong window. Ang mga sukat na ito ay gumagabay sa routing; hindi nila ginagarantiya ang response time o kapasidad.

Ang mga provider na walang kinakailangang presyo o performance observation ay niraranggo pagkatapos ng mga nasukat na provider sa alinmang direksyon. Ang mga stable identifier ay nag-aayos ng ties.

Ayusin bago mag-sort#

Ang malinaw na pagkakasunod ng provider ay may priyoridad sa sorting. Sa natitirang mga kwalipikadong pagpipilian, ang napiling sort ay tumutukoy sa ranking. Ang mga hindi pinapansin na provider, mga provider na nasa labas lamang, mga hindi suportadong operasyon, at mga provider na hindi kasama dahil sa key permissions ay nananatiling hindi kwalipikado.

Ang fallback ay nagpapanatili ng parehong modelo#

Ang fallback ng provider ay nagbabago sa kwalipikadong imprastraktura para sa eksaktong hiniling na modelo. Hindi ito lumilipat sa ibang model tag. Ang anumang pagpipilian ng upstream vendor na ginawa sa loob ng ShareAI provider ay hiwalay sa pampublikong creator identity at execution-provider policy.

Pangasiwaan ang mga naantalang kahilingan#

Ang routing ay hindi awtomatikong nagre-retry pagkatapos ng matagumpay na dispatch, hindi tiyak na tugon, o bahagyang output. Iniiwasan nito ang dobleng trabaho at singil. Panatilihin ang bahagyang output at hayaan ang application na magpasya kung magsisimula ng bagong kahilingan. Iwasan ang walang limitasyong retry loops.

Mga Halimbawa#

{
  "provider": {
    "sort": {
      "by": "latency",
      "direction": "asc"
    },
    "allow_fallbacks": true
  }
}

Upang mas paboran ang pinakamataas na throughput, gamitin {"by":"throughput","direction":"desc"}. Baliktarin ang alinmang direksyon lamang kapag ang pagkakasunod na iyon ay tumutugma sa iyong nilalayong pagsubok o workload.