Urutake panyedhiya lan kontrol fallback

Pahami rega, latensi lan throughput ShareAI, peringkat panyedhiya sing diurutake, pangukuran sing ora kasedhiya lan watesan fallback sing aman.

Deleng minangka Markdown

Ing kaca iki

Rega#

Peringkat rega mbandhingake tarif input-tier sing berlaku ditambah tarif output dasar. Iki dudu prediksi tagihan panjalukan total. Tinjau rega input, output lan cache kanggo panyedhiya sing dipilih lan beban kerja sing diarepake.

Latensi lan throughput#

Latensi nggunakake wektu sing wis rampung panjalukan sing diamati, dudu wektu kanggo token pisanan. Throughput nggunakake token output sing diamati saben detik sing wis rampung. Pengamatan anyar nutupi jendela limang menit. Pangukuran iki nuntun routing; iki ora njamin wektu tanggapan utawa kapasitas.

Panyedhiya tanpa pengamatan rega utawa kinerja sing dibutuhake peringkat sawise panyedhiya sing diukur ing arah apa wae. Identifikasi stabil ngatasi ikatan.

Urutake sadurunge sorting#

Urutan panyedhiya sing eksplisit luwih dhisik tinimbang sorting. Ing pilihan sing layak sing isih ana, sorting sing dipilih nemtokake peringkat. Panyedhiya sing diabaikan, panyedhiya sing mung njaba, operasi sing ora didhukung lan panyedhiya sing ora layak amarga ijin kunci tetep ora layak.

Kebijakan	Pilihan sing layak
`allow_fallbacks: true`	Panyedhiya liyane sing layak bisa dianggep, ing saben watesan sing ketat.
`allow_fallbacks: false` kanthi `order`	Mung panyedhiya sing eksplisit kasebut ing urutan.
`allow_fallbacks: false` tanpa `order`	Mung panyedhiya sing peringkat pertama.

Fallback tetep nganggo model sing padha#

Fallback panyedhiya ngganti infrastruktur sing layak kanggo model sing diminta persis. Iki ora ngalih menyang tag model liyane. Saben pilihan vendor hulu sing digawe ing panyedhiya ShareAI kapisah saka identitas kreator umum lan kebijakan panyedhiya eksekusi.

Nglola panjalukan sing keganggu#

Routing ora otomatis nyoba maneh sawise pengiriman sing sukses, tanggapan sing ora pasti utawa output parsial. Iki ngindhari kerja duplikat lan biaya. Njaga output parsial lan supaya aplikasi mutusake apa bakal miwiti panjalukan anyar. Ngindhari loop retry tanpa wates.

Conto#

JSON

{
  "provider": {
    "sort": {
      "by": "latency",
      "direction": "asc"
    },
    "allow_fallbacks": true
  }
}

Kanggo luwih seneng throughput paling dhuwur, gunakake {"by":"throughput","direction":"desc"}. Balik arah mung nalika urutan kasebut cocog karo tes utawa beban kerja sing diarepake.

Pungkasan dianyari 16 Septèmber 2026