Sağlayıcıları sıralayın ve geri dönüş kontrolü yapın

Fiyat#

Fiyat sıralaması, uygulanabilir giriş seviyesi oranını ve temel çıkış oranını karşılaştırır. Bu, toplam istek faturası tahmini değildir. Seçilen sağlayıcı ve beklenen iş yükünüz için giriş, çıkış ve önbellek fiyatlarını inceleyin.

Gecikme ve işlem hacmi#

Gecikme, tamamlanan isteklerin geçen süresini kullanır, ilk token süresini değil. İşlem hacmi, geçen saniye başına gözlemlenen çıkış tokenlerini kullanır. Son gözlemler beş dakikalık bir pencereyi kapsar. Bu ölçümler yönlendirme için rehberlik eder; yanıt süresi veya kapasite garantisi vermez.

Gerekli fiyat veya performans gözlemi olmayan sağlayıcılar, ölçülen sağlayıcıların her iki yöndeki sıralamasının ardından gelir. Kararlı tanımlayıcılar eşitlikleri bozar.

Sıralamadan önce sırala#

Açık bir sağlayıcı sırası, sıralamaya öncelik verir. Kalan uygun seçenekler içinde, seçilen sıralama sıralamayı belirler. Yoksayılan sağlayıcılar, yalnızca dış sağlayıcılar, desteklenmeyen işlemler ve anahtar izinlerle hariç tutulan sağlayıcılar uygun değildir.

Yedekleme aynı modeli korur#

Sağlayıcı yedekleme, tam olarak talep edilen model için uygun altyapıyı değiştirir. Başka bir model etiketine geçiş yapmaz. ShareAI sağlayıcısı içinde yapılan herhangi bir üst düzey satıcı seçimi, genel yaratıcı kimliği ve yürütme sağlayıcı politikalarından ayrıdır.

Kesintiye uğrayan istekleri yönetin#

Yönlendirme, başarılı bir gönderimden, belirsiz bir yanıttan veya kısmi bir çıktından sonra otomatik olarak yeniden deneme yapmaz. Bu, yinelenen işleri ve ücretleri önler. Kısmi çıktıyı koruyun ve uygulamanın yeni bir istek başlatıp başlatmayacağına karar vermesine izin verin. Sınırsız yeniden deneme döngülerinden kaçının.

Örnekler#

{
  "provider": {
    "sort": {
      "by": "latency",
      "direction": "asc"
    },
    "allow_fallbacks": true
  }
}

En yüksek işlem hacmini tercih etmek için kullanın {"by":"throughput","direction":"desc"}. Bu sıralama, testiniz veya iş yükünüzle eşleştiğinde yalnızca yönü tersine çevirin.