ShareAI Otomatik Yedekleme: Aynı Model Yönlendirme + BYOI ile Sıfır Kesinti Süresi AI

Bir yapay zeka sağlayıcısı aksadığında, kullanıcılarınız aksamalı değil. ShareAI otomatik yedekleme talepleri yönlendirerek akışı sürdürür aynı model birden fazla sağlayıcı arasında—böylece deneyim tutarlı kalır ve acil durum yamaları göndermek zorunda kalmazsınız. Ayrıca BYOI (Kendi Altyapınızı Getirin) varsayılan olarak veya özel bir yedekleme katmanı olarak özel uç noktalar çalıştırabilirsiniz.

Neden kesintiler zarar verir (ve neden tek sağlayıcı = tek hata noktasıdır)

Gerçek olay desenleri

Kesintiler nadiren her şeyi devre dışı bırakır. Daha sık olarak modelle ilgili aksaklıklar, hız sınırı patlamaları, bölgesel kesintiler veya bakım pencereleri olur. Eğer yığınınız tek bir API'ye bağlıysa, bunlar kullanıcı tarafından görülebilir hatalar haline gelir.

“Tekrar dene ve dua et”in gizli maliyeti”

Yönlendirme olmadan yapılan tekrar denemeler sadece gecikmeyi artırır, kotaları tüketir ve terk oranını artırır. İş maliyeti SLA'larda, müşteri kaybında ve destek yükünde ortaya çıkar.

ShareAI ile “aynı model yedekleme”nin anlamı

Model eşdeğer yönlendirme

Eğer model-x Sağlayıcı A'da başarısız olmaya başladığında, ShareAI aynı modeli (veya en yakın eşdeğerini) Sağlayıcı B'ye yönlendirir—davranışı tutarlı tutmak için koruma önlemleriyle. Bu, kesinti süresini bir yönlendirme kararına, dönüştürür, bir ürün kesintisine değil.

Son kullanıcılar ve ürün kodu için görünmez

Entegrasyonunuz tek bir uç noktayı çağırır. Yedekleme kontrol düzleminde gerçekleşir—hiçbir özellik bayrağı, acil yeniden dağıtım uygulamanız için gerekmez.

Hedeflerinize uygun politika ayarları

Uç nokta başına politikalar belirleyin, örneğin gecikmeyi tercih et, maliyeti tercih et, veya katı sağlayıcı sırası. Hangi hızda ve kime geçiş yapacağınızı siz belirlersiniz.

Üretimde ShareAI kullanmanın iki yolu

Varsayılan orkestrasyon katmanı (her zaman açık, çok sağlayıcılı)

Her isteği ShareAI üzerinden gönderin. Kutudan çıktığı gibi sağlık kontrolleri, aynı model yönlendirme ve sağlayıcı A/B testi alırsınız. Keşfedin Model Pazarı birincil ve yedeklerinizi seçmek için: Modelleri Gözat

Hazır güvenlik ağı (sadece olay durumunda)

Mevcut SDK'larınızı koruyun, ancak ShareAI'yi bir yedek yol olarak bağlayın. Birinciliniz başarısız olduğunda, kullanıcı görünür bir kesinti olmadan trafiği otomatik olarak ShareAI'ye yönlendirin.

Özellik bazlı yönlendirme

Örnek: Sohbet varsayılan olarak Sağlayıcı X'i kullanır; gömme işlemleri fiyat için Sağlayıcı Y'yi kullanır; her ikisi de otomatik yedek geçişine sahiptir.

ShareAI ile BYOI (Kendi Altyapınızı Getirin)

Özel çıkarımı bağlayın

Kendinize ait uç noktaları bağlayın (VPC, şirket içi, ortak POP'lar). BYOI'yi birincil kapasite olarak kullanın veya bir olarak özel yedekleme yalnızca kuruluşunuzun görebileceği bir katman. Şuradan başlayın Sağlayıcı Kılavuzu ve Gösterge Tablosu: Sağlayıcı Kılavuzu • Sağlayıcı Panosu

Anahtarlar, kotalar, trafik bölünmesi

Model başına birden fazla API anahtarı (ve sağlayıcı) ekleyin; çevre/ekip bazında kotalar ve trafik payı tanımlayın.

Bölgeler ve veri yerleşimi

Trafiği izin verilen coğrafyalara sabitleyin veya yenilerini şu yolla talep edin Coğrafi Konum Ayarları uyumluluk ve gecikme hedeflerini karşılamak için: Coğrafi Konum Ayarları

Otomatik yedekleme nasıl çalışır (arka planda)

Sağlık ve gecikme probeleri

ShareAI, sağlayıcı/model/bölge sağlığını ve gecikmesini sürekli kontrol eder. Eşikler tetiklenir devre kesiciler trafiği anında kaydıran.

Model eşdeğerlik haritası

Sağlanan bir harita, sağlayıcılar arasında model kimliklerini hizalar (ve “en yakın eşdeğerleri” derecelendirir) böylece failover, talimatları takip etme davranışını, tokenizasyon tuhaflıklarını ve bağlam sınırlarını mümkün olduğunca sıkı bir şekilde korur.

Tasarım gereği güvenli yeniden denemeler

İdempotans anahtarları ve üstel geri çekilme, işin tekrarlanmasını önlerken kuyruk gecikmesini en aza indirir.

Gözlemlenebilirlik

Göreceksiniz izler, failover nedenleri ve maliyet/gecikme farkları Konsol ve günlüklerde. Oku Belgeler daha derin bir enstrümantasyon için hazır olduğunuzda: Dokümantasyon Ana Sayfası

Hızlı başlangıç: ilk dayanıklı isteğinizi yapın

5 adımlı kurulum

1. Giriş yap ve bir API anahtarı oluşturun. Giriş Yap veya Kaydol • API Anahtarı Oluştur
2. Bir birincil modeli başına sağlayıcıyı Konsolda seçin.
3. Ekle yedek sağlayıcılar (ve isteğe bağlı BYOI uç noktaları) ekleyin.
4. Etkinleştir Aynı-Model Yönlendirme ve yedekleme politikasını tanımlayın (gecikme/maliyet/sıra).
5. İlk isteğinizi gönderin (aşağıda) ve otomatik yedeklemeyi izlemek için bir olay simüle edin.

Kod: bir istek, otomatik sağlayıcı yedekleme

JavaScript (fetch)

const res = await fetch("https://api.shareai.now/v1/chat/completions", {;

Python (requests)

import os

Daha ayrıntılı bir rehber mi istiyorsunuz? Şununla başlayın API Referansı hızlı başlangıç: API Referansı. Veya canlı olarak deneyin Playground'da (kod yazmadan yedekleme politikalarını doğrulamak için harika): Açık Oyun Alanı

Olaylar sırasında deneyimleri sorunsuz tutun

Akıllı zaman aşımı ve kısmi yanıtlar

Başarısız sağlayıcılardan hızlı bir şekilde çıkın; UX'iniz destekliyorsa kısmi sonuçları yayınlayın, ardından bir yedeklemeden tamamlayın.

Yaygın istemleri önbelleğe alın

Statik istemleri (SSS, şablon sistem istemleri) önbelleğe alarak olaylar sırasında anında hizmet verin.

Acil olmayan işleri sıraya alın ve toplu işleme yapın.

Ağır işleri (ör. özetleme) toplu işleyin ve sağlıklı kapasite geri geldiğinde görevleri bırakmadan devam edin.

Şeffaf iletişim

Sağlayıcı durumu ve kendi yönlendirme durumunuza bağlı bir uygulama içi banner ekleyin. Okuyucuları şu adrese yönlendirin: Sürümler/Değişiklik Günlüğü davranış değiştiğinde: Sürümleri Gör

Çevrimiçi kalırken harcamaları kontrol edin.

Maliyet tavanları ve yedekleme sırası

Bir maksimum çarpan belirleyin (ör. “≤1.2× birincil CPM”). Bir yedekleme bunu aşarsa, bir sonraki en uygun seçeneğe yönlendirin.

Takım başına bütçeler ve uyarılar

Çalışma alanı/proje başına bütçeler uygulayın; finansın şaşırmaması için yedekleme artışlarında uyarı verin.

Olay sonrası raporlar

Trafiğin ne kadarının başarısız olduğunu, nedenini ve maliyet/gecikme farklarını gözden geçirerek politikayı iyileştirin.

Güvenlik ve uyumluluk, sağlayıcılar arasında bile

Bölgesel sabitleme: gerektiğinde verileri bölgede tutun. Sıfır-tutma modları: gerektiğinde istek kaydını devre dışı bırakın. Denetlenebilirlik: düzenlenmiş ortamlar için günlükleri ve izleri dışa aktarın. Sağlayıcı coğrafyaları ve kontrolleri için bkz. Coğrafi Konum Ayarları Konsolda: İzin Verilen Konumlar

SSS

ShareAI'yi belirli bir model kimliğine zorlayabilir miyim?

Evet—belirli bir sağlayıcı+model kimliğine kilitleyin. Veya tam eşler mevcut olmadığında en yakın eşdeğer geçişe izin verin.

Hiç tam eş yoksa ne olur?

Kullan en yakın eşdeğer yetenek, bağlam boyutu ve maliyete göre en yakın modeli seçme politikası. Zarif bir şekilde düşüşe geçip geçmeyeceğinize veya tamamen başarısız olup olmayacağınıza siz karar verirsiniz.

Üretimi durdurmadan failover'ı nasıl test ederim?

Kullan Playground'da veya sağlayıcı hatasını simüle etmek için bir sahneleme anahtarı (örneğin, bir sağlayıcıyı geçici olarak engellemek) ve izleri incelemek: Playground'da

BYOI genel giriş gerektirir mi?

Hayır. Çalıştırabilirsiniz özel/VPC uç noktaları ve bunları yalnızca kuruluşunuza görünür sağlayıcılar olarak kaydedin. Şununla başlayın Sağlayıcı Kılavuzu: Sağlayıcı Kılavuzu

Sonuç

Kesintiler kaçınılmazdır. ShareAI otomatik yedekleme ve BYOI, bunların yıkıcı olması gerekmez. Şuraya yönlendirin aynı model sağlayıcılar arasında, SLA'ları koruyun ve maliyet ile uyumluluğu kontrol edin—uygulama kodunuzu değiştirmeden. Bir sağlayıcı başarısız olduğunda, ShareAI sizi çevrimiçi tutar.