Bir modeli sağlayıcı cihazına ekleyin

Uygun bir model seçin#

Model kataloğunu Provider iş akışınızdan veya uygulamanızdan açın. Hedef modeli arayın ve tam tanımlayıcıyı, donanım gereksinimlerini, sunum izinlerini ve mevcut ticari koşulları okuyun. Tanınabilir bir model adı, tam etiketini veya varyantını belirlemek için yeterli değildir.

Cihaz kapasitesini kontrol edin#

GPU bellek gereksinimleri, ağırlıklar, hassasiyet veya kuantizasyon, bağlam uzunluğu, çalışma zamanı yükü ve eşzamanlılık gibi faktörlere bağlıdır. Mevcut model gereksinimlerini ve gözlemlenen cihaz kaynaklarını kullanın. Yalnızca parametre sayısından garantili uyumluluk çıkarımı yapmayın.

Yükleyin ve etkinleştirin#

1. Tam modeli seçin ve erişim veya fiyatlandırma koşullarını gözden geçirin.
2. Desteklenen modelin indirme veya bağlantı akışını başlatın.
3. Paylaşımı etkinleştirmeden önce kurulumun veya senkronizasyonun tamamlanmasını bekleyin ve hataları giderin.
4. Modeli hedef cihazda paylaşım için etkinleştirin.
5. Model ve cihaz durumunu Konsol'da doğrulayın, ardından gerçek etkinliği izleyin.

Bir model görünmediğinde#

Seçilen çalışma alanını, sağlayıcı onayını, katalog izinlerini, modelin kullanılabilirliğini ve kurulumun tamamlanıp tamamlanmadığını kontrol edin. Otomatik katalog kontrolleri için Sağlayıcı model uç noktalarını kullanın..

Bir model yüklenemediğinde#

Çalışma zamanı hatasını okuyun, gerekli ve mevcut kaynakları karşılaştırın ve diğer iş yüklerinin GPU'yu tüketip tüketmediğini kontrol edin. Kapasiteyi duyurmadan önce yükleme sorunlarını çözün. Katalog metnini değiştirmek, cihaz çalışma zamanı hatasını düzeltmez.