Tambahkan model ke perangkat penyedia

Pilih model yang memenuhi syarat#

Buka katalog model dari workflow atau aplikasi Provider Anda. Cari model yang dimaksud dan baca pengenal yang tepat, persyaratan perangkat keras, izin penyajian, serta syarat komersial yang tersedia. Nama model yang dikenali saja tidak cukup untuk mengidentifikasi tag atau varian yang tepat.

Periksa kapasitas perangkat#

Kebutuhan memori GPU bergantung pada bobot, presisi atau kuantisasi, panjang konteks, overhead runtime, dan tingkat konkruensi. Gunakan persyaratan model saat ini dan sumber daya perangkat yang diamati. Jangan menyimpulkan kompatibilitas yang dijamin hanya dari jumlah parameter.

Instal dan aktifkan#

1. Pilih model yang tepat dan tinjau syarat akses atau harga apa pun.
2. Mulai unduhan model yang didukung atau alur koneksi.
3. Tunggu hingga instalasi atau sinkronisasi selesai dan selesaikan kesalahan sebelum mengaktifkan berbagi.
4. Aktifkan model untuk berbagi di perangkat yang dimaksud.
5. Konfirmasi status model dan perangkat di Console, lalu pantau aktivitas nyata.

Ketika model tidak muncul#

Periksa ruang kerja yang dipilih, persetujuan provider, izin katalog, ketersediaan model, dan apakah instalasi telah selesai. Untuk pemeriksaan katalog otomatis, gunakan Endpoint model provider.

Ketika model tidak dapat dimuat#

Baca kesalahan runtime, bandingkan sumber daya yang diperlukan dan tersedia, serta periksa apakah beban kerja lain menggunakan GPU. Selesaikan masalah pemuatan sebelum mengiklankan kapasitas. Mengubah teks katalog tidak memperbaiki kegagalan runtime perangkat.