Adaugă un model pe un dispozitiv provider

Alege un model eligibil#

Deschide catalogul de modele din fluxul de lucru al Provider-ului sau din aplicație. Caută modelul dorit și citește identificatorul exact, cerințele hardware, permisiunile de utilizare și termenii comerciali disponibili. Un nume de model recognoscibil nu este suficient pentru a identifica eticheta sau varianta exactă.

Verifică capacitatea dispozitivului#

Necesitățile de memorie GPU depind de greutăți, precizie sau cuantizare, lungimea contextului, suprasarcina de rulare și concurență. Utilizează cerințele actuale ale modelului și resursele observate ale dispozitivului. Nu deduce compatibilitatea garantată doar pe baza numărului de parametri.

Instalează și activează#

1. Selectează modelul exact și revizuiește orice termeni de acces sau preț.
2. Pornește descărcarea modelului suportat sau fluxul de conectare.
3. Așteaptă finalizarea instalării sau sincronizării și rezolvă erorile înainte de a activa partajarea.
4. Activează modelul pentru partajare pe dispozitivul dorit.
5. Confirmă starea modelului și a dispozitivului în Consolă, apoi monitorizează activitatea reală.

Când un model nu apare#

Verifică spațiul de lucru selectat, aprobarea furnizorului, permisiunile din catalog, disponibilitatea modelului și dacă instalarea s-a finalizat. Pentru verificări automate ale catalogului, folosește Endpoint-urile modelului furnizorului.

Când un model nu poate fi încărcat#

Citește eroarea de runtime, compară resursele necesare cu cele disponibile și verifică dacă alte sarcini consumă GPU-ul. Rezolvă problemele de încărcare înainte de a promova capacitatea. Modificarea textului din catalog nu rezolvă o eroare de runtime a dispozitivului.