Ein Modell zu einem Provider-Gerät hinzufügen

Ein geeignetes Modell auswählen#

Öffne den Modellkatalog aus deinem Provider-Workflow oder deiner Anwendung. Suche nach dem gewünschten Modell und lies die genaue Kennung, Hardware-Anforderungen, Bereitstellungsberechtigungen und verfügbaren kommerziellen Bedingungen. Ein erkennbarer Modellname reicht nicht aus, um dessen genaue Kennung oder Variante zu identifizieren.

Gerätekapazität überprüfen#

Der GPU-Speicherbedarf hängt von Gewichten, Präzision oder Quantisierung, Kontextlänge, Laufzeit-Overhead und Parallelität ab. Nutze die aktuellen Modellanforderungen und beobachteten Geräte-Ressourcen. Schließe keine garantierte Kompatibilität allein aus der Parameteranzahl.

Installieren und aktivieren#

1. Wähle das genaue Modell aus und überprüfe alle Zugriffs- oder Preisbedingungen.
2. Starte den unterstützten Modell-Download oder Verbindungsprozess.
3. Warte, bis die Installation oder Synchronisation abgeschlossen ist, und behebe Fehler, bevor du die Freigabe aktivierst.
4. Aktiviere das Modell zur Freigabe auf dem vorgesehenen Gerät.
5. Bestätige den Modell- und Gerätestatus in der Konsole und überwache dann die tatsächliche Aktivität.

Wenn ein Modell nicht angezeigt wird#

Überprüfe den ausgewählten Arbeitsbereich, die Provider-Genehmigung, die Katalogberechtigungen, die Modellverfügbarkeit und ob die Installation abgeschlossen ist. Für automatisierte Katalogprüfungen nutze Provider-Modell-Endpunkte.

Wenn ein Modell nicht geladen werden kann#

Lies den Laufzeitfehler, vergleiche erforderliche und verfügbare Ressourcen und überprüfe, ob andere Arbeitslasten die GPU beanspruchen. Behebe Ladeprobleme, bevor du Kapazitäten bewirbst. Das Ändern des Katalogtexts behebt keinen Laufzeitfehler des Geräts.