Agregar un modelo a un dispositivo proveedor

Elige un modelo elegible#

Abre el catálogo de modelos desde tu flujo de trabajo de Provider o aplicación. Busca el modelo deseado y lee el identificador exacto, los requisitos de hardware, los permisos de uso y los términos comerciales disponibles. Un nombre de modelo reconocible no es suficiente para identificar su etiqueta o variante exacta.

Verifica la capacidad del dispositivo#

Las necesidades de memoria GPU dependen de los pesos, la precisión o cuantización, la longitud del contexto, la sobrecarga de tiempo de ejecución y la concurrencia. Utiliza los requisitos actuales del modelo y los recursos observados del dispositivo. No deduzcas compatibilidad garantizada solo a partir del número de parámetros.

Instalar y habilitar#

1. Selecciona el modelo exacto y revisa cualquier término de acceso o precios.
2. Inicia la descarga del modelo compatible o el flujo de conexión.
3. Espera a que la instalación o sincronización termine y resuelve los errores antes de habilitar el uso compartido.
4. Habilita el modelo para compartirlo en el dispositivo previsto.
5. Confirma el estado del modelo y del dispositivo en la Consola, luego monitorea la actividad real.

Cuando un modelo no aparece#

Verifica el espacio de trabajo seleccionado, la aprobación del proveedor, los permisos del catálogo, la disponibilidad del modelo y si la instalación ha finalizado. Para verificaciones automáticas del catálogo, utiliza Puntos finales del modelo del proveedor.

Cuando un modelo no puede cargarse#

Lee el error de tiempo de ejecución, compara los recursos requeridos y disponibles, y verifica si otras cargas de trabajo están utilizando la GPU. Resuelve los problemas de carga antes de anunciar la capacidad. Cambiar el texto del catálogo no soluciona un fallo de tiempo de ejecución del dispositivo.