Adicionar um modelo a um dispositivo de provider

Escolha um modelo elegível#

Abra o catálogo de modelos a partir do seu fluxo de trabalho de Provider ou aplicação. Pesquise o modelo desejado e leia o identificador exato, os requisitos de hardware, as permissões de uso e os termos comerciais disponíveis. Um nome de modelo reconhecível não é suficiente para identificar sua tag ou variante exata.

Verifique a capacidade do dispositivo#

As necessidades de memória da GPU dependem de pesos, precisão ou quantização, comprimento do contexto, sobrecarga de execução e concorrência. Utilize os requisitos atuais do modelo e os recursos observados do dispositivo. Não deduza compatibilidade garantida apenas com base na contagem de parâmetros.

Instale e ative#

1. Selecione o modelo exato e reveja quaisquer termos de acesso ou preços.
2. Inicie o fluxo de download ou conexão do modelo suportado.
3. Aguarde a instalação ou sincronização terminar e resolva erros antes de ativar o compartilhamento.
4. Ative o modelo para compartilhamento no dispositivo pretendido.
5. Confirme o estado do modelo e do dispositivo no Console, depois monitore a atividade real.

Quando um modelo não aparece#

Verifique o espaço de trabalho selecionado, a aprovação do provider, as permissões do catálogo, a disponibilidade do modelo e se a instalação foi concluída. Para verificações automáticas do catálogo, use Endpoints de modelo do provider.

Quando um modelo não pode ser carregado#

Leia o erro de runtime, compare os recursos necessários e disponíveis e verifique se outras cargas de trabalho estão consumindo a GPU. Resolva problemas de carregamento antes de anunciar a capacidade. Alterar o texto do catálogo não corrige uma falha de runtime do dispositivo.