Requisitos do Dispositivo

A aplicação ShareAI recomenda automaticamente quais modelos de IA são adequados para partilha com base na VRAM da sua GPU. Para ajudá-lo a maximizar a sua contribuição enquanto garante um desempenho ideal, utilizamos dois tipos de requisitos:

1. Requisitos Recomendados#

• Estes indicam a VRAM ideal necessária para executar modelos de forma eficiente.
• Se sua GPU atender à VRAM recomendada, você pode esperar um bom desempenho e velocidade ideal de processamento de tarefas.
• Se sua GPU estiver abaixo da VRAM recomendada, você ainda pode instalar e executar o modelo, mas o desempenho pode ser visivelmente mais lento. Seu dispositivo processará menos tarefas por segundo em comparação com condições ideais.

2. Requisitos Mínimos#

• Estes são os valores mais baixos de VRAM que sua GPU deve atender para executar modelos específicos.
• Se sua GPU não atender à VRAM mínima, você não poderá instalar ou compartilhar o modelo. Isso garante a confiabilidade da rede e evita a utilização ineficaz de recursos.

Categorização de VRAM da GPU#

Com base na VRAM da sua GPU, o seu dispositivo enquadra-se numa das seguintes categorias:

Faixa de VRAM (GB)	Modelos Recomendados
4–6 GB	1B, 3B
8–12 GB	7B (quantizado 4/8-bit)
16–24 GB	7B, 14B (quantizado 4-bit)
32–48 GB	14B, 20B (quantizado 4/8-bit), 70B (4-bit)
48–96 GB (múltiplas GPUs)	70B (quantizado 8-bit)
96 GB+ (múltiplas GPUs)	70B (precisão de 16-bit ou múltiplas instâncias)

Por exemplo:

• RTX 3060 (12GB): Recomendado usar modelos com cerca de 7–8B parâmetros (ex.: DeepSeek-r1:8B). Você pode instalar modelos de até 13B se aceitar uma possível degradação de desempenho.
• RTX 4080 (16GB): Recomendado para modelos de 7–14B (quantizados em 4 bits).

Alertas e Notificações#

Ao adicionar novos modelos:

• Se sua GPU atender aos requisitos recomendados:
  • Sem avisos ou restrições.
• Se sua GPU estiver abaixo do recomendado, mas acima do mínimo:
  • Uma mensagem de aviso não bloqueante aparece informando sobre possíveis problemas de desempenho.
  • Exemplo de aviso: ⚠️ Aviso de Desempenho: A VRAM da sua GPU está abaixo da quantidade recomendada. Este modelo pode funcionar mais lentamente e processar menos tarefas por segundo.
• Se sua GPU não atender aos requisitos mínimos:
  • Um alerta bloqueante impede a instalação.
  • Exemplo de alerta: 🔴 VRAM Insuficiente: A VRAM da sua GPU não atende aos requisitos mínimos para este modelo. Por favor, atualize sua GPU ou selecione um modelo menor. Saiba mais.

Casos Especiais#

• Sobrecarga de K-Quant: Uma sobrecarga adicional de VRAM é considerada ao usar modelos quantizados com K-quants (K_S, K_M, K_L). O ShareAI calcula automaticamente e ajusta as recomendações conforme necessário.
• :latest Modelos:
  • Desde :latest os modelos não especificam a contagem de parâmetros antecipadamente, a ShareAI realiza uma verificação usando o ollama show antes de permitir o compartilhamento.
  • Se os seus recursos não corresponderem ao mínimo exigido pelo modelo após a verificação, o modelo não será ativado.

Recomendações Finais#

• Revise regularmente as recomendações de GPU na interface do ShareAI.
• Mantenha seus drivers de GPU atualizados para desempenho ideal.
• Considere upgrades de GPU se desejar contribuir significativamente para a rede ou hospedar modelos maiores.

Isso garante tanto a eficiência de suas contribuições quanto a saúde da rede de IA descentralizada do ShareAI.