Requisitos del dispositivo

La aplicación de ShareAI recomienda automáticamente qué modelos de IA son adecuados para compartir según la VRAM de la GPU de tu dispositivo. Para ayudarte a maximizar tu contribución mientras garantizas un rendimiento óptimo, utilizamos dos tipos de requisitos:

1. Requisitos Recomendados#

• Estos indican la VRAM ideal necesaria para ejecutar modelos de manera eficiente.
• Si tu GPU cumple con la VRAM recomendada, puedes esperar un buen rendimiento y una velocidad óptima de procesamiento de tareas.
• Si tu GPU está por debajo de la VRAM recomendada, aún puedes instalar y ejecutar el modelo, pero el rendimiento puede ser notablemente más lento. Tu dispositivo procesará menos tareas por segundo en comparación con las condiciones óptimas.

2. Requisitos Mínimos#

• Estos son los valores más bajos de VRAM que tu GPU debe cumplir para ejecutar modelos específicos.
• Si tu GPU no cumple con la VRAM mínima, no puedes instalar ni compartir el modelo. Esto asegura la fiabilidad de la red y previene la utilización ineficaz de recursos.

Categorización de VRAM de GPU#

Según la VRAM de tu GPU, tu dispositivo se clasifica en una de las siguientes categorías:

Rango de VRAM (GB)	Modelos Recomendados
4–6 GB	1B, 3B
8–12 GB	7B (cuantizado 4/8 bits)
16–24 GB	7B, 14B (cuantizado 4 bits)
32–48 GB	14B, 20B (cuantizado 4/8 bits), 70B (4 bits)
48–96 GB (múltiples GPUs)	70B (cuantizado 8 bits)
96 GB+ (múltiples GPUs)	70B (precisión de 16 bits o múltiples instancias)

Por ejemplo:

• RTX 3060 (12GB): Se recomienda usar modelos de alrededor de 7–8B parámetros (por ejemplo, DeepSeek-r1:8B). Puedes instalar modelos de hasta 13B si aceptas una posible degradación del rendimiento.
• RTX 4080 (16GB): Recomendado para modelos de 7–14B (cuantificados en 4 bits).

Alertas y Notificaciones#

Al agregar nuevos modelos:

• Si tu GPU cumple con los requisitos recomendados:
  • Sin advertencias ni restricciones.
• Si tu GPU está por debajo de lo recomendado pero por encima del mínimo:
  • Aparece un mensaje de advertencia no bloqueante informándote sobre posibles problemas de rendimiento.
  • Ejemplo de advertencia: ⚠️ Aviso de Rendimiento: La VRAM de tu GPU está por debajo de la cantidad recomendada. Este modelo puede funcionar más lento y procesar menos tareas por segundo.
• Si tu GPU no cumple con los requisitos mínimos:
  • Una alerta bloqueante impide la instalación.
  • Ejemplo de alerta: 🔴 VRAM insuficiente: La VRAM de tu GPU no cumple con los requisitos mínimos para este modelo. Por favor, actualiza tu GPU o selecciona un modelo más pequeño. Aprende más.

Casos Especiales#

• Sobrecarga de K-Quant: Se considera una sobrecarga adicional de VRAM al usar modelos cuantificados con K-quants (K_S, K_M, K_L). ShareAI calcula automáticamente y ajusta las recomendaciones en consecuencia.
• :latest Modelos:
  • Desde :latest los modelos no especifican el número de parámetros por adelantado, ShareAI realiza una verificación utilizando el ollama show antes de permitir compartir.
  • Si tus recursos no cumplen con el mínimo del modelo tras la verificación, el modelo no se activará.

Recomendaciones finales#

• Revisa regularmente las recomendaciones de GPU dentro de la interfaz de ShareAI.
• Mantén tus controladores de GPU actualizados para un rendimiento óptimo.
• Considera actualizar tu GPU si deseas contribuir significativamente a la red o alojar modelos más grandes.

Esto asegura tanto la eficiencia de tus contribuciones como la salud de la red de IA descentralizada de ShareAI.