Exigences relatives à l'appareil

L'application ShareAI recommande automatiquement les modèles d'IA adaptés au partage en fonction de la VRAM GPU de votre appareil. Pour vous aider à maximiser votre contribution tout en garantissant des performances optimales, nous utilisons deux types d'exigences :

1. Exigences Recommandées#

• Celles-ci indiquent la VRAM idéale nécessaire pour exécuter les modèles efficacement.
• Si votre GPU répond à la VRAM recommandée, vous pouvez vous attendre à de bonnes performances et une vitesse de traitement des tâches optimale.
• Si votre GPU est en dessous de la VRAM recommandée, vous pouvez toujours installer et exécuter le modèle, mais les performances peuvent être sensiblement plus lentes. Votre appareil traitera moins de tâches par seconde par rapport aux conditions optimales.

2. Exigences Minimales#

• Ce sont les valeurs de VRAM les plus basses que votre GPU doit atteindre pour exécuter des modèles spécifiques.
• Si votre GPU ne répond pas à la VRAM minimale, vous ne pouvez pas installer ou partager le modèle. Cela garantit la fiabilité du réseau et empêche une utilisation inefficace des ressources.

Catégorisation de la VRAM GPU#

En fonction de la VRAM GPU de votre appareil, celui-ci appartient à l'une des catégories suivantes :

Plage de VRAM (GB)	Modèles Recommandés
4–6 Go	1B, 3B
8–12 Go	7B (quantifié 4/8 bits)
16–24 Go	7B, 14B (quantifié 4 bits)
32–48 Go	14B, 20B (quantifié 4/8 bits), 70B (4 bits)
48–96 Go (plusieurs GPU)	70B (quantifié 8 bits)
96 Go+ (plusieurs GPU)	70B (précision 16 bits ou plusieurs instances)

Par exemple :

• RTX 3060 (12 Go): Recommandé d'utiliser des modèles autour de 7–8B paramètres (par exemple, DeepSeek-r1:8B). Vous pouvez installer des modèles jusqu'à 13B si vous acceptez une éventuelle dégradation des performances.
• RTX 4080 (16GB): Recommandé pour les modèles 7–14B (quantifiés en 4 bits).

Alertes et notifications#

Lors de l'ajout de nouveaux modèles :

• Si votre GPU répond aux exigences recommandées :
  • Aucun avertissement ni restriction.
• Si votre GPU est en dessous des recommandations mais au-dessus du minimum :
  • Un message d'avertissement non bloquant apparaît pour vous informer des problèmes de performance potentiels.
  • Exemple d'avertissement : ⚠️ Avis de performance : La VRAM de votre GPU est en dessous de la quantité recommandée. Ce modèle peut fonctionner plus lentement et traiter moins de tâches par seconde.
• Si votre GPU ne répond pas aux exigences minimales :
  • Une alerte bloquante empêche l'installation.
  • Exemple d'alerte : 🔴 VRAM insuffisante : La VRAM de votre GPU ne répond pas aux exigences minimales pour ce modèle. Veuillez mettre à niveau votre GPU ou sélectionner un modèle plus petit. En savoir plus.

Cas particuliers#

• Surcharge K-Quant : Une surcharge supplémentaire de VRAM est prise en compte lors de l'utilisation de modèles quantifiés avec K-quants (K_S, K_M, K_L). ShareAI calcule automatiquement et ajuste les recommandations en conséquence.
• :latest Modèles :
  • Depuis :latest les modèles ne spécifient pas le nombre de paramètres à l'avance, ShareAI effectue une vérification en utilisant le ollama show avant d'autoriser le partage.
  • Si vos ressources ne correspondent pas au minimum requis par le modèle après vérification, le modèle ne s'activera pas.

Recommandations finales#

• Examinez régulièrement les recommandations GPU dans l'interface ShareAI.
• Maintenez vos pilotes GPU à jour pour des performances optimales.
• Envisagez des mises à niveau GPU si vous souhaitez contribuer de manière significative au réseau ou héberger des modèles plus volumineux.

Cela garantit à la fois l'efficacité de vos contributions et la santé du réseau d'IA décentralisé ShareAI.