Geräteanforderungen

Die ShareAI-Anwendung empfiehlt automatisch, welche AI-Modelle basierend auf dem GPU-VRAM Ihres Geräts zum Teilen geeignet sind. Um Ihnen zu helfen, Ihren Beitrag zu maximieren und gleichzeitig eine optimale Leistung sicherzustellen, verwenden wir zwei Arten von Anforderungen:

1. Empfohlene Anforderungen#

• Diese geben den idealen VRAM an, der benötigt wird, um Modelle effizient auszuführen.
• Wenn Ihre GPU den empfohlenen VRAM erfüllt, können Sie eine gute Leistung und optimale Verarbeitungsgeschwindigkeit erwarten.
• Wenn Ihre GPU unter dem empfohlenen VRAM liegt, können Sie das Modell trotzdem installieren und ausführen, aber die Leistung kann merklich langsamer sein. Ihr Gerät wird weniger Aufgaben pro Sekunde verarbeiten im Vergleich zu optimalen Bedingungen.

2. Mindestanforderungen#

• Dies sind die niedrigsten VRAM-Werte, die Ihre GPU erfüllen muss, um bestimmte Modelle auszuführen.
• Wenn Ihre GPU die Mindestanforderungen an VRAM nicht erfüllt, können Sie das Modell nicht installieren oder teilen. Dies gewährleistet die Zuverlässigkeit des Netzwerks und verhindert eine ineffektive Ressourcennutzung.

GPU-VRAM-Kategorisierung#

Basierend auf dem VRAM Ihrer GPU fällt Ihr Gerät in eine der folgenden Kategorien:

VRAM-Bereich (GB)	Empfohlene Modelle
4–6 GB	1B, 3B
8–12 GB	7B (quantisiert 4/8-Bit)
16–24 GB	7B, 14B (quantisiert 4-Bit)
32–48 GB	14B, 20B (quantisiert 4/8-Bit), 70B (4-Bit)
48–96 GB (mehrere GPUs)	70B (8-Bit quantisiert)
96 GB+ (mehrere GPUs)	70B (16-Bit Präzision oder mehrere Instanzen)

Zum Beispiel:

• RTX 3060 (12GB): Es wird empfohlen, Modelle mit etwa 7–8B Parametern zu verwenden (z. B. DeepSeek-r1:8B). Sie können Modelle bis zu 13B installieren, wenn Sie mögliche Leistungseinbußen akzeptieren.
• RTX 4080 (16GB): Empfohlen für 7–14B Modelle (quantisiert 4-Bit).

Warnungen und Benachrichtigungen#

Beim Hinzufügen neuer Modelle:

• Wenn Ihre GPU die empfohlenen Anforderungen erfüllt:
  • Keine Warnungen oder Einschränkungen.
• Wenn Ihre GPU unter den empfohlenen, aber über den Mindestanforderungen liegt:
  • Eine nicht blockierende Warnmeldung erscheint, die Sie über mögliche Leistungsprobleme informiert.
  • Beispielwarnung: ⚠️ Leistungsbenachrichtigung: Ihr GPU-VRAM liegt unter der empfohlenen Menge. Dieses Modell könnte langsamer laufen und weniger Aufgaben pro Sekunde verarbeiten.
• Wenn Ihre GPU die Mindestanforderungen nicht erfüllt:
  • Ein blockierender Alarm verhindert die Installation.
  • Beispielalarm: 🔴 Unzureichender VRAM: Der VRAM Ihrer GPU erfüllt nicht die Mindestanforderungen für dieses Modell. Bitte aktualisieren Sie Ihre GPU oder wählen Sie ein kleineres Modell. Mehr erfahren.

Sonderfälle#

• K-Quant-Overhead: Zusätzlicher VRAM-Overhead wird berücksichtigt, wenn Modelle mit K-Quants (K_S, K_M, K_L) quantisiert werden. ShareAI berechnet und passt Empfehlungen automatisch entsprechend an.
• :latest Modelle:
  • Seit :latest Modelle geben die Parameteranzahl nicht im Voraus an, ShareAI führt eine Überprüfung durch, indem es ollama show Befehl durch, bevor das Teilen erlaubt wird.
  • Wenn Ihre Ressourcen nach der Überprüfung nicht den Mindestanforderungen des Modells entsprechen, wird das Modell nicht aktiviert.

Abschließende Empfehlungen#

• Überprüfen Sie regelmäßig die GPU-Empfehlungen innerhalb der ShareAI-Oberfläche.
• Halten Sie Ihre GPU-Treiber für optimale Leistung auf dem neuesten Stand.
• Ziehen Sie GPU-Upgrades in Betracht, wenn Sie erheblich zum Netzwerk beitragen oder größere Modelle hosten möchten.

Dies gewährleistet sowohl die Effizienz Ihrer Beiträge als auch die Gesundheit des dezentralen KI-Netzwerks von ShareAI.