Cerințe pentru dispozitiv

Aplicația ShareAI recomandă automat ce modele AI sunt potrivite pentru partajare, pe baza VRAM-ului GPU-ului dispozitivului tău. Pentru a te ajuta să îți maximizezi contribuția, asigurând în același timp o performanță optimă, folosim două tipuri de cerințe:

Cerințe recomandate#

• Acestea indică VRAM-ul ideal necesar pentru a rula modelele eficient.
• Dacă GPU-ul tău îndeplinește cerințele recomandate de VRAM, te poți aștepta la o performanță bună și o viteză optimă de procesare a sarcinilor.
• Dacă GPU-ul tău este sub cerințele recomandate de VRAM, poți totuși instala și rula modelul, dar performanța poate fi vizibil mai lentă. Dispozitivul tău va procesa mai puține sarcini pe secundă comparativ cu condițiile optime.

Cerințe minime#

• Acestea sunt valorile minime de VRAM pe care GPU-ul tău trebuie să le îndeplinească pentru a rula modele specifice.
• Dacă GPU-ul tău nu îndeplinește cerințele minime de VRAM, nu poți instala sau partaja modelul. Acest lucru asigură fiabilitatea rețelei și previne utilizarea ineficientă a resurselor.

Categorii VRAM GPU#

Pe baza VRAM-ului GPU-ului tău, dispozitivul tău se încadrează într-una dintre următoarele categorii:

Interval VRAM (GB)	Modele recomandate
4–6 GB	1B, 3B
8–12 GB	7B (cuantizat 4/8-bit)
16–24 GB	7B, 14B (cuantizat 4-bit)
32–48 GB	14B, 20B (cuantizat 4/8-bit), 70B (4-bit)
48–96 GB (GPU-uri multiple)	70B (cuantizat 8-bit)
96 GB+ (GPU-uri multiple)	70B (precizie 16-bit sau instanțe multiple)

De exemplu:

• RTX 3060 (12GB): Recomandat pentru utilizarea modelelor de aproximativ 7–8B parametri (de exemplu, DeepSeek-r1:8B). Poți instala modele de până la 13B dacă accepți o posibilă degradare a performanței.
• RTX 4080 (16GB): Recomandat pentru modele de 7–14B (cuantizat 4-bit).

Alerte și notificări#

Când adaugi modele noi:

• Dacă GPU-ul tău îndeplinește cerințele recomandate:
  • Fără avertismente sau restricții.
• Dacă GPU-ul tău este sub cerințele recomandate, dar peste cele minime:
  • Apare un mesaj de avertizare non-blocant care te informează despre posibile probleme de performanță.
  • Exemplu de avertizare: ⚠️ Notificare de performanță: VRAM-ul GPU-ului tău este sub cantitatea recomandată. Acest model poate rula mai lent și poate procesa mai puține sarcini pe secundă.
• Dacă GPU-ul tău nu îndeplinește cerințele minime:
  • O alertă blocantă împiedică instalarea.
  • Exemplu de alertă: 🔴 VRAM insuficient: VRAM-ul GPU-ului tău nu îndeplinește cerințele minime pentru acest model. Te rugăm să îți actualizezi GPU-ul sau să selectezi un model mai mic. Află mai multe.

Cazuri speciale#

• Suprasarcina K-Quant: Se ia în considerare o suprasarcină suplimentară de VRAM atunci când se utilizează modele cuantizate cu K-quants (K_S, K_M, K_L). ShareAI calculează și ajustează automat recomandările în consecință.
• :latest Modele:
  • Deoarece :latest modelele nu specifică numărul de parametri din start, ShareAI efectuează o verificare utilizând comanda ollama show înainte de a permite partajarea.
  • Dacă resursele tale nu corespund cerințelor minime ale modelului după verificare, modelul nu va fi activat.

Recomandări finale#

• Revizuiește regulat recomandările pentru GPU în interfața ShareAI.
• Menține driverele GPU actualizate pentru performanțe optime.
• Ia în considerare upgrade-ul GPU-ului dacă dorești să contribui semnificativ la rețea sau să găzduiești modele mai mari.

Acest lucru asigură atât eficiența contribuțiilor tale, cât și sănătatea rețelei descentralizate de AI ShareAI.