Syarat Piranti

Aplikasi ShareAI kanthi otomatis menehi rekomendasi model AI sing cocok kanggo dibagi adhedhasar GPU VRAM piranti sampeyan. Kanggo mbantu sampeyan ngoptimalake kontribusi nalika njamin kinerja optimal, kita nggunakake rong jinis syarat:

Syarat Rekomendasi#

• Iki nuduhake VRAM sing ideal sing dibutuhake kanggo mbukak model kanthi efisien.
• Yen GPU sampeyan memenuhi VRAM sing disarankan, sampeyan bisa ngarepake kinerja sing apik lan kecepatan pemrosesan tugas sing optimal.
• Yen GPU sampeyan ing ngisor VRAM sing disarankan, sampeyan isih bisa nginstal lan mbukak model, nanging kinerja bisa dadi luwih alon. Piranti sampeyan bakal ngolah tugas luwih sithik saben detik dibandhingake karo kondisi optimal.

Syarat Minimal#

• Iki minangka nilai VRAM paling sithik sing kudu dipenuhi GPU sampeyan kanggo mbukak model tartamtu.
• Yen GPU sampeyan ora memenuhi VRAM minimal, sampeyan ora bisa nginstal utawa nuduhake model kasebut. Iki njamin keandalan jaringan lan nyegah panggunaan sumber daya sing ora efektif.

Kategorisasi GPU VRAM#

Adhedhasar VRAM GPU sampeyan, piranti sampeyan kalebu salah siji saka kategori ing ngisor iki:

Jangkauan VRAM (GB)	Model Rekomendasi
4–6 GB	1B, 3B
8–12 GB	7B (quantized 4/8-bit)
16–24 GB	7B, 14B (quantized 4-bit)
32–48 GB	14B, 20B (quantized 4/8-bit), 70B (4-bit)
48–96 GB (GPU luwih saka siji)	70B (8-bit quantized)
96 GB+ (GPU luwih saka siji)	70B (presisi 16-bit utawa instansi luwih saka siji)

Contone:

• RTX 3060 (12GB): Disaranake nggunakake model kanthi parameter sekitar 7–8B (e.g., DeepSeek-r1:8B). Sampeyan bisa nginstal model nganti 13B yen nampa kemungkinan degradasi kinerja.
• RTX 4080 (16GB): Disaranake kanggo model 7–14B (quantized 4-bit).

Peringatan lan Notifikasi#

Nalika nambah model anyar:

• Yen GPU sampeyan cocog karo syarat sing disaranake:
  • Ora ana peringatan utawa watesan.
• Yen GPU sampeyan ing ngisor sing disaranake nanging ing ndhuwur minimal:
  • Pesan peringatan non-blokir bakal muncul ngandhani babagan kemungkinan masalah kinerja.
  • Contoh peringatan: ⚠️ Pemberitahuan Kinerja: VRAM GPU sampeyan ing ngisor jumlah sing disaranake. Model iki bisa mlaku luwih alon lan ngolah tugas luwih sithik saben detik.
• Yen GPU sampeyan ora cocog karo syarat minimal:
  • Peringatan blokir bakal nyegah instalasi.
  • Contoh peringatan: 🔴 VRAM Ora Cukup: VRAM GPU sampeyan ora cocog karo syarat minimal kanggo model iki. Mangga upgrade GPU sampeyan utawa pilih model sing luwih cilik. Sinau luwih lengkap.

Kasus Khusus#

• K-Quant Overhead: Overhead VRAM tambahan dianggep nalika nggunakake model sing diquantisasi nganggo K-quants (K_S, K_M, K_L). ShareAI kanthi otomatis ngitung lan nyetel rekomendasi kanthi cocog.
• :latest Model:
  • Amarga :latest model ora nemtokake jumlah parameter kanthi langsung, ShareAI nindakake cek nggunakake ollama show perintah sadurunge ngidini sharing.
  • Yen sumber daya sampeyan ora cocog karo minimal model sawise dicek, model ora bakal aktif.

Rekomendasi Akhir#

• Tinjau rekomendasi GPU kanthi rutin ing antarmuka ShareAI.
• Jaga driver GPU sampeyan supaya tetep dianyari kanggo kinerja optimal.
• Pertimbangkan upgrade GPU yen sampeyan pengin nyumbang kanthi signifikan menyang jaringan utawa host model sing luwih gedhe.

Iki njamin efisiensi kontribusi sampeyan lan kesehatan jaringan AI desentralisasi ShareAI.