Mga Kinakailangan sa Device

Awtomatikong inirerekomenda ng ShareAI application kung aling mga AI models ang angkop para sa pagbabahagi batay sa GPU VRAM ng iyong device. Upang matulungan kang mapakinabangan ang iyong kontribusyon habang tinitiyak ang pinakamainam na performance, gumagamit kami ng dalawang uri ng mga kinakailangan:

1. Inirerekomendang Mga Kinakailangan#

• Ipinapakita ng mga ito ang ideal na VRAM na kinakailangan upang patakbuhin ang mga modelo nang mahusay.
• Kung ang iyong GPU ay tumutugma sa inirerekomendang VRAM, maaari mong asahan ang magandang pagganap at pinakamainam na bilis ng pagproseso ng gawain.
• Kung ang iyong GPU ay mas mababa sa inirerekomendang VRAM, maaari mo pa ring i-install at patakbuhin ang modelo, ngunit ang pagganap ay maaaring kapansin-pansing mas mabagal. Ang iyong device ay magpoproseso ng mas kaunting mga gawain bawat segundo kumpara sa pinakamainam na kondisyon.

2. Minimum na Mga Kinakailangan#

• Ito ang pinakamababang halaga ng VRAM na dapat matugunan ng iyong GPU upang patakbuhin ang mga partikular na modelo.
• Kung ang iyong GPU ay hindi tumutugma sa minimum na VRAM, hindi mo maaaring i-install o ibahagi ang modelo. Tinitiyak nito ang pagiging maaasahan ng network at pinipigilan ang hindi epektibong paggamit ng mga mapagkukunan.

Kategorya ng GPU VRAM#

Batay sa VRAM ng iyong GPU, ang iyong device ay napapabilang sa isa sa mga sumusunod na kategorya:

Saklaw ng VRAM (GB)	Inirerekomendang Mga Modelo
4–6 GB	1B, 3B
8–12 GB	7B (na-quantize sa 4/8-bit)
16–24 GB	7B, 14B (na-quantize sa 4-bit)
32–48 GB	14B, 20B (na-quantize sa 4/8-bit), 70B (4-bit)
48–96 GB (maramihang GPU)	70B (8-bit na-quantize)
96 GB+ (maramihang GPU)	70B (16-bit na precision o maramihang instance)

Halimbawa:

• RTX 3060 (12GB): Inirerekomenda na gumamit ng mga modelo na may humigit-kumulang 7–8B na parameter (hal., DeepSeek-r1:8B). Maaari kang mag-install ng hanggang 13B na mga modelo kung tatanggapin mo ang posibleng pagbaba ng performance.
• RTX 4080 (16GB): Inirerekomenda para sa 7–14B na mga modelo (quantized 4-bit).

Mga Babala at Notipikasyon#

Kapag nagdaragdag ng mga bagong modelo:

• Kung ang iyong GPU ay tumutugma sa inirerekomendang mga kinakailangan:
  • Walang mga babala o paghihigpit.
• Kung ang iyong GPU ay mas mababa sa inirerekomenda ngunit mas mataas sa minimum:
  • Lumalabas ang isang hindi nakakapigil na mensahe ng babala na nagpapaalam sa iyo tungkol sa mga posibleng isyu sa pagganap.
  • Halimbawa ng babala: ⚠️ Paunawa sa Pagganap: Ang iyong GPU VRAM ay mas mababa sa inirerekomendang dami. Ang modelong ito ay maaaring tumakbo nang mas mabagal at magproseso ng mas kaunting mga gawain bawat segundo.
• Kung ang iyong GPU ay hindi tumutugma sa minimum na mga kinakailangan:
  • Isang nakakapigil na alerto ang pumipigil sa pag-install.
  • Halimbawa ng alerto: 🔴 Hindi Sapat na VRAM: Ang iyong GPU VRAM ay hindi tumutugma sa minimum na mga kinakailangan para sa modelong ito. Mangyaring i-upgrade ang iyong GPU o pumili ng mas maliit na modelo. Matuto pa.

Mga Espesyal na Kaso#

• K-Quant Overhead: Ang karagdagang VRAM overhead ay isinasaalang-alang kapag gumagamit ng mga modelong na-quantize gamit ang K-quants (K_S, K_M, K_L). Awtomatikong kinakalkula at ina-adjust ng ShareAI ang mga rekomendasyon nang naaayon.
• :latest Mga Modelo:
  • Dahil :latest hindi tinutukoy ng mga modelo ang bilang ng parameter nang maaga, nagsasagawa ang ShareAI ng pagsusuri gamit ang ollama show utos bago payagan ang pagbabahagi.
  • Kung ang iyong mga resources ay hindi tumutugma sa minimum ng modelo pagkatapos ng pagsusuri, hindi maa-activate ang modelo.

Panghuling Rekomendasyon#

• Regular na suriin ang mga rekomendasyon ng GPU sa loob ng interface ng ShareAI.
• Panatilihing updated ang iyong mga driver ng GPU para sa pinakamainam na pagganap.
• Isaalang-alang ang pag-upgrade ng GPU kung nais mong mag-ambag nang malaki sa network o mag-host ng mas malalaking modelo.

Tinitiyak nito ang parehong kahusayan ng iyong mga kontribusyon at ang kalusugan ng ShareAI decentralized AI network.