Mahitaji ya Kifaa

Programu ya ShareAI inapendekeza moja kwa moja ni mifano gani ya AI inayofaa kushirikiwa kulingana na GPU VRAM ya kifaa chako. Ili kukusaidia kuongeza mchango wako huku ukihakikisha utendaji bora, tunatumia aina mbili za mahitaji:

1. Mahitaji Yanayopendekezwa#

• Haya yanaonyesha VRAM bora inayohitajika kuendesha mifano kwa ufanisi.
• Ikiwa GPU yako inakidhi VRAM inayopendekezwa, unaweza kutarajia utendaji mzuri na kasi bora ya usindikaji wa kazi.
• Ikiwa GPU yako iko chini ya VRAM inayopendekezwa, bado unaweza kusakinisha na kuendesha mfano, lakini utendaji unaweza kuwa polepole kwa kiasi kikubwa. Kifaa chako kitashughulikia kazi chache kwa sekunde ikilinganishwa na hali bora.

2. Mahitaji ya Chini#

• Haya ni maadili ya chini kabisa ya VRAM ambayo GPU yako lazima ikidhi ili kuendesha mifano maalum.
• Ikiwa GPU yako haikidhi VRAM ya chini, huwezi kusakinisha au kushiriki mfano. Hii inahakikisha uaminifu wa mtandao na kuzuia matumizi yasiyofaa ya rasilimali.

Uainishaji wa GPU VRAM#

Kulingana na GPU VRAM yako, kifaa chako kinaangukia katika mojawapo ya kategoria zifuatazo:

Kiwango cha VRAM (GB)	Mifano Inayopendekezwa
4–6 GB	1B, 3B
8–12 GB	7B (iliyokadiriwa 4/8-bit)
16–24 GB	7B, 14B (iliyokadiriwa 4-bit)
32–48 GB	14B, 20B (iliyokadiriwa 4/8-bit), 70B (4-bit)
48–96 GB (GPU nyingi)	70B (iliyokadiriwa 8-bit)
96 GB+ (GPU nyingi)	70B (usahihi wa 16-bit au matukio mengi)

Kwa mfano:

• RTX 3060 (12GB): Inapendekezwa kutumia mifano yenye vigezo vya karibu 7–8B (mfano, DeepSeek-r1:8B). Unaweza kusakinisha mifano hadi 13B ikiwa utakubali kupungua kwa utendaji.
• RTX 4080 (16GB): Inapendekezwa kwa mifano ya 7–14B (iliyokadiriwa biti 4).

Tahadhari na Arifa#

Wakati wa kuongeza mifano mipya:

• Ikiwa GPU yako inakidhi mahitaji yanayopendekezwa:
  • Hakuna tahadhari au vizuizi.
• Ikiwa GPU yako iko chini ya inayopendekezwa lakini juu ya kiwango cha chini:
  • Ujumbe wa tahadhari usiozuia huonekana ukikuarifu kuhusu matatizo ya utendaji yanayoweza kutokea.
  • Mfano wa tahadhari: ⚠️ Taarifa ya Utendaji: VRAM ya GPU yako iko chini ya kiwango kinachopendekezwa. Mfano huu unaweza kufanya kazi polepole na kushughulikia kazi chache kwa sekunde.
• Ikiwa GPU yako haikidhi mahitaji ya kiwango cha chini:
  • Tahadhari inayozuia inazuia usakinishaji.
  • Mfano wa tahadhari: 🔴 VRAM haitoshi: VRAM ya GPU yako haifikii mahitaji ya chini kwa mfano huu. Tafadhali boresha GPU yako au chagua mfano mdogo. Jifunze zaidi.

Matukio Maalum#

• K-Quant Juu ya Kichwa: Overhead ya ziada ya VRAM inazingatiwa wakati wa kutumia mifano iliyokadiriwa na K-quants (K_S, K_M, K_L). ShareAI huhesabu na kurekebisha mapendekezo kiotomatiki ipasavyo.
• :latest Miundo:
  • Tangu :latest mifano haibainishi idadi ya vigezo mapema, ShareAI hufanya ukaguzi kwa kutumia ollama show kabla ya kuruhusu kushiriki.
  • Ikiwa rasilimali zako hazilingani na kiwango cha chini cha mfano baada ya ukaguzi, mfano hautawashwa.

Mapendekezo ya Mwisho#

• Kagua mara kwa mara mapendekezo ya GPU ndani ya kiolesura cha ShareAI.
• Weka madereva ya GPU yako yakiwa yamesasishwa kwa utendaji bora.
• Fikiria kuboresha GPU ikiwa unataka kuchangia kwa kiasi kikubwa kwenye mtandao au kuhifadhi miundo mikubwa.

Hii inahakikisha ufanisi wa michango yako na afya ya mtandao wa ShareAI wa AI uliogatuliwa.