Cihaz Gereksinimleri

ShareAI uygulaması, cihazınızın GPU VRAM'ine göre hangi AI modellerinin paylaşım için uygun olduğunu otomatik olarak önerir. Katkınızı en üst düzeye çıkarmanıza ve aynı zamanda optimum performansı sağlamanıza yardımcı olmak için iki tür gereksinim kullanıyoruz:

1. Önerilen Gereksinimler#

• Bunlar, modelleri verimli bir şekilde çalıştırmak için gereken ideal VRAM miktarını gösterir.
• GPU'nuz önerilen VRAM'e sahipse, iyi performans ve optimal görev işleme hızı bekleyebilirsiniz.
• GPU'nuz önerilen VRAM'in altında ise, modeli yine de yükleyip çalıştırabilirsiniz, ancak performans fark edilir derecede yavaş olabilir. Cihazınız optimal koşullara kıyasla saniye başına daha az görev işleyebilir.

2. Minimum Gereksinimler#

• Bunlar, belirli modelleri çalıştırmak için GPU'nuzun karşılaması gereken en düşük VRAM değerleridir.
• GPU'nuz minimum VRAM'i karşılamıyorsa, modeli yükleyemez veya paylaşamazsınız. Bu, ağ güvenilirliğini sağlar ve etkisiz kaynak kullanımını önler.

GPU VRAM Kategorilendirmesi#

GPU VRAM'inize göre cihazınız aşağıdaki kategorilerden birine girer:

VRAM Aralığı (GB)	Önerilen Modeller
4–6 GB	1B, 3B
8–12 GB	7B (kuantize edilmiş 4/8-bit)
16–24 GB	7B, 14B (kuantize edilmiş 4-bit)
32–48 GB	14B, 20B (kuantize edilmiş 4/8-bit), 70B (4-bit)
48–96 GB (birden fazla GPU)	70B (8-bit kuantize edilmiş)
96 GB+ (birden fazla GPU)	70B (16-bit hassasiyet veya birden fazla örnek)

Örneğin:

• RTX 3060 (12GB): 7–8B parametreli modellerin kullanılması önerilir (örneğin, DeepSeek-r1:8B). Potansiyel performans düşüşünü kabul ederseniz, 13B modellere kadar yükleme yapabilirsiniz.
• RTX 4080 (16GB): 7–14B modelleri için önerilir (kuantize edilmiş 4-bit).

Uyarılar ve Bildirimler#

Yeni modeller eklerken:

• GPU'nuz önerilen gereksinimleri karşılıyorsa:
  • Uyarı veya kısıtlama yok.
• GPU'nuz önerilenin altında ancak minimumun üzerinde ise:
  • Potansiyel performans sorunları hakkında bilgi veren engelleyici olmayan bir uyarı mesajı görünür.
  • Örnek uyarı: ⚠️ Performans Bildirimi: GPU VRAM'iniz önerilen miktarın altında. Bu model daha yavaş çalışabilir ve saniye başına daha az görev işleyebilir.
• GPU'nuz minimum gereksinimleri karşılamıyorsa:
  • Engelleyici bir uyarı yüklemeyi engeller.
  • Örnek uyarı: 🔴 Yetersiz VRAM: GPU VRAM'ınız bu model için minimum gereksinimleri karşılamıyor. Lütfen GPU'nuzu yükseltin veya daha küçük bir model seçin. Daha fazla bilgi edinin.

Özel Durumlar#

• K-Kuant Aşırı Yük: K-kuantlarla (K_S, K_M, K_L) kuantize edilmiş modeller kullanıldığında ek VRAM aşırı yükü dikkate alınır. ShareAI otomatik olarak hesaplar ve önerileri buna göre ayarlar.
• :latest Modeller:
  • Çünkü :latest modeller parametre sayısını önceden belirtmez, ShareAI bir kontrol gerçekleştirir ollama show komutunu kullanarak bir kontrol gerçekleştirir.
  • Kontrolden sonra kaynaklarınız modelin minimum gereksinimlerini karşılamıyorsa, model etkinleştirilmeyecektir.

Son Öneriler#

• ShareAI arayüzünde GPU önerilerini düzenli olarak gözden geçirin.
• Optimal performans için GPU sürücülerinizi güncel tutun.
• Ağda önemli katkılarda bulunmak veya daha büyük modelleri barındırmak istiyorsanız GPU yükseltmelerini düşünün.

Bu, hem katkılarınızın verimliliğini hem de ShareAI merkezi olmayan AI ağının sağlığını sağlar.