Persyaratan Perangkat

Aplikasi ShareAI secara otomatis merekomendasikan model AI mana yang cocok untuk dibagikan berdasarkan GPU VRAM perangkat Anda. Untuk membantu Anda memaksimalkan kontribusi sambil memastikan kinerja optimal, kami menggunakan dua jenis persyaratan:

1. Persyaratan yang Direkomendasikan#

• Ini menunjukkan VRAM ideal yang dibutuhkan untuk menjalankan model secara efisien.
• Jika GPU Anda memenuhi VRAM yang direkomendasikan, Anda dapat mengharapkan kinerja yang baik dan kecepatan pemrosesan tugas yang optimal.
• Jika GPU Anda berada di bawah VRAM yang direkomendasikan, Anda masih dapat menginstal dan menjalankan model, tetapi kinerja mungkin terasa lebih lambat. Perangkat Anda akan memproses lebih sedikit tugas per detik dibandingkan dengan kondisi optimal.

2. Persyaratan Minimum#

• Ini adalah nilai VRAM terendah yang harus dipenuhi GPU Anda untuk menjalankan model tertentu.
• Jika GPU Anda tidak memenuhi VRAM minimum, Anda tidak dapat menginstal atau membagikan model tersebut. Hal ini memastikan keandalan jaringan dan mencegah pemanfaatan sumber daya yang tidak efektif.

Kategorisasi GPU VRAM#

Berdasarkan VRAM GPU Anda, perangkat Anda termasuk dalam salah satu kategori berikut:

Rentang VRAM (GB)	Model yang Direkomendasikan
4–6 GB	1B, 3B
8–12 GB	7B (terkuantisasi 4/8-bit)
16–24 GB	7B, 14B (terkuantisasi 4-bit)
32–48 GB	14B, 20B (terkuantisasi 4/8-bit), 70B (4-bit)
48–96 GB (beberapa GPU)	70B (terkuantisasi 8-bit)
96 GB+ (beberapa GPU)	70B (presisi 16-bit atau beberapa instance)

Sebagai contoh:

• RTX 3060 (12GB): Disarankan untuk menggunakan model sekitar 7–8B parameter (misalnya, DeepSeek-r1:8B). Anda dapat menginstal model hingga 13B jika menerima potensi penurunan kinerja.
• RTX 4080 (16GB): Direkomendasikan untuk model 7–14B (kuantisasi 4-bit).

Peringatan dan Notifikasi#

Saat menambahkan model baru:

• Jika GPU Anda memenuhi persyaratan yang direkomendasikan:
  • Tidak ada peringatan atau pembatasan.
• Jika GPU Anda di bawah rekomendasi tetapi di atas minimum:
  • Pesan peringatan non-blok muncul memberi tahu Anda tentang potensi masalah kinerja.
  • Contoh peringatan: ⚠️ Pemberitahuan Kinerja: VRAM GPU Anda di bawah jumlah yang direkomendasikan. Model ini mungkin berjalan lebih lambat dan memproses lebih sedikit tugas per detik.
• Jika GPU Anda tidak memenuhi persyaratan minimum:
  • Peringatan blok mencegah instalasi.
  • Contoh peringatan: 🔴 VRAM Tidak Memadai: VRAM GPU Anda tidak memenuhi persyaratan minimum untuk model ini. Harap tingkatkan GPU Anda atau pilih model yang lebih kecil. Pelajari lebih lanjut.

Kasus Khusus#

• Overhead K-Quant: Overhead VRAM tambahan dipertimbangkan saat menggunakan model yang dikuantisasi dengan K-quants (K_S, K_M, K_L). ShareAI secara otomatis menghitung dan menyesuaikan rekomendasi sesuai.
• :latest Model:
  • Sejak :latest model tidak menentukan jumlah parameter sebelumnya, ShareAI melakukan pemeriksaan menggunakan ollama show sebelum memungkinkan berbagi.
  • Jika sumber daya Anda tidak sesuai dengan minimum model setelah pemeriksaan, model tidak akan aktif.

Rekomendasi Akhir#

• Tinjau secara rutin rekomendasi GPU dalam antarmuka ShareAI.
• Perbarui driver GPU Anda untuk kinerja optimal.
• Pertimbangkan peningkatan GPU jika Anda ingin berkontribusi secara signifikan ke jaringan atau meng-host model yang lebih besar.

Ini memastikan efisiensi kontribusi Anda dan kesehatan jaringan AI terdesentralisasi ShareAI.