Yêu cầu thiết bị

Ứng dụng ShareAI tự động đề xuất các mô hình AI phù hợp để chia sẻ dựa trên GPU VRAM của thiết bị bạn. Để giúp bạn tối đa hóa đóng góp của mình đồng thời đảm bảo hiệu suất tối ưu, chúng tôi sử dụng hai loại yêu cầu:

1. Yêu cầu Đề xuất#

• Đây là các chỉ số VRAM lý tưởng cần thiết để chạy các mô hình một cách hiệu quả.
• Nếu GPU của bạn đáp ứng VRAM được đề xuất, bạn có thể mong đợi hiệu suất tốt và tốc độ xử lý tác vụ tối ưu.
• Nếu GPU của bạn dưới mức VRAM được đề xuất, bạn vẫn có thể cài đặt và chạy mô hình, nhưng hiệu suất có thể chậm hơn đáng kể. Thiết bị của bạn sẽ xử lý ít tác vụ hơn mỗi giây so với điều kiện tối ưu.

2. Yêu cầu Tối thiểu#

• Đây là các giá trị VRAM thấp nhất mà GPU của bạn phải đáp ứng để chạy các mô hình cụ thể.
• Nếu GPU của bạn không đáp ứng VRAM tối thiểu, bạn không thể cài đặt hoặc chia sẻ mô hình. Điều này đảm bảo độ tin cậy của mạng và ngăn chặn việc sử dụng tài nguyên không hiệu quả.

Phân loại VRAM GPU#

Dựa trên VRAM của GPU, thiết bị của bạn thuộc một trong các danh mục sau:

Phạm vi VRAM (GB)	Các mô hình được đề xuất
4–6 GB	1B, 3B
8–12 GB	7B (định lượng 4/8-bit)
16–24 GB	7B, 14B (định lượng 4-bit)
32–48 GB	14B, 20B (định lượng 4/8-bit), 70B (4-bit)
48–96 GB (nhiều GPU)	70B (định lượng 8-bit)
96 GB+ (nhiều GPU)	70B (độ chính xác 16-bit hoặc nhiều phiên bản)

Ví dụ:

• RTX 3060 (12GB): Khuyến nghị sử dụng các mô hình khoảng 7–8B tham số (ví dụ: DeepSeek-r1:8B). Bạn có thể cài đặt các mô hình lên đến 13B nếu chấp nhận khả năng suy giảm hiệu suất.
• RTX 4080 (16GB): Được khuyến nghị cho các mô hình 7–14B (đã lượng tử hóa 4-bit).

Cảnh báo và Thông báo#

Khi thêm các mô hình mới:

• Nếu GPU của bạn đáp ứng yêu cầu khuyến nghị:
  • Không có cảnh báo hoặc hạn chế.
• Nếu GPU của bạn dưới mức khuyến nghị nhưng trên mức tối thiểu:
  • Một thông báo cảnh báo không chặn xuất hiện, thông báo cho bạn về các vấn đề hiệu suất tiềm năng.
  • Ví dụ cảnh báo: ⚠️ Thông báo Hiệu suất: VRAM GPU của bạn dưới mức khuyến nghị. Mô hình này có thể chạy chậm hơn và xử lý ít tác vụ hơn mỗi giây.
• Nếu GPU của bạn không đáp ứng yêu cầu tối thiểu:
  • Một cảnh báo chặn ngăn cản việc cài đặt.
  • Ví dụ cảnh báo: 🔴 VRAM không đủ: Bộ nhớ VRAM của GPU của bạn không đáp ứng yêu cầu tối thiểu cho mô hình này. Vui lòng nâng cấp GPU của bạn hoặc chọn một mô hình nhỏ hơn. Tìm hiểu thêm.

Các trường hợp đặc biệt#

• Chi phí K-Quant: Chi phí VRAM bổ sung được xem xét khi sử dụng các mô hình được lượng tử hóa với K-quants (K_S, K_M, K_L). ShareAI tự động tính toán và điều chỉnh các khuyến nghị tương ứng.
• :latest Mô hình:
  • Kể từ khi :latest Các mô hình không chỉ định trước số lượng tham số, ShareAI sẽ thực hiện kiểm tra bằng cách sử dụng ollama show trước khi cho phép chia sẻ.
  • Nếu tài nguyên của bạn không đáp ứng mức tối thiểu của mô hình sau khi kiểm tra, mô hình sẽ không được kích hoạt.

Khuyến nghị cuối cùng#

• Thường xuyên xem lại các khuyến nghị GPU trong giao diện ShareAI.
• Cập nhật trình điều khiển GPU của bạn để đạt hiệu suất tối ưu.
• Cân nhắc nâng cấp GPU nếu bạn muốn đóng góp đáng kể cho mạng lưới hoặc lưu trữ các mô hình lớn hơn.

Điều này đảm bảo cả hiệu quả của các đóng góp của bạn và sức khỏe của mạng lưới AI phi tập trung ShareAI.