장치 요구 사항

ShareAI 애플리케이션은 사용자의 디바이스 GPU VRAM을 기준으로 공유에 적합한 AI 모델을 자동으로 추천합니다. 기여를 최대화하면서 최적의 성능을 보장하기 위해 두 가지 요구 사항을 사용합니다:

1. 권장 요구 사항#

• 이는 모델을 효율적으로 실행하는 데 필요한 이상적인 VRAM을 나타냅니다.
• GPU가 권장 VRAM을 충족하는 경우, 좋은 성능과 최적의 작업 처리 속도를 기대할 수 있습니다.
• GPU가 권장 VRAM보다 낮은 경우, 모델을 설치하고 실행할 수는 있지만 성능이 눈에 띄게 느려질 수 있습니다. 기기는 최적 조건에 비해 초당 처리하는 작업 수가 줄어듭니다.

2. 최소 요구 사항#

• 이는 특정 모델을 실행하기 위해 GPU가 충족해야 하는 최소 VRAM 값을 나타냅니다.
• GPU가 최소 VRAM을 충족하지 못하는 경우, 모델을 설치하거나 공유할 수 없습니다. 이는 네트워크 신뢰성을 보장하고 비효율적인 자원 활용을 방지합니다.

GPU VRAM 분류#

사용자의 GPU VRAM을 기준으로 디바이스는 다음 카테고리 중 하나에 속합니다:

VRAM 범위 (GB)	권장 모델
4–6 GB	1B, 3B
8–12 GB	7B (양자화 4/8비트)
16–24 GB	7B, 14B (양자화 4비트)
32–48 GB	14B, 20B (양자화 4/8비트), 70B (4비트)
48–96 GB (다중 GPU)	70B (8비트 양자화)
96 GB+ (다중 GPU)	70B (16비트 정밀도 또는 다중 인스턴스)

예를 들어:

• RTX 3060 (12GB): 약 7–8B 매개변수 모델(예: DeepSeek-r1:8B)을 사용하는 것이 권장됩니다. 성능 저하를 감수한다면 최대 13B 모델까지 설치할 수 있습니다.
• RTX 4080 (16GB): 7–14B 모델(양자화된 4비트)에 권장됩니다.

알림 및 통지#

새 모델을 추가할 때:

• GPU가 권장 요구 사항을 충족하는 경우:
  • 경고나 제한이 없습니다.
• GPU가 권장 사양보다 낮지만 최소 사양보다 높은 경우:
  • 잠재적인 성능 문제에 대해 알려주는 비차단 경고 메시지가 나타납니다.
  • 경고 예: ⚠️ 성능 알림: GPU VRAM이 권장 용량보다 낮습니다. 이 모델은 더 느리게 실행되며 초당 처리 작업 수가 줄어들 수 있습니다.
• GPU가 최소 요구 사항을 충족하지 않는 경우:
  • 설치를 방지하는 차단 경고가 나타납니다.
  • 경고 예: 🔴 VRAM 부족: 귀하의 GPU VRAM이 이 모델의 최소 요구 사항을 충족하지 않습니다. GPU를 업그레이드하거나 더 작은 모델을 선택하십시오. 자세히 알아보기.

특수 사례#

• K-Quant 오버헤드: K-Quant(K_S, K_M, K_L)로 양자화된 모델을 사용할 때 추가 VRAM 오버헤드가 고려됩니다. ShareAI는 이를 자동으로 계산하고 권장 사항을 조정합니다.
• :latest 모델:
  • 이후 :latest 모델이 매개변수 수를 사전에 명시하지 않는 경우, ShareAI는 확인을 수행합니다. ollama show 명령어를 사용하여 확인을 수행합니다.
  • 확인 후 사용자의 리소스가 모델의 최소 요구 사항에 맞지 않으면 모델이 활성화되지 않습니다.

최종 권장 사항#

• ShareAI 인터페이스 내에서 GPU 권장 사항을 정기적으로 검토하세요.
• 최적의 성능을 위해 GPU 드라이버를 최신 상태로 유지하세요.
• 네트워크에 크게 기여하거나 더 큰 모델을 호스팅하려면 GPU 업그레이드를 고려하세요.

이는 귀하의 기여 효율성과 ShareAI 분산 AI 네트워크의 건강을 모두 보장합니다.