Требования к устройству

Приложение ShareAI автоматически рекомендует, какие AI-модели подходят для совместного использования, основываясь на объёме GPU VRAM вашего устройства. Чтобы помочь вам максимально эффективно использовать ваши ресурсы и обеспечить оптимальную производительность, мы используем два типа требований:

1. Рекомендуемые требования#

• Они указывают на идеальный объем VRAM, необходимый для эффективной работы моделей.
• Если ваш GPU соответствует рекомендуемому объему VRAM, вы можете ожидать хорошую производительность и оптимальную скорость обработки задач.
• Если ваш GPU ниже рекомендуемого объема VRAM, вы все равно можете установить и запустить модель, но производительность может быть заметно ниже. Ваше устройство будет обрабатывать меньше задач в секунду по сравнению с оптимальными условиями.

2. Минимальные требования#

• Это минимальные значения VRAM, которые ваш GPU должен соответствовать для запуска определенных моделей.
• Если ваш GPU не соответствует минимальному объему VRAM, вы не сможете установить или поделиться моделью. Это обеспечивает надежность сети и предотвращает неэффективное использование ресурсов.

Категоризация GPU VRAM#

В зависимости от объёма GPU VRAM ваше устройство попадает в одну из следующих категорий:

Диапазон VRAM (ГБ)	Рекомендуемые модели
4–6 ГБ	1Б, 3Б
8–12 ГБ	7B (квантован 4/8-бит)
16–24 ГБ	7B, 14B (квантован 4-бит)
32–48 ГБ	14B, 20B (квантован 4/8-бит), 70B (4-бит)
48–96 ГБ (несколько GPU)	70B (8-бит квантован)
96 ГБ+ (несколько GPU)	70B (16-бит точность или несколько экземпляров)

Например:

• RTX 3060 (12 ГБ): Рекомендуется использовать модели с параметрами около 7–8B (например, DeepSeek-r1:8B). Вы можете установить модели до 13B, если готовы принять возможное снижение производительности.
• RTX 4080 (16 ГБ): Рекомендуется для моделей 7–14B (квантованных 4-бит).

Оповещения и уведомления#

При добавлении новых моделей:

• Если ваш GPU соответствует рекомендуемым требованиям:
  • Нет предупреждений или ограничений.
• Если ваш GPU ниже рекомендуемого, но выше минимального:
  • Появляется предупреждающее сообщение, информирующее о возможных проблемах с производительностью.
  • Пример предупреждения: ⚠️ Уведомление о производительности: Объем видеопамяти вашего GPU ниже рекомендуемого. Эта модель может работать медленнее и обрабатывать меньше задач в секунду.
• Если ваш GPU не соответствует минимальным требованиям:
  • Блокирующее предупреждение предотвращает установку.
  • Пример предупреждения: 🔴 Недостаточный объем видеопамяти: Объем видеопамяти вашего GPU не соответствует минимальным требованиям для этой модели. Пожалуйста, обновите ваш GPU или выберите меньшую модель. Узнать больше.

Особые случаи#

• Перегрузка K-Quant: Дополнительная нагрузка на видеопамять учитывается при использовании моделей, квантованных с помощью K-quant (K_S, K_M, K_L). ShareAI автоматически рассчитывает и корректирует рекомендации соответственно.
• :latest Модели:
  • Поскольку :latest модели не указывают количество параметров заранее, ShareAI выполняет проверку с использованием ollama show перед разрешением совместного использования.
  • Если ваши ресурсы не соответствуют минимальным требованиям модели после проверки, модель не будет активирована.

Финальные рекомендации#

• Регулярно проверяйте рекомендации по GPU в интерфейсе ShareAI.
• Обновляйте драйверы GPU для оптимальной производительности.
• Рассмотрите возможность обновления GPU, если хотите значительно внести вклад в сеть или размещать более крупные модели.

Это обеспечивает как эффективность вашего вклада, так и здоровье децентрализованной AI сети ShareAI.