ڈیوائس کی ضروریات

ShareAI ایپلیکیشن خودکار طور پر تجویز کرتی ہے کہ کون سے AI ماڈلز آپ کے ڈیوائس کے GPU VRAM کی بنیاد پر شیئرنگ کے لیے موزوں ہیں۔ آپ کی شراکت کو زیادہ سے زیادہ کرنے اور بہترین کارکردگی کو یقینی بنانے کے لیے، ہم دو قسم کی ضروریات استعمال کرتے ہیں:

1. تجویز کردہ ضروریات#

• یہ ماڈلز کو مؤثر طریقے سے چلانے کے لیے مطلوبہ مثالی VRAM کی نشاندہی کرتی ہیں۔
• اگر آپ کا GPU تجویز کردہ VRAM کو پورا کرتا ہے, تو آپ اچھی کارکردگی اور بہترین ٹاسک پروسیسنگ کی رفتار کی توقع کر سکتے ہیں۔
• اگر آپ کا GPU تجویز کردہ VRAM سے کم ہے, تو آپ پھر بھی ماڈل انسٹال اور چلا سکتے ہیں، لیکن کارکردگی نمایاں طور پر سست ہو سکتی ہے۔ آپ کا ڈیوائس بہترین حالات کے مقابلے میں فی سیکنڈ کم ٹاسک پروسیس کرے گا۔

2. کم از کم ضروریات#

• یہ وہ کم ترین VRAM ویلیوز ہیں جنہیں آپ کے GPU کو مخصوص ماڈلز چلانے کے لیے پورا کرنا ضروری ہے۔
• اگر آپ کا GPU کم از کم VRAM کو پورا نہیں کرتا, تو آپ ماڈل انسٹال یا شیئر نہیں کر سکتے۔ یہ نیٹ ورک کی قابل اعتمادیت کو یقینی بناتا ہے اور غیر مؤثر وسائل کے استعمال کو روکتا ہے۔

GPU VRAM کی درجہ بندی#

آپ کے GPU کے VRAM کی بنیاد پر، آپ کا ڈیوائس درج ذیل زمروں میں سے کسی ایک میں آتا ہے:

VRAM رینج (GB)	تجویز کردہ ماڈلز
4–6 جی بی	1B، 3B
8–12 جی بی	7B (کوانٹائزڈ 4/8-بِٹ)
16–24 جی بی	7B، 14B (quantized 4-bit)
32–48 جی بی	14B، 20B (quantized 4/8-bit)، 70B (4-bit)
48–96 جی بی (multiple GPUs)	70B (8-بِٹ کوانٹائزڈ)
96 جی بی+ (multiple GPUs)	70B (16-bit precision یا multiple instances)

مثال کے طور پر:

• RTX 3060 (12GB): تجویز دی جاتی ہے کہ 7–8B پیرامیٹرز کے قریب ماڈلز استعمال کریں (مثلاً، DeepSeek-r1:8B)۔ اگر آپ ممکنہ کارکردگی میں کمی قبول کرتے ہیں تو آپ 13B ماڈلز انسٹال کر سکتے ہیں۔
• RTX 4080 (16GB): 7–14B ماڈلز (quantized 4-bit) کے لیے تجویز کردہ۔

الرٹس اور نوٹیفیکیشنز#

نئے ماڈلز شامل کرتے وقت:

• اگر آپ کا GPU تجویز کردہ ضروریات کو پورا کرتا ہے:
  • کوئی وارننگ یا پابندی نہیں۔
• اگر آپ کا GPU تجویز کردہ سے کم لیکن کم از کم ضروریات سے زیادہ ہے:
  • ایک غیر مسدود وارننگ پیغام ظاہر ہوتا ہے جو آپ کو ممکنہ کارکردگی کے مسائل کے بارے میں مطلع کرتا ہے۔
  • مثال وارننگ: ⚠️ کارکردگی کا نوٹس: آپ کے GPU VRAM کی مقدار تجویز کردہ سے کم ہے۔ یہ ماڈل سست چل سکتا ہے اور فی سیکنڈ کم کام انجام دے سکتا ہے۔
• اگر آپ کا GPU کم از کم ضروریات کو پورا نہیں کرتا:
  • ایک مسدود الرٹ انسٹالیشن کو روکتا ہے۔
  • مثال الرٹ: 🔴 ناکافی VRAM: آپ کے GPU VRAM اس ماڈل کے لیے کم از کم ضروریات کو پورا نہیں کرتا۔ براہ کرم اپنا GPU اپ گریڈ کریں یا ایک چھوٹا ماڈل منتخب کریں۔ مزید جانیں.

خصوصی معاملات#

• کے-کوانٹ اوور ہیڈ: اضافی VRAM اوور ہیڈ کو مدنظر رکھا جاتا ہے جب K-quants (K_S, K_M, K_L) کے ساتھ کوانٹائزڈ ماڈلز استعمال کیے جاتے ہیں۔ ShareAI خود بخود حساب لگاتا ہے اور سفارشات کو مطابق ایڈجسٹ کرتا ہے۔
• :latest ماڈلز:
  • چونکہ :latest ماڈلز پہلے سے پیرامیٹرز کی تعداد کی وضاحت نہیں کرتے، ShareAI ایک چیک انجام دیتا ہے ollama show کمانڈ کے ذریعے شیئرنگ کی اجازت دینے سے پہلے۔
  • اگر چیک کے بعد آپ کے وسائل ماڈل کی کم از کم ضروریات سے مطابقت نہیں رکھتے، تو ماڈل فعال نہیں ہوگا۔

حتمی سفارشات#

• ShareAI انٹرفیس میں GPU سفارشات کو باقاعدگی سے دیکھیں۔
• بہترین کارکردگی کے لیے اپنے GPU ڈرائیورز کو اپ ڈیٹ رکھیں۔
• اگر آپ نیٹ ورک میں نمایاں حصہ ڈالنا چاہتے ہیں یا بڑے ماڈلز کی میزبانی کرنا چاہتے ہیں تو GPU اپ گریڈ پر غور کریں۔

یہ آپ کی شراکت کی کارکردگی اور ShareAI غیر مرکزی AI نیٹ ورک کی صحت دونوں کو یقینی بناتا ہے۔