डिवाइस आवश्यकताएँ

ShareAI एप्लिकेशन स्वचालित रूप से आपके डिवाइस के GPU VRAM के आधार पर यह अनुशंसा करता है कि कौन से AI मॉडल साझा करने के लिए उपयुक्त हैं। आपके योगदान को अधिकतम करने और इष्टतम प्रदर्शन सुनिश्चित करने में मदद करने के लिए, हम दो प्रकार की आवश्यकताओं का उपयोग करते हैं:

1. अनुशंसित आवश्यकताएँ#

• ये मॉडल को कुशलतापूर्वक चलाने के लिए आदर्श VRAM को इंगित करती हैं।
• यदि आपका GPU अनुशंसित VRAM को पूरा करता है, तो आप अच्छे प्रदर्शन और इष्टतम कार्य प्रसंस्करण गति की उम्मीद कर सकते हैं।
• यदि आपका GPU अनुशंसित VRAM से कम है, तो आप अभी भी मॉडल को इंस्टॉल और चला सकते हैं, लेकिन प्रदर्शन स्पष्ट रूप से धीमा हो सकता है। आपके डिवाइस इष्टतम परिस्थितियों की तुलना में प्रति सेकंड कम कार्यों को संसाधित करेगा।

2. न्यूनतम आवश्यकताएँ#

• ये सबसे कम VRAM मान हैं जिन्हें आपके GPU को विशिष्ट मॉडल चलाने के लिए पूरा करना चाहिए।
• यदि आपका GPU न्यूनतम VRAM को पूरा नहीं करता है, तो आप मॉडल को इंस्टॉल या साझा नहीं कर सकते। यह नेटवर्क की विश्वसनीयता सुनिश्चित करता है और अप्रभावी संसाधन उपयोग को रोकता है।

GPU VRAM वर्गीकरण#

आपके GPU के VRAM के आधार पर, आपका डिवाइस निम्नलिखित श्रेणियों में से एक में आता है:

VRAM रेंज (GB)	अनुशंसित मॉडल
4–6 जीबी	1बी, 3बी
8–12 जीबी	7बी (क्वांटाइज़्ड 4/8-बिट)
16–24 जीबी	7बी, 14बी (क्वांटाइज़्ड 4-बिट)
32–48 जीबी	14बी, 20बी (क्वांटाइज़्ड 4/8-बिट), 70बी (4-बिट)
48–96 जीबी (मल्टीपल जीपीयू)	70बी (8-बिट क्वांटाइज़्ड)
96 जीबी+ (मल्टीपल जीपीयू)	70बी (16-बिट प्रिसीजन या मल्टीपल इंस्टेंस)

उदाहरण के लिए:

• आरटीएक्स 3060 (12जीबी): 7–8बी पैरामीटर वाले मॉडल का उपयोग करने की सिफारिश की जाती है (जैसे, डीपसीक-r1:8बी)। यदि आप संभावित प्रदर्शन गिरावट स्वीकार करते हैं तो आप 13बी मॉडल इंस्टॉल कर सकते हैं।
• आरटीएक्स 4080 (16जीबी): 7–14B मॉडलों (क्वांटाइज़्ड 4-बिट) के लिए अनुशंसित।

अलर्ट और सूचनाएं#

नए मॉडल जोड़ते समय:

• यदि आपका GPU अनुशंसित आवश्यकताओं को पूरा करता है:
  • कोई चेतावनी या प्रतिबंध नहीं।
• यदि आपका GPU अनुशंसित से कम लेकिन न्यूनतम से अधिक है:
  • एक गैर-अवरोधक चेतावनी संदेश दिखाई देता है जो आपको संभावित प्रदर्शन समस्याओं के बारे में सूचित करता है।
  • उदाहरण चेतावनी: ⚠️ प्रदर्शन सूचना: आपके GPU VRAM की मात्रा अनुशंसित से कम है। यह मॉडल धीमा चल सकता है और प्रति सेकंड कम कार्य संसाधित कर सकता है।
• यदि आपका GPU न्यूनतम आवश्यकताओं को पूरा नहीं करता है:
  • एक अवरोधक अलर्ट स्थापना को रोकता है।
  • उदाहरण अलर्ट: 🔴 अपर्याप्त VRAM: आपके GPU VRAM इस मॉडल के लिए न्यूनतम आवश्यकताओं को पूरा नहीं करता है। कृपया अपने GPU को अपग्रेड करें या एक छोटा मॉडल चुनें। और जानें.

विशेष मामले#

• K-Quant ओवरहेड: K-quants (K_S, K_M, K_L) के साथ क्वांटाइज किए गए मॉडल का उपयोग करते समय अतिरिक्त VRAM ओवरहेड पर विचार किया जाता है। ShareAI स्वचालित रूप से गणना करता है और सिफारिशों को समायोजित करता है।
• :latest मॉडल्स:
  • चूंकि :latest मॉडल प्रारंभ में पैरामीटर संख्या निर्दिष्ट नहीं करते हैं, ShareAI एक जांच करता है ollama show कमांड का उपयोग करके साझा करने की अनुमति देने से पहले एक जांच करता है।
  • यदि जांच के बाद आपके संसाधन मॉडल की न्यूनतम आवश्यकताओं से मेल नहीं खाते हैं, तो मॉडल सक्रिय नहीं होगा।

अंतिम सिफारिशें#

• ShareAI इंटरफ़ेस के भीतर GPU सिफारिशों की नियमित रूप से समीक्षा करें।
• इष्टतम प्रदर्शन के लिए अपने GPU ड्राइवरों को अपडेट रखें।
• यदि आप नेटवर्क में महत्वपूर्ण योगदान देना चाहते हैं या बड़े मॉडल होस्ट करना चाहते हैं, तो GPU अपग्रेड पर विचार करें।

यह सुनिश्चित करता है कि आपके योगदान की दक्षता और ShareAI विकेंद्रीकृत AI नेटवर्क की सेहत दोनों बनी रहें।