डिव्हाइस आवश्यकता

ShareAI अनुप्रयोग आपल्याला आपल्या डिव्हाइसच्या GPU VRAM वर आधारित कोणते AI मॉडेल्स सामायिक करण्यासाठी योग्य आहेत हे स्वयंचलितपणे शिफारस करतो. तुमचे योगदान जास्तीत जास्त करण्यासाठी आणि उत्कृष्ट कार्यक्षमता सुनिश्चित करण्यासाठी, आम्ही दोन प्रकारच्या आवश्यकता वापरतो:

शिफारस केलेल्या आवश्यकता#

• हे मॉडेल्स कार्यक्षमतेने चालवण्यासाठी आवश्यक आदर्श VRAM दर्शवतात.
• जर तुमचा GPU शिफारस केलेल्या VRAM ला भेटत असेल, तर तुम्हाला चांगली कार्यक्षमता आणि उत्कृष्ट कार्य प्रक्रिया गती अपेक्षित असते.
• जर तुमचा GPU शिफारस केलेल्या VRAM पेक्षा कमी असेल, तरीही तुम्ही मॉडेल इंस्टॉल आणि चालवू शकता, परंतु कार्यक्षमता लक्षणीय कमी होऊ शकते. तुमचे डिव्हाइस इष्टतम परिस्थितीच्या तुलनेत प्रति सेकंद कमी कार्ये प्रक्रिया करेल.

किमान आवश्यकता#

• हे किमान VRAM मूल्ये आहेत ज्यांना तुमच्या GPU ने विशिष्ट मॉडेल्स चालवण्यासाठी भेटणे आवश्यक आहे.
• जर तुमचा GPU किमान VRAM ला भेटत नसेल, तर तुम्ही मॉडेल इंस्टॉल किंवा सामायिक करू शकत नाही. हे नेटवर्कची विश्वसनीयता सुनिश्चित करते आणि अप्रभावी संसाधन वापर टाळते.

GPU VRAM वर्गीकरण#

तुमच्या GPU च्या VRAM वर आधारित, तुमचे डिव्हाइस खालील श्रेणींमध्ये येते:

VRAM श्रेणी (GB)	शिफारस केलेले मॉडेल्स
4–6 GB	1B, 3B
8–12 GB	7B (क्वांटाइज्ड 4/8-बिट)
16–24 GB	7B, 14B (क्वांटाइज्ड 4-बिट)
32–48 GB	14B, 20B (क्वांटाइज्ड 4/8-बिट), 70B (4-बिट)
48–96 GB (एकाधिक GPUs)	70B (8-बिट क्वांटाइज्ड)
96 GB+ (एकाधिक GPUs)	70B (16-बिट प्रिसिजन किंवा एकाधिक इंस्टन्सेस)

उदाहरणार्थ:

• RTX 3060 (12GB): 7–8B पॅरामीटर्सच्या मॉडेल्स वापरण्याची शिफारस केली जाते (उदा., DeepSeek-r1:8B). जर तुम्ही संभाव्य कार्यक्षमतेतील घट स्वीकारली तर तुम्ही 13B मॉडेल्स इंस्टॉल करू शकता.
• RTX 4080 (16GB): 7–14B मॉडेल्ससाठी (क्वांटाइज्ड 4-बिट) शिफारस केली जाते.

अलर्टिंग आणि सूचना#

नवीन मॉडेल्स जोडताना:

• जर तुमचा GPU शिफारस केलेल्या आवश्यकता पूर्ण करत असेल:
  • कोणतीही चेतावणी किंवा निर्बंध नाहीत.
• जर तुमचा GPU शिफारस केलेल्या पेक्षा कमी पण किमान आवश्यकता पूर्ण करत असेल:
  • एक नॉन-ब्लॉकिंग चेतावणी संदेश दिसतो जो तुम्हाला संभाव्य कार्यक्षमतेच्या समस्यांबद्दल माहिती देतो.
  • चेतावणीचे उदाहरण: ⚠️ कार्यक्षमता सूचना: तुमचा GPU VRAM शिफारस केलेल्या प्रमाणापेक्षा कमी आहे. हे मॉडेल हळू चालू शकते आणि सेकंदाला कमी कार्ये प्रक्रिया करू शकते.
• जर तुमचा GPU किमान आवश्यकता पूर्ण करत नसेल:
  • एक ब्लॉकिंग अलर्ट इंस्टॉलेशन रोखतो.
  • अलर्टचे उदाहरण: 🔴 अपुरी VRAM: तुमचा GPU VRAM या मॉडेलसाठी किमान आवश्यकता पूर्ण करत नाही. कृपया तुमचा GPU अपग्रेड करा किंवा लहान मॉडेल निवडा. अधिक जाणून घ्या.

विशेष प्रकरणे#

• K-Quant ओव्हरहेड: K-क्वांट्स (K_S, K_M, K_L) सह क्वांटाइज्ड मॉडेल्स वापरताना अतिरिक्त VRAM ओव्हरहेड विचारात घेतला जातो. ShareAI स्वयंचलितपणे गणना करते आणि त्यानुसार शिफारसी समायोजित करते.
• :latest मॉडेल्स:
  • कारण :latest मॉडेल्स पॅरामीटर्सची संख्या आधीच निर्दिष्ट करत नाहीत, ShareAI ollama show कमांड वापरून तपासणी करते आणि शेअरिंगला परवानगी देण्यापूर्वी तपासणी करते.
  • जर तपासणीनंतर तुमची संसाधने मॉडेलच्या किमान आवश्यकता पूर्ण करत नसतील, तर मॉडेल सक्रिय होणार नाही.

अंतिम शिफारसी#

• ShareAI इंटरफेसमध्ये GPU शिफारसी नियमितपणे पुनरावलोकन करा.
• तुमचे GPU ड्रायव्हर्स अद्ययावत ठेवा जेणेकरून कार्यक्षमता उत्तम राहील.
• जर तुम्हाला नेटवर्कमध्ये महत्त्वपूर्ण योगदान द्यायचे असेल किंवा मोठ्या मॉडेल्स होस्ट करायचे असतील तर GPU अपग्रेड करण्याचा विचार करा.

यामुळे तुमच्या योगदानाची कार्यक्षमता आणि ShareAI विकेंद्रित AI नेटवर्कचे आरोग्य सुनिश्चित होते.