एक प्रोवाइडर डिवाइस में एक मॉडल जोड़ें

एक योग्य मॉडल चुनें#

अपने Provider वर्कफ़्लो या एप्लिकेशन से मॉडल कैटलॉग खोलें। इच्छित मॉडल खोजें और उसके सटीक पहचानकर्ता, हार्डवेयर आवश्यकताएँ, सर्विंग अनुमतियाँ और उपलब्ध व्यावसायिक शर्तें पढ़ें। केवल एक पहचानने योग्य मॉडल नाम उसके सटीक टैग या वेरिएंट की पहचान करने के लिए पर्याप्त नहीं है।

डिवाइस क्षमता की जांच करें#

GPU मेमोरी की आवश्यकताएँ वेट्स, प्रिसीजन या क्वांटाइज़ेशन, कॉन्टेक्स्ट लंबाई, रनटाइम ओवरहेड और कंकरेंसी पर निर्भर करती हैं। वर्तमान मॉडल आवश्यकताओं और देखे गए डिवाइस संसाधनों का उपयोग करें। केवल पैरामीटर काउंट से गारंटीड संगतता का अनुमान न लगाएँ।

इंस्टॉल करें और सक्षम करें#

1. सटीक मॉडल चुनें और किसी भी एक्सेस या प्राइसिंग शर्तों की समीक्षा करें।
2. समर्थित मॉडल डाउनलोड या कनेक्शन प्रक्रिया शुरू करें।
3. इंस्टॉलेशन या सिंक्रोनाइज़ेशन पूरा होने और त्रुटियों को हल करने के बाद ही साझा करना सक्षम करें।
4. इच्छित डिवाइस पर मॉडल को साझा करने के लिए सक्षम करें।
5. कंसोल में मॉडल और डिवाइस की स्थिति की पुष्टि करें, फिर वास्तविक गतिविधि की निगरानी करें।

जब कोई मॉडल दिखाई नहीं देता#

चयनित वर्कस्पेस, प्रोवाइडर अनुमोदन, कैटलॉग अनुमतियां, मॉडल उपलब्धता और क्या इंस्टॉलेशन पूरा हुआ है, इसकी जांच करें। स्वचालित कैटलॉग जांच के लिए, उपयोग करें प्रोवाइडर मॉडल एंडपॉइंट्स.

जब कोई मॉडल लोड नहीं हो सकता#

रनटाइम त्रुटि पढ़ें, आवश्यक और उपलब्ध संसाधनों की तुलना करें और जांचें कि क्या अन्य वर्कलोड GPU का उपयोग कर रहे हैं। लोडिंग समस्याओं को हल करें इससे पहले कि क्षमता का विज्ञापन करें। कैटलॉग टेक्स्ट बदलने से डिवाइस रनटाइम विफलता ठीक नहीं होती।