একটি প্রদানকারী ডিভাইসে একটি মডেল যোগ করুন

একটি যোগ্য মডেল নির্বাচন করুন#

আপনার Provider workflow বা অ্যাপ্লিকেশন থেকে মডেল ক্যাটালগ খুলুন। নির্ধারিত মডেলটি খুঁজুন এবং সঠিক আইডেন্টিফায়ার, হার্ডওয়্যার প্রয়োজনীয়তা, সার্ভিং অনুমতি এবং উপলব্ধ বাণিজ্যিক শর্তাবলী পড়ুন। একটি পরিচিত মডেল নাম তার সঠিক ট্যাগ বা ভ্যারিয়েন্ট সনাক্ত করার জন্য যথেষ্ট নয়।

ডিভাইসের ক্ষমতা পরীক্ষা করুন#

GPU মেমোরি প্রয়োজনীয়তা নির্ভর করে ওজন, প্রিসিশন বা কোয়ান্টাইজেশন, কনটেক্সট লেংথ, রানটাইম ওভারহেড এবং কনকারেন্সির উপর। বর্তমান মডেল প্রয়োজনীয়তা এবং পর্যবেক্ষিত ডিভাইস রিসোর্স ব্যবহার করুন। শুধুমাত্র প্যারামিটার সংখ্যার উপর ভিত্তি করে গ্যারান্টিযুক্ত সামঞ্জস্য অনুমান করবেন না।

ইনস্টল এবং সক্ষম করুন#

1. সঠিক মডেলটি নির্বাচন করুন এবং যেকোনো অ্যাক্সেস বা মূল্য নির্ধারণের শর্তাবলী পর্যালোচনা করুন।
2. সমর্থিত মডেল ডাউনলোড বা সংযোগ প্রবাহ শুরু করুন।
3. শেয়ারিং সক্রিয় করার আগে ইনস্টলেশন বা সিঙ্ক্রোনাইজেশন শেষ হওয়া এবং ত্রুটি সমাধান হওয়া পর্যন্ত অপেক্ষা করুন।
4. নির্ধারিত ডিভাইসে শেয়ারিংয়ের জন্য মডেল সক্রিয় করুন।
5. কনসোলে মডেল এবং ডিভাইসের অবস্থা নিশ্চিত করুন, তারপর প্রকৃত কার্যকলাপ পর্যবেক্ষণ করুন।

যখন একটি মডেল প্রদর্শিত হয় না#

নির্বাচিত ওয়ার্কস্পেস, প্রোভাইডার অনুমোদন, ক্যাটালগ অনুমতি, মডেলের প্রাপ্যতা এবং ইনস্টলেশন শেষ হয়েছে কিনা তা পরীক্ষা করুন। স্বয়ংক্রিয় ক্যাটালগ চেকের জন্য ব্যবহার করুন প্রোভাইডার মডেল এন্ডপয়েন্ট।.

যখন একটি মডেল লোড করতে পারে না#

রানটাইম ত্রুটি পড়ুন, প্রয়োজনীয় এবং উপলব্ধ সম্পদ তুলনা করুন এবং দেখুন অন্যান্য ওয়ার্কলোড GPU ব্যবহার করছে কিনা। লোডিং সমস্যাগুলি সমাধান করুন শেয়ারিং ক্ষমতা বিজ্ঞাপন দেওয়ার আগে। ক্যাটালগ টেক্সট পরিবর্তন করা ডিভাইস রানটাইম ব্যর্থতা সমাধান করে না।