प्रदाताओं को क्रमबद्ध करें और फॉलबैक को नियंत्रित करें

मूल्य#

मूल्य रैंकिंग लागू इनपुट-स्तर दर और आधार आउटपुट दर की तुलना करती है। यह कुल अनुरोध बिल की भविष्यवाणी नहीं है। चयनित प्रदाता और आपकी अपेक्षित कार्यभार के लिए इनपुट, आउटपुट और कैश कीमतों की समीक्षा करें।

विलंबता और थ्रूपुट#

विलंबता पूर्ण अनुरोध के लिए बीता हुआ समय उपयोग करती है, न कि पहले टोकन तक का समय। थ्रूपुट प्रति बीते हुए सेकंड में आउटपुट टोकन का उपयोग करता है। हालिया अवलोकन पांच मिनट की विंडो को कवर करते हैं। ये माप मार्गदर्शन करते हैं; वे प्रतिक्रिया समय या क्षमता की गारंटी नहीं देते।

जिन प्रदाताओं के लिए आवश्यक मूल्य या प्रदर्शन अवलोकन नहीं है, वे मापे गए प्रदाताओं के बाद किसी भी दिशा में रैंक करते हैं। स्थिर पहचानकर्ता टाई को तोड़ते हैं।

क्रमबद्ध करने से पहले क्रम#

एक स्पष्ट प्रदाता क्रम क्रमबद्ध करने पर प्राथमिकता लेता है। शेष पात्र विकल्पों के भीतर, चयनित क्रम रैंकिंग निर्धारित करता है। अनदेखे प्रदाता, केवल बाहरी प्रदाता, असमर्थित संचालन और प्रमुख अनुमतियों द्वारा बाहर किए गए प्रदाता अयोग्य बने रहते हैं।

फॉलबैक वही मॉडल बनाए रखता है#

प्रदाता फॉलबैक सटीक अनुरोधित मॉडल के लिए पात्र इंफ्रास्ट्रक्चर को बदलता है। यह किसी अन्य मॉडल टैग पर स्विच नहीं करता। ShareAI प्रदाता के भीतर किया गया कोई भी अपस्ट्रीम विक्रेता विकल्प सार्वजनिक निर्माता पहचान और निष्पादन-प्रदाता नीति से अलग है।

बाधित अनुरोधों को संभालें#

रूटिंग सफल डिस्पैच, अनिश्चित प्रतिक्रिया या आंशिक आउटपुट के बाद स्वचालित रूप से पुनः प्रयास नहीं करती। यह डुप्लिकेट कार्य और शुल्क से बचाती है। आंशिक आउटपुट को संरक्षित करें और यह तय करने दें कि नया अनुरोध शुरू करना है या नहीं। असीमित पुनः प्रयास लूप से बचें।

उदाहरण#

{
  "provider": {
    "sort": {
      "by": "latency",
      "direction": "asc"
    },
    "allow_fallbacks": true
  }
}

उच्चतम थ्रूपुट को प्राथमिकता देने के लिए उपयोग करें {"by":"throughput","direction":"desc"}. 19.। केवल तभी दिशा उलटें जब वह क्रम आपके इच्छित परीक्षण या कार्यभार से मेल खाता हो।