प्रदाते क्रमवारीत लावा आणि फॉलबॅक नियंत्रित करा

ShareAI किंमत, विलंबता आणि थ्रूपुट रँकिंग, क्रमित प्रदाते, अनुपलब्ध मोजमापे आणि सुरक्षित फॉलबॅक मर्यादा समजून घ्या.

या पृष्ठावर

किंमत#

किंमत रँकिंग लागू इनपुट-टियर दर आणि बेस आउटपुट दराची तुलना करते. हे एकूण विनंती बिलाचा अंदाज नाही. निवडलेल्या प्रदात्यासाठी आणि तुमच्या अपेक्षित कार्यभारासाठी इनपुट, आउटपुट आणि कॅश किंमती पुनरावलोकन करा.

विलंबता आणि थ्रूपुट#

विलंबता पूर्ण झालेल्या विनंतीसाठी लागलेल्या वेळेचा उपयोग करते, पहिल्या टोकनपर्यंतचा वेळ नाही. थ्रूपुट प्रति सेकंद लागलेल्या वेळेतून आउटपुट टोकनचा उपयोग करते. अलीकडील निरीक्षणे पाच मिनिटांच्या विंडोमध्ये कव्हर करतात. ही मोजमापे रूटिंगसाठी मार्गदर्शन करतात; ते प्रतिसाद वेळ किंवा क्षमता हमी देत नाहीत.

आवश्यक किंमत किंवा कार्यक्षमता निरीक्षणाशिवाय प्रदाते मोजलेल्या प्रदात्यांच्या दोन्ही दिशेने रँकनंतर येतात. स्थिर ओळखकर्ता टाय तोडतो.

क्रमित करण्यापूर्वी क्रम ठेवा#

स्पष्ट प्रदाता क्रमवारी क्रमित करण्यावर प्राधान्य देते. उर्वरित पात्र निवडींमध्ये, निवडलेला क्रमवारी रँकिंग ठरवतो. दुर्लक्षित प्रदाते, फक्त बाहेर प्रदाते, असमर्थित ऑपरेशन्स आणि की परवान्यांद्वारे वगळलेले प्रदाते पात्र राहणार नाहीत.

धोरण	पात्र निवडी
`allow_fallbacks: true`	इतर पात्र प्रदाते प्रत्येक कठोर निर्बंधांमध्ये विचारात घेतले जाऊ शकतात.
`allow_fallbacks: false` सह `order`	फक्त स्पष्टपणे क्रमवारीत सूचीबद्ध प्रदाते.
`allow_fallbacks: false` बजेट `order`	फक्त पहिल्या क्रमांकाचा प्रदाता.

फॉलबॅक समान मॉडेल ठेवतो#

प्रदाता फॉलबॅक नेमके विनंती केलेल्या मॉडेलसाठी पात्र पायाभूत सुविधा बदलतो. हे दुसऱ्या मॉडेल टॅगवर स्विच करत नाही. ShareAI प्रदात्याच्या आत केलेला कोणताही अपस्ट्रीम विक्रेता निवड सार्वजनिक निर्माता ओळख आणि अंमलबजावणी-प्रदाता धोरणापासून वेगळा आहे.

व्यत्यय आलेल्या विनंत्या हाताळा#

रूटिंग यशस्वी डिस्पॅच, अनिश्चित प्रतिसाद किंवा अपूर्ण आउटपुटनंतर आपोआप पुन्हा प्रयत्न करत नाही. हे डुप्लिकेट काम आणि शुल्क टाळते. अपूर्ण आउटपुट जतन करा आणि नवीन विनंती सुरू करायची की नाही हे ठरवण्यासाठी अनुप्रयोगाला परवानगी द्या. अमर्यादित पुन्हा प्रयत्न लूप टाळा.

उदाहरणे#

JSON

{
  "provider": {
    "sort": {
      "by": "latency",
      "direction": "asc"
    },
    "allow_fallbacks": true
  }
}

सर्वोच्च थ्रूपुटला प्राधान्य देण्यासाठी, वापरा {"by":"throughput","direction":"desc"}. तुमच्या इच्छित चाचणी किंवा कार्यभाराशी जुळणारा क्रम फक्त त्या दिशेने उलट करा.

शेवटचे अद्यतनित सप्टेंबर 16, 2026