जब एक AI प्रदाता रुकावट करता है, आपके उपयोगकर्ताओं को नहीं करना चाहिए। ShareAI स्वचालित फेलओवर अनुरोधों को प्रवाहित रखता है और उन्हें एक ही मॉडल पर रूट करता है कई प्रदाताओं के बीच—ताकि अनुभव सुसंगत रहे और आपको आपातकालीन पैच जारी न करने पड़े। आप BYOI (अपना स्वयं का इंफ्रास्ट्रक्चर लाएं) अपने डिफ़ॉल्ट के रूप में या निजी फेलबैक स्तर के रूप में निजी एंडपॉइंट्स चलाने का विकल्प भी चुन सकते हैं।
क्यों रुकावटें नुकसान पहुंचाती हैं (और क्यों एकल-प्रदाता = एकल विफलता बिंदु)
वास्तविक घटना पैटर्न
रुकावटें शायद ही कभी सब कुछ बंद कर देती हैं। अधिकतर यह मॉडल-विशिष्ट समस्याएं, दर-सीमा विस्फोट, क्षेत्रीय ब्राउनआउट्स, या रखरखाव विंडो होती हैं। यदि आपका स्टैक एकल API से जुड़ा है, तो ये उपयोगकर्ता-दृश्यमान बग बन जाते हैं।
“पुनः प्रयास और प्रार्थना” की छिपी हुई लागत”
रूटिंग के बिना पुनः प्रयास केवल विलंबता बढ़ाते हैं, कोटा खत्म करते हैं, और परित्याग बढ़ाते हैं। व्यवसाय लागत SLA, ग्राहक पलायन, और समर्थन भार में दिखाई देती है।
ShareAI के साथ “समान-मॉडल फेलओवर” का क्या मतलब है
मॉडल-समकक्ष रूटिंग
यदि model-x प्रदाता ए पर शुरू होने वाली विफलता के समय, ShareAI उसी मॉडल (या निकटतम समकक्ष) प्रदाता बी पर रूट करता है—व्यवहार को सुसंगत रखने के लिए गार्डरेल्स के साथ। यह डाउनटाइम को रूटिंग निर्णय, में बदल देता है, न कि उत्पाद आउटेज में।
अंतिम उपयोगकर्ताओं और उत्पाद कोड के लिए अदृश्य
आपका एकल एंडपॉइंट कॉल करता है। फेलओवर नियंत्रण प्लेन में होता है—कोई फीचर फ्लैग्स नहीं, कोई आपातकालीन पुनः परिनियोजन नहीं आपके ऐप के लिए।
आपकी लक्ष्यों के अनुरूप नीति नियंत्रण
प्रति-एंडपॉइंट नीतियां सेट करें जैसे विलंबता को प्राथमिकता दें, लागत को प्राथमिकता दें, या सख्त प्रदाता क्रम. आप तय करते हैं कि कितनी आक्रामकता से फेलओवर करना है—और किसके लिए।
उत्पादन में ShareAI का उपयोग करने के दो तरीके
डिफ़ॉल्ट ऑर्केस्ट्रेशन लेयर (हमेशा-ऑन मल्टी-प्रोवाइडर)
हर अनुरोध को ShareAI के माध्यम से भेजें। आपको बॉक्स से बाहर स्वास्थ्य जांच, समान-मॉडल रूटिंग, और प्रोवाइडर A/B परीक्षण मिलता है। अन्वेषण करें मॉडल मार्केटप्लेस अपने प्राथमिक और बैकअप चुनने के लिए: मॉडल ब्राउज़ करें
ड्रॉप-इन सुरक्षा जाल (केवल घटना के लिए)
अपने वर्तमान SDKs रखें, लेकिन ShareAI को एक फॉलबैक पथ के रूप में वायर करें. जब आपका प्राथमिक विफल होता है, तो उपयोगकर्ता-दृश्यमान व्यवधान के बिना ट्रैफ़िक को स्वचालित रूप से ShareAI पर स्विच करें।
प्रति-फ़ीचर रूटिंग
उदाहरण: चैट डिफ़ॉल्ट रूप से प्रोवाइडर X का उपयोग करता है; एम्बेडिंग्स कीमत के लिए प्रोवाइडर Y का उपयोग करते हैं; दोनों में बैकअप के लिए स्वचालित फेलओवर होता है।
ShareAI के साथ BYOI (अपना खुद का इंफ्रास्ट्रक्चर लाएं)
निजी अनुमान में प्लग इन करें
सेल्फ-होस्टेड एंडपॉइंट्स (VPC, ऑन-प्रेम, पार्टनर POPs) कनेक्ट करें। BYOI का उपयोग करें प्राथमिक क्षमता या के रूप में निजी फॉलबैक स्तर जो केवल आपका संगठन देख सकता है। शुरू करें प्रदाता गाइड और डैशबोर्ड: प्रदाता गाइड • प्रदाता डैशबोर्ड
कुंजियाँ, कोटा, ट्रैफ़िक विभाजन
प्रति मॉडल कई एपीआई कुंजियाँ (और प्रदाता) संलग्न करें; पर्यावरण/टीम द्वारा कोटा और ट्रैफ़िक शेयर परिभाषित करें।
क्षेत्र और डेटा निवास
ट्रैफ़िक को अनुमत भौगोलिक क्षेत्रों में पिन करें या नए क्षेत्रों का अनुरोध करें भू-स्थान सेटिंग्स अनुपालन और विलंबता लक्ष्यों को पूरा करने के लिए: भू-स्थान सेटिंग्स
स्वचालित फेलओवर कैसे काम करता है (अंदर की प्रक्रिया)
स्वास्थ्य और विलंबता जांच
ShareAI लगातार प्रदाता/मॉडल/क्षेत्र स्वास्थ्य और विलंबता की जांच करता है। सीमा पार होते ही सर्किट ब्रेकर ट्रैफ़िक तुरंत स्थानांतरित हो जाता है।
मॉडल-समानता मानचित्र
एक क्यूरेटेड मानचित्र मॉडल आईडी को प्रदाताओं के बीच संरेखित करता है (और “निकटतम समकक्षों” को ग्रेड करता है) ताकि फेलओवर निर्देश-पालन व्यवहार, टोकनाइजेशन विचित्रताओं, और संदर्भ सीमाओं को यथासंभव सटीक बनाए रखे।
डिज़ाइन द्वारा सुरक्षित पुनः प्रयास
आइडेम्पोटेंसी कुंजियाँ और घातीय बैकऑफ़ डुप्लिकेट कार्य से बचते हैं जबकि टेल लेटेंसी को न्यूनतम करते हैं।
अवलोकनीयता
आप देखेंगे ट्रेस, फेलओवर कारण, और लागत/लेटेंसी डेल्टा कंसोल और लॉग्स में। पढ़ें डॉक्स जब आप गहन इंस्ट्रूमेंटेशन के लिए तैयार हों: दस्तावेज़ीकरण होम
त्वरित प्रारंभ: अपना पहला लचीला अनुरोध करें
5-चरण सेटअप
1. साइन इन करें और एक एपीआई कुंजी बनाएं। साइन इन करें या साइन अप करें • API कुंजी बनाएं
2. चुनें प्राथमिक कंसोल में प्रति मॉडल प्रदाता।
3. जोड़ें बैकअप प्रदाता (और वैकल्पिक BYOI एंडपॉइंट्स)।
4. सक्षम करें समान-मॉडल रूटिंग और फॉलबैक नीति को परिभाषित करें (विलंबता/लागत/क्रम)।
5. अपना पहला अनुरोध भेजें (नीचे) और स्वचालित फेलओवर देखने के लिए एक घटना का अनुकरण करें।
कोड: एक अनुरोध, स्वचालित प्रदाता फेलओवर
जावास्क्रिप्ट (फेच)
const res = await fetch("https://api.shareai.now/v1/chat/completions", {
method: "POST",
headers: {
Authorization: `Bearer ${process.env.SHAREAI_API_KEY}`,
"Content-Type": "application/json",
},
body: JSON.stringify({
// Pick your canonical model; ShareAI routes to same/closest across providers
model: "gpt-4.1-mini",
messages: [
{
role: "user",
content: "Summarize the key risks of single-provider AI.",
},
],
// Optional routing preferences per request:
// routing: { policy: "prefer_latency" } // or prefer_cost, provider_order
}),
});
const data = await res.json();
console.log(data);
पायथन (रिक्वेस्ट्स)
import os
import json
import requests
api_key = os.getenv("SHAREAI_API_KEY")
url = "https://api.shareai.now/v1/chat/completions"
payload = {
"model": "gpt-4.1-mini",
"messages": [
{"role": "user", "content": "Draft a status note for an AI provider incident."}
],
}
headers = {
"Authorization": f"Bearer {api_key}",
"Content-Type": "application/json",
}
resp = requests.post(url, headers=headers, json=payload)
print(resp.status_code)
print(resp.json())क्या आप गहराई से मार्गदर्शन चाहते हैं? शुरू करें एपीआई संदर्भ त्वरित प्रारंभ: एपीआई संदर्भ. । या इसे लाइव आज़माएं प्लेग्राउंड (कोड लिखे बिना फेलओवर नीतियों को सत्यापित करने के लिए शानदार): ओपन प्लेग्राउंड
घटनाओं के दौरान अनुभव को सुचारू रखें
स्मार्ट टाइमआउट और आंशिक प्रतिक्रियाएँ
असफल प्रदाताओं से तेजी से असफल हों; यदि आपका UX इसे समर्थन करता है तो आंशिक परिणाम स्ट्रीम करें, फिर फॉलबैक से पूरा करें।
सामान्य प्रॉम्प्ट्स कैश करें
स्थिर प्रॉम्प्ट्स (FAQ, बॉयलरप्लेट सिस्टम प्रॉम्प्ट्स) को कैश करें ताकि घटनाओं के दौरान तुरंत सेवा दी जा सके।
गैर-जरूरी कार्यों को कतारबद्ध करें और बैच में करें
भारी कार्यों (जैसे, सारांश) को बैच करें ताकि स्वस्थ क्षमता वापस आते ही फिर से शुरू किया जा सके—बिना कार्यों को छोड़े।
पारदर्शी संचार
प्रदाता की स्थिति और आपके अपने रूटिंग स्थिति से जुड़े इन-ऐप बैनर जोड़ें। पाठकों को इंगित करें रिलीज़/चेंजलॉग जब व्यवहार बदलता है: रिलीज़ देखें
ऑनलाइन रहते हुए खर्च को नियंत्रित करें
लागत सीमा और फॉलबैक क्रम
सेट करें अधिकतम गुणक बैकअप के लिए (जैसे, “≤1.2× प्राथमिक CPM”)। यदि बैकअप इसे पार करता है, तो अगले सबसे उपयुक्त विकल्प पर रूट करें।
प्रति टीम बजट और अलर्ट
कार्यक्षेत्र/प्रोजेक्ट के अनुसार बजट लागू करें; फेलओवर स्पाइक्स पर अलर्ट करें ताकि वित्त आश्चर्यचकित न हो।
घटना के बाद की रिपोर्ट
नीति को परिष्कृत करने के लिए कितना ट्रैफ़िक विफल हुआ, क्यों, और लागत/विलंबता डेल्टा की समीक्षा करें।
सुरक्षा और अनुपालन, यहां तक कि प्रदाताओं के बीच भी
क्षेत्रीय पिनिंग: आवश्यकता होने पर डेटा को क्षेत्र में रखें। शून्य-प्रतिधारण मोड: जहां आवश्यक हो, अनुरोध लॉगिंग अक्षम करें। लेखापरीक्षण योग्यता: विनियमित वातावरण के लिए लॉग और ट्रेस निर्यात करें। प्रदाता भौगोलिक क्षेत्रों और नियंत्रणों के लिए, देखें भू-स्थान सेटिंग्स कंसोल में: अनुमत स्थान
अक्सर पूछे जाने वाले प्रश्न (FAQ)
क्या मैं ShareAI को एक सटीक मॉडल आईडी पर मजबूर कर सकता हूं?
हां—एक विशिष्ट प्रदाता+मॉडल आईडी पर लॉक करें। या जब सटीक जुड़वां उपलब्ध न हों तो निकटतम-समान फेलओवर की अनुमति दें।
अगर कोई सटीक जुड़वां मौजूद नहीं है तो क्या होगा?
उपयोग करें निकटतम-समान क्षमता, संदर्भ आकार, और लागत के आधार पर निकटतम मॉडल चुनने की नीति। आप यह नियंत्रित करते हैं कि धीरे-धीरे गिरावट हो या पूरी तरह से बंद हो जाए।
उत्पादन को बंद किए बिना मैं फेलओवर का परीक्षण कैसे करूं?
उपयोग करें प्लेग्राउंड या प्रदाता विफलता का अनुकरण करने के लिए एक स्टेजिंग कुंजी (जैसे, अस्थायी रूप से एक प्रदाता को ब्लॉकलिस्ट करें) और ट्रेस का निरीक्षण करें: प्लेग्राउंड
क्या BYOI को सार्वजनिक इनग्रेस की आवश्यकता है?
नहीं। आप चला सकते हैं निजी/VPC एंडपॉइंट्स और उन्हें केवल आपके संगठन के लिए दृश्यमान प्रदाताओं के रूप में पंजीकृत करें। शुरू करें प्रदाता गाइड: प्रदाता गाइड
निष्कर्ष
आउटेज अपरिहार्य हैं। ShareAI स्वचालित फेलओवर और बीवाईओआई, उन्हें विघटनकारी होने की आवश्यकता नहीं है। रूट करें एक ही मॉडल पर रूट करता है प्रदाताओं के बीच, SLA को बरकरार रखें, और लागत और अनुपालन को नियंत्रित करें—यह सब आपके ऐप कोड को बदले बिना। जब कोई प्रदाता विफल होता है, तो ShareAI आपको ऑनलाइन रखता है।