ShareAI स्वयंचलित फेलओव्हर: समान-मॉडेल रूटिंग + शून्य-डाउनटाइम AI साठी BYOI

जेव्हा एआय प्रदाता अडचणीत येतो, तेव्हा तुमचे वापरकर्ते अडचणीत येऊ नयेत. ShareAI स्वयंचलित फेलओव्हर विनंत्या प्रवाहित ठेवते, मार्गक्रमण करून त्याच मॉडेलकडे अनेक प्रदात्यांमध्ये—म्हणून अनुभव सुसंगत राहतो आणि तुम्हाला आपत्कालीन पॅचेस पाठवावे लागत नाहीत. तुम्ही देखील BYOI (तुमची स्वतःची पायाभूत सुविधा आणा) तुमचे खाजगी एंडपॉइंट्स डिफॉल्ट म्हणून किंवा खाजगी फेलबॅक स्तर म्हणून चालवू शकता.

का आउटेजेस त्रास देतात (आणि का सिंगल-प्रोव्हायडर = सिंगल पॉइंट ऑफ फेल्युअर)

वास्तविक घटना नमुने

आउटेजेस क्वचितच सर्वकाही बंद करतात. अधिक वेळा हे मॉडेल-विशिष्ट अडचणी, दर-सीमित फुगवटा, प्रादेशिक ब्राउनआउट्स, किंवा देखभाल विंडोज असतात. जर तुमचा स्टॅक एका API शी जोडलेला असेल, तर हे वापरकर्त्यांना दिसणारे बग्स बनतात.

“पुन्हा प्रयत्न करा आणि प्रार्थना करा” याचा लपलेला खर्च”

मार्गक्रमणाशिवाय पुन्हा प्रयत्न केल्याने फक्त विलंब वाढतो, कोटा कमी होतो, आणि त्याग वाढतो. व्यवसायाचा खर्च SLA, चर्न, आणि समर्थन भारामध्ये दिसतो.

ShareAI सह “त्याच-मॉडेल फेलओव्हर” म्हणजे काय

मॉडेल-समान मार्गक्रमण

जर मॉडेल-एक्स प्रदाता A वर सुरू होतो अयशस्वी होणे, ShareAI समान मॉडेल (किंवा जवळचे समतुल्य) प्रदाता B वर मार्गक्रमण करते—वर्तन सुसंगत ठेवण्यासाठी संरक्षकांसह. हे डाउनटाइमला मार्गक्रमण निर्णयात, रूपांतरित करते, उत्पादन बंद नाही.

अंतिम वापरकर्त्यांसाठी आणि उत्पादन कोडसाठी अदृश्य

तुमचे एकत्रीकरण एका सिंगल एंडपॉईंटला कॉल करते. फेलओव्हर नियंत्रण विमानात होते—कोणतेही वैशिष्ट्य फ्लॅग्स नाहीत, कोणतेही आपत्कालीन पुनर्प्रतिनियोजन नाही तुमच्या अॅपसाठी.

तुमच्या उद्दिष्टांसाठी योग्य धोरण नियंत्रण

प्रति-एंडपॉईंट धोरणे सेट करा जसे की विलंबता प्राधान्य द्या, खर्च प्राधान्य द्या, किंवा कठोर प्रदाता क्रम. तुम्ही ठरवा की किती आक्रमकपणे फेलओव्हर करायचे—आणि कोणाकडे.

उत्पादनामध्ये ShareAI वापरण्याचे दोन मार्ग

डीफॉल्ट ऑर्केस्ट्रेशन लेयर (ऑलवेज-ऑन मल्टी-प्रोव्हायडर)

प्रत्येक विनंती ShareAI द्वारे पाठवा. तुम्हाला हेल्थ चेक्स, सेम-मॉडेल रूटिंग, आणि प्रोव्हायडर A/B टेस्टिंग बॉक्समधून मिळते. एक्सप्लोर करा मॉडेल मार्केटप्लेस तुमचे प्राथमिक आणि बॅकअप निवडण्यासाठी: मॉडेल्स ब्राउज करा

ड्रॉप-इन सेफ्टी नेट (फक्त घटना-आधारित)

तुमचे वर्तमान SDKs ठेवा, पण ShareAI ला वायर करा फॉलबॅक पथ. जेव्हा तुमचे प्राथमिक फेल होते, तेव्हा वापरकर्त्याला दिसणार नाही अशा व्यत्ययाशिवाय ShareAI कडे ट्रॅफिक आपोआप स्विच करा.

प्रति-फीचर रूटिंग

उदाहरण: चॅट डीफॉल्टनुसार प्रोव्हायडर X वापरते; एम्बेडिंग्ज किंमतीसाठी प्रोव्हायडर Y वापरते; दोघांकडे बॅकअपसाठी आपोआप फेलओव्हर आहे.

ShareAI सह BYOI (तुमची स्वतःची इन्फ्रास्ट्रक्चर आणा)

खाजगी इनफरन्स प्लग इन करा

सेल्फ-होस्टेड एंडपॉइंट्स (VPC, ऑन-प्रेम, पार्टनर POPs) कनेक्ट करा. BYOI वापरा प्राथमिक क्षमता किंवा म्हणून खाजगी फॉलबॅक स्तर जो फक्त तुमच्या संघटनेला दिसू शकतो. सुरुवात करा प्रदाता मार्गदर्शक आणि डॅशबोर्ड: प्रदाता मार्गदर्शक • प्रदाता डॅशबोर्ड

कीज, कोटा, ट्रॅफिक विभाजन

प्रति मॉडेल एकाधिक API कीज (आणि प्रदाते) जोडा; पर्यावरण/टीमद्वारे कोटा आणि ट्रॅफिक शेअर परिभाषित करा.

प्रदेश आणि डेटा निवासीता

परवानगी दिलेल्या भौगोलिक क्षेत्रांमध्ये ट्रॅफिक पिन करा किंवा नवीन क्षेत्रांसाठी विनंती करा भूस्थान सेटिंग्ज अनुपालन आणि विलंब उद्दिष्टे पूर्ण करण्यासाठी: भूस्थान सेटिंग्ज

स्वयंचलित फेलओव्हर कसे कार्य करते (आतील प्रक्रिया)

आरोग्य आणि विलंब तपासणी

ShareAI सतत प्रदाता/मॉडेल/प्रदेश आरोग्य आणि विलंब तपासतो. थ्रेशोल्ड्स ट्रिप सर्किट ब्रेकर्स वापरा जे ट्रॅफिक त्वरित बदलतात.

मॉडेल-समतुल्यता नकाशा

एक निवडक नकाशा प्रदात्यांमध्ये मॉडेल आयडी संरेखित करतो (आणि “सर्वात जवळचे समकक्ष” ग्रेड करतो) जेणेकरून फेलओव्हर सूचना-पालन वर्तन, टोकनायझेशन विचित्रता, आणि संदर्भ मर्यादा शक्य तितक्या घट्टपणे जतन करते.

डिझाइनद्वारे सुरक्षित पुनर्प्रयत्न

आयडेम्पोटेंसी कीज आणि घातांकीय बॅकऑफ डुप्लिकेट काम टाळतात आणि शेवटचा विलंब कमी करतात.

निरीक्षणक्षमता

तुम्हाला दिसेल ट्रेस, फेलओव्हर कारणे, आणि खर्च/विलंब डेल्टा कन्सोल आणि लॉगमध्ये. वाचा दस्तऐवज जेव्हा तुम्ही सखोल उपकरणांसाठी तयार असता: दस्तऐवज मुख्यपृष्ठ

जलद प्रारंभ: तुमचा पहिला लवचिक विनंती करा

5-स्टेप सेटअप

1. साइन इन करा आणि API की तयार करा. साइन इन करा किंवा साइन अप करा • API की तयार करा
2. एक निवडा प्राथमिक कन्सोलमध्ये प्रति मॉडेल प्रदाता.
3. जोडा बॅकअप प्रदाते (आणि पर्यायी BYOI एंडपॉइंट्स).
4. सक्षम करा समान-मॉडेल रूटिंग आणि फॉलबॅक धोरण परिभाषित करा (प्रतीक्षा वेळ/खर्च/क्रम).
5. तुमची पहिली विनंती पाठवा (खाली) आणि स्वयंचलित फेलओव्हर पाहण्यासाठी एक घटना अनुकरण करा.

कोड: एक विनंती, स्वयंचलित प्रदाता फेलओव्हर

जावास्क्रिप्ट (फेच)

const res = await fetch("https://api.shareai.now/v1/chat/completions", { method: "POST", headers: { Authorization: `Bearer ${process.env.SHAREAI_API_KEY}`, "Content-Type": "application/json", }, body: JSON.stringify({ // तुमचा कॅनॉनिकल मॉडेल निवडा; ShareAI प्रदात्यांमध्ये समान/सर्वात जवळचे मार्ग निवडतो model: "gpt-4.1-mini", messages: [ { role: "user", content: "सिंगल-प्रोव्हायडर AI च्या मुख्य जोखमींचा सारांश द्या.", }, ], // प्रत्येक विनंतीसाठी पर्यायी रूटिंग प्राधान्ये: // routing: { policy: "prefer_latency" } // किंवा prefer_cost, provider_order }), }); const data = await res.json(); console.log(data);

पायथन (रिक्वेस्ट्स)

import os import json import requests api_key = os.getenv("SHAREAI_API_KEY") url = "https://api.shareai.now/v1/chat/completions" payload = { "model": "gpt-4.1-mini", "messages": [ {"role": "user", "content": "AI प्रोव्हायडर घटनेसाठी स्थिती नोट तयार करा."} ], } headers = { "Authorization": f"Bearer {api_key}", "Content-Type": "application/json", } resp = requests.post(url, headers=headers, json=payload) print(resp.status_code) print(resp.json())

अधिक सखोल मार्गदर्शन हवे आहे? सुरुवात करा API संदर्भ क्विकस्टार्ट: API संदर्भ. किंवा ते थेट वापरून पहा प्लेग्राउंड (फेलओव्हर धोरणे सत्यापित करण्यासाठी उत्कृष्ट, कोड न लिहिता): ओपन प्लेग्राउंड

घटनांदरम्यान अनुभव गुळगुळीत ठेवा

स्मार्ट टाइमआउट्स आणि अंशतः प्रतिसाद

अयशस्वी प्रदात्यांकडून जलद फेल व्हा; तुमचा UX समर्थन करत असल्यास अंशतः परिणाम प्रवाहित करा, नंतर फॉलबॅकमधून पूर्ण करा.

सामान्य प्रॉम्प्ट्स कॅश करा

स्थिर प्रॉम्प्ट्स (FAQ, बॉयलरप्लेट सिस्टम प्रॉम्प्ट्स) कॅश करा जेणेकरून घटना दरम्यान त्वरित सेवा दिली जाऊ शकते.

गैर-तत्कालीन कामासाठी रांग आणि बॅच तयार करा

जड कामे (उदा., सारांश) बॅच करा जेणेकरून आरोग्यदायी क्षमता परत आल्यावर लगेच पुन्हा सुरू करता येईल—कार्ये न गमावता.

पारदर्शक संवाद

प्रदाता स्थिती आणि तुमच्या स्वतःच्या रूटिंग स्थितीशी संबंधित अॅपमधील बॅनर जोडा. वाचकांना तुमच्या प्रकाशने/बदल सूची वर्तन बदलल्यावर: प्रकाशने पहा

ऑनलाइन राहून खर्च नियंत्रित करा

खर्च मर्यादा आणि फॉलबॅक क्रम

एक सेट करा जास्तीत जास्त गुणक बॅकअपसाठी (उदा., “≤1.2× प्राथमिक CPM”). जर बॅकअपने ते ओलांडले, तर पुढील सर्वोत्तम पर्यायाकडे रूट करा.

प्रति-टीम बजेट्स आणि अलर्ट्स

प्रत्येक कार्यक्षेत्र/प्रकल्पासाठी बजेट लागू करा; फेलओव्हर स्पाइक्सवर अलर्ट करा जेणेकरून वित्त विभागाला आश्चर्य वाटणार नाही.

घटना-नंतर अहवाल

किती वाहतूक अयशस्वी झाली, का, आणि धोरण सुधारण्यासाठी खर्च/प्रतीक्षा वेळेतील फरक याचे पुनरावलोकन करा.

सुरक्षा आणि अनुपालन, प्रदात्यांमध्ये देखील

प्रादेशिक पिनिंग: आवश्यक असल्यास डेटा प्रदेशात ठेवा. शून्य-संवर्धन मोड्स: आवश्यकतेनुसार विनंती लॉगिंग अक्षम करा. लेखापरीक्षणक्षमता: नियमन केलेल्या वातावरणासाठी लॉग्स आणि ट्रेस निर्यात करा. प्रदाता भौगोलिक क्षेत्रे आणि नियंत्रणांसाठी, पहा भूस्थान सेटिंग्ज कन्सोलमध्ये: अनुमत स्थान

वारंवार विचारले जाणारे प्रश्न

मी ShareAI ला अचूक मॉडेल आयडीसाठी चिकटून राहण्यास भाग पाडू शकतो का?

हो—विशिष्ट प्रदाता+मॉडेल आयडीसाठी लॉक करा. किंवा अचूक जुळी मुले उपलब्ध नसल्यास जवळच्या समतुल्य फेलओव्हरला परवानगी द्या.

जर अचूक जुळी मुले अस्तित्वात नसतील तर काय?

वापरा सर्वात-जवळचा-समान क्षमता, संदर्भ आकार, आणि खर्चानुसार जवळचा मॉडेल निवडण्याची धोरण. तुम्ही सौम्यपणे कमी होण्याचा किंवा पूर्णपणे बंद होण्याचा निर्णय घेऊ शकता.

उत्पादन बंद न करता मी फेलओव्हर कसे तपासू?

वापरा प्लेग्राउंड किंवा प्रदाता अपयशाचे अनुकरण करण्यासाठी स्टेजिंग की (उदा., एका प्रदात्याला तात्पुरते ब्लॉकलिस्ट करा) आणि ट्रेस तपासा: प्लेग्राउंड

BYOI साठी सार्वजनिक इनग्रेस आवश्यक आहे का?

नाही. तुम्ही चालवू शकता खाजगी/VPC एंडपॉइंट्स आणि त्यांना फक्त तुमच्या संघटनेला दिसणारे प्रदाता म्हणून नोंदवा. सुरुवात करा प्रदाता मार्गदर्शक: प्रदाता मार्गदर्शक

निष्कर्ष

आउटेज अपरिहार्य आहेत. ShareAI स्वयंचलित फेलओव्हर आणि बीवायओआय, ते विघटनकारी असण्याची गरज नाही. मार्गक्रमण करा त्याच मॉडेलकडे प्रदात्यांमध्ये, SLA कायम ठेवा, खर्च आणि अनुपालन नियंत्रित करा—तुमच्या अॅप कोडमध्ये बदल न करता. जेव्हा प्रदाता अपयशी ठरतो, तेव्हा ShareAI तुम्हाला ऑनलाइन ठेवते.