ShareAI ఆటోమేటిక్ ఫెయిలోవర్: అదే-మోడల్ రూటింగ్ + BYOI కోసం జీరో-డౌన్‌టైమ్ AI

AI ప్రొవైడర్ సమస్యలు ఎదుర్కొన్నప్పుడు, మీ వినియోగదారులు సమస్యలు ఎదుర్కొనకూడదు. ShareAI ఆటోమేటిక్ ఫెయిలోవర్ అభ్యర్థనలను కొనసాగిస్తూ, అదే మోడల్‌కు బహుళ ప్రొవైడర్లలో మార్గదర్శనం చేస్తుంది—అనుభవం స్థిరంగా ఉంటుంది మరియు మీరు అత్యవసర ప్యాచ్‌లను పంపించవలసిన అవసరం ఉండదు. మీరు కూడా BYOI (మీ స్వంత మౌలిక సదుపాయాన్ని తీసుకురండి) మీ డిఫాల్ట్ లేదా ప్రైవేట్ ఫాల్బ్యాక్ టియర్‌గా ప్రైవేట్ ఎండ్‌పాయింట్లను నిర్వహించవచ్చు.

ఎందుకు అవుటేజీలు నష్టాన్ని కలిగిస్తాయి (మరియు ఎందుకు సింగిల్-ప్రొవైడర్ = సింగిల్ పాయింట్ ఆఫ్ ఫెయిల్యూర్)

నిజమైన ఘటన నమూనాలు

అవుటేజీలు అరుదుగా అన్ని పూర్తిగా డౌన్ చేస్తాయి. ఎక్కువగా ఇది మోడల్-స్పెసిఫిక్ సమస్యలు, రేట్-లిమిట్ బర్స్ట్‌లు, ప్రాంతీయ బ్రౌనౌట్‌లు లేదా నిర్వహణ విండోస్. మీ స్టాక్ ఒకే APIకి బలంగా అనుసంధానించబడితే, ఇవి వినియోగదారులకు కనిపించే బగ్‌లుగా మారతాయి.

“రిట్రై మరియు ప్రార్థన” యొక్క దాగిన ఖర్చు”

మార్గదర్శనం లేకుండా రిట్రైలు లేటెన్సీని పెంచుతాయి, కోటాలను ఖాళీ చేస్తాయి, మరియు విడిచిపెట్టడాన్ని పెంచుతాయి. వ్యాపార ఖర్చు SLAలు, చర్న్, మరియు మద్దతు లోడ్‌లో కనిపిస్తుంది.

ShareAIతో “అదే-మోడల్ ఫెయిలోవర్” అంటే ఏమిటి

మోడల్-సమాన మార్గదర్శనం

అయితే మోడల్-x ప్రొవైడర్ A వద్ద ప్రారంభమై విఫలమైతే, ShareAI అదే మోడల్ (లేదా దగ్గరలో సమానమైనది) ప్రొవైడర్ B వద్దకు మారుస్తుంది—ప్రవర్తనను స్థిరంగా ఉంచడానికి గార్డ్రైల్స్‌తో. ఇది డౌన్‌టైమ్‌ను రూటింగ్ నిర్ణయంగా, మారుస్తుంది, ఉత్పత్తి అవుటేజ్ కాదు.

చివరి వినియోగదారులకు మరియు ఉత్పత్తి కోడ్‌కు కనిపించదు

మీ ఇంటిగ్రేషన్ ఒకే ఎండ్‌పాయింట్‌ను కాల్ చేస్తుంది. ఫెయిలోవర్ కంట్రోల్ ప్లేన్‌లో జరుగుతుంది—మీ యాప్ కోసం ఫీచర్ ఫ్లాగ్స్ అవసరం లేదు, ఎమర్జెన్సీ రీడిప్లాయ్‌లు అవసరం లేదు మీ యాప్ కోసం.

మీ లక్ష్యాలకు సరిపోయే పాలసీ నాబ్స్

ప్రతి ఎండ్‌పాయింట్ పాలసీలను సెట్ చేయండి, ఉదాహరణకు లేటెన్సీని ప్రిఫర్ చేయండి, ఖర్చును ప్రిఫర్ చేయండి, లేదా కఠినమైన ప్రొవైడర్ ఆర్డర్. మీరు ఎంత ఆగ్రహంగా ఫెయిల్ ఓవర్ చేయాలో—మరియు ఎవరికి చేయాలో నిర్ణయించండి.

ప్రొడక్షన్‌లో ShareAI ఉపయోగించడానికి రెండు మార్గాలు

డిఫాల్ట్ ఆర్కెస్ట్రేషన్ లేయర్ (ఎల్లప్పుడూ-ఆన్ మల్టీ-ప్రొవైడర్)

ప్రతి అభ్యర్థనను ShareAI ద్వారా పంపండి. మీరు హెల్త్ చెక్స్, అదే-మోడల్ రౌటింగ్, మరియు ప్రొవైడర్ A/B టెస్టింగ్ బాక్స్ నుండి పొందుతారు. అన్వేషించండి మోడల్ మార్కెట్‌ప్లేస్ మీ ప్రైమరీలు మరియు బ్యాకప్‌లను ఎంచుకోవడానికి: మోడల్స్ బ్రౌజ్ చేయండి

డ్రాప్-ఇన్ సేఫ్టీ నెట్ (ఇన్సిడెంట్-మాత్రమే)

మీ ప్రస్తుత SDKలను ఉంచండి, కానీ ShareAIని ఫాల్‌బ్యాక్ పాత్‌గా వైర్ చేయండి. మీ ప్రైమరీ విఫలమైతే, యూజర్-విజిబుల్ అంతరాయం లేకుండా ట్రాఫిక్‌ను ఆటోమేటిక్‌గా ShareAIకి మార్చండి.

ఫీచర్-ప్రతి రౌటింగ్

ఉదాహరణ: చాట్ డిఫాల్ట్‌గా ప్రొవైడర్ Xని ఉపయోగిస్తుంది; ఎంబెడింగ్స్ ధర కోసం ప్రొవైడర్ Yని ఉపయోగిస్తాయి; రెండింటికి బ్యాకప్‌లకు ఆటోమేటిక్ ఫెయిల్ ఓవర్ ఉంటుంది.

ShareAIతో BYOI (మీ స్వంత ఇన్‌ఫ్రాస్ట్రక్చర్ తీసుకురండి)

ప్రైవేట్ ఇన్‌ఫరెన్స్ ప్లగ్ ఇన్

స్వీయ-హోస్ట్ చేసిన ఎండ్‌పాయింట్‌లను (VPC, ఆన్-ప్రెమ్, భాగస్వామి POPs) కనెక్ట్ చేయండి. BYOIని ఉపయోగించండి ప్రాథమిక సామర్థ్యంగా లేదా ప్రైవేట్ ఫాల్‌బ్యాక్ స్థాయి, ఇది మీ సంస్థ మాత్రమే చూడగలదు. నుండి ప్రారంభించండి ప్రొవైడర్ గైడ్ మరియు డాష్‌బోర్డ్: ప్రొవైడర్ గైడ్ • ప్రొవైడర్ డాష్‌బోర్డ్

కీలు, కోటాలు, ట్రాఫిక్ స్ప్లిట్

ప్రతి మోడల్‌కు బహుళ API కీలు (మరియు ప్రొవైడర్‌లు)ను జోడించండి; వాతావరణం/జట్టు ద్వారా కోటాలు మరియు ట్రాఫిక్ షేర్‌ను నిర్వచించండి.

ప్రాంతాలు & డేటా నివాసం

అనుమతించిన భౌగోళిక ప్రాంతాలకు ట్రాఫిక్‌ను పిన్ చేయండి లేదా కొత్త వాటిని జియోలొకేషన్ సెట్టింగ్‌ల ద్వారా అభ్యర్థించండి అనుగుణత మరియు లేటెన్సీ లక్ష్యాలను చేరుకోవడానికి: జియోలొకేషన్ సెట్టింగ్‌ల ద్వారా అభ్యర్థించండి

ఆటోమేటిక్ ఫెయిలోవర్ ఎలా పనిచేస్తుంది (అండర్ ది హుడ్)

ఆరోగ్య & లేటెన్సీ ప్రోబ్స్

ShareAI నిరంతరం ప్రొవైడర్/మోడల్/ప్రాంతం ఆరోగ్యాన్ని మరియు లేటెన్సీని తనిఖీ చేస్తుంది. థ్రెషోల్డ్స్ ట్రిప్ సర్క్యూట్ బ్రేకర్స్ ట్రాఫిక్‌ను తక్షణమే మార్చేలా చేస్తాయి.

మోడల్-సమానత్వం మ్యాప్

ఒక క్యూరేటెడ్ మ్యాప్ ప్రొవైడర్ల మధ్య మోడల్ IDలను సరిపోలుస్తుంది (మరియు “సమీప సమానాలను” గ్రేడ్ చేస్తుంది) కాబట్టి ఫెయిలోవర్ సూచన-అనుసరణ ప్రవర్తన, టోకనైజేషన్ క్విర్క్స్, మరియు కాంటెక్స్ట్ పరిమితులను వీలైనంత దగ్గరగా కాపాడుతుంది.

డిజైన్ ద్వారా సురక్షితమైన రీట్రైలు

ఐడెంపోటెన్సీ కీలు మరియు ఎక్స్‌పోనెన్షియల్ బ్యాకాఫ్ డూప్లికేట్ పనిని నివారించడంతో పాటు టెయిల్ లేటెన్సీని తగ్గిస్తాయి.

పరిశీలన

మీరు చూస్తారు ట్రేసులు, ఫెయిలోవర్ కారణాలు, మరియు ఖర్చు/లేటెన్సీ డెల్టాలు కన్సోల్ మరియు లాగ్స్‌లో. చదవండి డాక్స్ మీరు లోతైన ఇన్‌స్ట్రుమెంటేషన్‌కు సిద్ధంగా ఉన్నప్పుడు: డాక్యుమెంటేషన్ హోమ్

క్విక్ స్టార్ట్: మీ మొదటి రెసిలియంట్ రిక్వెస్ట్ చేయండి

5-స్టెప్ సెటప్

1. సైన్ ఇన్ మరియు API కీని సృష్టించండి. సైన్ ఇన్ లేదా సైన్ అప్ • API కీ సృష్టించండి
2. ఎంచుకోండి ప్రాథమిక Console లో ప్రతి మోడల్‌కు ప్రొవైడర్.
3. జోడించండి బ్యాకప్ ప్రొవైడర్లు (మరియు ఐచ్ఛిక BYOI ఎండ్‌పాయింట్లు).
4. ప్రారంభించండి అదే-మోడల్ రూటింగ్ మరియు ఫాల్బ్యాక్ విధానాన్ని నిర్వచించండి (లేటెన్సీ/ఖర్చు/క్రమం).
5. మీ మొదటి అభ్యర్థనను పంపండి (క్రింద) మరియు ఆటోమేటిక్ ఫెయిల్‌ఓవర్‌ను చూడటానికి ఒక సంఘటనను అనుకరించండి.

కోడ్: ఒక అభ్యర్థన, ఆటోమేటిక్ ప్రొవైడర్ ఫెయిల్‌ఓవర్

జావాస్క్రిప్ట్ (ఫెచ్)

const res = await fetch("https://api.shareai.now/v1/chat/completions", {;

పైథాన్ (రిక్వెస్ట్స్)

os ను దిగుమతి చేసుకోండి

లోతైన వివరణ కావాలా? ప్రారంభించండి API రిఫరెన్స్ త్వరిత ప్రారంభం: API రిఫరెన్స్. లేదా దాన్ని ప్రత్యక్షంగా ప్రయత్నించండి ప్లేగ్రౌండ్ (కోడ్ రాయకుండా ఫెయిలోవర్ విధానాలను ధృవీకరించడానికి గొప్పది): ప్లేగ్రౌండ్ తెరవండి

ఘటనల సమయంలో అనుభవాలను సజావుగా ఉంచండి

స్మార్ట్ టైమౌట్లు & భాగస్వామ్య ప్రతిస్పందనలు

విఫలమవుతున్న ప్రొవైడర్ల నుండి త్వరగా విఫలమవ్వండి; మీ UX మద్దతు ఇస్తే భాగస్వామ్య ఫలితాలను ప్రసారం చేయండి, ఆపై ఫాల్బ్యాక్ నుండి పూర్తి చేయండి.

సాధారణ ప్రాంప్ట్‌లను క్యాష్ చేయండి

స్థిరమైన ప్రాంప్ట్‌లను క్యాష్ చేయండి (FAQ, బాయిలర్‌ప్లేట్ సిస్టమ్ ప్రాంప్ట్‌లు) ఘటనల సమయంలో వెంటనే అందించడానికి.

అత్యవసరేతర పనిని క్యూలో ఉంచి బ్యాచ్ చేయండి

భారీ పనులను బ్యాచ్ చేయండి (ఉదా., సారాంశం) ఆరోగ్యకరమైన సామర్థ్యం తిరిగి వచ్చిన వెంటనే పునఃప్రారంభించడానికి—పనులను వదలకుండా.

పారదర్శక కమ్యూనికేషన్

ప్రొవైడర్ స్థితి మరియు మీ స్వంత రూటింగ్ స్థితికి అనుసంధానమైన ఇన్-యాప్ బ్యానర్‌ను జోడించండి. పాఠకులను మీకు సూచించండి విడుదలలు/మార్పుల చిట్టా ప్రవర్తన మార్పులు జరిగినప్పుడు: విడుదలలను చూడండి

ఆన్‌లైన్‌లో ఉండేటప్పుడు ఖర్చును నియంత్రించండి

ఖర్చు పరిమితులు & బ్యాకప్ ఆర్డర్

ఒకటి సెట్ చేయండి గరిష్ట గుణకం బ్యాకప్‌ల కోసం (ఉదా., “≤1.2× ప్రాథమిక CPM”). ఒక బ్యాకప్ దానిని మించితే, తదుపరి ఉత్తమమైనది వైపు మార్గం చూపండి.

ప్రతి-జట్టు బడ్జెట్‌లు & అలర్ట్‌లు

ప్రతి వర్క్‌స్పేస్/ప్రాజెక్ట్‌కు బడ్జెట్‌లను వర్తింపజేయండి; ఫెయిల్ఓవర్ స్పైక్స్‌పై అలర్ట్ చేయండి, తద్వారా ఆర్థిక విభాగం ఆశ్చర్యపోకుండా ఉంటుంది.

సంఘటన తర్వాత నివేదికలు

ఎంత ట్రాఫిక్ ఫెయిల్ఓవర్ అయ్యిందో, ఎందుకు, మరియు ఖర్చు/లేటెన్సీ తేడాలను సమీక్షించి విధానాన్ని మెరుగుపరచండి.

భద్రత & అనుగుణత, ప్రొవైడర్‌ల మధ్య కూడా

ప్రాంతీయ పినింగ్: అవసరమైనప్పుడు డేటాను ప్రాంతంలో ఉంచండి. జీరో-రిటెన్షన్ మోడ్‌లు: అవసరమైన చోట అభ్యర్థన లాగింగ్‌ను నిలిపివేయండి. ఆడిటబిలిటీ: నియంత్రిత వాతావరణాల కోసం లాగ్‌లు మరియు ట్రేస్‌లను ఎగుమతి చేయండి. ప్రొవైడర్ భౌగోళిక ప్రాంతాలు మరియు నియంత్రణల కోసం, చూడండి జియోలొకేషన్ సెట్టింగ్‌ల ద్వారా అభ్యర్థించండి కన్సోల్‌లో: అనుమతించిన ప్రదేశాలు

తరచుగా అడిగే ప్రశ్నలు

నేను ShareAIని ఖచ్చితమైన మోడల్ IDకి కట్టిపెట్టగలనా?

అవును—ఒక నిర్దిష్ట ప్రొవైడర్+మోడల్ IDకి లాక్ చేయండి. లేదా ఖచ్చితమైన జంటలు అందుబాటులో లేనప్పుడు సమీప సమానమైన ఫెయిలోవర్‌ను అనుమతించండి.

ఖచ్చితమైన జంటలు లేకపోతే ఏమి చేయాలి?

ఉపయోగించండి సమీప సమానమైన విధానాన్ని సామర్థ్యం, సందర్భ పరిమాణం, మరియు ఖర్చు ఆధారంగా సమీప మోడల్‌ను ఎంచుకోవడానికి. మీరు సౌకర్యవంతంగా తగ్గించాలా లేదా పూర్తిగా విఫలమవ్వాలా అనే విషయాన్ని నియంత్రిస్తారు.

ఉత్పత్తిని తగ్గించకుండా ఫెయిలోవర్‌ను ఎలా పరీక్షించాలి?

ఉపయోగించండి ప్లేగ్రౌండ్ లేదా ప్రొవైడర్ వైఫల్యాన్ని అనుకరించడానికి ఒక స్టేజింగ్ కీ (ఉదా., ఒక ప్రొవైడర్‌ను తాత్కాలికంగా బ్లాక్‌లిస్ట్ చేయండి) మరియు ట్రేస్‌లను తనిఖీ చేయండి: ప్లేగ్రౌండ్

BYOI ప్రజా ఇన్‌గ్రెస్ అవసరమా?

లేదు. మీరు నడపవచ్చు ప్రైవేట్/VPC ఎండ్‌పాయింట్లను మరియు వాటిని మీ సంస్థకు మాత్రమే కనిపించే ప్రొవైడర్లుగా నమోదు చేయండి. ప్రారంభించండి ప్రొవైడర్ గైడ్: ప్రొవైడర్ గైడ్

ముగింపు

అవుటేజీలు అనివార్యమైనవి. ShareAI ఆటోమేటిక్ ఫెయిలోవర్ మరియు బీవైఓఐ, అవి అంతరాయం కలిగించవలసిన అవసరం లేదు. రూట్‌ను అదే మోడల్‌కు ప్రొవైడర్లలో, SLAలను సమగ్రంగా ఉంచండి, ఖర్చు మరియు అనుగుణతను నియంత్రించండి—మీ యాప్ కోడ్‌ను మార్చకుండా. ఒక ప్రొవైడర్ విఫలమైతే, ShareAI మిమ్మల్ని ఆన్‌లైన్‌లో ఉంచుతుంది.