ShareAI خودکار فیل اوور: ایک ہی ماڈل کی روٹنگ + BYOI زیرو ڈاؤن ٹائم AI کے لیے

جب ایک AI فراہم کنندہ میں مسئلہ ہو، تو آپ کے صارفین کو نہیں ہونا چاہیے۔. ShareAI خودکار فیل اوور درخواستوں کو جاری رکھنے کے لیے راستہ فراہم کرتا ہے ایک ہی ماڈل متعدد فراہم کنندگان کے درمیان—تاکہ تجربہ مستقل رہے اور آپ کو ایمرجنسی پیچز جاری نہ کرنے پڑیں۔ آپ یہ بھی کر سکتے ہیں BYOI (اپنا انفراسٹرکچر لائیں) اپنے ڈیفالٹ کے طور پر یا پرائیویٹ فال بیک ٹائر کے طور پر پرائیویٹ اینڈپوائنٹس چلانے کے لیے۔.

کیوں بندش نقصان دہ ہوتی ہے (اور کیوں سنگل فراہم کنندہ = سنگل پوائنٹ آف فیلئر)

حقیقی واقعہ کے نمونے

بندش شاذ و نادر ہی سب کچھ بند کرتی ہے۔ زیادہ تر یہ ماڈل مخصوص مسائل، ریٹ-لمٹ کے دھماکے، علاقائی براؤن آؤٹس، یا مرمت کے وقت ہوتے ہیں۔ اگر آپ کا اسٹیک ایک ہی API سے جڑا ہوا ہے، تو یہ صارفین کے لیے نظر آنے والے مسائل بن جاتے ہیں۔.

“دوبارہ کوشش کریں اور دعا کریں” کی پوشیدہ قیمت”

بغیر راستہ فراہم کیے دوبارہ کوششیں صرف تاخیر کو بڑھاتی ہیں، کوٹاز کو ختم کرتی ہیں، اور ترک کرنے میں اضافہ کرتی ہیں۔ کاروباری قیمت SLA، چرن، اور سپورٹ لوڈ میں ظاہر ہوتی ہے۔.

ShareAI کے ساتھ “ایک ہی ماڈل فیل اوور” کا مطلب کیا ہے

ماڈل کے مساوی راستہ فراہم کرنا

اگر ماڈل-x پرووائیڈر A پر ناکام ہونا شروع ہو جائے، ShareAI اسی ماڈل (یا قریب ترین متبادل) پرووائیڈر B پر بھیجتا ہے—رویے کو مستقل رکھنے کے لیے گارڈ ریلز کے ساتھ۔ یہ ڈاؤن ٹائم کو ایک روٹنگ فیصلہ, میں بدل دیتا ہے، نہ کہ پروڈکٹ کی بندش میں۔.

اختتامی صارفین اور پروڈکٹ کوڈ کے لیے غیر مرئی

آپ کا انضمام ایک ہی اینڈ پوائنٹ کو کال کرتا ہے۔ فیل اوور کنٹرول پلین میں ہوتا ہے—نہ کوئی فیچر فلیگز، نہ کوئی ایمرجنسی ری ڈپلائیز آپ کی ایپ کے لیے۔.

پالیسی کے کنٹرول جو آپ کے مقاصد کے مطابق ہوں

فی اینڈ پوائنٹ پالیسیز سیٹ کریں جیسے ترجیح دیں تاخیر کو, ترجیح دیں لاگت کو, ، یا سخت فراہم کنندہ ترتیب. ۔ آپ فیصلہ کرتے ہیں کہ کتنی شدت سے ناکامی کو ختم کرنا ہے—اور کس کو۔.

پیداوار میں ShareAI استعمال کرنے کے دو طریقے

ڈیفالٹ آرکسٹریشن لیئر (ہمیشہ فعال ملٹی-پرووائیڈر)

ہر درخواست ShareAI کے ذریعے بھیجیں۔ آپ کو صحت کی جانچ، ایک ہی ماڈل کی روٹنگ، اور پرووائیڈر A/B ٹیسٹنگ باکس سے باہر ملتی ہے۔ دریافت کریں ماڈل مارکیٹ پلیس اپنے پرائمری اور بیک اپ منتخب کرنے کے لیے: ماڈلز براؤز کریں

ڈراپ ان سیفٹی نیٹ (صرف حادثہ)

اپنے موجودہ SDKs رکھیں، لیکن ShareAI کو بطور بیک اپ راستہ. ۔ جب آپ کا پرائمری ناکام ہو جائے، تو صارف کو نظر آنے والی رکاوٹ کے بغیر خودکار طور پر ShareAI پر ٹریفک منتقل کریں۔.

فی فیچر روٹنگ

مثال: چیٹ ڈیفالٹ کے طور پر پرووائیڈر X استعمال کرتا ہے؛ ایمبیڈنگز قیمت کے لیے پرووائیڈر Y استعمال کرتی ہیں؛ دونوں کے پاس بیک اپس کے لیے خودکار ناکامی موجود ہے۔.

ShareAI کے ساتھ BYOI (اپنا انفراسٹرکچر لائیں)

نجی انفرنس شامل کریں

خود میزبان اینڈپوائنٹس (VPC، آن-پریم، پارٹنر POPs) کو جوڑیں۔ BYOI کو بطور استعمال کریں بنیادی صلاحیت یا بطور نجی متبادل درجے جو صرف آپ کی تنظیم دیکھ سکتی ہے۔ شروع کریں فراہم کنندہ گائیڈ اور ڈیش بورڈ: فراہم کنندہ گائیڈ • فراہم کنندہ ڈیش بورڈ

چابیاں، کوٹاز، ٹریفک تقسیم

ہر ماڈل کے لیے متعدد API چابیاں (اور فراہم کنندگان) منسلک کریں؛ ماحول/ٹیم کے لحاظ سے کوٹاز اور ٹریفک شیئر کی وضاحت کریں۔.

علاقے اور ڈیٹا رہائش

ٹریفک کو اجازت یافتہ جغرافیوں پر مقرر کریں یا نئے جغرافیوں کی درخواست کریں جغرافیائی مقام کی ترتیبات تعمیل اور تاخیر کے اہداف کو پورا کرنے کے لیے: جغرافیائی مقام کی ترتیبات

خودکار فیل اوور کیسے کام کرتا ہے (اندرونی طور پر)

صحت اور تاخیر کی جانچ

ShareAI مسلسل فراہم کنندہ/ماڈل/علاقے کی صحت اور تاخیر کی جانچ کرتا ہے۔ حدیں ٹرپ کرتی ہیں سرکٹ بریکرز استعمال کریں۔ جو ٹریفک کو فوراً منتقل کرتا ہے۔.

ماڈل-مساوات نقشہ

ایک منتخب کردہ نقشہ ماڈل IDs کو فراہم کنندگان کے درمیان ہم آہنگ کرتا ہے (اور “قریبی مساوات” کو درجہ دیتا ہے) تاکہ فیل اوور ہدایات پر عمل کرنے کے رویے، ٹوکنائزیشن کی خصوصیات، اور سیاق و سباق کی حدود کو ممکنہ حد تک محفوظ رکھے۔.

محفوظ دوبارہ کوششیں ڈیزائن کے ذریعے

آئیڈیمپوٹینسی کیز اور ایکسپونینشل بیک آف ڈپلیکیٹ کام سے بچتے ہیں جبکہ ٹیل لیٹنسی کو کم کرتے ہیں۔.

مشاہدہ

آپ دیکھیں گے ٹریسز، فیل اوور کی وجوہات، اور لاگت/لیٹنسی کے فرق کنسول اور لاگز میں۔ پڑھیں ڈاکس جب آپ گہرے آلات کے لیے تیار ہوں: دستاویزات کا ہوم

فوری آغاز: اپنی پہلی مضبوط درخواست بنائیں

5-مرحلہ سیٹ اپ

1. سائن ان کریں اور ایک API کلید بنائیں۔. سائن ان کریں یا سائن اپ کریں • API کلید بنائیں
2. ایک منتخب کریں بنیادی کنسول میں ماڈل کے مطابق فراہم کنندہ۔.
3. شامل کریں بیک اپ فراہم کنندگان (اور اختیاری BYOI اینڈپوائنٹس)۔.
4. فعال کریں ایک ہی ماڈل کی روٹنگ اور فال بیک پالیسی کی وضاحت کریں (لیٹنسی/لاگت/ترتیب)۔.
5. اپنی پہلی درخواست بھیجیں (نیچے) اور خودکار فال اوور دیکھنے کے لیے ایک واقعہ کی نقل کریں۔.

کوڈ: ایک درخواست، خودکار فراہم کنندہ فال اوور

جاوا اسکرپٹ (fetch)

const res = await fetch("https://api.shareai.now/v1/chat/completions", {;

پائتھون (requests)

import os

کیا آپ مزید تفصیلی رہنمائی چاہتے ہیں؟ شروع کریں API حوالہ فوری آغاز سے: API حوالہ. ۔ یا اسے براہ راست آزمائیں پلے گراؤنڈ (کوڈ لکھے بغیر فال اوور پالیسیوں کی تصدیق کے لیے بہترین): پلے گراؤنڈ کھولیں

واقعات کے دوران تجربات کو ہموار رکھیں

سمارٹ ٹائم آؤٹس اور جزوی جوابات

ناکام فراہم کنندگان سے جلدی ناکام ہوں؛ اگر آپ کا UX اس کی حمایت کرتا ہے تو جزوی نتائج کو اسٹریم کریں، پھر فال بیک سے مکمل کریں۔.

عام پرامپٹس کو کیش کریں

جامد پرامپٹس (FAQ، بوائلر پلیٹ سسٹم پرامپٹس) کو کیش کریں تاکہ واقعات کے دوران فوری طور پر فراہم کیا جا سکے۔.

غیر ضروری کام کو قطار میں لگائیں اور بیچ کریں

بھاری کاموں (جیسے خلاصہ) کو بیچ کریں تاکہ صحت مند صلاحیت واپس آتے ہی دوبارہ شروع کیا جا سکے—بغیر کاموں کو چھوڑے۔.

شفاف مواصلات

ایپ میں ایک بینر شامل کریں جو فراہم کنندہ کی حیثیت اور آپ کی اپنی روٹنگ حالت سے منسلک ہو۔ قارئین کو آپ کے ریلیزز/چینج لاگ کی طرف اشارہ کریں جب رویہ تبدیل ہو: ریلیزز دیکھیں

آن لائن رہتے ہوئے خرچ کو کنٹرول کریں

لاگت کی حدیں اور فال بیک آرڈر

ایک زیادہ سے زیادہ ضرب مقرر کریں بیک اپ کے لیے (مثلاً، “≤1.2× پرائمری CPM”)۔ اگر بیک اپ اس سے تجاوز کرے، تو اگلے بہترین فٹ پر منتقل کریں۔.

فی ٹیم بجٹ اور الرٹس

ہر ورک اسپیس/پروجیکٹ پر بجٹ لگائیں؛ فیل اوور اسپائکس پر الرٹ کریں تاکہ فنانس حیران نہ ہو۔.

واقعہ کے بعد کی رپورٹس

جائزہ لیں کہ کتنی ٹریفک فیل اوور ہوئی، کیوں، اور پالیسی کو بہتر بنانے کے لیے لاگت/لیٹنسی کے فرق۔.

سیکیورٹی اور تعمیل، یہاں تک کہ فراہم کنندگان کے درمیان

علاقائی پننگ: جب ضرورت ہو تو ڈیٹا کو علاقے میں رکھیں۔. زیرو ریٹینشن موڈز: جہاں ضرورت ہو درخواست لاگنگ کو غیر فعال کریں۔. آڈٹ ایبلٹی: ریگولیٹڈ ماحول کے لیے لاگز اور ٹریسز کو ایکسپورٹ کریں۔ فراہم کنندہ جغرافیہ اور کنٹرولز کے لیے، دیکھیں جغرافیائی مقام کی ترتیبات کنسول میں: اجازت شدہ مقامات

عمومی سوالات

کیا میں ShareAI کو ایک مخصوص ماڈل ID پر قائم رہنے پر مجبور کر سکتا ہوں؟

جی ہاں—کسی مخصوص فراہم کنندہ+ماڈل آئی ڈی پر لاک کریں۔ یا جب عین جڑواں دستیاب نہ ہوں تو قریب ترین متبادل فیل اوور کی اجازت دیں۔.

اگر کوئی عین جڑواں موجود نہ ہوں تو کیا ہوگا؟

استعمال کریں قریب ترین متبادل پالیسی جو صلاحیت، سیاق و سباق کے سائز، اور لاگت کے لحاظ سے قریب ترین ماڈل کا انتخاب کرے۔ آپ کنٹرول کرتے ہیں کہ آیا آہستہ آہستہ کمزور ہونا ہے یا مکمل ناکامی۔.

پروڈکشن کو بند کیے بغیر فیل اوور کو کیسے ٹیسٹ کریں؟

استعمال کریں پلے گراؤنڈ یا ایک اسٹیجنگ کلید فراہم کنندہ کی ناکامی کو نقل کرنے کے لیے (مثلاً، ایک فراہم کنندہ کو عارضی طور پر بلاک لسٹ کریں) اور ٹریسز کا معائنہ کریں: پلے گراؤنڈ

کیا BYOI کو عوامی انگریس کی ضرورت ہے؟

نہیں۔ آپ چلا سکتے ہیں نجی/VPC اینڈ پوائنٹس اور انہیں صرف آپ کی تنظیم کے لیے مرئی فراہم کنندگان کے طور پر رجسٹر کریں۔ شروع کریں فراہم کنندہ گائیڈ: فراہم کنندہ گائیڈ

نتیجہ

بندشیں ناگزیر ہیں۔ ShareAI خودکار فیل اوور اور اپنا شناختی لائیں, کے ساتھ، انہیں خلل ڈالنے کی ضرورت نہیں ہے۔ راستہ فراہم کنندہ کے ایک ہی ماڈل درمیان، SLA کو برقرار رکھیں، اور لاگت اور تعمیل کو کنٹرول کریں—سب کچھ آپ کے ایپ کوڈ کو تبدیل کیے بغیر۔ جب ایک فراہم کنندہ ناکام ہوتا ہے، ShareAI آپ کو آن لائن رکھتا ہے۔.