ShareAI انتقال خودکار: مسیریابی مدل مشابه + BYOI برای هوش مصنوعی بدون توقف

وقتی یک ارائه‌دهنده هوش مصنوعی دچار مشکل می‌شود، کاربران شما نباید دچار مشکل شوند. انتقال خودکار ShareAI درخواست‌ها را با مسیریابی به همان مدل در میان چندین ارائه‌دهنده ادامه می‌دهد—بنابراین تجربه ثابت می‌ماند و شما نیازی به ارائه وصله‌های اضطراری ندارید. همچنین می‌توانید BYOI (زیرساخت خود را بیاورید) نقاط پایانی خصوصی را به عنوان پیش‌فرض یا به عنوان یک لایه پشتیبان خصوصی اجرا کنید.

چرا قطعی‌ها آسیب می‌زنند (و چرا ارائه‌دهنده واحد = نقطه شکست واحد)

الگوهای واقعی حادثه

قطعی‌ها به ندرت همه چیز را از کار می‌اندازند. بیشتر اوقات این مشکلات خاص مدل، انفجارهای محدودیت نرخ، کاهش‌های منطقه‌ای یا پنجره‌های نگهداری هستند. اگر پشته شما به یک API واحد متصل باشد، این‌ها به مشکلات قابل مشاهده برای کاربران تبدیل می‌شوند.

هزینه پنهان “تلاش مجدد و دعا کردن”

تلاش‌های مجدد بدون مسیریابی فقط تأخیر را افزایش می‌دهند، سهمیه‌ها را تخلیه می‌کنند و ترک کردن را افزایش می‌دهند. هزینه کسب‌وکار در SLAها، ترک کاربران و بار پشتیبانی نمایان می‌شود.

“انتقال به همان مدل” با ShareAI به چه معناست

مسیریابی معادل مدل

اگر مدل-x در ارائه‌دهنده A شروع به شکست می‌کند، ShareAI به همان مدل (یا نزدیک‌ترین معادل) در ارائه‌دهنده B هدایت می‌شود—با محافظ‌هایی برای حفظ رفتار سازگار. این خرابی را به یک تصمیم مسیریابی, تبدیل می‌کند، نه یک قطعی محصول.

نامرئی برای کاربران نهایی و کد محصول

یکپارچه‌سازی شما یک نقطه پایانی واحد را فراخوانی می‌کند. انتقال به حالت پشتیبان در صفحه کنترل اتفاق می‌افتد—بدون پرچم‌های ویژگی، بدون استقرار اضطراری برای برنامه شما.

تنظیمات سیاستی که با اهداف شما هماهنگ است

تنظیم سیاست‌های هر نقطه پایانی مانند ترجیح تأخیر کم, ترجیح هزینه کم, ، یا ترتیب سخت‌گیرانه ارائه‌دهنده. شما تصمیم می‌گیرید که چقدر تهاجمی به حالت پشتیبان بروید—و به چه کسی.

دو روش برای استفاده از ShareAI در تولید

لایه ارکستراسیون پیش‌فرض (چند ارائه‌دهنده همیشه فعال)

هر درخواست را از طریق ShareAI ارسال کنید. شما بررسی‌های سلامت، مسیریابی مدل مشابه و تست A/B ارائه‌دهنده را به صورت پیش‌فرض دریافت می‌کنید. کاوش کنید بازار مدل برای انتخاب اولیه‌ها و پشتیبان‌های خود: مرور مدل‌ها

شبکه ایمنی آماده (فقط در مواقع حادثه)

SDKهای فعلی خود را نگه دارید، اما ShareAI را به عنوان مسیر پشتیبان متصل کنید. وقتی اولیه شما شکست می‌خورد، ترافیک را به طور خودکار به ShareAI بدون اختلال قابل مشاهده برای کاربر تغییر دهید.

مسیریابی بر اساس ویژگی

مثال: چت به طور پیش‌فرض از ارائه‌دهنده X استفاده می‌کند؛ جاسازی‌ها برای قیمت از ارائه‌دهنده Y استفاده می‌کنند؛ هر دو به طور خودکار به پشتیبان‌ها منتقل می‌شوند.

BYOI (زیرساخت خود را بیاورید) با ShareAI

اتصال استنتاج خصوصی

اتصال به نقاط پایانی خودمیزبان (VPC، در محل، POPهای شریک). از BYOI به عنوان ظرفیت اولیه استفاده کنید یا به عنوان یک بازگشت خصوصی لایه‌ای که فقط سازمان شما می‌تواند ببیند. شروع کنید از راهنمای ارائه‌دهنده و داشبورد: راهنمای ارائه‌دهنده • داشبورد ارائه‌دهنده

کلیدها، سهمیه‌ها، تقسیم ترافیک

چندین کلید API (و ارائه‌دهندگان) را به ازای هر مدل پیوست کنید؛ سهمیه‌ها و سهم ترافیک را بر اساس محیط/تیم تعریف کنید.

مناطق و اقامت داده

ترافیک را به جغرافیاهای مجاز محدود کنید یا از طریق تنظیمات جغرافیایی برای دستیابی به اهداف تطابق و تأخیر: تنظیمات جغرافیایی

نحوه کارکرد خودکار انتقال (در پشت صحنه)

پروب‌های سلامت و تأخیر

ShareAI به طور مداوم سلامت و تأخیر ارائه‌دهنده/مدل/منطقه را بررسی می‌کند. آستانه‌ها فعال می‌شوند قطع‌کننده‌های مدار که ترافیک را فوراً تغییر می‌دهند.

نقشه معادل مدل

یک نقشه انتخاب‌شده شناسه‌های مدل را در میان ارائه‌دهندگان هماهنگ می‌کند (و “معادل‌های نزدیک‌ترین” را درجه‌بندی می‌کند) تا رفتار پیروی از دستورالعمل، ویژگی‌های توکن‌سازی، و محدودیت‌های زمینه تا حد ممکن حفظ شود.

تلاش‌های ایمن به‌صورت طراحی‌شده

کلیدهای ایدموتنسی و بازگشت نمایی از کارهای تکراری جلوگیری می‌کنند و در عین حال تأخیر انتهایی را به حداقل می‌رسانند.

مشاهده‌پذیری

شما خواهید دید ردیابی‌ها، دلایل خرابی، و تغییرات هزینه/تأخیر در کنسول و گزارش‌ها. بخوانید مستندات زمانی که آماده ابزارهای عمیق‌تر هستید: مستندات خانه

شروع سریع: اولین درخواست مقاوم خود را انجام دهید

تنظیم ۵ مرحله‌ای

1. وارد شوید و یک کلید API ایجاد کنید. وارد شوید یا ثبت‌نام کنید • ایجاد کلید API
۲. انتخاب کنید یک ارائه‌دهنده اصلی برای هر مدل در کنسول.
۳. اضافه کنید پشتیبان ارائه‌دهندگان (و نقاط پایانی اختیاری BYOI).
4. فعال کردن مسیریابی مدل مشابه و تعریف سیاست جایگزین (زمان تأخیر/هزینه/ترتیب).
5. اولین درخواست خود را ارسال کنید (در زیر) و یک حادثه را شبیه‌سازی کنید تا انتقال خودکار را مشاهده کنید.

کد: یک درخواست، انتقال خودکار ارائه‌دهنده

جاوااسکریپت (fetch)

const res = await fetch("https://api.shareai.now/v1/chat/completions", {;

پایتون (requests)

import os

آیا توضیحات بیشتری می‌خواهید؟ با مرجع API شروع سریع: مرجع API. یا آن را به صورت زنده امتحان کنید در زمین بازی (عالی برای تأیید سیاست‌های جایگزین بدون نیاز به نوشتن کد): زمین بازی باز

تجربه‌ها را در طول حوادث روان نگه دارید

زمان‌بندی‌های هوشمند و پاسخ‌های جزئی

از ارائه‌دهندگان ناموفق سریع خارج شوید؛ نتایج جزئی را اگر رابط کاربری شما از آن پشتیبانی می‌کند، پخش کنید و سپس از یک جایگزین کامل کنید.

ذخیره‌سازی درخواست‌های رایج

ذخیره‌سازی درخواست‌های ثابت (پرسش‌های متداول، درخواست‌های سیستم استاندارد) برای ارائه فوری در زمان وقوع مشکلات.

صف‌بندی و دسته‌بندی کارهای غیرضروری

دسته‌بندی کارهای سنگین (مانند خلاصه‌سازی) برای ادامه دادن به محض بازگشت ظرفیت سالم—بدون حذف وظایف.

ارتباطات شفاف

افزودن یک بنر درون‌برنامه‌ای مرتبط با وضعیت ارائه‌دهنده و حالت مسیریابی خودتان. خوانندگان را به انتشارها/تغییرات هدایت کنید وقتی رفتار تغییر می‌کند: مشاهده نسخه‌ها

کنترل هزینه در حالی که آنلاین باقی می‌مانید

سقف هزینه‌ها و ترتیب جایگزینی

تنظیم یک ضریب حداکثر برای پشتیبان‌ها (مثلاً “≤1.2× CPM اصلی”). اگر یک پشتیبان از این مقدار تجاوز کند، به بهترین گزینه بعدی مسیریابی کنید.

بودجه‌ها و هشدارهای تیمی

اعمال بودجه‌ها برای هر فضای کاری/پروژه؛ هشدار در مورد افزایش‌های ناگهانی جایگزینی تا امور مالی غافلگیر نشود.

گزارش‌های پس از حادثه

بررسی کنید چه مقدار ترافیک منتقل نشده است، چرا، و تفاوت‌های هزینه/تأخیر برای بهبود سیاست.

امنیت و انطباق، حتی در میان ارائه‌دهندگان

پین کردن منطقه‌ای: داده‌ها را در منطقه نگه دارید وقتی که لازم است. حالت‌های بدون نگهداری: ثبت درخواست را در صورت نیاز غیرفعال کنید. قابلیت حسابرسی: گزارش‌ها و ردیابی‌ها را برای محیط‌های تنظیم‌شده صادر کنید. برای جغرافیاها و کنترل‌های ارائه‌دهنده، به تنظیمات جغرافیایی در کنسول: مکان‌های مجاز

سوالات متداول

آیا می‌توانم ShareAI را مجبور کنم به یک شناسه مدل خاص پایبند باشد؟

بله—قفل به یک ارائه‌دهنده+شناسه مدل خاص. یا اجازه دهید نزدیک‌ترین معادل در صورت عدم دسترسی به مدل‌های دقیق جایگزین شود.

اگر مدل‌های دقیق وجود نداشته باشند چه می‌شود؟

از نزدیک‌ترین معادل سیاستی برای انتخاب نزدیک‌ترین مدل بر اساس قابلیت، اندازه زمینه، و هزینه. شما کنترل می‌کنید که آیا به طور ملایم کاهش یابد یا به طور کامل متوقف شود.

چگونه می‌توانم بدون توقف تولید، آزمایش انتقال انجام دهم؟

از زمین بازی یا یک کلید مرحله‌بندی برای شبیه‌سازی خرابی ارائه‌دهنده (مثلاً، یک ارائه‌دهنده را به طور موقت در لیست سیاه قرار دهید) و ردیابی‌ها را بررسی کنید: زمین بازی

آیا BYOI نیاز به ورودی عمومی دارد؟

خیر. شما می‌توانید اجرا کنید خصوصی/VPC نقاط پایانی و آنها را به عنوان ارائه‌دهندگانی که فقط برای سازمان شما قابل مشاهده هستند ثبت کنید. شروع کنید با راهنمای ارائه‌دهنده: راهنمای ارائه‌دهنده

نتیجه‌گیری

قطعی‌ها اجتناب‌ناپذیر هستند. با انتقال خودکار ShareAI و BYOI, ، آنها نباید مخرب باشند. مسیر را به همان مدل بین ارائه‌دهندگان، SLA‌ها را حفظ کنید و هزینه و انطباق را کنترل کنید—همه این‌ها بدون تغییر کد برنامه شما. وقتی یک ارائه‌دهنده شکست می‌خورد، ShareAI شما را آنلاین نگه می‌دارد.