ShareAI Tự động Chuyển đổi Dự phòng: Định tuyến Cùng Mô hình + BYOI cho AI Không Thời gian Ngừng

Khi một nhà cung cấp AI gặp sự cố, người dùng của bạn không nên bị ảnh hưởng. Chuyển đổi tự động ShareAI giữ cho các yêu cầu tiếp tục bằng cách định tuyến đến cùng một mô hình trên nhiều nhà cung cấp—vì vậy trải nghiệm vẫn nhất quán và bạn không cần phát hành các bản vá khẩn cấp. Bạn cũng có thể BYOI (Mang Cơ Sở Hạ Tầng Của Riêng Bạn) chạy các điểm cuối riêng tư làm mặc định của bạn hoặc như một tầng dự phòng riêng tư.

Tại sao sự cố ngừng hoạt động gây hại (và tại sao nhà cung cấp đơn lẻ = điểm thất bại duy nhất)

Các mẫu sự cố thực tế

Sự cố ngừng hoạt động hiếm khi làm mọi thứ ngừng hoạt động hoàn toàn. Thường thì đó là các trục trặc cụ thể của mô hình, bùng nổ giới hạn tốc độ, mất điện khu vực, hoặc các khoảng thời gian bảo trì. Nếu ngăn xếp của bạn bị gắn chặt vào một API duy nhất, những điều này sẽ trở thành lỗi hiển thị cho người dùng.

Chi phí ẩn của “thử lại và cầu nguyện”

Thử lại mà không định tuyến chỉ làm tăng độ trễ, tiêu hao hạn mức, và tăng tỷ lệ từ bỏ. Chi phí kinh doanh xuất hiện trong SLA, tỷ lệ rời bỏ, và tải hỗ trợ.

“Chuyển đổi dự phòng cùng mô hình” có nghĩa là gì với ShareAI

Định tuyến tương đương mô hình

Nếu model-x tại Nhà cung cấp A bắt đầu gặp sự cố, ShareAI sẽ chuyển hướng đến cùng mô hình (hoặc tương đương gần nhất) tại Nhà cung cấp B—với các biện pháp bảo vệ để giữ hành vi nhất quán. Điều này biến thời gian ngừng hoạt động thành quyết định định tuyến, không phải sự cố sản phẩm.

Vô hình đối với người dùng cuối và mã sản phẩm

Tích hợp của bạn gọi một điểm cuối duy nhất. Chuyển đổi dự phòng xảy ra trong mặt phẳng điều khiển—không cần cờ tính năng, không cần triển khai khẩn cấp cho ứng dụng của bạn.

Các nút chính sách phù hợp với mục tiêu của bạn

Đặt chính sách theo từng điểm cuối như ưu tiên độ trễ, ưu tiên chi phí, hoặc thứ tự nhà cung cấp nghiêm ngặt. Bạn quyết định mức độ quyết liệt để chuyển đổi dự phòng—và cho ai.

Hai cách sử dụng ShareAI trong sản xuất

Lớp điều phối mặc định (đa nhà cung cấp luôn hoạt động)

Gửi mọi yêu cầu qua ShareAI. Bạn nhận được kiểm tra sức khỏe, định tuyến cùng mô hình và thử nghiệm A/B nhà cung cấp ngay lập tức. Khám phá Thị Trường Mô Hình để chọn nhà cung cấp chính và dự phòng của bạn: Duyệt qua các Mô hình

Lưới an toàn thay thế (chỉ khi có sự cố)

Giữ SDK hiện tại của bạn, nhưng kết nối ShareAI như một đường dẫn dự phòng. Khi nhà cung cấp chính của bạn thất bại, tự động chuyển lưu lượng sang ShareAI mà không gây gián đoạn hiển thị cho người dùng.

Định tuyến theo tính năng

Ví dụ: Chat sử dụng Nhà cung cấp X theo mặc định; embeddings sử dụng Nhà cung cấp Y để tiết kiệm chi phí; cả hai đều có chuyển đổi dự phòng tự động sang các nhà cung cấp dự phòng.

BYOI (Mang Cơ sở Hạ tầng Riêng của Bạn) với ShareAI

Kết nối suy luận riêng tư

Kết nối các điểm cuối tự lưu trữ (VPC, tại chỗ, POP đối tác). Sử dụng BYOI như dung lượng chính hoặc như một phương án dự phòng riêng cấp mà chỉ tổ chức của bạn có thể thấy. Bắt đầu từ Hướng dẫn Nhà cung cấp và Bảng điều khiển: Hướng dẫn Nhà cung cấp • Bảng điều khiển Nhà cung cấp

Khóa, hạn mức, phân chia lưu lượng

Đính kèm nhiều khóa API (và nhà cung cấp) cho mỗi mô hình; xác định hạn mức và chia sẻ lưu lượng theo môi trường/đội nhóm.

Khu vực & nơi lưu trữ dữ liệu

Ghim lưu lượng vào các khu vực địa lý được phép hoặc yêu cầu khu vực mới thông qua Cài đặt Định vị địa lý để đáp ứng các mục tiêu tuân thủ và độ trễ: Cài đặt Định vị địa lý

Cách hoạt động của chuyển đổi dự phòng tự động (bên trong)

Kiểm tra sức khỏe & độ trễ

ShareAI liên tục kiểm tra sức khỏe và độ trễ của nhà cung cấp/mô hình/khu vực. Ngưỡng kích hoạt bộ ngắt mạch chuyển lưu lượng ngay lập tức.

Bản đồ tương đương mô hình

Một bản đồ được chọn lọc căn chỉnh ID mô hình giữa các nhà cung cấp (và đánh giá “tương đương gần nhất”) để chuyển đổi dự phòng bảo toàn hành vi theo hướng dẫn, các đặc điểm mã hóa và giới hạn ngữ cảnh chặt chẽ nhất có thể.

Thử lại an toàn theo thiết kế

Các khóa idempotency và backoff theo cấp số nhân tránh công việc trùng lặp trong khi giảm thiểu độ trễ cuối.

Khả năng quan sát

Bạn sẽ thấy dấu vết, lý do chuyển đổi dự phòng, và sự chênh lệch chi phí/độ trễ trong Bảng điều khiển và nhật ký. Đọc Tài liệu khi bạn sẵn sàng cho việc đo lường sâu hơn: Trang Chủ Tài Liệu

Bắt đầu nhanh: thực hiện yêu cầu đầu tiên có khả năng chịu lỗi

Thiết lập 5 bước

1. Đăng nhập và tạo một khóa API. Đăng nhập hoặc Đăng ký • Tạo API Key
2. Chọn một chính nhà cung cấp theo mô hình trong Console.
3. Thêm sao lưu nhà cung cấp (và các điểm cuối BYOI tùy chọn).
4. Kích hoạt Định tuyến cùng mô hình và xác định chính sách dự phòng (độ trễ/chi phí/thứ tự).
5. Gửi yêu cầu đầu tiên của bạn (bên dưới) và mô phỏng một sự cố để xem chuyển đổi dự phòng tự động.

Mã: một yêu cầu, chuyển đổi dự phòng nhà cung cấp tự động

JavaScript (fetch)

const res = await fetch("https://api.shareai.now/v1/chat/completions", {;

Python (requests)

import os

Muốn tìm hiểu sâu hơn? Bắt đầu với Tham khảo API hướng dẫn nhanh: Tham khảo API. Hoặc thử trực tiếp trong Sân chơi (tuyệt vời để xác minh chính sách dự phòng mà không cần viết mã): Mở Sân Chơi

Giữ trải nghiệm mượt mà trong các sự cố

Thời gian chờ thông minh & phản hồi một phần

Thất bại nhanh từ các nhà cung cấp gặp sự cố; truyền tải kết quả một phần nếu UX của bạn hỗ trợ, sau đó hoàn thành từ một phương án dự phòng.

Lưu trữ các lời nhắc phổ biến

Lưu trữ các lời nhắc tĩnh (FAQ, lời nhắc hệ thống mẫu) để phục vụ ngay lập tức trong các sự cố.

Xếp hàng & nhóm công việc không khẩn cấp

Nhóm các công việc nặng (ví dụ: tóm tắt) để tiếp tục ngay khi khả năng hoạt động trở lại—mà không bỏ qua nhiệm vụ.

Giao tiếp minh bạch

Thêm biểu ngữ trong ứng dụng liên kết với trạng thái nhà cung cấp và trạng thái định tuyến của bạn. Chỉ người đọc đến Phát hành/Changelog khi hành vi thay đổi: Xem các bản phát hành

Kiểm soát chi tiêu trong khi vẫn trực tuyến

Giới hạn chi phí & thứ tự dự phòng

Đặt một hệ số nhân tối đa cho các bản sao lưu (ví dụ: “≤1.2× CPM chính”). Nếu một bản sao lưu vượt quá, chuyển đến lựa chọn phù hợp tiếp theo.

Ngân sách & cảnh báo theo nhóm

Áp dụng ngân sách theo không gian làm việc/dự án; cảnh báo về các đột biến chuyển đổi dự phòng để tài chính không bị bất ngờ.

Báo cáo sau sự cố

Xem xét lưu lượng truy cập đã chuyển đổi dự phòng bao nhiêu, lý do và sự chênh lệch chi phí/độ trễ để tinh chỉnh chính sách.

Bảo mật & tuân thủ, ngay cả giữa các nhà cung cấp

Ghim khu vực: giữ dữ liệu trong khu vực khi cần thiết. Chế độ không lưu trữ: tắt ghi nhật ký yêu cầu khi cần thiết. Khả năng kiểm toán: xuất nhật ký và dấu vết cho các môi trường được quy định. Để biết các khu vực và kiểm soát của nhà cung cấp, xem Cài đặt Định vị địa lý trong Bảng điều khiển: Vị trí được phép

Câu hỏi thường gặp

Tôi có thể buộc ShareAI sử dụng chính xác một ID mô hình không?

Có—khóa vào một nhà cung cấp+ID mẫu cụ thể. Hoặc cho phép chuyển đổi tương đương gần nhất khi không có mẫu giống hệt.

Nếu không có mẫu giống hệt thì sao?

Sử dụng chính sách tương đương gần nhất để chọn mẫu gần nhất theo khả năng, kích thước ngữ cảnh và chi phí. Bạn kiểm soát việc giảm chất lượng một cách nhẹ nhàng hay thất bại hoàn toàn.

Làm thế nào để kiểm tra chuyển đổi mà không làm gián đoạn sản xuất?

Sử dụng Sân chơi hoặc một khóa thử nghiệm để mô phỏng lỗi nhà cung cấp (ví dụ: tạm thời chặn một nhà cung cấp) và kiểm tra dấu vết: Sân chơi

BYOI có yêu cầu truy cập công cộng không?

Không. Bạn có thể chạy các điểm cuối riêng/VPC và đăng ký chúng làm nhà cung cấp chỉ hiển thị với tổ chức của bạn. Bắt đầu với Hướng dẫn Nhà cung cấp: Hướng dẫn Nhà cung cấp

Kết luận

Các sự cố là không thể tránh khỏi. Với Chuyển đổi tự động ShareAI và BYOI, chúng không cần phải gây gián đoạn. Chuyển hướng đến cùng một mô hình giữa các nhà cung cấp, giữ nguyên SLA, và kiểm soát chi phí và tuân thủ—tất cả mà không cần thay đổi mã ứng dụng của bạn. Khi một nhà cung cấp gặp sự cố, ShareAI giữ bạn trực tuyến.