ShareAI 자동 장애 조치: 동일 모델 라우팅 + BYOI로 AI 무중단 운영

AI 제공자가 중단되더라도 사용자는 영향을 받지 않아야 합니다. ShareAI 자동 장애 조치 요청을 유지하며 다음으로 라우팅합니다. 동일한 모델 여러 제공업체에 걸쳐—경험이 일관되게 유지되고 긴급 패치를 배포하지 않아도 됩니다. 또한 BYOI (자체 인프라 가져오기) 기본값으로 또는 개인 예비 계층으로 개인 엔드포인트를 실행할 수 있습니다.

왜 중단이 문제인지 (그리고 왜 단일 제공업체 = 단일 장애 지점인지)

실제 사고 패턴

중단은 드물게 모든 것을 중단시킵니다. 더 자주 모델별 문제, 속도 제한 폭발, 지역적 정전 또는 유지보수 창이 발생합니다. 스택이 단일 API에 고정되어 있다면, 이는 사용자에게 보이는 버그가 됩니다.

“재시도하고 기도하기”의 숨겨진 비용”

라우팅 없는 재시도는 단지 지연 시간을 증가시키고, 할당량을 소모하며, 포기를 증가시킵니다. 비즈니스 비용은 SLA, 이탈률, 지원 부담으로 나타납니다.

ShareAI에서 “동일 모델 장애 조치”가 의미하는 것

모델 동등 라우팅

만약 모델-x Provider A에서 시작이 실패하면, ShareAI는 동일한 모델(또는 가장 가까운 동등 모델)로 Provider B에서 라우팅합니다—행동 일관성을 유지하기 위한 가드레일과 함께. 이는 다운타임을 라우팅 결정으로, 전환하며, 제품 중단이 아닙니다.

최종 사용자와 제품 코드에는 보이지 않습니다.

통합은 단일 엔드포인트를 호출합니다. 장애 조치는 제어 플레인에서 이루어집니다—기능 플래그도, 긴급 재배포도 앱에 필요하지 않습니다.

목표에 맞는 정책 조정

엔드포인트별 정책 설정 예: 지연 시간 우선, 비용 우선, 또는 엄격한 제공자 순서. 실패를 얼마나 적극적으로 처리할지, 그리고 누구에게 처리할지 결정하십시오.

프로덕션에서 ShareAI를 사용하는 두 가지 방법

기본 오케스트레이션 레이어 (항상 활성화된 다중 제공자)

모든 요청을 ShareAI를 통해 보내십시오. 기본 제공 건강 상태 확인, 동일 모델 라우팅, 제공자 A/B 테스트를 받을 수 있습니다. 탐색하십시오 모델 마켓플레이스에서 기본 및 백업을 선택하려면: 모델 탐색

안전망 삽입 (사건 발생 시에만)

현재 SDK를 유지하되, ShareAI를 대체 경로로 연결하십시오. 기본 제공자가 실패하면 사용자에게 보이는 중단 없이 자동으로 ShareAI로 트래픽을 전환합니다.

기능별 라우팅

예: 채팅은 기본적으로 제공자 X를 사용하고, 임베딩은 가격 때문에 제공자 Y를 사용하며, 둘 다 자동으로 백업으로 장애 조치됩니다.

ShareAI와 함께 BYOI (자체 인프라 가져오기)

개인 추론 연결

자체 호스팅 엔드포인트(VPC, 온프레미스, 파트너 POP)를 연결하십시오. BYOI를 기본 용량으로 사용하십시오 또는 a로 개인 폴백 계층으로, 귀하의 조직만 볼 수 있습니다. 다음에서 시작하십시오 제공자 가이드 및 대시보드: 제공자 가이드 • 제공자 대시보드

키, 할당량, 트래픽 분할

모델당 여러 API 키(및 제공자)를 연결하고 환경/팀별로 할당량 및 트래픽 공유를 정의하십시오.

지역 및 데이터 거주지

허용된 지역으로 트래픽을 고정하거나 새로운 지역을 요청하여 지리적 위치 설정 규정 준수 및 지연 목표를 충족하십시오: 지리적 위치 설정

자동 장애 조치가 작동하는 방식(내부적으로)

상태 및 지연 프로브

ShareAI는 제공자/모델/지역 상태 및 지연을 지속적으로 확인합니다. 임계값이 작동하여 회로 차단기를 사용하여 트래픽을 즉시 전환합니다.

모델 등가성 맵

큐레이션된 맵은 제공자 간 모델 ID를 정렬하고(“가장 가까운 등가”를 평가) 장애 조치가 지침 준수 행동, 토큰화 특이점 및 컨텍스트 제한을 가능한 한 밀접하게 유지하도록 합니다.

1. 설계에 따른 안전한 재시도

2. 멱등성 키와 지수적 백오프는 꼬리 지연 시간을 최소화하면서 중복 작업을 방지합니다.

관측 가능성

귀하는 3. 추적, 장애 조치 이유, 비용/지연 시간 변화 4. 콘솔 및 로그에서. 읽어보세요 문서 5. 더 깊은 계측을 준비할 때: 문서 홈

6. 빠른 시작: 첫 번째 복원력 있는 요청 만들기

7. 5단계 설정

1. 8. 로그인 9. 및 API 키 생성. 로그인 또는 가입 • API 키 생성
10. 2. 선택 11. 콘솔에서 모델별 기본 제공업체. 12. 3. 추가.
13. 백업 14. 제공업체(및 선택적 BYOI 엔드포인트). 제공자(및 선택적 BYOI 엔드포인트).
4. 활성화 동일 모델 라우팅 및 대체 정책 정의 (지연/비용/순서).
5. 첫 번째 요청을 보내고(아래) 자동 장애 조치를 확인하기 위해 사고를 시뮬레이션하세요.

코드: 하나의 요청, 자동 제공자 장애 조치

자바스크립트 (fetch)

const res = await fetch("https://api.shareai.now/v1/chat/completions", {;

파이썬 (requests)

import os

더 자세한 설명이 필요하신가요? 시작하세요 API 참조 빠른 시작: API 참조. 또는 실시간으로 시도해보세요 플레이그라운드 (코드를 작성하지 않고 장애 조치 정책을 확인하기에 좋습니다): 오픈 플레이그라운드

사고 중에도 원활한 경험 유지

스마트 타임아웃 및 부분 응답

실패한 제공자로부터 빠르게 장애 조치; UX가 지원하는 경우 부분 결과를 스트리밍한 다음 대체 제공자로 완료합니다.

일반적인 프롬프트 캐시

사고 발생 시 즉시 제공할 수 있도록 정적 프롬프트(FAQ, 표준 시스템 프롬프트)를 캐시합니다.

긴급하지 않은 작업을 대기열에 추가하고 배치 처리합니다.

무거운 작업(예: 요약)을 배치 처리하여 정상 용량이 복구되면 작업을 중단하지 않고 즉시 재개합니다.

투명한 커뮤니케이션

공급자 상태와 자체 라우팅 상태에 연결된 앱 내 배너를 추가합니다. 독자들에게 안내합니다. 릴리스/변경 로그 동작이 변경될 때: 릴리스 보기

온라인 상태를 유지하면서 비용을 제어합니다.

비용 상한선 및 대체 순서

설정 최대 배수 백업에 대해 설정합니다(예: “≤1.2× 기본 CPM”). 백업이 이를 초과하면 다음으로 적합한 경로로 라우팅합니다.

팀별 예산 및 알림

워크스페이스/프로젝트별로 예산을 적용하고, 장애 전환 급증에 대해 알림을 설정하여 재무팀이 놀라지 않도록 합니다.

사고 후 보고서

정책을 개선하기 위해 얼마나 많은 트래픽이 실패했는지, 이유와 비용/지연 시간 차이를 검토하십시오.

제공업체 간에도 보안 및 규정 준수

지역 고정: 필요한 경우 데이터를 지역 내에 유지하십시오. 무보존 모드: 필요한 경우 요청 로그 기록을 비활성화하십시오. 감사 가능성: 규제된 환경을 위해 로그와 추적을 내보내십시오. 제공업체의 지리적 위치 및 제어에 대한 자세한 내용은 지리적 위치 설정 콘솔에서 확인하십시오: 허용된 위치

자주 묻는 질문

ShareAI가 정확한 모델 ID를 고수하도록 강제할 수 있습니까?

예—특정 제공업체+모델 ID로 잠그십시오. 또는 정확한 쌍둥이가 없을 때 가장 가까운 유사 대체를 허용하십시오.

정확한 쌍둥이가 존재하지 않으면 어떻게 됩니까?

사용하십시오 가장 가까운 유사 대체 기능, 컨텍스트 크기 및 비용에 따라 가장 가까운 모델을 선택하는 정책입니다. 점진적으로 저하되거나 완전히 실패할지 여부를 제어할 수 있습니다.

프로덕션을 중단하지 않고 장애 조치를 테스트하려면 어떻게 해야 하나요?

사용하십시오 플레이그라운드 또는 공급자 실패를 시뮬레이션하기 위한 스테이징 키(예: 한 공급자를 일시적으로 차단) 및 추적 검사: 플레이그라운드

BYOI가 공개 인그레스가 필요합니까?

아니요. 실행할 수 있습니다. private/VPC 엔드포인트를 실행하고 귀하의 조직에만 표시되는 공급자로 등록할 수 있습니다. 시작하려면 제공자 가이드: 제공자 가이드

결론

중단은 불가피합니다. ShareAI 자동 장애 조치 그리고 BYOI, 중단될 필요는 없습니다. 다음으로 라우팅하십시오. 동일한 모델 공급자 간에, SLA를 유지하고 비용 및 규정을 제어하며 앱 코드를 변경하지 않고도 가능합니다. 공급자가 실패하면 ShareAI가 온라인 상태를 유지합니다.