제공자 정렬 및 대체 처리 제어하기

가격#

가격 순위는 적용 가능한 입력 등급 요금과 기본 출력 요금을 비교합니다. 이는 총 요청 비용의 예측이 아닙니다. 선택한 제공자와 예상 작업량에 대한 입력, 출력 및 캐시 가격을 검토하세요.

지연 시간 및 처리량#

지연 시간은 관찰된 완료된 요청의 경과 시간을 사용하며, 첫 번째 토큰까지의 시간이 아닙니다. 처리량은 관찰된 출력 토큰을 경과 초당으로 계산합니다. 최근 관찰은 5분 창을 포함합니다. 이러한 측정값은 라우팅을 안내하지만 응답 시간이나 용량을 보장하지 않습니다.

필요한 가격 또는 성능 관찰이 없는 제공자는 측정된 제공자 뒤로 순위가 매겨집니다. 안정적인 식별자가 동률을 해결합니다.

정렬 전 순서#

명시적인 제공자 순서는 정렬보다 우선합니다. 남은 적격 선택지 내에서 선택된 정렬이 순위를 결정합니다. 무시된 제공자, 외부 제공자만, 지원되지 않는 작업 및 주요 권한으로 제외된 제공자는 여전히 적격하지 않습니다.

대체 처리 시 동일한 모델 유지#

제공자 대체 처리는 요청된 모델에 대해 적격 인프라를 변경합니다. 다른 모델 태그로 전환하지 않습니다. ShareAI 제공자 내부에서 이루어진 상위 공급업체 선택은 공개 제작자 신원 및 실행 제공자 정책과 별개입니다.

중단된 요청 처리하기#

라우팅은 성공적으로 전달된 후, 불확실한 응답 또는 부분 출력 후 자동으로 재시도하지 않습니다. 이는 중복 작업과 비용을 방지합니다. 부분 출력을 유지하고 애플리케이션이 새 요청을 시작할지 결정하도록 하세요. 무제한 재시도 루프를 피하세요.

예시#

{
  "provider": {
    "sort": {
      "by": "latency",
      "direction": "asc"
    },
    "allow_fallbacks": true
  }
}

최고 처리량을 선호하려면 사용하세요 {"by":"throughput","direction":"desc"}. 테스트 또는 작업량에 맞는 순서일 때만 방향을 반대로 설정하세요.