Sắp xếp nhà cung cấp và kiểm soát dự phòng

Giá#

Xếp hạng giá so sánh mức giá đầu vào áp dụng cộng với mức giá đầu ra cơ bản. Đây không phải là dự đoán về tổng hóa đơn yêu cầu. Xem lại giá đầu vào, đầu ra và bộ nhớ đệm cho nhà cung cấp đã chọn và khối lượng công việc dự kiến của bạn.

Độ trễ và thông lượng#

Độ trễ sử dụng thời gian đã trôi qua của yêu cầu hoàn thành được quan sát, không phải thời gian đến token đầu tiên. Thông lượng sử dụng số token đầu ra quan sát được trên mỗi giây đã trôi qua. Các quan sát gần đây bao gồm một cửa sổ năm phút. Các phép đo này hướng dẫn định tuyến; chúng không đảm bảo thời gian phản hồi hoặc công suất.

Các nhà cung cấp không có quan sát giá hoặc hiệu suất cần thiết sẽ xếp sau các nhà cung cấp đã được đo lường theo bất kỳ hướng nào. Định danh ổn định phá vỡ sự cân bằng.

Thứ tự trước khi sắp xếp#

Thứ tự nhà cung cấp rõ ràng được ưu tiên hơn sắp xếp. Trong số các lựa chọn đủ điều kiện còn lại, sắp xếp đã chọn xác định thứ hạng. Các nhà cung cấp bị bỏ qua, chỉ các nhà cung cấp bên ngoài, các hoạt động không được hỗ trợ và các nhà cung cấp bị loại trừ bởi các quyền chính vẫn không đủ điều kiện.

Dự phòng giữ nguyên mô hình#

Dự phòng nhà cung cấp thay đổi cơ sở hạ tầng đủ điều kiện cho mô hình được yêu cầu chính xác. Nó không chuyển sang một thẻ mô hình khác. Bất kỳ lựa chọn nhà cung cấp thượng nguồn nào được thực hiện bên trong nhà cung cấp ShareAI đều tách biệt với danh tính người tạo công khai và chính sách nhà cung cấp thực thi.

Xử lý các yêu cầu bị gián đoạn#

Định tuyến không tự động thử lại sau khi gửi thành công, phản hồi không chắc chắn hoặc đầu ra một phần. Điều này tránh công việc trùng lặp và các khoản phí. Bảo toàn đầu ra một phần và để ứng dụng quyết định có bắt đầu một yêu cầu mới hay không. Tránh các vòng lặp thử lại không giới hạn.

Ví dụ#

{
  "provider": {
    "sort": {
      "by": "latency",
      "direction": "asc"
    },
    "allow_fallbacks": true
  }
}

Để ưu tiên thông lượng cao nhất, sử dụng {"by":"throughput","direction":"desc"}. Đảo ngược bất kỳ hướng nào chỉ khi thứ tự đó phù hợp với bài kiểm tra hoặc khối lượng công việc dự định của bạn.