Truyền phát phản hồi hội thoại

Đặt stream: true để nhận phản hồi dần dần. Giữ kết nối HTTP mở, phân tích các sự kiện SSE hoàn chỉnh và nối mỗi delta nội dung một lần.

curl --no-buffer --fail-with-body https://api.shareai.now/api/v1/chat/completions \
  -H "Authorization: Bearer $SHAREAI_API_KEY" \
  -H "Content-Type: application/json" \
  --data '{"model":"MODEL_IDENTIFIER","messages":[{"role":"user","content":"Explain server-sent events briefly."}],"stream":true}'

Đọc ranh giới sự kiện#

SSE tách các sự kiện bằng một dòng trống. Các đoạn mạng có thể chia nhỏ một giá trị JSON hoặc chứa nhiều sự kiện, vì vậy không phân tích mỗi lần đọc mạng như một phản hồi JSON hoàn chỉnh. Giải mã UTF-8 dần dần và giữ lại dữ liệu chưa hoàn chỉnh cho đến khi sự kiện hoàn tất.

data: {"object":"chat.completion.chunk","choices":[{"index":0,"delta":{"content":"Hello"},"finish_reason":null}]}

data: {"object":"chat.completion.chunk","choices":[{"index":0,"delta":{},"finish_reason":"stop"}]}

data: [DONE]

Kết xuất nội dung một lần#

Nối choices[0].delta.content khi có. Bảo toàn khoảng trắng và các từ lặp lại. Một đoạn chỉ có vai trò hoặc đoạn cuối có thể không có nội dung. Xử lý [DONE] như là dấu kết thúc luồng.

Xử lý lỗi luồng#

Kiểm tra trạng thái HTTP trước khi vào trình phân tích SSE. Sau khi luồng bắt đầu, xử lý một event: error sự kiện và ngắt kết nối bất ngờ. Đánh dấu một câu trả lời bị gián đoạn là chưa hoàn chỉnh và để người dùng thử lại rõ ràng. Không nối một câu trả lời được tạo độc lập thứ hai vào đầu ra chưa hoàn chỉnh.

Hủy từ ứng dụng của bạn#

Sử dụng cơ chế hủy của HTTP client khi người dùng dừng quá trình tạo. Giữ trạng thái hủy, lỗi mạng và câu trả lời đã hoàn thành là các trạng thái giao diện người dùng riêng biệt. Không cam kết rằng việc đóng kết nối client sẽ đảo ngược việc sử dụng đã được xử lý.