Mag-stream ng tugon sa chat

Itakda stream: true upang matanggap ang tugon nang paunti-unti. Panatilihing bukas ang HTTP connection, i-parse ang kumpletong SSE events at i-append ang bawat content delta nang isang beses.

curl --no-buffer --fail-with-body https://api.shareai.now/api/v1/chat/completions \
  -H "Authorization: Bearer $SHAREAI_API_KEY" \
  -H "Content-Type: application/json" \
  --data '{"model":"MODEL_IDENTIFIER","messages":[{"role":"user","content":"Explain server-sent events briefly."}],"stream":true}'

Basahin ang mga hangganan ng event#

Ang SSE ay naghihiwalay ng mga event gamit ang isang blangkong linya. Ang mga network chunks ay maaaring maghati ng isang JSON value o maglaman ng maraming events, kaya huwag i-parse ang bawat network read bilang isang kumpletong JSON response. I-decode ang UTF-8 nang paunti-unti at panatilihin ang hindi kumpletong data hanggang ang event ay kumpleto.

data: {"object":"chat.completion.chunk","choices":[{"index":0,"delta":{"content":"Hello"},"finish_reason":null}]}

data: {"object":"chat.completion.chunk","choices":[{"index":0,"delta":{},"finish_reason":"stop"}]}

data: [DONE]

I-render ang content nang isang beses#

I-append choices[0].delta.content kapag naroroon. Panatilihin ang whitespace at mga paulit-ulit na salita. Ang isang role-only o final chunk ay maaaring walang content. Tratuhin ang [DONE] bilang ang stream terminator.

Hawakan ang mga error sa stream#

Suriin ang HTTP status bago pumasok sa SSE parser. Pagkatapos magsimula ang streaming, hawakan ang isang event: error event at hindi inaasahang disconnection. Markahan ang isang interrupted answer bilang hindi kumpleto at hayaan ang user na mag-retry nang tahasan. Huwag mag-append ng pangalawang independiyenteng generated na sagot sa partial output.

Kanselahin mula sa iyong aplikasyon#

Gamitin ang mekanismo ng pagkansela ng iyong HTTP client kapag huminto ang user sa pagbuo. Panatilihin ang pagkansela, pagkabigo sa network, at natapos na sagot bilang magkakahiwalay na estado ng UI. Huwag mangako na ang pagsasara ng koneksyon ng client ay magbabalik ng paggamit na naiproseso na.