Transmita uma resposta de chat

Defina stream: true para receber a resposta de forma incremental. Mantenha a conexão HTTP aberta, analise eventos SSE completos e anexe cada delta de conteúdo uma vez.

curl --no-buffer --fail-with-body https://api.shareai.now/api/v1/chat/completions \
  -H "Authorization: Bearer $SHAREAI_API_KEY" \
  -H "Content-Type: application/json" \
  --data '{"model":"MODEL_IDENTIFIER","messages":[{"role":"user","content":"Explain server-sent events briefly."}],"stream":true}'

Leia os limites dos eventos#

SSE separa eventos com uma linha em branco. Pacotes de rede podem dividir um valor JSON ou conter múltiplos eventos, então não analise cada leitura de rede como uma resposta JSON completa. Decodifique UTF-8 de forma incremental e retenha dados incompletos até que o evento esteja completo.

data: {"object":"chat.completion.chunk","choices":[{"index":0,"delta":{"content":"Hello"},"finish_reason":null}]}

data: {"object":"chat.completion.chunk","choices":[{"index":0,"delta":{},"finish_reason":"stop"}]}

data: [DONE]

Renderize o conteúdo uma vez#

Anexe choices[0].delta.content quando presente. Preserve espaços em branco e palavras repetidas. Um chunk apenas com função ou final pode não ter conteúdo. Trate [DONE] como o terminador do fluxo.

Gerencie erros de fluxo#

Verifique o status HTTP antes de entrar no analisador SSE. Após o início do streaming, gerencie um event: error evento e desconexão inesperada. Marque uma resposta interrompida como incompleta e permita que o utilizador tente novamente explicitamente. Não anexe uma segunda resposta gerada independentemente a uma saída parcial.

Cancele a partir da sua aplicação#

Utilize o mecanismo de cancelamento do seu cliente HTTP quando o utilizador interromper a geração. Mantenha a cancelamento, uma falha de rede e uma resposta concluída como estados de interface de utilizador separados. Não prometa que fechar uma conexão do cliente reverte o uso já processado.