Diffusez une réponse de chat

Définissez stream: true pour recevoir la réponse de manière incrémentielle. Gardez la connexion HTTP ouverte, analysez les événements SSE complets et ajoutez chaque delta de contenu une fois.

curl --no-buffer --fail-with-body https://api.shareai.now/api/v1/chat/completions \
  -H "Authorization: Bearer $SHAREAI_API_KEY" \
  -H "Content-Type: application/json" \
  --data '{"model":"MODEL_IDENTIFIER","messages":[{"role":"user","content":"Explain server-sent events briefly."}],"stream":true}'

Lisez les limites des événements#

SSE sépare les événements par une ligne vide. Les blocs réseau peuvent diviser une valeur JSON ou contenir plusieurs événements, donc ne parsez pas chaque lecture réseau comme une réponse JSON complète. Décodez UTF-8 de manière incrémentielle et conservez les données incomplètes jusqu'à ce que l'événement soit complet.

data: {"object":"chat.completion.chunk","choices":[{"index":0,"delta":{"content":"Hello"},"finish_reason":null}]}

data: {"object":"chat.completion.chunk","choices":[{"index":0,"delta":{},"finish_reason":"stop"}]}

data: [DONE]

Rendre le contenu une seule fois#

Ajoutez choices[0].delta.content lorsqu'il est présent. Préservez les espaces blancs et les mots répétés. Un bloc uniquement avec un rôle ou final peut ne pas contenir de contenu. Considérez [DONE] comme le terminateur de flux.

Gérez les erreurs de flux#

Vérifiez le statut HTTP avant d'entrer dans l'analyseur SSE. Une fois le streaming commencé, gérez un event: error événement et une déconnexion inattendue. Marquez une réponse interrompue comme incomplète et laissez l'utilisateur réessayer explicitement. Ne pas ajouter une deuxième réponse générée indépendamment à une sortie partielle.

Annulez depuis votre application#

Utilisez le mécanisme d'annulation de votre client HTTP lorsque l'utilisateur interrompt la génération. Conservez l'annulation, une panne réseau et une réponse terminée comme des états d'interface utilisateur distincts. Ne promettez pas que la fermeture d'une connexion client annule une utilisation déjà traitée.