चॅट प्रतिसाद प्रवाहित करा

सेट करा stream: true प्रतिसाद हळूहळू प्राप्त करण्यासाठी. HTTP कनेक्शन उघडे ठेवा, पूर्ण SSE इव्हेंट्स पार्स करा आणि प्रत्येक सामग्री डेल्टा एकदाच जोडा.

curl --no-buffer --fail-with-body https://api.shareai.now/api/v1/chat/completions \
  -H "Authorization: Bearer $SHAREAI_API_KEY" \
  -H "Content-Type: application/json" \
  --data '{"model":"MODEL_IDENTIFIER","messages":[{"role":"user","content":"Explain server-sent events briefly."}],"stream":true}'

इव्हेंट सीमारेषा वाचा#

SSE रिक्त ओळीने इव्हेंट्स वेगळे करते. नेटवर्क चंक्स JSON मूल्य विभाजित करू शकतात किंवा एकाधिक इव्हेंट्स समाविष्ट करू शकतात, त्यामुळे प्रत्येक नेटवर्क वाचन पूर्ण JSON प्रतिसाद म्हणून पार्स करू नका. UTF-8 हळूहळू डिकोड करा आणि इव्हेंट पूर्ण होईपर्यंत अपूर्ण डेटा कायम ठेवा.

data: {"object":"chat.completion.chunk","choices":[{"index":0,"delta":{"content":"Hello"},"finish_reason":null}]}

data: {"object":"chat.completion.chunk","choices":[{"index":0,"delta":{},"finish_reason":"stop"}]}

data: [DONE]

सामग्री एकदाच रेंडर करा#

जोडा choices[0].delta.content उपस्थित असल्यास. पांढऱ्या जागा आणि पुनरावृत्त शब्द संरक्षित करा. फक्त भूमिका किंवा अंतिम चंक्समध्ये सामग्री नसू शकते. [DONE] प्रवाह समाप्ती म्हणून मानले.

प्रवाह त्रुटी हाताळा#

SSE पार्सरमध्ये प्रवेश करण्यापूर्वी HTTP स्थिती तपासा. प्रवाह सुरू झाल्यानंतर, event: error इव्हेंट आणि अनपेक्षित डिसकनेक्शन हाताळा. व्यत्यय आलेले उत्तर अपूर्ण म्हणून चिन्हांकित करा आणि वापरकर्त्याला स्पष्टपणे पुन्हा प्रयत्न करू द्या. अपूर्ण आउटपुटमध्ये स्वतंत्रपणे तयार केलेले दुसरे उत्तर जोडू नका.

तुमच्या अनुप्रयोगातून रद्द करा#

वापरकर्त्याने जनरेशन थांबवले असता तुमच्या HTTP क्लायंटच्या रद्द करण्याच्या यंत्रणेचा वापर करा. रद्द करणे, नेटवर्क अपयश आणि पूर्ण उत्तर यांना स्वतंत्र UI स्थिती म्हणून ठेवा. क्लायंट कनेक्शन बंद केल्याने आधीच प्रक्रिया झालेला वापर उलट होतो असे वचन देऊ नका.