একটি চ্যাট প্রতিক্রিয়া স্ট্রিম করুন

সেট করুন stream: true প্রতিক্রিয়া ধাপে ধাপে পেতে। HTTP সংযোগ খোলা রাখুন, সম্পূর্ণ SSE ইভেন্টগুলি পার্স করুন এবং প্রতিটি বিষয়বস্তু ডেল্টা একবার যোগ করুন।

curl --no-buffer --fail-with-body https://api.shareai.now/api/v1/chat/completions \
  -H "Authorization: Bearer $SHAREAI_API_KEY" \
  -H "Content-Type: application/json" \
  --data '{"model":"MODEL_IDENTIFIER","messages":[{"role":"user","content":"Explain server-sent events briefly."}],"stream":true}'

ইভেন্ট সীমা পড়ুন#

SSE একটি ফাঁকা লাইন দিয়ে ইভেন্টগুলি পৃথক করে। নেটওয়ার্ক চাঙ্ক একটি JSON মানকে বিভক্ত করতে পারে বা একাধিক ইভেন্ট ধারণ করতে পারে, তাই প্রতিটি নেটওয়ার্ক পড়াকে একটি সম্পূর্ণ JSON প্রতিক্রিয়া হিসাবে পার্স করবেন না। UTF-8 ধাপে ধাপে ডিকোড করুন এবং ইভেন্ট সম্পূর্ণ না হওয়া পর্যন্ত অসম্পূর্ণ ডেটা ধরে রাখুন।

data: {"object":"chat.completion.chunk","choices":[{"index":0,"delta":{"content":"Hello"},"finish_reason":null}]}

data: {"object":"chat.completion.chunk","choices":[{"index":0,"delta":{},"finish_reason":"stop"}]}

data: [DONE]

বিষয়বস্তু একবার রেন্ডার করুন#

যোগ করুন choices[0].delta.content যখন উপস্থিত থাকে। হোয়াইটস্পেস এবং পুনরাবৃত্ত শব্দ সংরক্ষণ করুন। শুধুমাত্র একটি রোল বা চূড়ান্ত চাঙ্কে বিষয়বস্তু থাকতে পারে না। [DONE] স্ট্রিম টার্মিনেটর হিসাবে আচরণ করুন।

স্ট্রিম ত্রুটি পরিচালনা করুন#

SSE পার্সারে প্রবেশ করার আগে HTTP স্ট্যাটাস পরীক্ষা করুন। স্ট্রিমিং শুরু হওয়ার পরে, একটি event: error ইভেন্ট এবং অপ্রত্যাশিত সংযোগ বিচ্ছিন্নতা পরিচালনা করুন। একটি বাধাগ্রস্ত উত্তরকে অসম্পূর্ণ হিসাবে চিহ্নিত করুন এবং ব্যবহারকারীকে স্পষ্টভাবে পুনরায় চেষ্টা করতে দিন। আংশিক আউটপুটে দ্বিতীয় স্বাধীনভাবে তৈরি উত্তর যোগ করবেন না।

আপনার অ্যাপ্লিকেশন থেকে বাতিল করুন#

ব্যবহারকারীর জেনারেশন বন্ধ করার সময় আপনার HTTP ক্লায়েন্টের বাতিলকরণ প্রক্রিয়া ব্যবহার করুন। বাতিলকরণ, নেটওয়ার্ক ব্যর্থতা এবং সম্পূর্ণ উত্তরকে আলাদা UI অবস্থান হিসেবে রাখুন। ক্লায়েন্ট সংযোগ বন্ধ করলে ইতিমধ্যে প্রক্রিয়াকৃত ব্যবহারের বিপরীত প্রতিশ্রুতি দেবেন না।