الأحدث
توجيه ذاكرة التخزين المؤقت KV: تقليل العمل الزائد لتعبئة LLM.
يرسل توجيه ذاكرة التخزين المؤقت KV بادئات المطالبات المتكررة إلى النسخ التي يمكنها إعادة استخدام حالة الانتباه المخزنة، مما يساعد الفرق على تقليل العمل المكرر لملء LLM.