جدیدترین
مسیریابی حافظه نهان KV: کاهش کار اضافی پیشپر کردن LLM
مسیریابی حافظه نهان KV پیشوندهای درخواست تکراری را به نسخههای تکراری ارسال میکند که میتوانند از حالت توجه ذخیرهشده استفاده مجدد کنند و به تیمها کمک میکند کارهای پیشپر کردن LLM اضافی را کاهش دهند.