AI Prosumer
FA
از شبکه

جدیدترین داستان‌ها

ایده‌هایی که ارزش دارند به ساخت بعدی شما منتقل شوند.

توسعه‌دهندگان سپتامبر ۱، ۲۰۲۶ 7 min read

مسیریابی حافظه نهان KV: کاهش کار اضافی پیش‌پر کردن LLM

مسیریابی حافظه نهان KV پیشوندهای درخواست تکراری را به نسخه‌های تکراری ارسال می‌کند که می‌توانند از حالت توجه ذخیره‌شده استفاده مجدد کنند و به تیم‌ها کمک می‌کند کارهای پیش‌پر کردن LLM اضافی را کاهش دهند.

خواندن مقاله