El enrutamiento de cach\u00e9 KV importa cuando los prefijos de solicitud repetidos siguen apareciendo en el tr\u00e1fico de tu LLM. Si la solicitud correcta llega a la r\u00e9plica correcta, el motor de servicio puede reutilizar el estado de atenci\u00f3n en cach\u00e9 en lugar de volver a calcular los mismos tokens de pre-relleno una y otra vez.<\/p>\n\n\n\n
Eso suena como un detalle de infraestructura, pero r\u00e1pidamente se convierte en un problema de producto. Los prompts largos del sistema, el contexto RAG, los ejemplos de pocos disparos y el historial de chat de m\u00faltiples turnos pueden hacer que el trabajo de pre-relleno sea costoso. Cuando cada r\u00e9plica vuelve a calcular el mismo prefijo, los equipos pagan en latencia, tiempo de GPU y planificaci\u00f3n de capacidad.<\/p>\n\n\n\n
ShareAI ofrece a los desarrolladores una API para m\u00e1s de 150 modelos, visibilidad en el mercado, enrutamiento y conmutaci\u00f3n por error. El enrutamiento de cach\u00e9 KV se encuentra una capa m\u00e1s abajo, dentro de la infraestructura de servicio de modelos. La conclusi\u00f3n \u00fatil para los lectores de ShareAI es simple: las decisiones de enrutamiento importan en cada capa de la pila de IA, desde la elecci\u00f3n del modelo hasta qu\u00e9 r\u00e9plica de GPU maneja un prompt repetido.<\/p>\n\n\n\n
Durante la inferencia de LLM, un modelo primero procesa el prompt de entrada en la fase de pre-relleno. Construye una cach\u00e9 de clave-valor, generalmente llamada cach\u00e9 KV, para que los tokens generados posteriormente puedan atender al contexto ya procesado.<\/p>\n\n\n\n
El almacenamiento en cach\u00e9 de prefijos permite que los motores de servicio reutilicen esa cach\u00e9 cuando una solicitud posterior comparte el mismo comienzo del prompt. La documentaci\u00f3n de almacenamiento en cach\u00e9 de prefijos autom\u00e1tico de vLLM<\/a> describe esto como reutilizar la cach\u00e9 KV para prefijos compartidos, de modo que la nueva solicitud pueda omitir el c\u00e1lculo de la parte compartida. El almacenamiento en cach\u00e9 de prefijos de SGLang<\/a> utiliza una idea relacionada para compartir la cach\u00e9 KV para secuencias comunes de tokens.<\/p>\n\n\n\n Esto es especialmente importante para cargas de trabajo donde muchas solicitudes comienzan de la misma manera: agentes de soporte con un prompt de sistema grande, aplicaciones RAG que usan fragmentos de documentaci\u00f3n repetidos, agentes de codificaci\u00f3n con instrucciones de repositorio o productos de chat que llevan el historial de conversaci\u00f3n entre turnos.<\/p>\n\n\n\n El almacenamiento en cach\u00e9 de prefijos es m\u00e1s f\u00e1cil en una sola r\u00e9plica. El mismo proceso ve el prefijo repetido y puede reutilizar su cach\u00e9 si hay memoria disponible. El problema aparece cuando el servicio escala horizontalmente.<\/p>\n\n\n\n Con un balanceador de carga round-robin est\u00e1ndar, la primera solicitud puede calentar la cach\u00e9 en la r\u00e9plica A, mientras que la segunda solicitud con el mismo prefijo llega a la r\u00e9plica B. La r\u00e9plica B no tiene ese estado en cach\u00e9, por lo que vuelve a calcular el mismo trabajo de pre-relleno. La tercera solicitud puede ir a la r\u00e9plica C y fallar nuevamente.<\/p>\n\n\n\n A medida que aumenta el n\u00famero de r\u00e9plicas, un balanceo de carga ingenuo puede distribuir solicitudes relacionadas entre m\u00e1s m\u00e1quinas. La flota de servicio de modelos puede parecer equilibrada, pero la tasa de aciertos de la cach\u00e9 de prefijos disminuye. Esa es la brecha que el enrutamiento de cach\u00e9 KV intenta cerrar.<\/p>\n\n\n\n La afinidad de sesi\u00f3n dirige el tr\u00e1fico del mismo usuario, espacio de trabajo, inquilino o conversaci\u00f3n a la misma r\u00e9plica. Es el lugar m\u00e1s sencillo para comenzar con chats de m\u00faltiples turnos porque las indicaciones de seguimiento suelen compartir el contexto previo.<\/p>\n\n\n\n La desventaja es que la identidad del usuario no siempre es igual a la similitud de las indicaciones. Dos usuarios pueden compartir la misma indicaci\u00f3n larga del sistema y a\u00fan as\u00ed ser dirigidos a r\u00e9plicas diferentes. La afinidad de sesi\u00f3n tambi\u00e9n puede verse afectada cuando se agregan o eliminan r\u00e9plicas.<\/p>\n\n\n\n El enrutamiento por hash de prefijo utiliza la propia indicaci\u00f3n como clave de enrutamiento. El enrutador genera un hash del inicio estable de la indicaci\u00f3n y env\u00eda prefijos coincidentes a la misma r\u00e9plica.<\/p>\n\n\n\n Esto funciona mejor cuando las indicaciones repetidas del sistema, los ejemplos de pocos disparos o el contexto recuperado compartido son m\u00e1s importantes que la identidad del usuario. La parte dif\u00edcil es elegir el l\u00edmite del prefijo. Si el hash incluye una marca de tiempo, ID de solicitud o campo espec\u00edfico del usuario, la clave de enrutamiento se fragmenta y el reutilizo de la cach\u00e9 se desmorona.<\/p>\n\n\n\n El enfoque m\u00e1s avanzado rastrea qu\u00e9 bloques de cach\u00e9 est\u00e1n presentes en qu\u00e9 r\u00e9plica, luego dirige cada solicitud a la r\u00e9plica con el mejor solapamiento de cach\u00e9 mientras a\u00fan considera la carga. El proyecto llm-d router<\/a> describe un selector de puntos finales que considera la localidad de la cach\u00e9 KV, la carga actual y la prioridad al elegir d\u00f3nde debe ir una solicitud.<\/p>\n\n\n\n Esto es m\u00e1s complejo, pero es la direcci\u00f3n correcta para flotas de alto rendimiento donde los fallos de cach\u00e9 son medidos, costosos y frecuentes.<\/p>\n\n\n\n El enrutamiento de cach\u00e9 KV no vale autom\u00e1ticamente la complejidad. Es una opci\u00f3n d\u00e9bil cuando las indicaciones son cortas, mayormente \u00fanicas o procesadas en lotes con poca estructura repetida.<\/p>\n\n\n\n La resumici\u00f3n de documentos, generaci\u00f3n creativa, extracci\u00f3n \u00fanica y muchos trabajos por lotes as\u00edncronos pueden no tener suficiente solapamiento de prefijos compartidos para justificar el enrutamiento consciente de la cach\u00e9. En esos casos, el balanceo de carga simple puede ser m\u00e1s limpio.<\/p>\n\n\n\n La prueba pr\u00e1ctica es la medici\u00f3n: tasa de aciertos de cach\u00e9, tiempo hasta el primer token, rendimiento, profundidad de cola, presi\u00f3n de memoria GPU y costo por tarea completada. Si el enrutamiento consciente de cach\u00e9 no cambia esos n\u00fameros, corrige primero la estructura del prompt.<\/p>\n\n\n\n ShareAI es un mercado y API de IA, no el balanceador de carga de modelos dentro de tu cl\u00faster de GPU. Los desarrolladores usan ShareAI para acceder a muchos modelos a trav\u00e9s de una API, comparar se\u00f1ales del mercado, enrutar solicitudes, gestionar el uso y realizar failover cuando una ruta se degrada.<\/p>\n\n\n\n Eso a\u00fan hace que el enrutamiento de cach\u00e9 KV sea relevante. Si operas tu propia pila de inferencia, te ayuda a hacer mejores preguntas sobre infraestructura. Si consumes modelos alojados, te ayuda a evaluar por qu\u00e9 dos rutas con nombres de modelos similares pueden comportarse de manera diferente bajo cargas de trabajo reales.<\/p>\n\n\n\n Para los Constructores, esto tambi\u00e9n se conecta con los precios. Una aplicaci\u00f3n con prompts largos, contexto RAG repetido o bucles de agentes puede crear un uso de IA muy desigual. ShareAI Builder permite a los propietarios de aplicaciones enrutar el tr\u00e1fico de inferencia de IA a trav\u00e9s de ShareAI, establecer un margen o recargo, hacer que los clientes paguen a ShareAI por el uso enrutado y recibir pagos mensuales basados en el uso generado. La aplicaci\u00f3n en s\u00ed permanece construida fuera de ShareAI.<\/p>\n\n\n\n Para la selecci\u00f3n de modelos y evaluaci\u00f3n de rutas, comienza con el mercado de modelos de ShareAI<\/a>. Para los conceptos b\u00e1sicos de implementaci\u00f3n, utiliza el Referencia de API de ShareAI<\/a>.<\/p>\n\n\n\n El enrutamiento de cach\u00e9 KV es una estrategia de enrutamiento que env\u00eda solicitudes con prefijos de indicaciones repetidos a r\u00e9plicas que probablemente ya tengan la cach\u00e9 KV correspondiente. El objetivo es reducir el c\u00e1lculo redundante de pre-relleno.<\/p>\n\n\n\n El almacenamiento en cach\u00e9 de prefijos es la capacidad del motor de servicio del modelo para reutilizar el estado en cach\u00e9 para prefijos de indicaciones compartidos. El enrutamiento de cach\u00e9 KV es la estrategia de colocaci\u00f3n de tr\u00e1fico que ayuda a que las solicitudes coincidentes lleguen donde ese estado en cach\u00e9 ya existe.<\/p>\n\n\n\n El enrutamiento round-robin distribuye solicitudes entre r\u00e9plicas sin saber qu\u00e9 r\u00e9plica tiene qu\u00e9 prefijo en cach\u00e9. Una indicaci\u00f3n repetida puede perder la cach\u00e9 simplemente porque llega a una r\u00e9plica diferente.<\/p>\n\n\n\n Los chats de m\u00faltiples turnos, RAG, agentes de codificaci\u00f3n, agentes de soporte, indicaciones de pocos ejemplos y aplicaciones con indicaciones de sistema largas y compartidas son los candidatos m\u00e1s fuertes porque reutilizan prefijos de indicaciones sustanciales.<\/p>\n\n\n\n Om\u00edtalo cuando las indicaciones sean cortas, mayormente \u00fanicas o est\u00e9n orientadas a lotes con poca estructura repetida. En esos casos, la complejidad del enrutamiento puede aportar poco valor.<\/p>\n\n\n\n S\u00ed. vLLM documenta el almacenamiento en cach\u00e9 de prefijos autom\u00e1tico, y SGLang documenta el almacenamiento en cach\u00e9 de prefijos para la cach\u00e9 KV compartida en secuencias de tokens comunes. El motor de servicio a\u00fan necesita ayuda de enrutamiento cuando se involucran m\u00faltiples r\u00e9plicas.<\/p>\n\n\n\n No. El enrutamiento de cach\u00e9 KV funciona con la reutilizaci\u00f3n exacta o casi estructural de prefijos dentro del servicio de inferencia. El almacenamiento en cach\u00e9 sem\u00e1ntico almacena y reutiliza respuestas o resultados intermedios basados en el significado, generalmente con embeddings o umbrales de similitud.<\/p>\n\n\n\n No. ShareAI es el mercado de IA y la capa de API para acceso a modelos, enrutamiento, conmutaci\u00f3n por error, uso y facturaci\u00f3n. El enrutamiento consciente de KV-cache es una infraestructura de servicio de modelos de bajo nivel para equipos que operan r\u00e9plicas de inferencia.<\/p>\n\n\n\n Los Constructores deber\u00edan tratar el comportamiento de la cach\u00e9 como un factor de costo dentro de las aplicaciones intensivas en IA. Si su aplicaci\u00f3n tiene un uso desigual, ShareAI puede ayudar a enrutar y monetizar ese tr\u00e1fico de IA mientras la aplicaci\u00f3n permanece construida y propiedad fuera de ShareAI.<\/p>\n\n\n\n Medir la tasa de aciertos de la cach\u00e9, el tiempo hasta el primer token, el rendimiento, la profundidad de la cola, la presi\u00f3n de VRAM, el costo por tarea y la calidad de salida. Los cambios de enrutamiento deber\u00edan mejorar la carga de trabajo, no solo el panel de control.<\/p>\n\n\n\n Puede reducir el costo de infraestructura para los equipos que sirven modelos por s\u00ed mismos porque un trabajo de prefijo menos redundante puede mejorar la eficiencia de la GPU. Para las API alojadas, el efecto depende de si el proveedor expone esos ahorros en precio o rendimiento.<\/p>","protected":false},"excerpt":{"rendered":" El enrutamiento de cach\u00e9 KV env\u00eda prefijos de indicaci\u00f3n repetidos a r\u00e9plicas que pueden reutilizar el estado de atenci\u00f3n en cach\u00e9, ayudando a los equipos a reducir el trabajo redundante de prellenado de LLM.<\/p>","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"cta-title":"Explore AI Models","cta-description":"Compare price, latency, and availability across providers.","cta-button-text":"Browse Models","cta-button-link":"https:\/\/shareai.now\/models\/?utm_source=blog&utm_medium=content&utm_campaign=kv-cache-routing-llm-prefill","rank_math_title":"KV Cache Routing: Cut Redundant LLM Prefill Work","rank_math_description":"KV cache routing sends repeated prompt prefixes to the right replica so LLM teams can reduce redundant prefill work and latency.","rank_math_focus_keyword":"KV cache routing, prefix-aware routing, prefix caching, LLM inference optimization","footnotes":""},"categories":[4,6],"tags":[176,173,175,174,178,177],"class_list":["post-3047","post","type-post","status-publish","format-standard","hentry","category-developers","category-insights","tag-ai-routing","tag-kv-cache-routing","tag-llm-inference","tag-prefix-caching","tag-sglang","tag-vllm"],"_links":{"self":[{"href":"https:\/\/shareai.now\/es\/api\/wp\/v2\/posts\/3047","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/shareai.now\/es\/api\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/shareai.now\/es\/api\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/shareai.now\/es\/api\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/shareai.now\/es\/api\/wp\/v2\/comments?post=3047"}],"version-history":[{"count":1,"href":"https:\/\/shareai.now\/es\/api\/wp\/v2\/posts\/3047\/revisions"}],"predecessor-version":[{"id":3089,"href":"https:\/\/shareai.now\/es\/api\/wp\/v2\/posts\/3047\/revisions\/3089"}],"wp:attachment":[{"href":"https:\/\/shareai.now\/es\/api\/wp\/v2\/media?parent=3047"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/shareai.now\/es\/api\/wp\/v2\/categories?post=3047"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/shareai.now\/es\/api\/wp\/v2\/tags?post=3047"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}Donde falla el balanceo de carga Round-Robin<\/h2>\n\n\n\n
Tres niveles pr\u00e1cticos de enrutamiento<\/h2>\n\n\n\n
1. Afinidad de sesi\u00f3n<\/h3>\n\n\n\n
2. Enrutamiento por hash de prefijo<\/h3>\n\n\n\n
3. Enrutamiento consciente de eventos de cach\u00e9<\/h3>\n\n\n\n
Cu\u00e1ndo omitirlo<\/h2>\n\n\n\n
C\u00f3mo Esto Encaja Con ShareAI<\/h2>\n\n\n\n
Lista de Verificaci\u00f3n de Enrutamiento de Cach\u00e9 KV<\/h2>\n\n\n\n
Preguntas frecuentes<\/h2>\n\n\n\n
\u00bfQu\u00e9 es el enrutamiento de cach\u00e9 KV?<\/h3>\n\n\n
\u00bfEn qu\u00e9 se diferencia el enrutamiento de cach\u00e9 KV del almacenamiento en cach\u00e9 de prefijos?<\/h3>\n\n\n
\u00bfPor qu\u00e9 el enrutamiento round-robin perjudica el almacenamiento en cach\u00e9 de prefijos?<\/h3>\n\n\n
\u00bfQu\u00e9 cargas de trabajo se benefician m\u00e1s del enrutamiento de cach\u00e9 KV?<\/h3>\n\n\n
\u00bfCu\u00e1ndo deber\u00eda un equipo omitir el enrutamiento de cach\u00e9 KV?<\/h3>\n\n\n
\u00bfvLLM y SGLang admiten el almacenamiento en cach\u00e9 de prefijos?<\/h3>\n\n\n
\u00bfEs el enrutamiento de cach\u00e9 KV lo mismo que el almacenamiento en cach\u00e9 sem\u00e1ntico?<\/h3>\n\n\n
\u00bfShareAI reemplaza a un balanceador de carga consciente de cach\u00e9 KV?<\/h3>\n\n\n
\u00bfC\u00f3mo deber\u00edan los Constructores pensar sobre el enrutamiento de cach\u00e9 KV?<\/h3>\n\n\n
\u00bfQu\u00e9 deber\u00edan medir los equipos antes de cambiar el enrutamiento?<\/h3>\n\n\n
\u00bfPuede el enrutamiento de cach\u00e9 KV reducir los costos de API de IA?<\/h3>\n\n\n