O roteamento de cache KV \u00e9 importante quando prefixos de prompt repetidos continuam aparecendo no tr\u00e1fego do seu LLM. Se a solicita\u00e7\u00e3o certa chegar \u00e0 r\u00e9plica certa, o mecanismo de servi\u00e7o pode reutilizar o estado de aten\u00e7\u00e3o em cache em vez de recalcular os mesmos tokens de preenchimento repetidamente.<\/p>\n\n\n\n
Isso parece um detalhe de infraestrutura, mas rapidamente se torna um problema de produto. Prompts longos do sistema, contexto RAG, exemplos few-shot e hist\u00f3rico de chat com v\u00e1rias intera\u00e7\u00f5es podem tornar o trabalho de preenchimento caro. Quando cada r\u00e9plica recalcula o mesmo prefixo, as equipes pagam em lat\u00eancia, tempo de GPU e planejamento de capacidade.<\/p>\n\n\n\n
O ShareAI oferece aos desenvolvedores uma API para mais de 150 modelos, visibilidade de marketplace, roteamento e failover. O roteamento de cache KV est\u00e1 uma camada abaixo, dentro da infraestrutura de servi\u00e7o de modelos. A conclus\u00e3o \u00fatil para os leitores do ShareAI \u00e9 simples: as decis\u00f5es de roteamento importam em todas as camadas da pilha de IA, desde a escolha do modelo at\u00e9 qual r\u00e9plica de GPU lida com um prompt repetido.<\/p>\n\n\n\n
Durante a infer\u00eancia de LLM, um modelo primeiro processa o prompt de entrada na fase de preenchimento. Ele constr\u00f3i um cache de chave-valor, geralmente chamado de cache KV, para que os tokens gerados posteriormente possam se referir ao contexto j\u00e1 processado.<\/p>\n\n\n\n
O cache de prefixo permite que os mecanismos de servi\u00e7o reutilizem esse cache quando uma solicita\u00e7\u00e3o posterior compartilha o mesmo in\u00edcio do prompt. A documenta\u00e7\u00e3o de cache de prefixo autom\u00e1tico do vLLM<\/a> descreve isso como reutilizar o cache KV para prefixos compartilhados, para que a nova solicita\u00e7\u00e3o possa pular a computa\u00e7\u00e3o da parte compartilhada. O cache de prefixo do SGLang<\/a> usa uma ideia relacionada para compartilhar o cache KV para sequ\u00eancias comuns de tokens.<\/p>\n\n\n\n Isso \u00e9 especialmente importante para cargas de trabalho onde muitas solicita\u00e7\u00f5es come\u00e7am da mesma forma: agentes de suporte com um grande prompt do sistema, aplica\u00e7\u00f5es RAG usando trechos de documenta\u00e7\u00e3o repetidos, agentes de codifica\u00e7\u00e3o com instru\u00e7\u00f5es de reposit\u00f3rio ou produtos de chat que carregam o hist\u00f3rico da conversa entre intera\u00e7\u00f5es.<\/p>\n\n\n\n O cache de prefixo \u00e9 mais f\u00e1cil em uma \u00fanica r\u00e9plica. O mesmo processo v\u00ea o prefixo repetido e pode reutilizar seu cache se houver mem\u00f3ria dispon\u00edvel. O problema aparece quando o servi\u00e7o escala horizontalmente.<\/p>\n\n\n\n Com um balanceador de carga round-robin padr\u00e3o, a primeira solicita\u00e7\u00e3o pode aquecer o cache na r\u00e9plica A, enquanto a segunda solicita\u00e7\u00e3o com o mesmo prefixo chega \u00e0 r\u00e9plica B. A r\u00e9plica B n\u00e3o tem esse estado em cache, ent\u00e3o recalcula o mesmo trabalho de preenchimento. A terceira solicita\u00e7\u00e3o pode ir para a r\u00e9plica C e falhar novamente.<\/p>\n\n\n\n \u00c0 medida que o n\u00famero de r\u00e9plicas cresce, o balanceamento de carga ing\u00eanuo pode espalhar solicita\u00e7\u00f5es relacionadas por mais m\u00e1quinas. A frota de servi\u00e7o de modelos pode parecer equilibrada, mas a taxa de acerto do cache de prefixo cai. Essa \u00e9 a lacuna que o roteamento de cache KV tenta fechar.<\/p>\n\n\n\n A afinidade de sess\u00e3o direciona o tr\u00e1fego do mesmo usu\u00e1rio, espa\u00e7o de trabalho, locat\u00e1rio ou conversa para a mesma r\u00e9plica. \u00c9 o lugar mais simples para come\u00e7ar em chats de m\u00faltiplas intera\u00e7\u00f5es, pois os prompts de acompanhamento frequentemente compartilham o contexto anterior.<\/p>\n\n\n\n A desvantagem \u00e9 que a identidade do usu\u00e1rio nem sempre \u00e9 a mesma que a similaridade do prompt. Dois usu\u00e1rios podem compartilhar o mesmo prompt longo do sistema e ainda serem direcionados para r\u00e9plicas diferentes. A afinidade de sess\u00e3o tamb\u00e9m pode ser perturbada quando r\u00e9plicas s\u00e3o adicionadas ou removidas.<\/p>\n\n\n\n O roteamento por hash de prefixo usa o pr\u00f3prio prompt como chave de roteamento. O roteador faz o hash do in\u00edcio est\u00e1vel do prompt e envia prefixos correspondentes para a mesma r\u00e9plica.<\/p>\n\n\n\n Isso funciona melhor quando prompts repetidos do sistema, exemplos de poucos disparos ou contextos recuperados compartilhados s\u00e3o mais importantes do que a identidade do usu\u00e1rio. A parte dif\u00edcil \u00e9 escolher o limite do prefixo. Se o hash incluir um timestamp, ID de solicita\u00e7\u00e3o ou campo espec\u00edfico do usu\u00e1rio, a chave de roteamento se fragmenta e o reaproveitamento do cache se desfaz.<\/p>\n\n\n\n A abordagem mais avan\u00e7ada rastreia quais blocos de cache est\u00e3o residentes em qual r\u00e9plica e, em seguida, direciona cada solicita\u00e7\u00e3o para a r\u00e9plica com a melhor sobreposi\u00e7\u00e3o de cache, ainda considerando a carga. O projeto llm-d router<\/a> descreve um seletor de endpoint que considera a localidade do KV-cache, a carga atual e a prioridade ao escolher para onde uma solicita\u00e7\u00e3o deve ir.<\/p>\n\n\n\n Isso \u00e9 mais complexo, mas \u00e9 a dire\u00e7\u00e3o certa para frotas de alta capacidade onde falhas de cache s\u00e3o medidas, caras e frequentes.<\/p>\n\n\n\n O roteamento de cache KV n\u00e3o vale automaticamente a complexidade. \u00c9 uma escolha fraca quando os prompts s\u00e3o curtos, principalmente \u00fanicos ou processados em lotes com pouca estrutura repetida.<\/p>\n\n\n\n Resumo de documentos, gera\u00e7\u00e3o criativa, extra\u00e7\u00e3o \u00fanica e muitos trabalhos ass\u00edncronos em lote podem n\u00e3o ter sobreposi\u00e7\u00e3o suficiente de prefixos compartilhados para justificar o roteamento sens\u00edvel ao cache. Nesses casos, o balanceamento de carga simples pode ser mais eficiente.<\/p>\n\n\n\n O teste pr\u00e1tico \u00e9 a medi\u00e7\u00e3o: taxa de acerto do cache, tempo para o primeiro token, throughput, profundidade da fila, press\u00e3o na mem\u00f3ria da GPU e custo por tarefa conclu\u00edda. Se o roteamento consciente de cache n\u00e3o alterar esses n\u00fameros, corrija primeiro a estrutura do prompt.<\/p>\n\n\n\n ShareAI \u00e9 um marketplace de IA e API, n\u00e3o o balanceador de carga de modelos dentro do seu cluster de GPU. Os desenvolvedores usam o ShareAI para acessar v\u00e1rios modelos atrav\u00e9s de uma API, comparar sinais do marketplace, roteirizar solicita\u00e7\u00f5es, gerenciar uso e realizar failover quando uma rota se degrada.<\/p>\n\n\n\n Isso ainda torna o roteamento de cache KV relevante. Se voc\u00ea opera sua pr\u00f3pria pilha de infer\u00eancia, isso ajuda a fazer melhores perguntas sobre infraestrutura. Se voc\u00ea consome modelos hospedados, isso ajuda a avaliar por que duas rotas com nomes de modelos semelhantes podem se comportar de maneira diferente sob cargas de trabalho reais.<\/p>\n\n\n\n Para Construtores, isso tamb\u00e9m se conecta ao pre\u00e7o. Um aplicativo com prompts longos, contexto RAG repetido ou loops de agentes pode criar um uso de IA muito irregular. O ShareAI Builder permite que os propriet\u00e1rios de aplicativos roteiem o tr\u00e1fego de infer\u00eancia de IA atrav\u00e9s do ShareAI, definam uma margem ou sobretaxa, fa\u00e7am com que os clientes paguem ao ShareAI pelo uso roteado e recebam pagamentos mensais com base no uso gerado. O pr\u00f3prio aplicativo permanece constru\u00eddo fora do ShareAI.<\/p>\n\n\n\n Para sele\u00e7\u00e3o de modelos e avalia\u00e7\u00e3o de rotas, comece com o marketplace de modelos do ShareAI<\/a>. Para fundamentos de implementa\u00e7\u00e3o, use o Refer\u00eancia da API do ShareAI<\/a>.<\/p>\n\n\n\n O roteamento de cache KV \u00e9 uma estrat\u00e9gia de roteamento que envia solicita\u00e7\u00f5es com prefixos de prompt repetidos para r\u00e9plicas que provavelmente j\u00e1 possuem o cache KV correspondente. O objetivo \u00e9 reduzir c\u00e1lculos redundantes de preenchimento.<\/p>\n\n\n\n O cache de prefixo \u00e9 a capacidade do mecanismo de servi\u00e7o de modelo de reutilizar o estado em cache para prefixos de prompt compartilhados. O roteamento de cache KV \u00e9 a estrat\u00e9gia de aloca\u00e7\u00e3o de tr\u00e1fego que ajuda solicita\u00e7\u00f5es correspondentes a chegarem onde esse estado em cache j\u00e1 existe.<\/p>\n\n\n\n O roteamento round-robin distribui solicita\u00e7\u00f5es entre r\u00e9plicas sem saber qual r\u00e9plica possui qual prefixo em cache. Um prompt repetido pode perder o cache simplesmente porque chega a uma r\u00e9plica diferente.<\/p>\n\n\n\n Chat de m\u00faltiplas intera\u00e7\u00f5es, RAG, agentes de codifica\u00e7\u00e3o, agentes de suporte, prompts few-shot e aplicativos com prompts de sistema compartilhados longos s\u00e3o os candidatos mais fortes porque reutilizam prefixos de prompt substanciais.<\/p>\n\n\n\n Ignore-o quando os prompts forem curtos, principalmente \u00fanicos ou orientados por lotes com pouca estrutura repetida. Nesses casos, a complexidade do roteamento pode agregar pouco valor.<\/p>\n\n\n\n Sim. vLLM documenta o cache de prefixo autom\u00e1tico, e SGLang documenta o cache de prefixo para cache KV compartilhado em sequ\u00eancias comuns de tokens. O mecanismo de servi\u00e7o ainda precisa de ajuda de roteamento quando v\u00e1rias r\u00e9plicas est\u00e3o envolvidas.<\/p>\n\n\n\n N\u00e3o. O roteamento de cache KV funciona com reutiliza\u00e7\u00e3o exata ou quase estrutural de prefixos dentro do servi\u00e7o de infer\u00eancia. O cache sem\u00e2ntico armazena e reutiliza respostas ou resultados intermedi\u00e1rios com base no significado, geralmente com embeddings ou limites de similaridade.<\/p>\n\n\n\n N\u00e3o. ShareAI \u00e9 o marketplace de IA e camada de API para acesso a modelos, roteamento, failover, uso e faturamento. O roteamento ciente de KV-cache \u00e9 uma infraestrutura de servi\u00e7o de modelos de n\u00edvel inferior para equipes que operam r\u00e9plicas de infer\u00eancia.<\/p>\n\n\n\n Os Builders devem tratar o comportamento do cache como um fator de custo dentro de aplicativos pesados em IA. Se o aplicativo deles tiver uso desigual, o ShareAI pode ajudar a rotear e monetizar esse tr\u00e1fego de IA enquanto o aplicativo permanece constru\u00eddo e de propriedade fora do ShareAI.<\/p>\n\n\n\n Me\u00e7a a taxa de acerto do cache, o tempo para o primeiro token, a taxa de transfer\u00eancia, a profundidade da fila, a press\u00e3o de VRAM, o custo por tarefa e a qualidade da sa\u00edda. As altera\u00e7\u00f5es de roteamento devem melhorar a carga de trabalho, n\u00e3o apenas o painel.<\/p>\n\n\n\n Ele pode reduzir o custo de infraestrutura para equipes que servem modelos por conta pr\u00f3pria, porque menos trabalho redundante de preenchimento pode melhorar a efici\u00eancia da GPU. Para APIs hospedadas, o efeito depende de o provedor expor essas economias no pre\u00e7o ou no desempenho.<\/p>","protected":false},"excerpt":{"rendered":" O roteamento de cache KV envia prefixos de prompt repetidos para r\u00e9plicas que podem reutilizar o estado de aten\u00e7\u00e3o em cache, ajudando as equipes a reduzir o trabalho redundante de preenchimento inicial de LLM.<\/p>","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"cta-title":"Explore AI Models","cta-description":"Compare price, latency, and availability across providers.","cta-button-text":"Browse Models","cta-button-link":"https:\/\/shareai.now\/models\/?utm_source=blog&utm_medium=content&utm_campaign=kv-cache-routing-llm-prefill","rank_math_title":"KV Cache Routing: Cut Redundant LLM Prefill Work","rank_math_description":"KV cache routing sends repeated prompt prefixes to the right replica so LLM teams can reduce redundant prefill work and latency.","rank_math_focus_keyword":"KV cache routing, prefix-aware routing, prefix caching, LLM inference optimization","footnotes":""},"categories":[4,6],"tags":[176,173,175,174,178,177],"class_list":["post-3047","post","type-post","status-publish","format-standard","hentry","category-developers","category-insights","tag-ai-routing","tag-kv-cache-routing","tag-llm-inference","tag-prefix-caching","tag-sglang","tag-vllm"],"_links":{"self":[{"href":"https:\/\/shareai.now\/pt\/api\/wp\/v2\/posts\/3047","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/shareai.now\/pt\/api\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/shareai.now\/pt\/api\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/shareai.now\/pt\/api\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/shareai.now\/pt\/api\/wp\/v2\/comments?post=3047"}],"version-history":[{"count":1,"href":"https:\/\/shareai.now\/pt\/api\/wp\/v2\/posts\/3047\/revisions"}],"predecessor-version":[{"id":3089,"href":"https:\/\/shareai.now\/pt\/api\/wp\/v2\/posts\/3047\/revisions\/3089"}],"wp:attachment":[{"href":"https:\/\/shareai.now\/pt\/api\/wp\/v2\/media?parent=3047"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/shareai.now\/pt\/api\/wp\/v2\/categories?post=3047"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/shareai.now\/pt\/api\/wp\/v2\/tags?post=3047"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}Onde o Round-Robin Falha<\/h2>\n\n\n\n
Tr\u00eas N\u00edveis Pr\u00e1ticos de Roteamento<\/h2>\n\n\n\n
1. Afinidade de Sess\u00e3o<\/h3>\n\n\n\n
2. Roteamento por Hash de Prefixo<\/h3>\n\n\n\n
3. Roteamento Sens\u00edvel a Eventos de Cache<\/h3>\n\n\n\n
Quando Ignorar<\/h2>\n\n\n\n
Como Isso Se Encaixa Com ShareAI<\/h2>\n\n\n\n
Checklist de Roteamento de Cache KV<\/h2>\n\n\n\n
Perguntas Frequentes<\/h2>\n\n\n\n
O que \u00e9 roteamento de cache KV?<\/h3>\n\n\n
Como o roteamento de cache KV \u00e9 diferente do cache de prefixo?<\/h3>\n\n\n
Por que o roteamento round-robin prejudica o cache de prefixo?<\/h3>\n\n\n
Quais cargas de trabalho se beneficiam mais do roteamento de cache KV?<\/h3>\n\n\n
Quando uma equipe deve ignorar o roteamento de cache KV?<\/h3>\n\n\n
vLLM e SGLang suportam cache de prefixo?<\/h3>\n\n\n
O roteamento de cache KV \u00e9 o mesmo que cache sem\u00e2ntico?<\/h3>\n\n\n
O ShareAI substitui um balanceador de carga consciente de cache KV?<\/h3>\n\n\n
Como os Builders devem pensar sobre o roteamento de cache KV?<\/h3>\n\n\n
O que as equipes devem medir antes de alterar o roteamento?<\/h3>\n\n\n
O roteamento de cache KV pode reduzir os custos de API de IA?<\/h3>\n\n\n