{"id":3047,"date":"2026-07-01T15:50:41","date_gmt":"2026-07-01T12:50:41","guid":{"rendered":"https:\/\/shareai.now\/?p=3047"},"modified":"2026-07-01T15:50:42","modified_gmt":"2026-07-01T12:50:42","slug":"kv-%e0%a6%95%e0%a7%8d%e0%a6%af%e0%a6%be%e0%a6%b6-%e0%a6%b0%e0%a6%be%e0%a6%89%e0%a6%9f%e0%a6%bf%e0%a6%82-llm-%e0%a6%aa%e0%a7%8d%e0%a6%b0%e0%a6%bf%e0%a6%ab%e0%a6%bf%e0%a6%b2","status":"publish","type":"post","link":"https:\/\/shareai.now\/bn\/%e0%a6%ac%e0%a7%8d%e0%a6%b2%e0%a6%97\/%e0%a6%a1%e0%a7%87%e0%a6%ad%e0%a7%87%e0%a6%b2%e0%a6%aa%e0%a6%be%e0%a6%b0%e0%a6%b0%e0%a6%be\/kv-%e0%a6%95%e0%a7%8d%e0%a6%af%e0%a6%be%e0%a6%b6-%e0%a6%b0%e0%a6%be%e0%a6%89%e0%a6%9f%e0%a6%bf%e0%a6%82-llm-%e0%a6%aa%e0%a7%8d%e0%a6%b0%e0%a6%bf%e0%a6%ab%e0%a6%bf%e0%a6%b2\/","title":{"rendered":"KV \u0995\u09cd\u09af\u09be\u09b6 \u09b0\u09be\u0989\u099f\u09bf\u0982: \u0985\u09aa\u09cd\u09b0\u09af\u09bc\u09cb\u099c\u09a8\u09c0\u09af\u09bc LLM \u09aa\u09cd\u09b0\u09bf\u09ab\u09bf\u09b2 \u0995\u09be\u099c \u0995\u09ae\u09be\u09a8"},"content":{"rendered":"<p>\u09af\u0996\u09a8 \u0986\u09aa\u09a8\u09be\u09b0 LLM \u099f\u09cd\u09b0\u09be\u09ab\u09bf\u0995 \u099c\u09c1\u09a1\u09bc\u09c7 \u09aa\u09c1\u09a8\u09b0\u09be\u09ac\u09c3\u09a4\u09cd\u09a4 \u09aa\u09cd\u09b0\u09ae\u09cd\u09aa\u099f \u09aa\u09cd\u09b0\u09bf\u09ab\u09bf\u0995\u09cd\u09b8\u0997\u09c1\u09b2\u09bf \u09ac\u09be\u09b0\u09ac\u09be\u09b0 \u09aa\u09cd\u09b0\u09a6\u09b0\u09cd\u09b6\u09bf\u09a4 \u09b9\u09af\u09bc, \u09a4\u0996\u09a8 KV \u0995\u09cd\u09af\u09be\u09b6 \u09b0\u09be\u0989\u099f\u09bf\u0982 \u0997\u09c1\u09b0\u09c1\u09a4\u09cd\u09ac\u09aa\u09c2\u09b0\u09cd\u09a3 \u09b9\u09af\u09bc\u09c7 \u0993\u09a0\u09c7\u0964 \u09b8\u09a0\u09bf\u0995 \u0985\u09a8\u09c1\u09b0\u09cb\u09a7 \u09b8\u09a0\u09bf\u0995 \u09b0\u09bf\u09aa\u09cd\u09b2\u09bf\u0995\u09be\u09af\u09bc \u09aa\u09cc\u0981\u099b\u09be\u09b2\u09c7, \u09b8\u09be\u09b0\u09cd\u09ad\u09bf\u0982 \u0987\u099e\u09cd\u099c\u09bf\u09a8 \u0995\u09cd\u09af\u09be\u09b6 \u0995\u09b0\u09be \u0985\u09cd\u09af\u09be\u099f\u09c7\u09a8\u09b6\u09a8 \u09b8\u09cd\u099f\u09c7\u099f \u09aa\u09c1\u09a8\u09b0\u09be\u09af\u09bc \u09ac\u09cd\u09af\u09ac\u09b9\u09be\u09b0 \u0995\u09b0\u09a4\u09c7 \u09aa\u09be\u09b0\u09c7, \u098f\u0995\u0987 \u09aa\u09cd\u09b0\u09bf\u09ab\u09bf\u09b2 \u099f\u09cb\u0995\u09c7\u09a8 \u09ac\u09be\u09b0\u09ac\u09be\u09b0 \u09aa\u09c1\u09a8\u09b0\u09be\u09af\u09bc \u0997\u09a3\u09a8\u09be \u0995\u09b0\u09be\u09b0 \u09aa\u09b0\u09bf\u09ac\u09b0\u09cd\u09a4\u09c7\u0964.<\/p>\n\n\n\n<p>\u098f\u099f\u09bf \u098f\u0995\u099f\u09bf \u0985\u09ac\u0995\u09be\u09a0\u09be\u09ae\u09cb \u09ac\u09bf\u09b6\u09a6 \u09ae\u09a8\u09c7 \u09b9\u09a4\u09c7 \u09aa\u09be\u09b0\u09c7, \u09a4\u09ac\u09c7 \u098f\u099f\u09bf \u09a6\u09cd\u09b0\u09c1\u09a4 \u098f\u0995\u099f\u09bf \u09aa\u09a3\u09cd\u09af \u09b8\u09ae\u09b8\u09cd\u09af\u09be\u09af\u09bc \u09aa\u09b0\u09bf\u09a3\u09a4 \u09b9\u09af\u09bc\u0964 \u09a6\u09c0\u09b0\u09cd\u0998 \u09b8\u09bf\u09b8\u09cd\u099f\u09c7\u09ae \u09aa\u09cd\u09b0\u09ae\u09cd\u09aa\u099f, RAG \u09aa\u09cd\u09b0\u09b8\u0999\u09cd\u0997, \u09ab\u09bf\u0989-\u09b6\u099f \u0989\u09a6\u09be\u09b9\u09b0\u09a3 \u098f\u09ac\u0982 \u09ae\u09be\u09b2\u09cd\u099f\u09bf-\u099f\u09be\u09b0\u09cd\u09a8 \u099a\u09cd\u09af\u09be\u099f \u0987\u09a4\u09bf\u09b9\u09be\u09b8 \u09aa\u09cd\u09b0\u09bf\u09ab\u09bf\u09b2 \u0995\u09be\u099c\u0995\u09c7 \u09ac\u09cd\u09af\u09af\u09bc\u09ac\u09b9\u09c1\u09b2 \u0995\u09b0\u09c7 \u09a4\u09c1\u09b2\u09a4\u09c7 \u09aa\u09be\u09b0\u09c7\u0964 \u09af\u0996\u09a8 \u09aa\u09cd\u09b0\u09a4\u09bf\u099f\u09bf \u09b0\u09bf\u09aa\u09cd\u09b2\u09bf\u0995\u09be \u098f\u0995\u0987 \u09aa\u09cd\u09b0\u09bf\u09ab\u09bf\u0995\u09cd\u09b8 \u09aa\u09c1\u09a8\u09b0\u09be\u09af\u09bc \u0997\u09a3\u09a8\u09be \u0995\u09b0\u09c7, \u09a4\u0996\u09a8 \u09a6\u09b2\u0997\u09c1\u09b2\u09bf \u09b2\u09c7\u099f\u09c7\u09a8\u09cd\u09b8\u09bf, GPU \u09b8\u09ae\u09af\u09bc \u098f\u09ac\u0982 \u0995\u09cd\u09b7\u09ae\u09a4\u09be \u09aa\u09b0\u09bf\u0995\u09b2\u09cd\u09aa\u09a8\u09be\u09af\u09bc \u09ae\u09c2\u09b2\u09cd\u09af \u09aa\u09cd\u09b0\u09a6\u09be\u09a8 \u0995\u09b0\u09c7\u0964.<\/p>\n\n\n\n<p>ShareAI \u09a1\u09c7\u09ad\u09c7\u09b2\u09aa\u09be\u09b0\u09a6\u09c7\u09b0 \u099c\u09a8\u09cd\u09af \u09e7\u09eb\u09e6+ \u09ae\u09a1\u09c7\u09b2\u09c7\u09b0 \u099c\u09a8\u09cd\u09af \u098f\u0995\u099f\u09bf API, \u09ae\u09be\u09b0\u09cd\u0995\u09c7\u099f\u09aa\u09cd\u09b2\u09c7\u09b8 \u09a6\u09c3\u09b6\u09cd\u09af\u09ae\u09be\u09a8\u09a4\u09be, \u09b0\u09be\u0989\u099f\u09bf\u0982 \u098f\u09ac\u0982 \u09ab\u09c7\u0987\u09b2\u0993\u09ad\u09be\u09b0 \u09aa\u09cd\u09b0\u09a6\u09be\u09a8 \u0995\u09b0\u09c7\u0964 KV \u0995\u09cd\u09af\u09be\u09b6 \u09b0\u09be\u0989\u099f\u09bf\u0982 \u098f\u0995\u099f\u09bf \u09b8\u09cd\u09a4\u09b0 \u09a8\u09bf\u099a\u09c7, \u09ae\u09a1\u09c7\u09b2-\u09b8\u09be\u09b0\u09cd\u09ad\u09bf\u0982 \u0985\u09ac\u0995\u09be\u09a0\u09be\u09ae\u09cb\u09b0 \u09ad\u09bf\u09a4\u09b0\u09c7 \u09ac\u09b8\u09c7\u0964 ShareAI \u09aa\u09be\u09a0\u0995\u09a6\u09c7\u09b0 \u099c\u09a8\u09cd\u09af \u0989\u09aa\u0995\u09be\u09b0\u09c0 \u09b6\u09bf\u0995\u09cd\u09b7\u09be \u09b8\u09b9\u099c: \u09b0\u09be\u0989\u099f\u09bf\u0982 \u09b8\u09bf\u09a6\u09cd\u09a7\u09be\u09a8\u09cd\u09a4\u0997\u09c1\u09b2\u09bf AI \u09b8\u09cd\u099f\u09cd\u09af\u09be\u0995\u09c7\u09b0 \u09aa\u09cd\u09b0\u09a4\u09bf\u099f\u09bf \u09b8\u09cd\u09a4\u09b0\u09c7 \u0997\u09c1\u09b0\u09c1\u09a4\u09cd\u09ac\u09aa\u09c2\u09b0\u09cd\u09a3, \u09ae\u09a1\u09c7\u09b2 \u09aa\u099b\u09a8\u09cd\u09a6 \u09a5\u09c7\u0995\u09c7 \u09b6\u09c1\u09b0\u09c1 \u0995\u09b0\u09c7 \u0995\u09cb\u09a8 GPU \u09b0\u09bf\u09aa\u09cd\u09b2\u09bf\u0995\u09be \u09aa\u09c1\u09a8\u09b0\u09be\u09ac\u09c3\u09a4\u09cd\u09a4 \u09aa\u09cd\u09b0\u09ae\u09cd\u09aa\u099f \u09aa\u09b0\u09bf\u099a\u09be\u09b2\u09a8\u09be \u0995\u09b0\u09c7 \u09a4\u09be \u09aa\u09b0\u09cd\u09af\u09a8\u09cd\u09a4\u0964.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">\u0995\u09c7\u09a8 KV \u0995\u09cd\u09af\u09be\u09b6 \u09b0\u09be\u0989\u099f\u09bf\u0982 \u0997\u09c1\u09b0\u09c1\u09a4\u09cd\u09ac\u09aa\u09c2\u09b0\u09cd\u09a3<\/h2>\n\n\n\n<p>LLM \u0987\u09a8\u09ab\u09be\u09b0\u09c7\u09a8\u09cd\u09b8\u09c7\u09b0 \u09b8\u09ae\u09af\u09bc, \u098f\u0995\u099f\u09bf \u09ae\u09a1\u09c7\u09b2 \u09aa\u09cd\u09b0\u09a5\u09ae\u09c7 \u09aa\u09cd\u09b0\u09bf\u09ab\u09bf\u09b2 \u09aa\u09b0\u09cd\u09af\u09be\u09af\u09bc\u09c7 \u0987\u09a8\u09aa\u09c1\u099f \u09aa\u09cd\u09b0\u09ae\u09cd\u09aa\u099f \u09aa\u09cd\u09b0\u0995\u09cd\u09b0\u09bf\u09af\u09bc\u09be \u0995\u09b0\u09c7\u0964 \u098f\u099f\u09bf \u098f\u0995\u099f\u09bf \u0995\u09c0-\u09ad\u09cd\u09af\u09be\u09b2\u09c1 \u0995\u09cd\u09af\u09be\u09b6 \u09a4\u09c8\u09b0\u09bf \u0995\u09b0\u09c7, \u09b8\u09be\u09a7\u09be\u09b0\u09a3\u09a4 \u09af\u09be\u0995\u09c7 KV \u0995\u09cd\u09af\u09be\u09b6 \u09ac\u09b2\u09be \u09b9\u09af\u09bc, \u09af\u09be\u09a4\u09c7 \u09aa\u09b0\u09c7 \u09a4\u09c8\u09b0\u09bf \u09b9\u0993\u09af\u09bc\u09be \u099f\u09cb\u0995\u09c7\u09a8\u0997\u09c1\u09b2\u09bf \u0987\u09a4\u09bf\u09ae\u09a7\u09cd\u09af\u09c7 \u09aa\u09cd\u09b0\u0995\u09cd\u09b0\u09bf\u09af\u09bc\u09be\u0995\u09c3\u09a4 \u09aa\u09cd\u09b0\u09b8\u0999\u09cd\u0997\u09c7 \u09ab\u09bf\u09b0\u09c7 \u09af\u09c7\u09a4\u09c7 \u09aa\u09be\u09b0\u09c7\u0964.<\/p>\n\n\n\n<p>\u09aa\u09cd\u09b0\u09bf\u09ab\u09bf\u0995\u09cd\u09b8 \u0995\u09cd\u09af\u09be\u09b6\u09bf\u0982 \u09b8\u09be\u09b0\u09cd\u09ad\u09bf\u0982 \u0987\u099e\u09cd\u099c\u09bf\u09a8\u0997\u09c1\u09b2\u09bf\u0995\u09c7 \u09b8\u09c7\u0987 \u0995\u09cd\u09af\u09be\u09b6 \u09aa\u09c1\u09a8\u09b0\u09be\u09af\u09bc \u09ac\u09cd\u09af\u09ac\u09b9\u09be\u09b0 \u0995\u09b0\u09a4\u09c7 \u09a6\u09c7\u09af\u09bc \u09af\u0996\u09a8 \u098f\u0995\u099f\u09bf \u09aa\u09b0\u09ac\u09b0\u09cd\u09a4\u09c0 \u0985\u09a8\u09c1\u09b0\u09cb\u09a7 \u09aa\u09cd\u09b0\u09ae\u09cd\u09aa\u099f\u09c7\u09b0 \u098f\u0995\u0987 \u09b6\u09c1\u09b0\u09c1 \u09ad\u09be\u0997 \u0995\u09b0\u09c7\u0964 <a href=\"https:\/\/docs.vllm.ai\/en\/v0.18.1\/features\/automatic_prefix_caching\/?utm_source=shareai.now&#038;utm_medium=content&#038;utm_campaign=kv-cache-routing-llm-prefill\">vLLM \u09b8\u09cd\u09ac\u09af\u09bc\u0982\u0995\u09cd\u09b0\u09bf\u09af\u09bc \u09aa\u09cd\u09b0\u09bf\u09ab\u09bf\u0995\u09cd\u09b8 \u0995\u09cd\u09af\u09be\u09b6\u09bf\u0982 \u09a1\u0995\u09c1\u09ae\u09c7\u09a8\u09cd\u099f\u09c7\u09b6\u09a8<\/a> \u098f\u099f\u09bf \u09ad\u09be\u0997 \u0995\u09b0\u09be \u09aa\u09cd\u09b0\u09bf\u09ab\u09bf\u0995\u09cd\u09b8\u0997\u09c1\u09b2\u09bf\u09b0 \u099c\u09a8\u09cd\u09af KV \u0995\u09cd\u09af\u09be\u09b6 \u09aa\u09c1\u09a8\u09b0\u09be\u09af\u09bc \u09ac\u09cd\u09af\u09ac\u09b9\u09be\u09b0 \u09b9\u09bf\u09b8\u09be\u09ac\u09c7 \u09ac\u09b0\u09cd\u09a3\u09a8\u09be \u0995\u09b0\u09c7 \u09af\u09be\u09a4\u09c7 \u09a8\u09a4\u09c1\u09a8 \u0985\u09a8\u09c1\u09b0\u09cb\u09a7 \u09ad\u09be\u0997 \u0995\u09b0\u09be \u0985\u0982\u09b6\u09c7\u09b0 \u099c\u09a8\u09cd\u09af \u0997\u09a3\u09a8\u09be \u098f\u09a1\u09bc\u09be\u09a4\u09c7 \u09aa\u09be\u09b0\u09c7\u0964. <a href=\"https:\/\/sgl-project-sglang-93.mintlify.app\/concepts\/prefix-caching?utm_source=shareai.now&#038;utm_medium=content&#038;utm_campaign=kv-cache-routing-llm-prefill\">SGLang \u09aa\u09cd\u09b0\u09bf\u09ab\u09bf\u0995\u09cd\u09b8 \u0995\u09cd\u09af\u09be\u09b6\u09bf\u0982<\/a> \u09b8\u09be\u09a7\u09be\u09b0\u09a3 \u099f\u09cb\u0995\u09c7\u09a8 \u09b8\u09bf\u0995\u09cb\u09af\u09bc\u09c7\u09a8\u09cd\u09b8\u09c7\u09b0 \u099c\u09a8\u09cd\u09af KV \u0995\u09cd\u09af\u09be\u09b6 \u09ad\u09be\u0997 \u0995\u09b0\u09be\u09b0 \u099c\u09a8\u09cd\u09af \u098f\u0995\u099f\u09bf \u09b8\u09ae\u09cd\u09aa\u09b0\u09cd\u0995\u09bf\u09a4 \u09a7\u09be\u09b0\u09a3\u09be \u09ac\u09cd\u09af\u09ac\u09b9\u09be\u09b0 \u0995\u09b0\u09c7\u0964.<\/p>\n\n\n\n<p>\u098f\u099f\u09bf \u09ac\u09bf\u09b6\u09c7\u09b7\u09ad\u09be\u09ac\u09c7 \u0997\u09c1\u09b0\u09c1\u09a4\u09cd\u09ac\u09aa\u09c2\u09b0\u09cd\u09a3 \u09b8\u09c7\u0987 \u0995\u09be\u099c\u09c7\u09b0 \u099c\u09a8\u09cd\u09af \u09af\u09c7\u0996\u09be\u09a8\u09c7 \u0985\u09a8\u09c7\u0995 \u0985\u09a8\u09c1\u09b0\u09cb\u09a7 \u098f\u0995\u0987\u09ad\u09be\u09ac\u09c7 \u09b6\u09c1\u09b0\u09c1 \u09b9\u09af\u09bc: \u09ac\u09a1\u09bc \u09b8\u09bf\u09b8\u09cd\u099f\u09c7\u09ae \u09aa\u09cd\u09b0\u09ae\u09cd\u09aa\u099f \u09b8\u09b9 \u09b8\u09be\u09aa\u09cb\u09b0\u09cd\u099f \u098f\u099c\u09c7\u09a8\u09cd\u099f, \u09aa\u09c1\u09a8\u09b0\u09be\u09ac\u09c3\u09a4\u09cd\u09a4 \u09a1\u0995\u09c1\u09ae\u09c7\u09a8\u09cd\u099f\u09c7\u09b6\u09a8 \u0985\u0982\u09b6 \u09ac\u09cd\u09af\u09ac\u09b9\u09be\u09b0\u0995\u09be\u09b0\u09c0 RAG \u0985\u09cd\u09af\u09be\u09aa\u09cd\u09b2\u09bf\u0995\u09c7\u09b6\u09a8, \u09b0\u09bf\u09aa\u09cb\u099c\u09bf\u099f\u09b0\u09bf \u09a8\u09bf\u09b0\u09cd\u09a6\u09c7\u09b6\u09be\u09ac\u09b2\u09c0 \u09b8\u09b9 \u0995\u09cb\u09a1\u09bf\u0982 \u098f\u099c\u09c7\u09a8\u09cd\u099f, \u09ac\u09be \u099a\u09cd\u09af\u09be\u099f \u09aa\u09a3\u09cd\u09af \u09af\u09be \u099f\u09be\u09b0\u09cd\u09a8 \u099c\u09c1\u09a1\u09bc\u09c7 \u0995\u09a5\u09cb\u09aa\u0995\u09a5\u09a8\u09c7\u09b0 \u0987\u09a4\u09bf\u09b9\u09be\u09b8 \u09ac\u09b9\u09a8 \u0995\u09b0\u09c7\u0964.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">\u09af\u09c7\u0996\u09be\u09a8\u09c7 \u09b0\u09be\u0989\u09a8\u09cd\u09a1-\u09b0\u09ac\u09bf\u09a8 \u09ad\u09c7\u0999\u09c7 \u09aa\u09a1\u09bc\u09c7<\/h2>\n\n\n\n<p>\u09aa\u09cd\u09b0\u09bf\u09ab\u09bf\u0995\u09cd\u09b8 \u0995\u09cd\u09af\u09be\u09b6\u09bf\u0982 \u098f\u0995\u099f\u09bf \u09b0\u09bf\u09aa\u09cd\u09b2\u09bf\u0995\u09be\u09af\u09bc \u09b8\u09ac\u099a\u09c7\u09af\u09bc\u09c7 \u09b8\u09b9\u099c\u0964 \u098f\u0995\u0987 \u09aa\u09cd\u09b0\u0995\u09cd\u09b0\u09bf\u09af\u09bc\u09be \u09aa\u09c1\u09a8\u09b0\u09be\u09ac\u09c3\u09a4\u09cd\u09a4 \u09aa\u09cd\u09b0\u09bf\u09ab\u09bf\u0995\u09cd\u09b8 \u09a6\u09c7\u0996\u09c7 \u098f\u09ac\u0982 \u09af\u09a6\u09bf \u09ae\u09c7\u09ae\u09b0\u09bf \u0989\u09aa\u09b2\u09ac\u09cd\u09a7 \u09a5\u09be\u0995\u09c7 \u09a4\u09ac\u09c7 \u098f\u09b0 \u0995\u09cd\u09af\u09be\u09b6 \u09aa\u09c1\u09a8\u09b0\u09be\u09af\u09bc \u09ac\u09cd\u09af\u09ac\u09b9\u09be\u09b0 \u0995\u09b0\u09a4\u09c7 \u09aa\u09be\u09b0\u09c7\u0964 \u09b8\u09ae\u09b8\u09cd\u09af\u09be \u09a6\u09c7\u0996\u09be \u09a6\u09c7\u09af\u09bc \u09af\u0996\u09a8 \u09aa\u09b0\u09bf\u09b7\u09c7\u09ac\u09be\u099f\u09bf \u0985\u09a8\u09c1\u09ad\u09c2\u09ae\u09bf\u0995\u09ad\u09be\u09ac\u09c7 \u09b8\u09cd\u0995\u09c7\u09b2 \u0995\u09b0\u09c7\u0964.<\/p>\n\n\n\n<p>\u098f\u0995\u099f\u09bf \u09b8\u09cd\u099f\u09cd\u09af\u09be\u09a8\u09cd\u09a1\u09be\u09b0\u09cd\u09a1 \u09b0\u09be\u0989\u09a8\u09cd\u09a1-\u09b0\u09ac\u09bf\u09a8 \u09b2\u09cb\u09a1 \u09ac\u09cd\u09af\u09be\u09b2\u09c7\u09a8\u09cd\u09b8\u09be\u09b0\u09c7\u09b0 \u09b8\u09be\u09a5\u09c7, \u09aa\u09cd\u09b0\u09a5\u09ae \u0985\u09a8\u09c1\u09b0\u09cb\u09a7\u099f\u09bf \u09b0\u09bf\u09aa\u09cd\u09b2\u09bf\u0995\u09be A-\u09a4\u09c7 \u0995\u09cd\u09af\u09be\u09b6 \u0997\u09b0\u09ae \u0995\u09b0\u09a4\u09c7 \u09aa\u09be\u09b0\u09c7, \u09af\u0996\u09a8 \u098f\u0995\u0987 \u09aa\u09cd\u09b0\u09bf\u09ab\u09bf\u0995\u09cd\u09b8 \u09b8\u09b9 \u09a6\u09cd\u09ac\u09bf\u09a4\u09c0\u09af\u09bc \u0985\u09a8\u09c1\u09b0\u09cb\u09a7\u099f\u09bf \u09b0\u09bf\u09aa\u09cd\u09b2\u09bf\u0995\u09be B-\u09a4\u09c7 \u09aa\u09cc\u0981\u099b\u09be\u09af\u09bc\u0964 \u09b0\u09bf\u09aa\u09cd\u09b2\u09bf\u0995\u09be B-\u09a4\u09c7 \u09b8\u09c7\u0987 \u0995\u09cd\u09af\u09be\u09b6 \u0995\u09b0\u09be \u0985\u09ac\u09b8\u09cd\u09a5\u09be \u09a8\u09c7\u0987, \u09a4\u09be\u0987 \u098f\u099f\u09bf \u098f\u0995\u0987 \u09aa\u09cd\u09b0\u09bf\u09ab\u09bf\u09b2 \u0995\u09be\u099c \u09aa\u09c1\u09a8\u09b0\u09be\u09af\u09bc \u0997\u09a3\u09a8\u09be \u0995\u09b0\u09c7\u0964 \u09a4\u09c3\u09a4\u09c0\u09af\u09bc \u0985\u09a8\u09c1\u09b0\u09cb\u09a7\u099f\u09bf \u09b0\u09bf\u09aa\u09cd\u09b2\u09bf\u0995\u09be C-\u09a4\u09c7 \u09af\u09c7\u09a4\u09c7 \u09aa\u09be\u09b0\u09c7 \u098f\u09ac\u0982 \u0986\u09ac\u09be\u09b0 \u09ae\u09bf\u09b8 \u0995\u09b0\u09a4\u09c7 \u09aa\u09be\u09b0\u09c7\u0964.<\/p>\n\n\n\n<p>\u09b0\u09bf\u09aa\u09cd\u09b2\u09bf\u0995\u09be\u09b0 \u09b8\u0982\u0996\u09cd\u09af\u09be \u09ac\u09be\u09a1\u09bc\u09be\u09b0 \u09b8\u09be\u09a5\u09c7 \u09b8\u09be\u09a5\u09c7, \u09b8\u09b0\u09b2 \u09b2\u09cb\u09a1 \u09ac\u09cd\u09af\u09be\u09b2\u09c7\u09a8\u09cd\u09b8\u09bf\u0982 \u09b8\u09ae\u09cd\u09aa\u09b0\u09cd\u0995\u09bf\u09a4 \u0985\u09a8\u09c1\u09b0\u09cb\u09a7\u0997\u09c1\u09b2\u09bf \u0986\u09b0\u0993 \u09ae\u09c7\u09b6\u09bf\u09a8 \u099c\u09c1\u09a1\u09bc\u09c7 \u099b\u09a1\u09bc\u09bf\u09af\u09bc\u09c7 \u09a6\u09bf\u09a4\u09c7 \u09aa\u09be\u09b0\u09c7\u0964 \u09ae\u09a1\u09c7\u09b2-\u09b8\u09be\u09b0\u09cd\u09ad\u09bf\u0982 \u09ac\u09b9\u09b0\u099f\u09bf \u09ad\u09be\u09b0\u09b8\u09be\u09ae\u09cd\u09af\u09aa\u09c2\u09b0\u09cd\u09a3 \u09a6\u09c7\u0996\u09be\u09a4\u09c7 \u09aa\u09be\u09b0\u09c7, \u09a4\u09ac\u09c7 \u09aa\u09cd\u09b0\u09bf\u09ab\u09bf\u0995\u09cd\u09b8 \u0995\u09cd\u09af\u09be\u09b6 \u09b9\u09bf\u099f \u09b0\u09c7\u099f \u0995\u09ae\u09c7 \u09af\u09be\u09af\u09bc\u0964 \u098f\u099f\u09bf \u09b8\u09c7\u0987 \u09ab\u09be\u0981\u0995 \u09af\u09be KV \u0995\u09cd\u09af\u09be\u09b6 \u09b0\u09be\u0989\u099f\u09bf\u0982 \u09ac\u09a8\u09cd\u09a7 \u0995\u09b0\u09be\u09b0 \u099a\u09c7\u09b7\u09cd\u099f\u09be \u0995\u09b0\u09c7\u0964.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">\u09a4\u09bf\u09a8\u099f\u09bf \u09ac\u09cd\u09af\u09ac\u09b9\u09be\u09b0\u09bf\u0995 \u09b0\u09be\u0989\u099f\u09bf\u0982 \u09b8\u09cd\u09a4\u09b0<\/h2>\n\n\n\n<h3 class=\"wp-block-heading\">\u09e7. \u09b8\u09c7\u09b6\u09a8 \u0985\u09cd\u09af\u09be\u09ab\u09bf\u09a8\u09bf\u099f\u09bf<\/h3>\n\n\n\n<p>\u09b8\u09c7\u09b6\u09a8 \u0985\u09cd\u09af\u09be\u09ab\u09bf\u09a8\u09bf\u099f\u09bf \u098f\u0995\u0987 \u09ac\u09cd\u09af\u09ac\u09b9\u09be\u09b0\u0995\u09be\u09b0\u09c0, \u0993\u09af\u09bc\u09be\u09b0\u09cd\u0995\u09b8\u09cd\u09aa\u09c7\u09b8, \u099f\u09c7\u09a8\u09cd\u09af\u09be\u09a8\u09cd\u099f, \u09ac\u09be \u0995\u09a5\u09cb\u09aa\u0995\u09a5\u09a8 \u09a5\u09c7\u0995\u09c7 \u099f\u09cd\u09b0\u09be\u09ab\u09bf\u0995 \u098f\u0995\u0987 \u09b0\u09bf\u09aa\u09cd\u09b2\u09bf\u0995\u09be\u09af\u09bc \u09b0\u09be\u0989\u099f \u0995\u09b0\u09c7\u0964 \u098f\u099f\u09bf \u09ae\u09be\u09b2\u09cd\u099f\u09bf-\u099f\u09be\u09b0\u09cd\u09a8 \u099a\u09cd\u09af\u09be\u099f\u09c7\u09b0 \u099c\u09a8\u09cd\u09af \u09b6\u09c1\u09b0\u09c1 \u0995\u09b0\u09be\u09b0 \u09b8\u09ac\u099a\u09c7\u09af\u09bc\u09c7 \u09b8\u09b9\u099c \u099c\u09be\u09af\u09bc\u0997\u09be \u0995\u09be\u09b0\u09a3 \u09ab\u09b2\u09cb-\u0986\u09aa \u09aa\u09cd\u09b0\u09ae\u09cd\u09aa\u099f \u09aa\u09cd\u09b0\u09be\u09af\u09bc\u0987 \u09aa\u09c2\u09b0\u09cd\u09ac\u09ac\u09b0\u09cd\u09a4\u09c0 \u09aa\u09cd\u09b0\u09b8\u0999\u09cd\u0997 \u09ad\u09be\u0997 \u0995\u09b0\u09c7\u0964.<\/p>\n\n\n\n<p>\u098f\u09b0 \u09ac\u09bf\u09a8\u09bf\u09ae\u09af\u09bc\u09c7, \u09ac\u09cd\u09af\u09ac\u09b9\u09be\u09b0\u0995\u09be\u09b0\u09c0\u09b0 \u09aa\u09b0\u09bf\u099a\u09af\u09bc \u09b8\u09ac\u09b8\u09ae\u09af\u09bc \u09aa\u09cd\u09b0\u09ae\u09cd\u09aa\u099f\u09c7\u09b0 \u09b8\u09be\u09a6\u09c3\u09b6\u09cd\u09af\u09c7\u09b0 \u09ae\u09a4\u09cb \u09a8\u09af\u09bc\u0964 \u09a6\u09c1\u0987\u099c\u09a8 \u09ac\u09cd\u09af\u09ac\u09b9\u09be\u09b0\u0995\u09be\u09b0\u09c0 \u098f\u0995\u0987 \u09a6\u09c0\u09b0\u09cd\u0998 \u09b8\u09bf\u09b8\u09cd\u099f\u09c7\u09ae \u09aa\u09cd\u09b0\u09ae\u09cd\u09aa\u099f \u09ad\u09be\u0997 \u0995\u09b0\u09a4\u09c7 \u09aa\u09be\u09b0\u09c7 \u098f\u09ac\u0982 \u09a4\u09ac\u09c1\u0993 \u09ad\u09bf\u09a8\u09cd\u09a8 \u09b0\u09bf\u09aa\u09cd\u09b2\u09bf\u0995\u09be\u09af\u09bc \u09b0\u09be\u0989\u099f \u09b9\u09a4\u09c7 \u09aa\u09be\u09b0\u09c7\u0964 \u09b8\u09c7\u09b6\u09a8 \u0985\u09cd\u09af\u09be\u09ab\u09bf\u09a8\u09bf\u099f\u09bf \u09a4\u0996\u09a8\u0993 \u09ac\u09bf\u0998\u09cd\u09a8\u09bf\u09a4 \u09b9\u09a4\u09c7 \u09aa\u09be\u09b0\u09c7 \u09af\u0996\u09a8 \u09b0\u09bf\u09aa\u09cd\u09b2\u09bf\u0995\u09be \u09af\u09cb\u0997 \u09ac\u09be \u09b8\u09b0\u09be\u09a8\u09cb \u09b9\u09af\u09bc\u0964.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u09e8. \u09aa\u09cd\u09b0\u09bf\u09ab\u09bf\u0995\u09cd\u09b8-\u09b9\u09cd\u09af\u09be\u09b6 \u09b0\u09be\u0989\u099f\u09bf\u0982<\/h3>\n\n\n\n<p>\u09aa\u09cd\u09b0\u09bf\u09ab\u09bf\u0995\u09cd\u09b8-\u09b9\u09cd\u09af\u09be\u09b6 \u09b0\u09be\u0989\u099f\u09bf\u0982 \u09aa\u09cd\u09b0\u09ae\u09cd\u09aa\u099f\u099f\u09bf\u0995\u09c7\u0987 \u09b0\u09be\u0989\u099f\u09bf\u0982 \u0995\u09c0 \u09b9\u09bf\u09b8\u09c7\u09ac\u09c7 \u09ac\u09cd\u09af\u09ac\u09b9\u09be\u09b0 \u0995\u09b0\u09c7\u0964 \u09b0\u09be\u0989\u099f\u09be\u09b0 \u09aa\u09cd\u09b0\u09ae\u09cd\u09aa\u099f\u09c7\u09b0 \u09b8\u09cd\u09a5\u09bf\u09a4\u09bf\u09b6\u09c0\u09b2 \u09b6\u09c1\u09b0\u09c1 \u0985\u0982\u09b6\u099f\u09bf \u09b9\u09cd\u09af\u09be\u09b6 \u0995\u09b0\u09c7 \u098f\u09ac\u0982 \u09ae\u09bf\u09b2\u09c7 \u09af\u09be\u0993\u09af\u09bc\u09be \u09aa\u09cd\u09b0\u09bf\u09ab\u09bf\u0995\u09cd\u09b8\u0997\u09c1\u09b2\u09cb \u098f\u0995\u0987 \u09b0\u09bf\u09aa\u09cd\u09b2\u09bf\u0995\u09be\u09af\u09bc \u09aa\u09be\u09a0\u09be\u09af\u09bc\u0964.<\/p>\n\n\n\n<p>\u098f\u099f\u09bf \u09a4\u0996\u09a8 \u09ad\u09be\u09b2\u09cb \u0995\u09be\u099c \u0995\u09b0\u09c7 \u09af\u0996\u09a8 \u09aa\u09c1\u09a8\u09b0\u09be\u09ac\u09c3\u09a4\u09cd\u09a4 \u09b8\u09bf\u09b8\u09cd\u099f\u09c7\u09ae \u09aa\u09cd\u09b0\u09ae\u09cd\u09aa\u099f, \u09ab\u09bf\u0989-\u09b6\u099f \u0989\u09a6\u09be\u09b9\u09b0\u09a3, \u09ac\u09be \u09b6\u09c7\u09af\u09bc\u09be\u09b0 \u0995\u09b0\u09be \u09aa\u09c1\u09a8\u09b0\u09c1\u09a6\u09cd\u09a7\u09be\u09b0 \u0995\u09b0\u09be \u09aa\u09cd\u09b0\u09b8\u0999\u09cd\u0997 \u09ac\u09cd\u09af\u09ac\u09b9\u09be\u09b0\u0995\u09be\u09b0\u09c0\u09b0 \u09aa\u09b0\u09bf\u099a\u09af\u09bc\u09c7\u09b0 \u099a\u09c7\u09af\u09bc\u09c7 \u09ac\u09c7\u09b6\u09bf \u0997\u09c1\u09b0\u09c1\u09a4\u09cd\u09ac\u09aa\u09c2\u09b0\u09cd\u09a3 \u09b9\u09af\u09bc\u0964 \u0995\u09a0\u09bf\u09a8 \u0985\u0982\u09b6\u099f\u09bf \u09b9\u09b2 \u09aa\u09cd\u09b0\u09bf\u09ab\u09bf\u0995\u09cd\u09b8 \u09b8\u09c0\u09ae\u09be\u09a8\u09be \u09a8\u09bf\u09b0\u09cd\u09ac\u09be\u099a\u09a8 \u0995\u09b0\u09be\u0964 \u09af\u09a6\u09bf \u09b9\u09cd\u09af\u09be\u09b6\u09c7 \u099f\u09be\u0987\u09ae\u09b8\u09cd\u099f\u09cd\u09af\u09be\u09ae\u09cd\u09aa, \u09b0\u09bf\u0995\u09cb\u09af\u09bc\u09c7\u09b8\u09cd\u099f \u0986\u0987\u09a1\u09bf, \u09ac\u09be \u09ac\u09cd\u09af\u09ac\u09b9\u09be\u09b0\u0995\u09be\u09b0\u09c0-\u09a8\u09bf\u09b0\u09cd\u09a6\u09bf\u09b7\u09cd\u099f \u0995\u09cd\u09b7\u09c7\u09a4\u09cd\u09b0 \u0985\u09a8\u09cd\u09a4\u09b0\u09cd\u09ad\u09c1\u0995\u09cd\u09a4 \u09a5\u09be\u0995\u09c7, \u09a4\u09be\u09b9\u09b2\u09c7 \u09b0\u09be\u0989\u099f\u09bf\u0982 \u0995\u09c0 \u09ad\u09c7\u0999\u09c7 \u09af\u09be\u09af\u09bc \u098f\u09ac\u0982 \u0995\u09cd\u09af\u09be\u09b6 \u09aa\u09c1\u09a8\u0983\u09ac\u09cd\u09af\u09ac\u09b9\u09be\u09b0 \u09a8\u09b7\u09cd\u099f \u09b9\u09af\u09bc\u0964.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u09e9. \u0995\u09cd\u09af\u09be\u09b6-\u0987\u09ad\u09c7\u09a8\u09cd\u099f-\u0985\u0993\u09af\u09bc\u09cd\u09af\u09be\u09b0 \u09b0\u09be\u0989\u099f\u09bf\u0982<\/h3>\n\n\n\n<p>\u09b8\u09ac\u099a\u09c7\u09af\u09bc\u09c7 \u0989\u09a8\u09cd\u09a8\u09a4 \u09aa\u09a6\u09cd\u09a7\u09a4\u09bf \u099f\u09cd\u09b0\u09cd\u09af\u09be\u0995 \u0995\u09b0\u09c7 \u0995\u09cb\u09a8 \u0995\u09cd\u09af\u09be\u09b6 \u09ac\u09cd\u09b2\u0995 \u0995\u09cb\u09a8 \u09b0\u09bf\u09aa\u09cd\u09b2\u09bf\u0995\u09be\u09af\u09bc \u0989\u09aa\u09b8\u09cd\u09a5\u09bf\u09a4 \u0986\u099b\u09c7, \u09a4\u09be\u09b0\u09aa\u09b0 \u09aa\u09cd\u09b0\u09a4\u09bf\u099f\u09bf \u0985\u09a8\u09c1\u09b0\u09cb\u09a7\u0995\u09c7 \u09b8\u09c7\u0987 \u09b0\u09bf\u09aa\u09cd\u09b2\u09bf\u0995\u09be\u09af\u09bc \u09b0\u09be\u0989\u099f \u0995\u09b0\u09c7 \u09af\u09c7\u0996\u09be\u09a8\u09c7 \u0995\u09cd\u09af\u09be\u09b6 \u0993\u09ad\u09be\u09b0\u09b2\u09cd\u09af\u09be\u09aa \u09b8\u09ac\u099a\u09c7\u09af\u09bc\u09c7 \u09ad\u09be\u09b2\u09cb \u09b9\u09af\u09bc, \u09b2\u09cb\u09a1 \u09ac\u09bf\u09ac\u09c7\u099a\u09a8\u09be \u0995\u09b0\u09c7\u0993\u0964 <a href=\"https:\/\/github.com\/llm-d\/llm-d-router?utm_source=shareai.now&#038;utm_medium=content&#038;utm_campaign=kv-cache-routing-llm-prefill\">llm-d \u09b0\u09be\u0989\u099f\u09be\u09b0 \u09aa\u09cd\u09b0\u0995\u09b2\u09cd\u09aa<\/a> \u098f\u0995\u099f\u09bf \u098f\u09a8\u09cd\u09a1\u09aa\u09af\u09bc\u09c7\u09a8\u09cd\u099f \u09aa\u09bf\u0995\u09be\u09b0 \u09ac\u09b0\u09cd\u09a3\u09a8\u09be \u0995\u09b0\u09c7 \u09af\u09be \u09b0\u09bf\u0995\u09cb\u09af\u09bc\u09c7\u09b8\u09cd\u099f \u0995\u09cb\u09a5\u09be\u09af\u09bc \u09af\u09be\u09ac\u09c7 \u09a4\u09be \u09a8\u09bf\u09b0\u09cd\u09a7\u09be\u09b0\u09a3 \u0995\u09b0\u09be\u09b0 \u09b8\u09ae\u09af\u09bc KV-\u0995\u09cd\u09af\u09be\u09b6 \u09b2\u09cb\u0995\u09be\u09b2\u09bf\u099f\u09bf, \u09ac\u09b0\u09cd\u09a4\u09ae\u09be\u09a8 \u09b2\u09cb\u09a1, \u098f\u09ac\u0982 \u0985\u0997\u09cd\u09b0\u09be\u09a7\u09bf\u0995\u09be\u09b0 \u09ac\u09bf\u09ac\u09c7\u099a\u09a8\u09be \u0995\u09b0\u09c7\u0964.<\/p>\n\n\n\n<p>\u098f\u099f\u09bf \u0986\u09b0\u0993 \u099c\u099f\u09bf\u09b2, \u09a4\u09ac\u09c7 \u098f\u099f\u09bf \u0989\u099a\u09cd\u099a-\u09a5\u09cd\u09b0\u09c1\u09aa\u09c1\u099f \u09ab\u09cd\u09b2\u09bf\u099f\u09c7\u09b0 \u099c\u09a8\u09cd\u09af \u09b8\u09a0\u09bf\u0995 \u09a6\u09bf\u0995 \u09af\u09c7\u0996\u09be\u09a8\u09c7 \u0995\u09cd\u09af\u09be\u09b6 \u09ae\u09bf\u09b8 \u09aa\u09b0\u09bf\u09ae\u09be\u09aa\u09af\u09cb\u0997\u09cd\u09af, \u09ac\u09cd\u09af\u09af\u09bc\u09ac\u09b9\u09c1\u09b2, \u098f\u09ac\u0982 \u0998\u09a8 \u0998\u09a8\u0964.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">\u0995\u0996\u09a8 \u098f\u099f\u09bf \u098f\u09a1\u09bc\u09bf\u09af\u09bc\u09c7 \u099a\u09b2\u09ac\u09c7\u09a8<\/h2>\n\n\n\n<p>KV \u0995\u09cd\u09af\u09be\u09b6 \u09b0\u09be\u0989\u099f\u09bf\u0982 \u099c\u099f\u09bf\u09b2\u09a4\u09be\u09b0 \u099c\u09a8\u09cd\u09af \u09b8\u09cd\u09ac\u09af\u09bc\u0982\u0995\u09cd\u09b0\u09bf\u09af\u09bc\u09ad\u09be\u09ac\u09c7 \u09ae\u09c2\u09b2\u09cd\u09af\u09ac\u09be\u09a8 \u09a8\u09af\u09bc\u0964 \u098f\u099f\u09bf \u09a6\u09c1\u09b0\u09cd\u09ac\u09b2 \u09ab\u09bf\u099f \u09af\u0996\u09a8 \u09aa\u09cd\u09b0\u09ae\u09cd\u09aa\u099f\u0997\u09c1\u09b2\u09cb \u099b\u09cb\u099f, \u09ac\u09c7\u09b6\u09bf\u09b0\u09ad\u09be\u0997\u0987 \u0985\u09a8\u09a8\u09cd\u09af, \u09ac\u09be \u09ac\u09cd\u09af\u09be\u099a\u09c7 \u09aa\u09cd\u09b0\u0995\u09cd\u09b0\u09bf\u09af\u09bc\u09be\u099c\u09be\u09a4 \u0995\u09b0\u09be \u09b9\u09af\u09bc \u09af\u09c7\u0996\u09be\u09a8\u09c7 \u09b8\u09be\u09ae\u09be\u09a8\u09cd\u09af \u09aa\u09c1\u09a8\u09b0\u09be\u09ac\u09c3\u09a4\u09cd\u09a4 \u0995\u09be\u09a0\u09be\u09ae\u09cb \u09a5\u09be\u0995\u09c7\u0964.<\/p>\n\n\n\n<p>\u09a1\u0995\u09c1\u09ae\u09c7\u09a8\u09cd\u099f \u09b8\u09be\u09b0\u09be\u0982\u09b6, \u09b8\u09c3\u099c\u09a8\u09b6\u09c0\u09b2 \u09aa\u09cd\u09b0\u099c\u09a8\u09cd\u09ae, \u098f\u0995\u0995\u09be\u09b2\u09c0\u09a8 \u098f\u0995\u09cd\u09b8\u099f\u09cd\u09b0\u09be\u0995\u09b6\u09a8, \u098f\u09ac\u0982 \u0985\u09a8\u09c7\u0995 \u0985\u09cd\u09af\u09be\u09b8\u09bf\u0999\u09cd\u0995\u09cd\u09b0\u09cb\u09a8\u09be\u09b8 \u09ac\u09cd\u09af\u09be\u099a \u0995\u09be\u099c\u0997\u09c1\u09b2\u09cb\u09b0 \u09af\u09a5\u09c7\u09b7\u09cd\u099f \u09b6\u09c7\u09af\u09bc\u09be\u09b0 \u0995\u09b0\u09be \u09aa\u09cd\u09b0\u09bf\u09ab\u09bf\u0995\u09cd\u09b8 \u0993\u09ad\u09be\u09b0\u09b2\u09cd\u09af\u09be\u09aa \u09a8\u09be\u0993 \u09a5\u09be\u0995\u09a4\u09c7 \u09aa\u09be\u09b0\u09c7 \u0995\u09cd\u09af\u09be\u09b6-\u0985\u0993\u09af\u09bc\u09cd\u09af\u09be\u09b0 \u09b0\u09be\u0989\u099f\u09bf\u0982 \u09a8\u09cd\u09af\u09be\u09af\u09cd\u09af\u09a4\u09be \u09a6\u09c7\u0993\u09af\u09bc\u09be\u09b0 \u099c\u09a8\u09cd\u09af\u0964 \u098f\u0987 \u0995\u09cd\u09b7\u09c7\u09a4\u09cd\u09b0\u09c7, \u09b8\u09be\u09a7\u09be\u09b0\u09a3 \u09b2\u09cb\u09a1 \u09ac\u09cd\u09af\u09be\u09b2\u09c7\u09a8\u09cd\u09b8\u09bf\u0982 \u0986\u09b0\u0993 \u09aa\u09b0\u09bf\u09b7\u09cd\u0995\u09be\u09b0 \u09b9\u09a4\u09c7 \u09aa\u09be\u09b0\u09c7\u0964.<\/p>\n\n\n\n<p>\u09ac\u09cd\u09af\u09ac\u09b9\u09be\u09b0\u09bf\u0995 \u09aa\u09b0\u09c0\u0995\u09cd\u09b7\u09be\u099f\u09bf \u09b9\u09b2 \u09aa\u09b0\u09bf\u09ae\u09be\u09aa: \u0995\u09cd\u09af\u09be\u09b6 \u09b9\u09bf\u099f \u09b0\u09c7\u099f, \u09aa\u09cd\u09b0\u09a5\u09ae \u099f\u09cb\u0995\u09c7\u09a8\u09c7\u09b0 \u09b8\u09ae\u09af\u09bc, \u09a5\u09cd\u09b0\u09c1\u09aa\u09c1\u099f, \u0995\u09bf\u0989 \u0997\u09ad\u09c0\u09b0\u09a4\u09be, GPU \u09ae\u09c7\u09ae\u09b0\u09bf \u099a\u09be\u09aa \u098f\u09ac\u0982 \u09b8\u09ae\u09cd\u09aa\u09a8\u09cd\u09a8 \u0995\u09be\u099c\u09c7\u09b0 \u09aa\u09cd\u09b0\u09a4\u09bf \u0996\u09b0\u099a\u0964 \u09af\u09a6\u09bf \u0995\u09cd\u09af\u09be\u09b6-\u0985\u0993\u09af\u09bc\u09cd\u09af\u09be\u09b0 \u09b0\u09be\u0989\u099f\u09bf\u0982 \u098f\u0987 \u09b8\u0982\u0996\u09cd\u09af\u09be\u0997\u09c1\u09b2\u09bf\u0995\u09c7 \u09aa\u09b0\u09bf\u09ac\u09b0\u09cd\u09a4\u09a8 \u09a8\u09be \u0995\u09b0\u09c7, \u09a4\u09ac\u09c7 \u09aa\u09cd\u09b0\u09a5\u09ae\u09c7 \u09aa\u09cd\u09b0\u09ae\u09cd\u09aa\u099f \u09b8\u09cd\u099f\u09cd\u09b0\u09be\u0995\u099a\u09be\u09b0 \u09a0\u09bf\u0995 \u0995\u09b0\u09c1\u09a8\u0964.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">\u098f\u099f\u09bf ShareAI-\u098f\u09b0 \u09b8\u09be\u09a5\u09c7 \u0995\u09c0\u09ad\u09be\u09ac\u09c7 \u09ab\u09bf\u099f \u0995\u09b0\u09c7<\/h2>\n\n\n\n<p>ShareAI \u098f\u0995\u099f\u09bf AI \u09ae\u09be\u09b0\u09cd\u0995\u09c7\u099f\u09aa\u09cd\u09b2\u09c7\u09b8 \u098f\u09ac\u0982 API, \u0986\u09aa\u09a8\u09be\u09b0 GPU \u0995\u09cd\u09b2\u09be\u09b8\u09cd\u099f\u09be\u09b0\u09c7\u09b0 \u09ad\u09bf\u09a4\u09b0\u09c7 \u09ae\u09a1\u09c7\u09b2-\u09b8\u09be\u09b0\u09cd\u09ad\u09bf\u0982 \u09b2\u09cb\u09a1 \u09ac\u09cd\u09af\u09be\u09b2\u09c7\u09a8\u09cd\u09b8\u09be\u09b0 \u09a8\u09af\u09bc\u0964 \u09a1\u09c7\u09ad\u09c7\u09b2\u09aa\u09be\u09b0\u09b0\u09be ShareAI \u09ac\u09cd\u09af\u09ac\u09b9\u09be\u09b0 \u0995\u09b0\u09c7 \u098f\u0995\u099f\u09bf API-\u098f\u09b0 \u09ae\u09be\u09a7\u09cd\u09af\u09ae\u09c7 \u0985\u09a8\u09c7\u0995 \u09ae\u09a1\u09c7\u09b2\u09c7 \u0985\u09cd\u09af\u09be\u0995\u09cd\u09b8\u09c7\u09b8 \u0995\u09b0\u09c7, \u09ae\u09be\u09b0\u09cd\u0995\u09c7\u099f\u09aa\u09cd\u09b2\u09c7\u09b8 \u09b8\u09bf\u0997\u09a8\u09cd\u09af\u09be\u09b2 \u09a4\u09c1\u09b2\u09a8\u09be \u0995\u09b0\u09c7, \u0985\u09a8\u09c1\u09b0\u09cb\u09a7 \u09b0\u09be\u0989\u099f \u0995\u09b0\u09c7, \u09ac\u09cd\u09af\u09ac\u09b9\u09be\u09b0 \u09aa\u09b0\u09bf\u099a\u09be\u09b2\u09a8\u09be \u0995\u09b0\u09c7 \u098f\u09ac\u0982 \u09af\u0996\u09a8 \u098f\u0995\u099f\u09bf \u09b0\u09c1\u099f \u0985\u09ac\u09a8\u09a4\u09bf \u0998\u099f\u09c7 \u09a4\u0996\u09a8 \u09ac\u09cd\u09af\u09b0\u09cd\u09a5\u09a4\u09be \u0995\u09be\u099f\u09bf\u09af\u09bc\u09c7 \u0993\u09a0\u09c7\u0964.<\/p>\n\n\n\n<p>\u098f\u099f\u09bf \u098f\u0996\u09a8\u0993 KV \u0995\u09cd\u09af\u09be\u09b6 \u09b0\u09be\u0989\u099f\u09bf\u0982\u0995\u09c7 \u09aa\u09cd\u09b0\u09be\u09b8\u0999\u09cd\u0997\u09bf\u0995 \u0995\u09b0\u09c7 \u09a4\u09cb\u09b2\u09c7\u0964 \u09af\u09a6\u09bf \u0986\u09aa\u09a8\u09bf \u0986\u09aa\u09a8\u09be\u09b0 \u09a8\u09bf\u099c\u09b8\u09cd\u09ac \u0987\u09a8\u09ab\u09be\u09b0\u09c7\u09a8\u09cd\u09b8 \u09b8\u09cd\u099f\u09cd\u09af\u09be\u0995 \u09aa\u09b0\u09bf\u099a\u09be\u09b2\u09a8\u09be \u0995\u09b0\u09c7\u09a8, \u098f\u099f\u09bf \u0986\u09aa\u09a8\u09be\u0995\u09c7 \u0986\u09b0\u0993 \u09ad\u09be\u09b2 \u0985\u09ac\u0995\u09be\u09a0\u09be\u09ae\u09cb \u09aa\u09cd\u09b0\u09b6\u09cd\u09a8 \u099c\u09bf\u099c\u09cd\u099e\u09be\u09b8\u09be \u0995\u09b0\u09a4\u09c7 \u09b8\u09be\u09b9\u09be\u09af\u09cd\u09af \u0995\u09b0\u09c7\u0964 \u09af\u09a6\u09bf \u0986\u09aa\u09a8\u09bf \u09b9\u09cb\u09b8\u09cd\u099f \u0995\u09b0\u09be \u09ae\u09a1\u09c7\u09b2\u0997\u09c1\u09b2\u09bf \u09ac\u09cd\u09af\u09ac\u09b9\u09be\u09b0 \u0995\u09b0\u09c7\u09a8, \u098f\u099f\u09bf \u0986\u09aa\u09a8\u09be\u0995\u09c7 \u09ae\u09c2\u09b2\u09cd\u09af\u09be\u09af\u09bc\u09a8 \u0995\u09b0\u09a4\u09c7 \u09b8\u09be\u09b9\u09be\u09af\u09cd\u09af \u0995\u09b0\u09c7 \u0995\u09c7\u09a8 \u098f\u0995\u0987 \u09ae\u09a1\u09c7\u09b2 \u09a8\u09be\u09ae \u09b8\u09b9 \u09a6\u09c1\u099f\u09bf \u09b0\u09c1\u099f \u09ac\u09be\u09b8\u09cd\u09a4\u09ac \u0995\u09be\u099c\u09c7\u09b0 \u099a\u09be\u09aa\u09c7\u09b0 \u0985\u09a7\u09c0\u09a8\u09c7 \u09ad\u09bf\u09a8\u09cd\u09a8\u09ad\u09be\u09ac\u09c7 \u0986\u099a\u09b0\u09a3 \u0995\u09b0\u09a4\u09c7 \u09aa\u09be\u09b0\u09c7\u0964.<\/p>\n\n\n\n<p>\u09a8\u09bf\u09b0\u09cd\u09ae\u09be\u09a4\u09be\u09a6\u09c7\u09b0 \u099c\u09a8\u09cd\u09af, \u098f\u099f\u09bf \u09ae\u09c2\u09b2\u09cd\u09af \u09a8\u09bf\u09b0\u09cd\u09a7\u09be\u09b0\u09a3\u09c7\u09b0 \u09b8\u09be\u09a5\u09c7\u0993 \u09b8\u0982\u09af\u09c1\u0995\u09cd\u09a4\u0964 \u098f\u0995\u099f\u09bf \u0985\u09cd\u09af\u09be\u09aa\u09cd\u09b2\u09bf\u0995\u09c7\u09b6\u09a8 \u09af\u09be\u09b0 \u09a6\u09c0\u09b0\u09cd\u0998 \u09aa\u09cd\u09b0\u09ae\u09cd\u09aa\u099f, \u09aa\u09c1\u09a8\u09b0\u09be\u09ac\u09c3\u09a4\u09cd\u09a4 RAG \u09aa\u09cd\u09b0\u09b8\u0999\u09cd\u0997, \u09ac\u09be \u098f\u099c\u09c7\u09a8\u09cd\u099f \u09b2\u09c1\u09aa\u0997\u09c1\u09b2\u09bf \u0996\u09c1\u09ac \u0985\u09b8\u09ae AI \u09ac\u09cd\u09af\u09ac\u09b9\u09be\u09b0 \u09a4\u09c8\u09b0\u09bf \u0995\u09b0\u09a4\u09c7 \u09aa\u09be\u09b0\u09c7\u0964 ShareAI Builder \u0985\u09cd\u09af\u09be\u09aa\u09cd\u09b2\u09bf\u0995\u09c7\u09b6\u09a8 \u09ae\u09be\u09b2\u09bf\u0995\u09a6\u09c7\u09b0 ShareAI-\u098f\u09b0 \u09ae\u09be\u09a7\u09cd\u09af\u09ae\u09c7 AI \u0987\u09a8\u09ab\u09be\u09b0\u09c7\u09a8\u09cd\u09b8 \u099f\u09cd\u09b0\u09be\u09ab\u09bf\u0995 \u09b0\u09be\u0989\u099f \u0995\u09b0\u09a4\u09c7, \u098f\u0995\u099f\u09bf \u09ae\u09be\u09b0\u09cd\u099c\u09bf\u09a8 \u09ac\u09be \u09b8\u09be\u09b0\u099a\u09be\u09b0\u09cd\u099c \u09b8\u09c7\u099f \u0995\u09b0\u09a4\u09c7, \u0997\u09cd\u09b0\u09be\u09b9\u0995\u09a6\u09c7\u09b0 \u09b0\u09be\u0989\u099f \u0995\u09b0\u09be \u09ac\u09cd\u09af\u09ac\u09b9\u09be\u09b0\u09c7\u09b0 \u099c\u09a8\u09cd\u09af ShareAI-\u0995\u09c7 \u0985\u09b0\u09cd\u09a5 \u09aa\u09cd\u09b0\u09a6\u09be\u09a8 \u0995\u09b0\u09a4\u09c7 \u098f\u09ac\u0982 \u0989\u09a4\u09cd\u09aa\u09a8\u09cd\u09a8 \u09ac\u09cd\u09af\u09ac\u09b9\u09be\u09b0\u09c7\u09b0 \u0989\u09aa\u09b0 \u09ad\u09bf\u09a4\u09cd\u09a4\u09bf \u0995\u09b0\u09c7 \u09ae\u09be\u09b8\u09bf\u0995 \u09aa\u09c7\u09ae\u09c7\u09a8\u09cd\u099f \u09aa\u09c7\u09a4\u09c7 \u09a6\u09c7\u09af\u09bc\u0964 \u0985\u09cd\u09af\u09be\u09aa\u09cd\u09b2\u09bf\u0995\u09c7\u09b6\u09a8\u099f\u09bf \u09a8\u09bf\u099c\u09c7\u0987 ShareAI-\u098f\u09b0 \u09ac\u09be\u0987\u09b0\u09c7 \u09a4\u09c8\u09b0\u09bf \u09a5\u09be\u0995\u09c7\u0964.<\/p>\n\n\n\n<p>\u09ae\u09a1\u09c7\u09b2 \u09a8\u09bf\u09b0\u09cd\u09ac\u09be\u099a\u09a8 \u098f\u09ac\u0982 \u09b0\u09c1\u099f \u09ae\u09c2\u09b2\u09cd\u09af\u09be\u09af\u09bc\u09a8\u09c7\u09b0 \u099c\u09a8\u09cd\u09af, \u09b6\u09c1\u09b0\u09c1 \u0995\u09b0\u09c1\u09a8 <a href=\"https:\/\/shareai.now\/models\/?utm_source=blog&#038;utm_medium=content&#038;utm_campaign=kv-cache-routing-llm-prefill\">ShareAI \u09ae\u09a1\u09c7\u09b2 \u09ae\u09be\u09b0\u09cd\u0995\u09c7\u099f\u09aa\u09cd\u09b2\u09c7\u09b8 \u09a5\u09c7\u0995\u09c7<\/a>. \u0964 \u09ac\u09be\u09b8\u09cd\u09a4\u09ac\u09be\u09af\u09bc\u09a8\u09c7\u09b0 \u09ae\u09cc\u09b2\u09bf\u0995 \u09ac\u09bf\u09b7\u09af\u09bc\u0997\u09c1\u09b2\u09bf\u09b0 \u099c\u09a8\u09cd\u09af, \u09ac\u09cd\u09af\u09ac\u09b9\u09be\u09b0 \u0995\u09b0\u09c1\u09a8 <a href=\"https:\/\/shareai.now\/docs\/api\/using-the-api\/getting-started-with-shareai-api\/?utm_source=blog&#038;utm_medium=content&#038;utm_campaign=kv-cache-routing-llm-prefill\">ShareAI API \u09b0\u09c7\u09ab\u09be\u09b0\u09c7\u09a8\u09cd\u09b8<\/a>.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">KV \u0995\u09cd\u09af\u09be\u09b6 \u09b0\u09be\u0989\u099f\u09bf\u0982 \u099a\u09c7\u0995\u09b2\u09bf\u09b8\u09cd\u099f<\/h2>\n\n\n\n<ul class=\"wp-block-list\"><li>\u09b8\u09cd\u09a5\u09bf\u09a4\u09bf\u09b6\u09c0\u09b2 \u09aa\u09cd\u09b0\u09ae\u09cd\u09aa\u099f \u09b8\u09be\u09ae\u0997\u09cd\u09b0\u09c0 \u09aa\u09cd\u09b0\u09a5\u09ae\u09c7 \u09b0\u09be\u0996\u09c1\u09a8: \u09b8\u09bf\u09b8\u09cd\u099f\u09c7\u09ae \u09aa\u09cd\u09b0\u09ae\u09cd\u09aa\u099f, \u099f\u09c1\u09b2 \u09a8\u09bf\u09af\u09bc\u09ae, \u0989\u09a6\u09be\u09b9\u09b0\u09a3 \u098f\u09ac\u0982 \u09aa\u09c1\u09a8\u09b0\u09be\u09ac\u09c3\u09a4\u09cd\u09a4 \u09aa\u09cd\u09b0\u09b8\u0999\u09cd\u0997\u0964.<\/li><li>\u0997\u09a4\u09bf\u09b6\u09c0\u09b2 \u0995\u09cd\u09b7\u09c7\u09a4\u09cd\u09b0\u0997\u09c1\u09b2\u09bf \u09aa\u09b0\u09c7 \u09b8\u09b0\u09be\u09a8: \u099f\u09be\u0987\u09ae\u09b8\u09cd\u099f\u09cd\u09af\u09be\u09ae\u09cd\u09aa, \u0985\u09a8\u09c1\u09b0\u09cb\u09a7 \u0986\u0987\u09a1\u09bf, \u09ac\u09cd\u09af\u09ac\u09b9\u09be\u09b0\u0995\u09be\u09b0\u09c0-\u09a8\u09bf\u09b0\u09cd\u09a6\u09bf\u09b7\u09cd\u099f \u09a4\u09a5\u09cd\u09af \u098f\u09ac\u0982 \u098f\u0995\u0995\u09be\u09b2\u09c0\u09a8 \u09a8\u09bf\u09b0\u09cd\u09a6\u09c7\u09b6\u09be\u09ac\u09b2\u09c0\u0964.<\/li><li>\u09b0\u09be\u0989\u099f\u09bf\u0982 \u09aa\u09b0\u09bf\u09ac\u09b0\u09cd\u09a4\u09a8\u09c7\u09b0 \u0986\u0997\u09c7 \u098f\u09ac\u0982 \u09aa\u09b0\u09c7 \u0995\u09cd\u09af\u09be\u09b6 \u09b9\u09bf\u099f \u09b0\u09c7\u099f \u09aa\u09b0\u09bf\u09ae\u09be\u09aa \u0995\u09b0\u09c1\u09a8\u0964.<\/li><li>\u09aa\u09cd\u09b0\u09a5\u09ae \u099f\u09cb\u0995\u09c7\u09a8\u09c7\u09b0 \u09b8\u09ae\u09af\u09bc, \u09a5\u09cd\u09b0\u09c1\u09aa\u09c1\u099f, \u0995\u09bf\u0989 \u0997\u09ad\u09c0\u09b0\u09a4\u09be \u098f\u09ac\u0982 VRAM \u099a\u09be\u09aa \u098f\u0995\u09b8\u09be\u09a5\u09c7 \u09aa\u09b0\u09cd\u09af\u09ac\u09c7\u0995\u09cd\u09b7\u09a3 \u0995\u09b0\u09c1\u09a8\u0964.<\/li><li>\u0995\u09cd\u09af\u09be\u09b6-\u0987\u09ad\u09c7\u09a8\u09cd\u099f-\u0985\u0993\u09af\u09bc\u09cd\u09af\u09be\u09b0 \u09b0\u09be\u0989\u099f\u09bf\u0982 \u09a4\u09c8\u09b0\u09bf \u0995\u09b0\u09be\u09b0 \u0986\u0997\u09c7 \u09aa\u09cd\u09b0\u09bf\u09ab\u09bf\u0995\u09cd\u09b8-\u09b9\u09cd\u09af\u09be\u09b6 \u09b0\u09be\u0989\u099f\u09bf\u0982 \u09a6\u09bf\u09af\u09bc\u09c7 \u09b6\u09c1\u09b0\u09c1 \u0995\u09b0\u09c1\u09a8\u0964.<\/li><li>\u098f\u0995\u0995 \u0997\u09cd\u09b2\u09cb\u09ac\u09be\u09b2 \u09a8\u09c0\u09a4\u09bf\u0995\u09c7 \u09ac\u09be\u09a7\u09cd\u09af \u0995\u09b0\u09be\u09b0 \u09aa\u09b0\u09bf\u09ac\u09b0\u09cd\u09a4\u09c7 \u0995\u09be\u099c\u09c7\u09b0 \u099a\u09be\u09aa \u0985\u09a8\u09c1\u09b8\u09be\u09b0\u09c7 \u09b0\u09be\u0989\u099f\u09bf\u0982 \u09a8\u09bf\u09af\u09bc\u09ae\u0997\u09c1\u09b2\u09bf \u09ad\u09be\u0997 \u0995\u09b0\u09c1\u09a8\u0964.<\/li><li>\u0996\u09b0\u099a \u098f\u09ac\u0982 \u09b2\u09c7\u099f\u09c7\u09a8\u09cd\u09b8\u09bf \u0985\u09cd\u09af\u09be\u09aa\u09cd\u09b2\u09bf\u0995\u09c7\u09b6\u09a8 \u09b8\u09cd\u09a4\u09b0\u09c7 \u09a6\u09c3\u09b6\u09cd\u09af\u09ae\u09be\u09a8 \u09b0\u09be\u0996\u09c1\u09a8, \u09b6\u09c1\u09a7\u09c1\u09ae\u09be\u09a4\u09cd\u09b0 \u0987\u09a8\u09ab\u09be\u09b0\u09c7\u09a8\u09cd\u09b8 \u0995\u09cd\u09b2\u09be\u09b8\u09cd\u099f\u09be\u09b0\u09c7\u09b0 \u09ad\u09bf\u09a4\u09b0\u09c7 \u09a8\u09af\u09bc\u0964.<\/li><\/ul>\n\n\n\n<h2 class=\"wp-block-heading\">\u09aa\u09cd\u09b0\u09be\u09af\u09bc\u09b6\u0987 \u099c\u09bf\u099c\u09cd\u099e\u09be\u09b8\u09bf\u09a4 \u09aa\u09cd\u09b0\u09b6\u09cd\u09a8\u09be\u09ac\u09b2\u09c0<\/h2>\n\n\n\n<h3 class=\"wp-block-heading\">KV \u0995\u09cd\u09af\u09be\u09b6 \u09b0\u09be\u0989\u099f\u09bf\u0982 \u0995\u09c0?<\/h3>\n\n\n<p>KV \u0995\u09cd\u09af\u09be\u09b6 \u09b0\u09be\u0989\u099f\u09bf\u0982 \u098f\u0995\u099f\u09bf \u09b0\u09be\u0989\u099f\u09bf\u0982 \u0995\u09cc\u09b6\u09b2 \u09af\u09be \u09aa\u09c1\u09a8\u09b0\u09be\u09ac\u09c3\u09a4\u09cd\u09a4 \u09aa\u09cd\u09b0\u09ae\u09cd\u09aa\u099f \u09aa\u09cd\u09b0\u09bf\u09ab\u09bf\u0995\u09cd\u09b8 \u09b8\u09b9 \u0985\u09a8\u09c1\u09b0\u09cb\u09a7\u0997\u09c1\u09b2\u09bf \u09b8\u09c7\u0987 \u09b0\u09bf\u09aa\u09cd\u09b2\u09bf\u0995\u09be\u0997\u09c1\u09b2\u09bf\u09a4\u09c7 \u09aa\u09be\u09a0\u09be\u09af\u09bc \u09af\u09c7\u0996\u09be\u09a8\u09c7 \u0987\u09a4\u09bf\u09ae\u09a7\u09cd\u09af\u09c7 \u09ae\u09bf\u09b2\u09c7 \u09af\u09be\u0993\u09af\u09bc\u09be KV \u0995\u09cd\u09af\u09be\u09b6 \u09a5\u09be\u0995\u09be\u09b0 \u09b8\u09ae\u09cd\u09ad\u09be\u09ac\u09a8\u09be \u09ac\u09c7\u09b6\u09bf\u0964 \u098f\u09b0 \u09b2\u0995\u09cd\u09b7\u09cd\u09af \u09b9\u09b2 \u0985\u09aa\u09cd\u09b0\u09af\u09bc\u09cb\u099c\u09a8\u09c0\u09af\u09bc \u09aa\u09cd\u09b0\u09bf\u09ab\u09bf\u09b2 \u0997\u09a3\u09a8\u09be \u0995\u09ae\u09be\u09a8\u09cb\u0964.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">KV \u0995\u09cd\u09af\u09be\u09b6 \u09b0\u09be\u0989\u099f\u09bf\u0982 \u09aa\u09cd\u09b0\u09bf\u09ab\u09bf\u0995\u09cd\u09b8 \u0995\u09cd\u09af\u09be\u09b6\u09bf\u0982 \u09a5\u09c7\u0995\u09c7 \u0995\u09c0\u09ad\u09be\u09ac\u09c7 \u0986\u09b2\u09be\u09a6\u09be?<\/h3>\n\n\n<p>\u09aa\u09cd\u09b0\u09bf\u09ab\u09bf\u0995\u09cd\u09b8 \u0995\u09cd\u09af\u09be\u09b6\u09bf\u0982 \u09b9\u09b2 \u09ae\u09a1\u09c7\u09b2-\u09b8\u09be\u09b0\u09cd\u09ad\u09bf\u0982 \u0987\u099e\u09cd\u099c\u09bf\u09a8\u09c7\u09b0 \u0995\u09cd\u09b7\u09ae\u09a4\u09be \u09af\u09be \u09b6\u09c7\u09af\u09bc\u09be\u09b0 \u0995\u09b0\u09be \u09aa\u09cd\u09b0\u09ae\u09cd\u09aa\u099f \u09aa\u09cd\u09b0\u09bf\u09ab\u09bf\u0995\u09cd\u09b8\u09c7\u09b0 \u099c\u09a8\u09cd\u09af \u0995\u09cd\u09af\u09be\u09b6 \u0995\u09b0\u09be \u0985\u09ac\u09b8\u09cd\u09a5\u09be \u09aa\u09c1\u09a8\u09b0\u09be\u09af\u09bc \u09ac\u09cd\u09af\u09ac\u09b9\u09be\u09b0 \u0995\u09b0\u09c7\u0964 KV \u0995\u09cd\u09af\u09be\u09b6 \u09b0\u09be\u0989\u099f\u09bf\u0982 \u09b9\u09b2 \u099f\u09cd\u09b0\u09be\u09ab\u09bf\u0995-\u09aa\u09cd\u09b2\u09c7\u09b8\u09ae\u09c7\u09a8\u09cd\u099f \u0995\u09cc\u09b6\u09b2 \u09af\u09be \u09ae\u09bf\u09b2\u09c7 \u09af\u09be\u0993\u09af\u09bc\u09be \u0985\u09a8\u09c1\u09b0\u09cb\u09a7\u0997\u09c1\u09b2\u09bf \u09b8\u09c7\u0987 \u09b8\u09cd\u09a5\u09be\u09a8\u09c7 \u09aa\u09cc\u0981\u099b\u09be\u09a4\u09c7 \u09b8\u09be\u09b9\u09be\u09af\u09cd\u09af \u0995\u09b0\u09c7 \u09af\u09c7\u0996\u09be\u09a8\u09c7 \u09b8\u09c7\u0987 \u0995\u09cd\u09af\u09be\u09b6 \u0995\u09b0\u09be \u0985\u09ac\u09b8\u09cd\u09a5\u09be \u0987\u09a4\u09bf\u09ae\u09a7\u09cd\u09af\u09c7 \u09ac\u09bf\u09a6\u09cd\u09af\u09ae\u09be\u09a8\u0964.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u09b0\u09be\u0989\u09a8\u09cd\u09a1-\u09b0\u09ac\u09bf\u09a8 \u09b0\u09be\u0989\u099f\u09bf\u0982 \u09aa\u09cd\u09b0\u09bf\u09ab\u09bf\u0995\u09cd\u09b8 \u0995\u09cd\u09af\u09be\u09b6\u09bf\u0982\u0995\u09c7 \u0995\u09c7\u09a8 \u0995\u09cd\u09b7\u09a4\u09bf\u0997\u09cd\u09b0\u09b8\u09cd\u09a4 \u0995\u09b0\u09c7?<\/h3>\n\n\n<p>\u09b0\u09be\u0989\u09a8\u09cd\u09a1-\u09b0\u09ac\u09bf\u09a8 \u09b0\u09be\u0989\u099f\u09bf\u0982 \u0985\u09a8\u09c1\u09b0\u09cb\u09a7\u0997\u09c1\u09b2\u09bf \u09b0\u09bf\u09aa\u09cd\u09b2\u09bf\u0995\u09be\u0997\u09c1\u09b2\u09bf\u09b0 \u09ae\u09a7\u09cd\u09af\u09c7 \u099b\u09a1\u09bc\u09bf\u09af\u09bc\u09c7 \u09a6\u09c7\u09af\u09bc, \u099c\u09c7\u09a8\u09c7 \u09a8\u09be \u09af\u09c7 \u0995\u09cb\u09a8 \u09b0\u09bf\u09aa\u09cd\u09b2\u09bf\u0995\u09be\u09af\u09bc \u0995\u09cb\u09a8 \u0995\u09cd\u09af\u09be\u09b6 \u0995\u09b0\u09be \u09aa\u09cd\u09b0\u09bf\u09ab\u09bf\u0995\u09cd\u09b8 \u09b0\u09af\u09bc\u09c7\u099b\u09c7\u0964 \u098f\u0995\u099f\u09bf \u09aa\u09c1\u09a8\u09b0\u09be\u09ac\u09c3\u09a4\u09cd\u09a4 \u09aa\u09cd\u09b0\u09ae\u09cd\u09aa\u099f \u0995\u09cd\u09af\u09be\u09b6 \u09ae\u09bf\u09b8 \u0995\u09b0\u09a4\u09c7 \u09aa\u09be\u09b0\u09c7 \u09b6\u09c1\u09a7\u09c1\u09ae\u09be\u09a4\u09cd\u09b0 \u0995\u09be\u09b0\u09a3 \u098f\u099f\u09bf \u098f\u0995\u099f\u09bf \u09ad\u09bf\u09a8\u09cd\u09a8 \u09b0\u09bf\u09aa\u09cd\u09b2\u09bf\u0995\u09be\u09af\u09bc \u09aa\u09cc\u0981\u099b\u09be\u09af\u09bc\u0964.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u0995\u09cb\u09a8 \u0993\u09af\u09bc\u09be\u09b0\u09cd\u0995\u09b2\u09cb\u09a1\u0997\u09c1\u09b2\u09bf KV \u0995\u09cd\u09af\u09be\u09b6 \u09b0\u09be\u0989\u099f\u09bf\u0982 \u09a5\u09c7\u0995\u09c7 \u09b8\u09ac\u099a\u09c7\u09af\u09bc\u09c7 \u09ac\u09c7\u09b6\u09bf \u0989\u09aa\u0995\u09c3\u09a4 \u09b9\u09af\u09bc?<\/h3>\n\n\n<p>\u09ae\u09be\u09b2\u09cd\u099f\u09bf-\u099f\u09be\u09b0\u09cd\u09a8 \u099a\u09cd\u09af\u09be\u099f, RAG, \u0995\u09cb\u09a1\u09bf\u0982 \u098f\u099c\u09c7\u09a8\u09cd\u099f, \u09b8\u09be\u09aa\u09cb\u09b0\u09cd\u099f \u098f\u099c\u09c7\u09a8\u09cd\u099f, \u09ab\u09bf\u0989-\u09b6\u099f \u09aa\u09cd\u09b0\u09ae\u09cd\u09aa\u099f\u09bf\u0982 \u098f\u09ac\u0982 \u09a6\u09c0\u09b0\u09cd\u0998 \u09b6\u09c7\u09af\u09bc\u09be\u09b0 \u0995\u09b0\u09be \u09b8\u09bf\u09b8\u09cd\u099f\u09c7\u09ae \u09aa\u09cd\u09b0\u09ae\u09cd\u09aa\u099f \u09b8\u09b9 \u0985\u09cd\u09af\u09be\u09aa\u0997\u09c1\u09b2\u09bf \u09b8\u09ac\u099a\u09c7\u09af\u09bc\u09c7 \u09b6\u0995\u09cd\u09a4\u09bf\u09b6\u09be\u09b2\u09c0 \u09aa\u09cd\u09b0\u09be\u09b0\u09cd\u09a5\u09c0 \u0995\u09be\u09b0\u09a3 \u09a4\u09be\u09b0\u09be \u0989\u09b2\u09cd\u09b2\u09c7\u0996\u09af\u09cb\u0997\u09cd\u09af \u09aa\u09cd\u09b0\u09ae\u09cd\u09aa\u099f \u09aa\u09cd\u09b0\u09bf\u09ab\u09bf\u0995\u09cd\u09b8 \u09aa\u09c1\u09a8\u09b0\u09be\u09af\u09bc \u09ac\u09cd\u09af\u09ac\u09b9\u09be\u09b0 \u0995\u09b0\u09c7\u0964.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u098f\u0995\u099f\u09bf \u09a6\u09b2 \u0995\u0996\u09a8 KV \u0995\u09cd\u09af\u09be\u09b6 \u09b0\u09be\u0989\u099f\u09bf\u0982 \u098f\u09a1\u09bc\u09bf\u09af\u09bc\u09c7 \u09af\u09be\u09ac\u09c7?<\/h3>\n\n\n<p>\u098f\u099f\u09bf \u098f\u09a1\u09bc\u09bf\u09af\u09bc\u09c7 \u09af\u09be\u09a8 \u09af\u0996\u09a8 \u09aa\u09cd\u09b0\u09ae\u09cd\u09aa\u099f\u0997\u09c1\u09b2\u09bf \u09b8\u0982\u0995\u09cd\u09b7\u09bf\u09aa\u09cd\u09a4, \u09ac\u09c7\u09b6\u09bf\u09b0\u09ad\u09be\u0997\u0987 \u0985\u09a8\u09a8\u09cd\u09af, \u09ac\u09be \u09ac\u09cd\u09af\u09be\u099a-\u09ad\u09bf\u09a4\u09cd\u09a4\u09bf\u0995 \u09af\u09c7\u0996\u09be\u09a8\u09c7 \u09b8\u09be\u09ae\u09be\u09a8\u09cd\u09af \u09aa\u09c1\u09a8\u09b0\u09be\u09ac\u09c3\u09a4\u09cd\u09a4 \u0995\u09be\u09a0\u09be\u09ae\u09cb \u09b0\u09af\u09bc\u09c7\u099b\u09c7\u0964 \u098f\u0987 \u0995\u09cd\u09b7\u09c7\u09a4\u09cd\u09b0\u09c7, \u09b0\u09be\u0989\u099f\u09bf\u0982 \u099c\u099f\u09bf\u09b2\u09a4\u09be \u09b8\u09be\u09ae\u09be\u09a8\u09cd\u09af \u09ae\u09c2\u09b2\u09cd\u09af \u09af\u09cb\u0997 \u0995\u09b0\u09a4\u09c7 \u09aa\u09be\u09b0\u09c7\u0964.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">vLLM \u098f\u09ac\u0982 SGLang \u0995\u09bf \u09aa\u09cd\u09b0\u09bf\u09ab\u09bf\u0995\u09cd\u09b8 \u0995\u09cd\u09af\u09be\u09b6\u09bf\u0982 \u09b8\u09ae\u09b0\u09cd\u09a5\u09a8 \u0995\u09b0\u09c7?<\/h3>\n\n\n<p>\u09b9\u09cd\u09af\u09be\u0981\u0964 vLLM \u09b8\u09cd\u09ac\u09af\u09bc\u0982\u0995\u09cd\u09b0\u09bf\u09af\u09bc \u09aa\u09cd\u09b0\u09bf\u09ab\u09bf\u0995\u09cd\u09b8 \u0995\u09cd\u09af\u09be\u09b6\u09bf\u0982 \u09a8\u09a5\u09bf\u09ad\u09c1\u0995\u09cd\u09a4 \u0995\u09b0\u09c7, \u098f\u09ac\u0982 SGLang \u09b8\u09be\u09a7\u09be\u09b0\u09a3 \u099f\u09cb\u0995\u09c7\u09a8 \u09b8\u09bf\u0995\u09cb\u09af\u09bc\u09c7\u09a8\u09cd\u09b8 \u099c\u09c1\u09a1\u09bc\u09c7 \u09b6\u09c7\u09af\u09bc\u09be\u09b0 \u0995\u09b0\u09be KV \u0995\u09cd\u09af\u09be\u09b6\u09c7\u09b0 \u099c\u09a8\u09cd\u09af \u09aa\u09cd\u09b0\u09bf\u09ab\u09bf\u0995\u09cd\u09b8 \u0995\u09cd\u09af\u09be\u09b6\u09bf\u0982 \u09a8\u09a5\u09bf\u09ad\u09c1\u0995\u09cd\u09a4 \u0995\u09b0\u09c7\u0964 \u09af\u0996\u09a8 \u098f\u0995\u09be\u09a7\u09bf\u0995 \u09b0\u09bf\u09aa\u09cd\u09b2\u09bf\u0995\u09be \u099c\u09a1\u09bc\u09bf\u09a4 \u09a5\u09be\u0995\u09c7 \u09a4\u0996\u09a8 \u09b8\u09be\u09b0\u09cd\u09ad\u09bf\u0982 \u0987\u099e\u09cd\u099c\u09bf\u09a8 \u098f\u0996\u09a8\u0993 \u09b0\u09be\u0989\u099f\u09bf\u0982 \u09b8\u09b9\u09be\u09af\u09bc\u09a4\u09be \u09aa\u09cd\u09b0\u09af\u09bc\u09cb\u099c\u09a8\u0964.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">KV \u0995\u09cd\u09af\u09be\u09b6 \u09b0\u09be\u0989\u099f\u09bf\u0982 \u0995\u09bf \u09b8\u09c7\u09ae\u09be\u09a8\u09cd\u099f\u09bf\u0995 \u0995\u09cd\u09af\u09be\u09b6\u09bf\u0982\u09af\u09bc\u09c7\u09b0 \u09ae\u09a4\u09cb?<\/h3>\n\n\n<p>\u09a8\u09be\u0964 KV \u0995\u09cd\u09af\u09be\u09b6 \u09b0\u09be\u0989\u099f\u09bf\u0982 \u0987\u09a8\u09ab\u09be\u09b0\u09c7\u09a8\u09cd\u09b8 \u09b8\u09be\u09b0\u09cd\u09ad\u09bf\u0982\u09af\u09bc\u09c7\u09b0 \u09ad\u09bf\u09a4\u09b0\u09c7 \u09b8\u09a0\u09bf\u0995 \u09ac\u09be \u09aa\u09cd\u09b0\u09be\u09af\u09bc-\u0997\u09a0\u09a8\u09ae\u09c2\u09b2\u0995 \u09aa\u09cd\u09b0\u09bf\u09ab\u09bf\u0995\u09cd\u09b8 \u09aa\u09c1\u09a8\u09b0\u09be\u09af\u09bc \u09ac\u09cd\u09af\u09ac\u09b9\u09be\u09b0\u09c7\u09b0 \u09b8\u09be\u09a5\u09c7 \u0995\u09be\u099c \u0995\u09b0\u09c7\u0964 \u09b8\u09c7\u09ae\u09be\u09a8\u09cd\u099f\u09bf\u0995 \u0995\u09cd\u09af\u09be\u09b6\u09bf\u0982 \u0985\u09b0\u09cd\u09a5\u09c7\u09b0 \u0989\u09aa\u09b0 \u09ad\u09bf\u09a4\u09cd\u09a4\u09bf \u0995\u09b0\u09c7, \u09b8\u09be\u09a7\u09be\u09b0\u09a3\u09a4 \u098f\u09ae\u09cd\u09ac\u09c7\u09a1\u09bf\u0982 \u09ac\u09be \u09b8\u09be\u09a6\u09c3\u09b6\u09cd\u09af \u09a5\u09cd\u09b0\u09c7\u09b6\u09b9\u09cb\u09b2\u09cd\u09a1 \u09b8\u09b9, \u09aa\u09cd\u09b0\u09a4\u09bf\u0995\u09cd\u09b0\u09bf\u09af\u09bc\u09be \u09ac\u09be \u09ae\u09a7\u09cd\u09af\u09ac\u09b0\u09cd\u09a4\u09c0 \u09ab\u09b2\u09be\u09ab\u09b2 \u09b8\u0982\u09b0\u0995\u09cd\u09b7\u09a3 \u098f\u09ac\u0982 \u09aa\u09c1\u09a8\u09b0\u09be\u09af\u09bc \u09ac\u09cd\u09af\u09ac\u09b9\u09be\u09b0 \u0995\u09b0\u09c7\u0964.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">ShareAI \u0995\u09bf KV-\u0995\u09cd\u09af\u09be\u09b6-\u09b8\u099a\u09c7\u09a4\u09a8 \u09b2\u09cb\u09a1 \u09ac\u09cd\u09af\u09be\u09b2\u09c7\u09a8\u09cd\u09b8\u09be\u09b0 \u09aa\u09cd\u09b0\u09a4\u09bf\u09b8\u09cd\u09a5\u09be\u09aa\u09a8 \u0995\u09b0\u09c7?<\/h3>\n\n\n<p>\u09a8\u09be\u0964 ShareAI \u09b9\u09b2 \u09ae\u09a1\u09c7\u09b2 \u0985\u09cd\u09af\u09be\u0995\u09cd\u09b8\u09c7\u09b8, \u09b0\u09be\u0989\u099f\u09bf\u0982, \u09ab\u09c7\u0987\u09b2\u0993\u09ad\u09be\u09b0, \u09ac\u09cd\u09af\u09ac\u09b9\u09be\u09b0 \u098f\u09ac\u0982 \u09ac\u09bf\u09b2\u09bf\u0982\u09af\u09bc\u09c7\u09b0 \u099c\u09a8\u09cd\u09af AI \u09ae\u09be\u09b0\u09cd\u0995\u09c7\u099f\u09aa\u09cd\u09b2\u09c7\u09b8 \u098f\u09ac\u0982 API \u09b8\u09cd\u09a4\u09b0\u0964 KV-cache-aware \u09b0\u09be\u0989\u099f\u09bf\u0982 \u09b9\u09b2 \u09a8\u09bf\u09ae\u09cd\u09a8-\u09b8\u09cd\u09a4\u09b0\u09c7\u09b0 \u09ae\u09a1\u09c7\u09b2-\u09b8\u09be\u09b0\u09cd\u09ad\u09bf\u0982 \u0985\u09ac\u0995\u09be\u09a0\u09be\u09ae\u09cb \u09af\u09be \u0987\u09a8\u09ab\u09be\u09b0\u09c7\u09a8\u09cd\u09b8 \u09b0\u09bf\u09aa\u09cd\u09b2\u09bf\u0995\u09be \u09aa\u09b0\u09bf\u099a\u09be\u09b2\u09a8\u09be \u0995\u09b0\u09be \u09a6\u09b2\u0997\u09c1\u09b2\u09cb\u09b0 \u099c\u09a8\u09cd\u09af\u0964.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u09a8\u09bf\u09b0\u09cd\u09ae\u09be\u09a4\u09be\u09b0\u09be \u0995\u09c0\u09ad\u09be\u09ac\u09c7 KV \u0995\u09cd\u09af\u09be\u09b6 \u09b0\u09be\u0989\u099f\u09bf\u0982 \u09b8\u09ae\u09cd\u09aa\u09b0\u09cd\u0995\u09c7 \u099a\u09bf\u09a8\u09cd\u09a4\u09be \u0995\u09b0\u09ac\u09c7\u09a8?<\/h3>\n\n\n<p>\u09a8\u09bf\u09b0\u09cd\u09ae\u09be\u09a4\u09be\u09b0\u09be \u0995\u09cd\u09af\u09be\u09b6 \u0986\u099a\u09b0\u09a3\u0995\u09c7 AI-\u09ad\u09be\u09b0\u09c0 \u0985\u09cd\u09af\u09be\u09aa\u0997\u09c1\u09b2\u09cb\u09b0 \u09ae\u09a7\u09cd\u09af\u09c7 \u098f\u0995\u099f\u09bf \u0996\u09b0\u099a \u099a\u09be\u09b2\u0995 \u09b9\u09bf\u09b8\u09be\u09ac\u09c7 \u09ac\u09bf\u09ac\u09c7\u099a\u09a8\u09be \u0995\u09b0\u09be \u0989\u099a\u09bf\u09a4\u0964 \u09af\u09a6\u09bf \u09a4\u09be\u09a6\u09c7\u09b0 \u0985\u09cd\u09af\u09be\u09aa\u09cd\u09b2\u09bf\u0995\u09c7\u09b6\u09a8\u09c7\u09b0 \u09ac\u09cd\u09af\u09ac\u09b9\u09be\u09b0\u09c7 \u0985\u09b8\u09ae\u09a4\u09be \u09a5\u09be\u0995\u09c7, ShareAI \u09b8\u09c7\u0987 AI \u099f\u09cd\u09b0\u09be\u09ab\u09bf\u0995 \u09b0\u09be\u0989\u099f \u098f\u09ac\u0982 \u0985\u09b0\u09cd\u09a5\u09be\u09af\u09bc\u09a8\u09c7 \u09b8\u09be\u09b9\u09be\u09af\u09cd\u09af \u0995\u09b0\u09a4\u09c7 \u09aa\u09be\u09b0\u09c7 \u09af\u0996\u09a8 \u0985\u09cd\u09af\u09be\u09aa\u099f\u09bf ShareAI-\u098f\u09b0 \u09ac\u09be\u0987\u09b0\u09c7 \u09a8\u09bf\u09b0\u09cd\u09ae\u09bf\u09a4 \u098f\u09ac\u0982 \u09ae\u09be\u09b2\u09bf\u0995\u09be\u09a8\u09be\u09a7\u09c0\u09a8 \u09a5\u09be\u0995\u09c7\u0964.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u09b0\u09be\u0989\u099f\u09bf\u0982 \u09aa\u09b0\u09bf\u09ac\u09b0\u09cd\u09a4\u09a8\u09c7\u09b0 \u0986\u0997\u09c7 \u09a6\u09b2\u0997\u09c1\u09b2\u09cb \u0995\u09c0 \u09aa\u09b0\u09bf\u09ae\u09be\u09aa \u0995\u09b0\u09be \u0989\u099a\u09bf\u09a4?<\/h3>\n\n\n<p>\u0995\u09cd\u09af\u09be\u09b6 \u09b9\u09bf\u099f \u09b0\u09c7\u099f, \u09aa\u09cd\u09b0\u09a5\u09ae \u099f\u09cb\u0995\u09c7\u09a8\u09c7\u09b0 \u09b8\u09ae\u09af\u09bc, \u09a5\u09cd\u09b0\u09c1\u09aa\u09c1\u099f, \u0995\u09bf\u0989 \u0997\u09ad\u09c0\u09b0\u09a4\u09be, VRAM \u099a\u09be\u09aa, \u09aa\u09cd\u09b0\u09a4\u09bf \u0995\u09be\u099c\u09c7\u09b0 \u0996\u09b0\u099a \u098f\u09ac\u0982 \u0986\u0989\u099f\u09aa\u09c1\u099f \u0997\u09c1\u09a3\u09ae\u09be\u09a8 \u09aa\u09b0\u09bf\u09ae\u09be\u09aa \u0995\u09b0\u09c1\u09a8\u0964 \u09b0\u09be\u0989\u099f\u09bf\u0982 \u09aa\u09b0\u09bf\u09ac\u09b0\u09cd\u09a4\u09a8\u0997\u09c1\u09b2\u09cb \u0995\u09be\u099c\u09c7\u09b0 \u099a\u09be\u09aa \u0989\u09a8\u09cd\u09a8\u09a4 \u0995\u09b0\u09be \u0989\u099a\u09bf\u09a4, \u09b6\u09c1\u09a7\u09c1\u09ae\u09be\u09a4\u09cd\u09b0 \u09a1\u09cd\u09af\u09be\u09b6\u09ac\u09cb\u09b0\u09cd\u09a1 \u09a8\u09af\u09bc\u0964.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">KV \u0995\u09cd\u09af\u09be\u09b6 \u09b0\u09be\u0989\u099f\u09bf\u0982 \u0995\u09bf AI API \u0996\u09b0\u099a \u0995\u09ae\u09be\u09a4\u09c7 \u09aa\u09be\u09b0\u09c7?<\/h3>\n\n\n<p>\u098f\u099f\u09bf \u09a6\u09b2\u0997\u09c1\u09b2\u09cb\u09b0 \u099c\u09a8\u09cd\u09af \u0985\u09ac\u0995\u09be\u09a0\u09be\u09ae\u09cb \u0996\u09b0\u099a \u0995\u09ae\u09be\u09a4\u09c7 \u09aa\u09be\u09b0\u09c7 \u09af\u09be\u09b0\u09be \u09a8\u09bf\u099c\u09c7\u09b0\u09be\u0987 \u09ae\u09a1\u09c7\u09b2 \u09aa\u09b0\u09bf\u09ac\u09c7\u09b6\u09a8 \u0995\u09b0\u09c7 \u0995\u09be\u09b0\u09a3 \u0995\u09ae \u0985\u09a4\u09bf\u09b0\u09bf\u0995\u09cd\u09a4 \u09aa\u09cd\u09b0\u09bf\u09ab\u09bf\u09b2 \u0995\u09be\u099c GPU \u09a6\u0995\u09cd\u09b7\u09a4\u09be \u0989\u09a8\u09cd\u09a8\u09a4 \u0995\u09b0\u09a4\u09c7 \u09aa\u09be\u09b0\u09c7\u0964 \u09b9\u09cb\u09b8\u09cd\u099f\u09c7\u09a1 API-\u0997\u09c1\u09b2\u09cb\u09b0 \u099c\u09a8\u09cd\u09af, \u09aa\u09cd\u09b0\u09ad\u09be\u09ac \u09a8\u09bf\u09b0\u09cd\u09ad\u09b0 \u0995\u09b0\u09c7 \u09af\u09c7 \u09aa\u09cd\u09b0\u09a6\u09be\u09a8\u0995\u09be\u09b0\u09c0 \u09b8\u09c7\u0987 \u09b8\u099e\u09cd\u099a\u09af\u09bc\u0997\u09c1\u09b2\u09cb\u0995\u09c7 \u09ae\u09c2\u09b2\u09cd\u09af \u09ac\u09be \u0995\u09b0\u09cd\u09ae\u0995\u09cd\u09b7\u09ae\u09a4\u09be\u09af\u09bc \u09aa\u09cd\u09b0\u0995\u09be\u09b6 \u0995\u09b0\u09c7 \u0995\u09bf\u09a8\u09be\u0964.<\/p>","protected":false},"excerpt":{"rendered":"<p>KV \u0995\u09cd\u09af\u09be\u09b6 \u09b0\u09be\u0989\u099f\u09bf\u0982 \u09aa\u09c1\u09a8\u09b0\u09be\u09ac\u09c3\u09a4\u09cd\u09a4 \u09aa\u09cd\u09b0\u09ae\u09cd\u09aa\u099f \u09aa\u09cd\u09b0\u09bf\u09ab\u09bf\u0995\u09cd\u09b8\u0997\u09c1\u09b2\u09bf \u09b0\u09bf\u09aa\u09cd\u09b2\u09bf\u0995\u09be\u0997\u09c1\u09b2\u09bf\u09a4\u09c7 \u09aa\u09be\u09a0\u09be\u09af\u09bc \u09af\u09be \u0995\u09cd\u09af\u09be\u09b6 \u0995\u09b0\u09be \u0985\u09cd\u09af\u09be\u099f\u09c7\u09a8\u09b6\u09a8 \u09b8\u09cd\u099f\u09c7\u099f \u09aa\u09c1\u09a8\u09b0\u09be\u09af\u09bc \u09ac\u09cd\u09af\u09ac\u09b9\u09be\u09b0 \u0995\u09b0\u09a4\u09c7 \u09aa\u09be\u09b0\u09c7, \u09a6\u09b2\u0997\u09c1\u09b2\u09bf\u0995\u09c7 \u0985\u09a4\u09bf\u09b0\u09bf\u0995\u09cd\u09a4 LLM \u09aa\u09cd\u09b0\u09bf\u09ab\u09bf\u09b2 \u0995\u09be\u099c \u0995\u09ae\u09be\u09a4\u09c7 \u09b8\u09be\u09b9\u09be\u09af\u09cd\u09af \u0995\u09b0\u09c7\u0964.<\/p>","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"cta-title":"Explore AI Models","cta-description":"Compare price, latency, and availability across providers.","cta-button-text":"Browse Models","cta-button-link":"https:\/\/shareai.now\/models\/?utm_source=blog&utm_medium=content&utm_campaign=kv-cache-routing-llm-prefill","rank_math_title":"KV Cache Routing: Cut Redundant LLM Prefill Work","rank_math_description":"KV cache routing sends repeated prompt prefixes to the right replica so LLM teams can reduce redundant prefill work and latency.","rank_math_focus_keyword":"KV cache routing, prefix-aware routing, prefix caching, LLM inference optimization","footnotes":""},"categories":[4,6],"tags":[176,173,175,174,178,177],"class_list":["post-3047","post","type-post","status-publish","format-standard","hentry","category-developers","category-insights","tag-ai-routing","tag-kv-cache-routing","tag-llm-inference","tag-prefix-caching","tag-sglang","tag-vllm"],"_links":{"self":[{"href":"https:\/\/shareai.now\/bn\/api\/wp\/v2\/posts\/3047","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/shareai.now\/bn\/api\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/shareai.now\/bn\/api\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/shareai.now\/bn\/api\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/shareai.now\/bn\/api\/wp\/v2\/comments?post=3047"}],"version-history":[{"count":1,"href":"https:\/\/shareai.now\/bn\/api\/wp\/v2\/posts\/3047\/revisions"}],"predecessor-version":[{"id":3089,"href":"https:\/\/shareai.now\/bn\/api\/wp\/v2\/posts\/3047\/revisions\/3089"}],"wp:attachment":[{"href":"https:\/\/shareai.now\/bn\/api\/wp\/v2\/media?parent=3047"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/shareai.now\/bn\/api\/wp\/v2\/categories?post=3047"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/shareai.now\/bn\/api\/wp\/v2\/tags?post=3047"}],"curies":[{"name":"\u09a1\u09ac\u09cd\u09b2\u09bf\u0989\u09aa\u09bf","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}