\u0e01\u0e32\u0e23\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07 KV cache \u0e21\u0e35\u0e04\u0e27\u0e32\u0e21\u0e2a\u0e33\u0e04\u0e31\u0e0d\u0e40\u0e21\u0e37\u0e48\u0e2d\u0e04\u0e33\u0e02\u0e36\u0e49\u0e19\u0e15\u0e49\u0e19\u0e02\u0e2d\u0e07\u0e04\u0e33\u0e2a\u0e31\u0e48\u0e07\u0e17\u0e35\u0e48\u0e0b\u0e49\u0e33\u0e01\u0e31\u0e19\u0e1b\u0e23\u0e32\u0e01\u0e0f\u0e02\u0e36\u0e49\u0e19\u0e43\u0e19\u0e17\u0e23\u0e32\u0e1f\u0e1f\u0e34\u0e01 LLM \u0e02\u0e2d\u0e07\u0e04\u0e38\u0e13 \u0e2b\u0e32\u0e01\u0e04\u0e33\u0e02\u0e2d\u0e17\u0e35\u0e48\u0e16\u0e39\u0e01\u0e15\u0e49\u0e2d\u0e07\u0e44\u0e1b\u0e16\u0e36\u0e07\u0e2a\u0e33\u0e40\u0e19\u0e32\u0e17\u0e35\u0e48\u0e16\u0e39\u0e01\u0e15\u0e49\u0e2d\u0e07 \u0e40\u0e04\u0e23\u0e37\u0e48\u0e2d\u0e07\u0e21\u0e37\u0e2d\u0e43\u0e2b\u0e49\u0e1a\u0e23\u0e34\u0e01\u0e32\u0e23\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e43\u0e0a\u0e49\u0e2a\u0e16\u0e32\u0e19\u0e30\u0e01\u0e32\u0e23\u0e43\u0e2b\u0e49\u0e04\u0e27\u0e32\u0e21\u0e2a\u0e19\u0e43\u0e08\u0e17\u0e35\u0e48\u0e41\u0e04\u0e0a\u0e44\u0e27\u0e49\u0e41\u0e17\u0e19\u0e01\u0e32\u0e23\u0e04\u0e33\u0e19\u0e27\u0e13\u0e42\u0e17\u0e40\u0e04\u0e47\u0e19\u0e40\u0e15\u0e34\u0e21\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e40\u0e14\u0e34\u0e21\u0e0b\u0e49\u0e33\u0e41\u0e25\u0e49\u0e27\u0e0b\u0e49\u0e33\u0e2d\u0e35\u0e01.<\/p>\n\n\n\n
\u0e19\u0e31\u0e48\u0e19\u0e1f\u0e31\u0e07\u0e14\u0e39\u0e40\u0e2b\u0e21\u0e37\u0e2d\u0e19\u0e23\u0e32\u0e22\u0e25\u0e30\u0e40\u0e2d\u0e35\u0e22\u0e14\u0e02\u0e2d\u0e07\u0e42\u0e04\u0e23\u0e07\u0e2a\u0e23\u0e49\u0e32\u0e07\u0e1e\u0e37\u0e49\u0e19\u0e10\u0e32\u0e19 \u0e41\u0e15\u0e48\u0e01\u0e25\u0e32\u0e22\u0e40\u0e1b\u0e47\u0e19\u0e1b\u0e31\u0e0d\u0e2b\u0e32\u0e02\u0e2d\u0e07\u0e1c\u0e25\u0e34\u0e15\u0e20\u0e31\u0e13\u0e11\u0e4c\u0e44\u0e14\u0e49\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e23\u0e27\u0e14\u0e40\u0e23\u0e47\u0e27 \u0e04\u0e33\u0e2a\u0e31\u0e48\u0e07\u0e23\u0e30\u0e1a\u0e1a\u0e22\u0e32\u0e27\u0e46 \u0e1a\u0e23\u0e34\u0e1a\u0e17 RAG \u0e15\u0e31\u0e27\u0e2d\u0e22\u0e48\u0e32\u0e07 few-shot \u0e41\u0e25\u0e30\u0e1b\u0e23\u0e30\u0e27\u0e31\u0e15\u0e34\u0e01\u0e32\u0e23\u0e2a\u0e19\u0e17\u0e19\u0e32\u0e41\u0e1a\u0e1a\u0e2b\u0e25\u0e32\u0e22\u0e23\u0e2d\u0e1a\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e17\u0e33\u0e43\u0e2b\u0e49\u0e01\u0e32\u0e23\u0e40\u0e15\u0e34\u0e21\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e21\u0e35\u0e04\u0e48\u0e32\u0e43\u0e0a\u0e49\u0e08\u0e48\u0e32\u0e22\u0e2a\u0e39\u0e07 \u0e40\u0e21\u0e37\u0e48\u0e2d\u0e2a\u0e33\u0e40\u0e19\u0e32\u0e17\u0e38\u0e01\u0e15\u0e31\u0e27\u0e04\u0e33\u0e19\u0e27\u0e13\u0e04\u0e33\u0e02\u0e36\u0e49\u0e19\u0e15\u0e49\u0e19\u0e40\u0e14\u0e35\u0e22\u0e27\u0e01\u0e31\u0e19 \u0e17\u0e35\u0e21\u0e07\u0e32\u0e19\u0e15\u0e49\u0e2d\u0e07\u0e08\u0e48\u0e32\u0e22\u0e43\u0e19\u0e40\u0e23\u0e37\u0e48\u0e2d\u0e07\u0e04\u0e27\u0e32\u0e21\u0e25\u0e48\u0e32\u0e0a\u0e49\u0e32 \u0e40\u0e27\u0e25\u0e32 GPU \u0e41\u0e25\u0e30\u0e01\u0e32\u0e23\u0e27\u0e32\u0e07\u0e41\u0e1c\u0e19\u0e04\u0e27\u0e32\u0e21\u0e08\u0e38.<\/p>\n\n\n\n
ShareAI \u0e43\u0e2b\u0e49 API \u0e2b\u0e19\u0e36\u0e48\u0e07\u0e15\u0e31\u0e27\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e19\u0e31\u0e01\u0e1e\u0e31\u0e12\u0e19\u0e32\u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e43\u0e0a\u0e49\u0e07\u0e32\u0e19\u0e42\u0e21\u0e40\u0e14\u0e25\u0e01\u0e27\u0e48\u0e32 150+ \u0e42\u0e21\u0e40\u0e14\u0e25 \u0e01\u0e32\u0e23\u0e21\u0e2d\u0e07\u0e40\u0e2b\u0e47\u0e19\u0e43\u0e19\u0e15\u0e25\u0e32\u0e14 \u0e01\u0e32\u0e23\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07 \u0e41\u0e25\u0e30\u0e01\u0e32\u0e23\u0e2a\u0e33\u0e23\u0e2d\u0e07\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25 \u0e01\u0e32\u0e23\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07 KV cache \u0e2d\u0e22\u0e39\u0e48\u0e43\u0e19\u0e0a\u0e31\u0e49\u0e19\u0e17\u0e35\u0e48\u0e15\u0e48\u0e33\u0e01\u0e27\u0e48\u0e32 \u0e20\u0e32\u0e22\u0e43\u0e19\u0e42\u0e04\u0e23\u0e07\u0e2a\u0e23\u0e49\u0e32\u0e07\u0e1e\u0e37\u0e49\u0e19\u0e10\u0e32\u0e19\u0e01\u0e32\u0e23\u0e43\u0e2b\u0e49\u0e1a\u0e23\u0e34\u0e01\u0e32\u0e23\u0e42\u0e21\u0e40\u0e14\u0e25 \u0e2a\u0e34\u0e48\u0e07\u0e17\u0e35\u0e48\u0e1c\u0e39\u0e49\u0e2d\u0e48\u0e32\u0e19 ShareAI \u0e04\u0e27\u0e23\u0e19\u0e33\u0e44\u0e1b\u0e43\u0e0a\u0e49\u0e04\u0e37\u0e2d\u0e01\u0e32\u0e23\u0e15\u0e31\u0e14\u0e2a\u0e34\u0e19\u0e43\u0e08\u0e40\u0e23\u0e37\u0e48\u0e2d\u0e07\u0e01\u0e32\u0e23\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07\u0e21\u0e35\u0e04\u0e27\u0e32\u0e21\u0e2a\u0e33\u0e04\u0e31\u0e0d\u0e43\u0e19\u0e17\u0e38\u0e01\u0e0a\u0e31\u0e49\u0e19\u0e02\u0e2d\u0e07 AI stack \u0e15\u0e31\u0e49\u0e07\u0e41\u0e15\u0e48\u0e01\u0e32\u0e23\u0e40\u0e25\u0e37\u0e2d\u0e01\u0e42\u0e21\u0e40\u0e14\u0e25\u0e44\u0e1b\u0e08\u0e19\u0e16\u0e36\u0e07\u0e2a\u0e33\u0e40\u0e19\u0e32 GPU \u0e17\u0e35\u0e48\u0e08\u0e31\u0e14\u0e01\u0e32\u0e23\u0e04\u0e33\u0e2a\u0e31\u0e48\u0e07\u0e17\u0e35\u0e48\u0e0b\u0e49\u0e33\u0e01\u0e31\u0e19.<\/p>\n\n\n\n
\u0e43\u0e19\u0e23\u0e30\u0e2b\u0e27\u0e48\u0e32\u0e07\u0e01\u0e32\u0e23\u0e2d\u0e19\u0e38\u0e21\u0e32\u0e19 LLM \u0e42\u0e21\u0e40\u0e14\u0e25\u0e08\u0e30\u0e1b\u0e23\u0e30\u0e21\u0e27\u0e25\u0e1c\u0e25\u0e04\u0e33\u0e2a\u0e31\u0e48\u0e07\u0e17\u0e35\u0e48\u0e1b\u0e49\u0e2d\u0e19\u0e40\u0e02\u0e49\u0e32\u0e21\u0e32\u0e43\u0e19\u0e40\u0e1f\u0e2a\u0e40\u0e15\u0e34\u0e21\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25 \u0e21\u0e31\u0e19\u0e2a\u0e23\u0e49\u0e32\u0e07\u0e41\u0e04\u0e0a\u0e04\u0e35\u0e22\u0e4c-\u0e04\u0e48\u0e32 \u0e0b\u0e36\u0e48\u0e07\u0e21\u0e31\u0e01\u0e40\u0e23\u0e35\u0e22\u0e01\u0e27\u0e48\u0e32 KV cache \u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e43\u0e2b\u0e49\u0e42\u0e17\u0e40\u0e04\u0e47\u0e19\u0e17\u0e35\u0e48\u0e2a\u0e23\u0e49\u0e32\u0e07\u0e02\u0e36\u0e49\u0e19\u0e43\u0e19\u0e20\u0e32\u0e22\u0e2b\u0e25\u0e31\u0e07\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e2d\u0e49\u0e32\u0e07\u0e2d\u0e34\u0e07\u0e01\u0e25\u0e31\u0e1a\u0e44\u0e1b\u0e22\u0e31\u0e07\u0e1a\u0e23\u0e34\u0e1a\u0e17\u0e17\u0e35\u0e48\u0e1b\u0e23\u0e30\u0e21\u0e27\u0e25\u0e1c\u0e25\u0e41\u0e25\u0e49\u0e27.<\/p>\n\n\n\n
\u0e01\u0e32\u0e23\u0e41\u0e04\u0e0a\u0e04\u0e33\u0e02\u0e36\u0e49\u0e19\u0e15\u0e49\u0e19\u0e0a\u0e48\u0e27\u0e22\u0e43\u0e2b\u0e49\u0e40\u0e04\u0e23\u0e37\u0e48\u0e2d\u0e07\u0e21\u0e37\u0e2d\u0e43\u0e2b\u0e49\u0e1a\u0e23\u0e34\u0e01\u0e32\u0e23\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e43\u0e0a\u0e49\u0e41\u0e04\u0e0a\u0e19\u0e31\u0e49\u0e19\u0e0b\u0e49\u0e33\u0e44\u0e14\u0e49\u0e40\u0e21\u0e37\u0e48\u0e2d\u0e04\u0e33\u0e02\u0e2d\u0e43\u0e19\u0e20\u0e32\u0e22\u0e2b\u0e25\u0e31\u0e07\u0e21\u0e35\u0e04\u0e33\u0e02\u0e36\u0e49\u0e19\u0e15\u0e49\u0e19\u0e40\u0e14\u0e35\u0e22\u0e27\u0e01\u0e31\u0e19 \u0e40\u0e2d\u0e01\u0e2a\u0e32\u0e23\u0e01\u0e32\u0e23\u0e41\u0e04\u0e0a\u0e04\u0e33\u0e02\u0e36\u0e49\u0e19\u0e15\u0e49\u0e19\u0e2d\u0e31\u0e15\u0e42\u0e19\u0e21\u0e31\u0e15\u0e34\u0e02\u0e2d\u0e07 vLLM<\/a> \u0e2d\u0e18\u0e34\u0e1a\u0e32\u0e22\u0e27\u0e48\u0e32\u0e40\u0e1b\u0e47\u0e19\u0e01\u0e32\u0e23\u0e43\u0e0a\u0e49 KV cache \u0e0b\u0e49\u0e33\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e04\u0e33\u0e02\u0e36\u0e49\u0e19\u0e15\u0e49\u0e19\u0e17\u0e35\u0e48\u0e41\u0e0a\u0e23\u0e4c\u0e01\u0e31\u0e19 \u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e43\u0e2b\u0e49\u0e04\u0e33\u0e02\u0e2d\u0e43\u0e2b\u0e21\u0e48\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e02\u0e49\u0e32\u0e21\u0e01\u0e32\u0e23\u0e04\u0e33\u0e19\u0e27\u0e13\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e2a\u0e48\u0e27\u0e19\u0e17\u0e35\u0e48\u0e41\u0e0a\u0e23\u0e4c\u0e44\u0e14\u0e49. \u0e01\u0e32\u0e23\u0e41\u0e04\u0e0a\u0e04\u0e33\u0e02\u0e36\u0e49\u0e19\u0e15\u0e49\u0e19\u0e02\u0e2d\u0e07 SGLang<\/a> \u0e43\u0e0a\u0e49\u0e41\u0e19\u0e27\u0e04\u0e34\u0e14\u0e17\u0e35\u0e48\u0e40\u0e01\u0e35\u0e48\u0e22\u0e27\u0e02\u0e49\u0e2d\u0e07\u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e41\u0e0a\u0e23\u0e4c KV cache \u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e25\u0e33\u0e14\u0e31\u0e1a\u0e42\u0e17\u0e40\u0e04\u0e47\u0e19\u0e17\u0e35\u0e48\u0e40\u0e2b\u0e21\u0e37\u0e2d\u0e19\u0e01\u0e31\u0e19.<\/p>\n\n\n\n \u0e2a\u0e34\u0e48\u0e07\u0e19\u0e35\u0e49\u0e21\u0e35\u0e04\u0e27\u0e32\u0e21\u0e2a\u0e33\u0e04\u0e31\u0e0d\u0e40\u0e1b\u0e47\u0e19\u0e1e\u0e34\u0e40\u0e28\u0e29\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e07\u0e32\u0e19\u0e17\u0e35\u0e48\u0e21\u0e35\u0e04\u0e33\u0e02\u0e2d\u0e08\u0e33\u0e19\u0e27\u0e19\u0e21\u0e32\u0e01\u0e40\u0e23\u0e34\u0e48\u0e21\u0e15\u0e49\u0e19\u0e43\u0e19\u0e25\u0e31\u0e01\u0e29\u0e13\u0e30\u0e40\u0e14\u0e35\u0e22\u0e27\u0e01\u0e31\u0e19: \u0e15\u0e31\u0e27\u0e41\u0e17\u0e19\u0e2a\u0e19\u0e31\u0e1a\u0e2a\u0e19\u0e38\u0e19\u0e17\u0e35\u0e48\u0e21\u0e35\u0e04\u0e33\u0e2a\u0e31\u0e48\u0e07\u0e23\u0e30\u0e1a\u0e1a\u0e02\u0e19\u0e32\u0e14\u0e43\u0e2b\u0e0d\u0e48 \u0e41\u0e2d\u0e1b\u0e1e\u0e25\u0e34\u0e40\u0e04\u0e0a\u0e31\u0e19 RAG \u0e17\u0e35\u0e48\u0e43\u0e0a\u0e49\u0e0a\u0e34\u0e49\u0e19\u0e2a\u0e48\u0e27\u0e19\u0e40\u0e2d\u0e01\u0e2a\u0e32\u0e23\u0e0b\u0e49\u0e33 \u0e15\u0e31\u0e27\u0e41\u0e17\u0e19\u0e01\u0e32\u0e23\u0e40\u0e02\u0e35\u0e22\u0e19\u0e42\u0e04\u0e49\u0e14\u0e17\u0e35\u0e48\u0e21\u0e35\u0e04\u0e33\u0e41\u0e19\u0e30\u0e19\u0e33\u0e43\u0e19 repository \u0e2b\u0e23\u0e37\u0e2d\u0e1c\u0e25\u0e34\u0e15\u0e20\u0e31\u0e13\u0e11\u0e4c\u0e41\u0e0a\u0e17\u0e17\u0e35\u0e48\u0e21\u0e35\u0e1b\u0e23\u0e30\u0e27\u0e31\u0e15\u0e34\u0e01\u0e32\u0e23\u0e2a\u0e19\u0e17\u0e19\u0e32\u0e43\u0e19\u0e41\u0e15\u0e48\u0e25\u0e30\u0e23\u0e2d\u0e1a.<\/p>\n\n\n\n \u0e01\u0e32\u0e23\u0e41\u0e04\u0e0a\u0e04\u0e33\u0e02\u0e36\u0e49\u0e19\u0e15\u0e49\u0e19\u0e07\u0e48\u0e32\u0e22\u0e17\u0e35\u0e48\u0e2a\u0e38\u0e14\u0e43\u0e19\u0e2a\u0e33\u0e40\u0e19\u0e32\u0e40\u0e14\u0e35\u0e22\u0e27 \u0e01\u0e23\u0e30\u0e1a\u0e27\u0e19\u0e01\u0e32\u0e23\u0e40\u0e14\u0e35\u0e22\u0e27\u0e01\u0e31\u0e19\u0e08\u0e30\u0e40\u0e2b\u0e47\u0e19\u0e04\u0e33\u0e02\u0e36\u0e49\u0e19\u0e15\u0e49\u0e19\u0e17\u0e35\u0e48\u0e0b\u0e49\u0e33\u0e01\u0e31\u0e19\u0e41\u0e25\u0e30\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e43\u0e0a\u0e49\u0e41\u0e04\u0e0a\u0e0b\u0e49\u0e33\u0e44\u0e14\u0e49\u0e2b\u0e32\u0e01\u0e21\u0e35\u0e2b\u0e19\u0e48\u0e27\u0e22\u0e04\u0e27\u0e32\u0e21\u0e08\u0e33\u0e40\u0e1e\u0e35\u0e22\u0e07\u0e1e\u0e2d \u0e1b\u0e31\u0e0d\u0e2b\u0e32\u0e40\u0e01\u0e34\u0e14\u0e02\u0e36\u0e49\u0e19\u0e40\u0e21\u0e37\u0e48\u0e2d\u0e1a\u0e23\u0e34\u0e01\u0e32\u0e23\u0e02\u0e22\u0e32\u0e22\u0e43\u0e19\u0e41\u0e19\u0e27\u0e19\u0e2d\u0e19.<\/p>\n\n\n\n \u0e14\u0e49\u0e27\u0e22\u0e15\u0e31\u0e27\u0e42\u0e2b\u0e25\u0e14\u0e1a\u0e32\u0e25\u0e32\u0e19\u0e0b\u0e4c\u0e41\u0e1a\u0e1a round-robin \u0e21\u0e32\u0e15\u0e23\u0e10\u0e32\u0e19 \u0e04\u0e33\u0e02\u0e2d\u0e41\u0e23\u0e01\u0e2d\u0e32\u0e08\u0e17\u0e33\u0e43\u0e2b\u0e49\u0e41\u0e04\u0e0a\u0e23\u0e49\u0e2d\u0e19\u0e1a\u0e19\u0e2a\u0e33\u0e40\u0e19\u0e32 A \u0e43\u0e19\u0e02\u0e13\u0e30\u0e17\u0e35\u0e48\u0e04\u0e33\u0e02\u0e2d\u0e17\u0e35\u0e48\u0e2a\u0e2d\u0e07\u0e17\u0e35\u0e48\u0e21\u0e35\u0e04\u0e33\u0e02\u0e36\u0e49\u0e19\u0e15\u0e49\u0e19\u0e40\u0e14\u0e35\u0e22\u0e27\u0e01\u0e31\u0e19\u0e44\u0e1b\u0e16\u0e36\u0e07\u0e2a\u0e33\u0e40\u0e19\u0e32 B \u0e2a\u0e33\u0e40\u0e19\u0e32 B \u0e44\u0e21\u0e48\u0e21\u0e35\u0e2a\u0e16\u0e32\u0e19\u0e30\u0e17\u0e35\u0e48\u0e41\u0e04\u0e0a\u0e44\u0e27\u0e49 \u0e14\u0e31\u0e07\u0e19\u0e31\u0e49\u0e19\u0e08\u0e36\u0e07\u0e04\u0e33\u0e19\u0e27\u0e13\u0e07\u0e32\u0e19\u0e40\u0e15\u0e34\u0e21\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e40\u0e14\u0e34\u0e21\u0e0b\u0e49\u0e33 \u0e04\u0e33\u0e02\u0e2d\u0e17\u0e35\u0e48\u0e2a\u0e32\u0e21\u0e2d\u0e32\u0e08\u0e44\u0e1b\u0e17\u0e35\u0e48\u0e2a\u0e33\u0e40\u0e19\u0e32 C \u0e41\u0e25\u0e30\u0e1e\u0e25\u0e32\u0e14\u0e2d\u0e35\u0e01\u0e04\u0e23\u0e31\u0e49\u0e07.<\/p>\n\n\n\n \u0e40\u0e21\u0e37\u0e48\u0e2d\u0e08\u0e33\u0e19\u0e27\u0e19\u0e2a\u0e33\u0e40\u0e19\u0e32\u0e40\u0e1e\u0e34\u0e48\u0e21\u0e02\u0e36\u0e49\u0e19 \u0e01\u0e32\u0e23\u0e42\u0e2b\u0e25\u0e14\u0e1a\u0e32\u0e25\u0e32\u0e19\u0e0b\u0e4c\u0e41\u0e1a\u0e1a\u0e07\u0e48\u0e32\u0e22\u0e46 \u0e2d\u0e32\u0e08\u0e01\u0e23\u0e30\u0e08\u0e32\u0e22\u0e04\u0e33\u0e02\u0e2d\u0e17\u0e35\u0e48\u0e40\u0e01\u0e35\u0e48\u0e22\u0e27\u0e02\u0e49\u0e2d\u0e07\u0e44\u0e1b\u0e22\u0e31\u0e07\u0e40\u0e04\u0e23\u0e37\u0e48\u0e2d\u0e07\u0e21\u0e32\u0e01\u0e02\u0e36\u0e49\u0e19 \u0e01\u0e2d\u0e07\u0e40\u0e23\u0e37\u0e2d\u0e43\u0e2b\u0e49\u0e1a\u0e23\u0e34\u0e01\u0e32\u0e23\u0e42\u0e21\u0e40\u0e14\u0e25\u0e2d\u0e32\u0e08\u0e14\u0e39\u0e2a\u0e21\u0e14\u0e38\u0e25 \u0e41\u0e15\u0e48\u0e23\u0e30\u0e14\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e40\u0e02\u0e49\u0e32\u0e16\u0e36\u0e07\u0e41\u0e04\u0e0a\u0e04\u0e33\u0e02\u0e36\u0e49\u0e19\u0e15\u0e49\u0e19\u0e25\u0e14\u0e25\u0e07 \u0e19\u0e31\u0e48\u0e19\u0e04\u0e37\u0e2d\u0e0a\u0e48\u0e2d\u0e07\u0e27\u0e48\u0e32\u0e07\u0e17\u0e35\u0e48\u0e01\u0e32\u0e23\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07 KV cache \u0e1e\u0e22\u0e32\u0e22\u0e32\u0e21\u0e1b\u0e34\u0e14.<\/p>\n\n\n\n \u0e04\u0e27\u0e32\u0e21\u0e2a\u0e31\u0e21\u0e1e\u0e31\u0e19\u0e18\u0e4c\u0e02\u0e2d\u0e07\u0e40\u0e0b\u0e2a\u0e0a\u0e31\u0e19\u0e08\u0e30\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07\u0e01\u0e32\u0e23\u0e08\u0e23\u0e32\u0e08\u0e23\u0e08\u0e32\u0e01\u0e1c\u0e39\u0e49\u0e43\u0e0a\u0e49, \u0e1e\u0e37\u0e49\u0e19\u0e17\u0e35\u0e48\u0e17\u0e33\u0e07\u0e32\u0e19, \u0e1c\u0e39\u0e49\u0e40\u0e0a\u0e48\u0e32, \u0e2b\u0e23\u0e37\u0e2d\u0e01\u0e32\u0e23\u0e2a\u0e19\u0e17\u0e19\u0e32\u0e40\u0e14\u0e35\u0e22\u0e27\u0e01\u0e31\u0e19\u0e44\u0e1b\u0e22\u0e31\u0e07\u0e2a\u0e33\u0e40\u0e19\u0e32\u0e40\u0e14\u0e35\u0e22\u0e27\u0e01\u0e31\u0e19 \u0e40\u0e1b\u0e47\u0e19\u0e08\u0e38\u0e14\u0e40\u0e23\u0e34\u0e48\u0e21\u0e15\u0e49\u0e19\u0e17\u0e35\u0e48\u0e07\u0e48\u0e32\u0e22\u0e17\u0e35\u0e48\u0e2a\u0e38\u0e14\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e2a\u0e19\u0e17\u0e19\u0e32\u0e41\u0e1a\u0e1a\u0e2b\u0e25\u0e32\u0e22\u0e23\u0e2d\u0e1a\u0e40\u0e1e\u0e23\u0e32\u0e30\u0e04\u0e33\u0e16\u0e32\u0e21\u0e15\u0e34\u0e14\u0e15\u0e32\u0e21\u0e21\u0e31\u0e01\u0e08\u0e30\u0e41\u0e0a\u0e23\u0e4c\u0e1a\u0e23\u0e34\u0e1a\u0e17\u0e01\u0e48\u0e2d\u0e19\u0e2b\u0e19\u0e49\u0e32.<\/p>\n\n\n\n \u0e02\u0e49\u0e2d\u0e41\u0e25\u0e01\u0e40\u0e1b\u0e25\u0e35\u0e48\u0e22\u0e19\u0e04\u0e37\u0e2d\u0e27\u0e48\u0e32\u0e15\u0e31\u0e27\u0e15\u0e19\u0e02\u0e2d\u0e07\u0e1c\u0e39\u0e49\u0e43\u0e0a\u0e49\u0e44\u0e21\u0e48\u0e40\u0e2a\u0e21\u0e2d\u0e44\u0e1b\u0e17\u0e35\u0e48\u0e40\u0e2b\u0e21\u0e37\u0e2d\u0e19\u0e01\u0e31\u0e1a\u0e04\u0e27\u0e32\u0e21\u0e04\u0e25\u0e49\u0e32\u0e22\u0e04\u0e25\u0e36\u0e07\u0e02\u0e2d\u0e07\u0e04\u0e33\u0e16\u0e32\u0e21 \u0e2a\u0e2d\u0e07\u0e1c\u0e39\u0e49\u0e43\u0e0a\u0e49\u0e2d\u0e32\u0e08\u0e41\u0e0a\u0e23\u0e4c\u0e04\u0e33\u0e16\u0e32\u0e21\u0e23\u0e30\u0e1a\u0e1a\u0e22\u0e32\u0e27\u0e40\u0e14\u0e35\u0e22\u0e27\u0e01\u0e31\u0e19\u0e41\u0e25\u0e30\u0e22\u0e31\u0e07\u0e04\u0e07\u0e16\u0e39\u0e01\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07\u0e44\u0e1b\u0e22\u0e31\u0e07\u0e2a\u0e33\u0e40\u0e19\u0e32\u0e17\u0e35\u0e48\u0e15\u0e48\u0e32\u0e07\u0e01\u0e31\u0e19 \u0e04\u0e27\u0e32\u0e21\u0e2a\u0e31\u0e21\u0e1e\u0e31\u0e19\u0e18\u0e4c\u0e02\u0e2d\u0e07\u0e40\u0e0b\u0e2a\u0e0a\u0e31\u0e19\u0e22\u0e31\u0e07\u0e2d\u0e32\u0e08\u0e16\u0e39\u0e01\u0e23\u0e1a\u0e01\u0e27\u0e19\u0e40\u0e21\u0e37\u0e48\u0e2d\u0e21\u0e35\u0e01\u0e32\u0e23\u0e40\u0e1e\u0e34\u0e48\u0e21\u0e2b\u0e23\u0e37\u0e2d\u0e25\u0e1a\u0e2a\u0e33\u0e40\u0e19\u0e32.<\/p>\n\n\n\n \u0e01\u0e32\u0e23\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07\u0e14\u0e49\u0e27\u0e22\u0e41\u0e2e\u0e0a\u0e04\u0e33\u0e19\u0e33\u0e2b\u0e19\u0e49\u0e32\u0e43\u0e0a\u0e49\u0e04\u0e33\u0e16\u0e32\u0e21\u0e40\u0e2d\u0e07\u0e40\u0e1b\u0e47\u0e19\u0e01\u0e38\u0e0d\u0e41\u0e08\u0e01\u0e32\u0e23\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07 \u0e15\u0e31\u0e27\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07\u0e08\u0e30\u0e2a\u0e23\u0e49\u0e32\u0e07\u0e41\u0e2e\u0e0a\u0e08\u0e32\u0e01\u0e08\u0e38\u0e14\u0e40\u0e23\u0e34\u0e48\u0e21\u0e15\u0e49\u0e19\u0e17\u0e35\u0e48\u0e40\u0e2a\u0e16\u0e35\u0e22\u0e23\u0e02\u0e2d\u0e07\u0e04\u0e33\u0e16\u0e32\u0e21\u0e41\u0e25\u0e30\u0e2a\u0e48\u0e07\u0e04\u0e33\u0e19\u0e33\u0e2b\u0e19\u0e49\u0e32\u0e17\u0e35\u0e48\u0e15\u0e23\u0e07\u0e01\u0e31\u0e19\u0e44\u0e1b\u0e22\u0e31\u0e07\u0e2a\u0e33\u0e40\u0e19\u0e32\u0e40\u0e14\u0e35\u0e22\u0e27\u0e01\u0e31\u0e19.<\/p>\n\n\n\n \u0e27\u0e34\u0e18\u0e35\u0e19\u0e35\u0e49\u0e17\u0e33\u0e07\u0e32\u0e19\u0e44\u0e14\u0e49\u0e14\u0e35\u0e01\u0e27\u0e48\u0e32\u0e40\u0e21\u0e37\u0e48\u0e2d\u0e04\u0e33\u0e16\u0e32\u0e21\u0e23\u0e30\u0e1a\u0e1a\u0e17\u0e35\u0e48\u0e0b\u0e49\u0e33\u0e01\u0e31\u0e19, \u0e15\u0e31\u0e27\u0e2d\u0e22\u0e48\u0e32\u0e07 few-shot, \u0e2b\u0e23\u0e37\u0e2d\u0e1a\u0e23\u0e34\u0e1a\u0e17\u0e17\u0e35\u0e48\u0e40\u0e23\u0e35\u0e22\u0e01\u0e04\u0e37\u0e19\u0e23\u0e48\u0e27\u0e21\u0e01\u0e31\u0e19\u0e21\u0e35\u0e04\u0e27\u0e32\u0e21\u0e2a\u0e33\u0e04\u0e31\u0e0d\u0e21\u0e32\u0e01\u0e01\u0e27\u0e48\u0e32\u0e15\u0e31\u0e27\u0e15\u0e19\u0e02\u0e2d\u0e07\u0e1c\u0e39\u0e49\u0e43\u0e0a\u0e49 \u0e2a\u0e48\u0e27\u0e19\u0e17\u0e35\u0e48\u0e22\u0e32\u0e01\u0e04\u0e37\u0e2d\u0e01\u0e32\u0e23\u0e40\u0e25\u0e37\u0e2d\u0e01\u0e02\u0e2d\u0e1a\u0e40\u0e02\u0e15\u0e02\u0e2d\u0e07\u0e04\u0e33\u0e19\u0e33\u0e2b\u0e19\u0e49\u0e32 \u0e2b\u0e32\u0e01\u0e41\u0e2e\u0e0a\u0e23\u0e27\u0e21\u0e16\u0e36\u0e07\u0e01\u0e32\u0e23\u0e1b\u0e23\u0e30\u0e17\u0e31\u0e1a\u0e40\u0e27\u0e25\u0e32, \u0e23\u0e2b\u0e31\u0e2a\u0e04\u0e33\u0e02\u0e2d, \u0e2b\u0e23\u0e37\u0e2d\u0e1f\u0e34\u0e25\u0e14\u0e4c\u0e40\u0e09\u0e1e\u0e32\u0e30\u0e1c\u0e39\u0e49\u0e43\u0e0a\u0e49 \u0e01\u0e38\u0e0d\u0e41\u0e08\u0e01\u0e32\u0e23\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07\u0e08\u0e30\u0e41\u0e15\u0e01\u0e2d\u0e2d\u0e01\u0e41\u0e25\u0e30\u0e01\u0e32\u0e23\u0e43\u0e0a\u0e49\u0e41\u0e04\u0e0a\u0e0b\u0e49\u0e33\u0e08\u0e30\u0e25\u0e49\u0e21\u0e40\u0e2b\u0e25\u0e27.<\/p>\n\n\n\n \u0e27\u0e34\u0e18\u0e35\u0e17\u0e35\u0e48\u0e01\u0e49\u0e32\u0e27\u0e2b\u0e19\u0e49\u0e32\u0e17\u0e35\u0e48\u0e2a\u0e38\u0e14\u0e08\u0e30\u0e15\u0e34\u0e14\u0e15\u0e32\u0e21\u0e27\u0e48\u0e32\u0e1a\u0e25\u0e47\u0e2d\u0e01\u0e41\u0e04\u0e0a\u0e43\u0e14\u0e2d\u0e22\u0e39\u0e48\u0e43\u0e19\u0e2a\u0e33\u0e40\u0e19\u0e32\u0e43\u0e14 \u0e08\u0e32\u0e01\u0e19\u0e31\u0e49\u0e19\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07\u0e41\u0e15\u0e48\u0e25\u0e30\u0e04\u0e33\u0e02\u0e2d\u0e44\u0e1b\u0e22\u0e31\u0e07\u0e2a\u0e33\u0e40\u0e19\u0e32\u0e17\u0e35\u0e48\u0e21\u0e35\u0e01\u0e32\u0e23\u0e17\u0e31\u0e1a\u0e0b\u0e49\u0e2d\u0e19\u0e02\u0e2d\u0e07\u0e41\u0e04\u0e0a\u0e17\u0e35\u0e48\u0e14\u0e35\u0e17\u0e35\u0e48\u0e2a\u0e38\u0e14\u0e43\u0e19\u0e02\u0e13\u0e30\u0e17\u0e35\u0e48\u0e22\u0e31\u0e07\u0e04\u0e33\u0e19\u0e36\u0e07\u0e16\u0e36\u0e07\u0e42\u0e2b\u0e25\u0e14 \u0e42\u0e04\u0e23\u0e07\u0e01\u0e32\u0e23 llm-d router<\/a> \u0e2d\u0e18\u0e34\u0e1a\u0e32\u0e22\u0e15\u0e31\u0e27\u0e40\u0e25\u0e37\u0e2d\u0e01\u0e1b\u0e25\u0e32\u0e22\u0e17\u0e32\u0e07\u0e17\u0e35\u0e48\u0e1e\u0e34\u0e08\u0e32\u0e23\u0e13\u0e32\u0e04\u0e27\u0e32\u0e21\u0e43\u0e01\u0e25\u0e49\u0e40\u0e04\u0e35\u0e22\u0e07\u0e02\u0e2d\u0e07 KV-cache, \u0e42\u0e2b\u0e25\u0e14\u0e1b\u0e31\u0e08\u0e08\u0e38\u0e1a\u0e31\u0e19, \u0e41\u0e25\u0e30\u0e25\u0e33\u0e14\u0e31\u0e1a\u0e04\u0e27\u0e32\u0e21\u0e2a\u0e33\u0e04\u0e31\u0e0d\u0e40\u0e21\u0e37\u0e48\u0e2d\u0e40\u0e25\u0e37\u0e2d\u0e01\u0e27\u0e48\u0e32\u0e08\u0e30\u0e2a\u0e48\u0e07\u0e04\u0e33\u0e02\u0e2d\u0e44\u0e1b\u0e17\u0e35\u0e48\u0e43\u0e14.<\/p>\n\n\n\n \u0e27\u0e34\u0e18\u0e35\u0e19\u0e35\u0e49\u0e0b\u0e31\u0e1a\u0e0b\u0e49\u0e2d\u0e19\u0e01\u0e27\u0e48\u0e32 \u0e41\u0e15\u0e48\u0e40\u0e1b\u0e47\u0e19\u0e17\u0e34\u0e28\u0e17\u0e32\u0e07\u0e17\u0e35\u0e48\u0e16\u0e39\u0e01\u0e15\u0e49\u0e2d\u0e07\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e01\u0e25\u0e38\u0e48\u0e21\u0e17\u0e35\u0e48\u0e21\u0e35\u0e1b\u0e23\u0e34\u0e21\u0e32\u0e13\u0e07\u0e32\u0e19\u0e2a\u0e39\u0e07\u0e17\u0e35\u0e48\u0e01\u0e32\u0e23\u0e1e\u0e25\u0e32\u0e14\u0e41\u0e04\u0e0a\u0e16\u0e39\u0e01\u0e27\u0e31\u0e14, \u0e21\u0e35\u0e04\u0e48\u0e32\u0e43\u0e0a\u0e49\u0e08\u0e48\u0e32\u0e22\u0e2a\u0e39\u0e07, \u0e41\u0e25\u0e30\u0e40\u0e01\u0e34\u0e14\u0e02\u0e36\u0e49\u0e19\u0e1a\u0e48\u0e2d\u0e22.<\/p>\n\n\n\n \u0e01\u0e32\u0e23\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07 KV cache \u0e44\u0e21\u0e48\u0e44\u0e14\u0e49\u0e04\u0e38\u0e49\u0e21\u0e04\u0e48\u0e32\u0e01\u0e31\u0e1a\u0e04\u0e27\u0e32\u0e21\u0e0b\u0e31\u0e1a\u0e0b\u0e49\u0e2d\u0e19\u0e42\u0e14\u0e22\u0e2d\u0e31\u0e15\u0e42\u0e19\u0e21\u0e31\u0e15\u0e34 \u0e21\u0e31\u0e19\u0e44\u0e21\u0e48\u0e40\u0e2b\u0e21\u0e32\u0e30\u0e2a\u0e21\u0e40\u0e21\u0e37\u0e48\u0e2d\u0e04\u0e33\u0e16\u0e32\u0e21\u0e2a\u0e31\u0e49\u0e19, \u0e2a\u0e48\u0e27\u0e19\u0e43\u0e2b\u0e0d\u0e48\u0e44\u0e21\u0e48\u0e0b\u0e49\u0e33\u0e01\u0e31\u0e19, \u0e2b\u0e23\u0e37\u0e2d\u0e1b\u0e23\u0e30\u0e21\u0e27\u0e25\u0e1c\u0e25\u0e40\u0e1b\u0e47\u0e19\u0e0a\u0e38\u0e14\u0e17\u0e35\u0e48\u0e21\u0e35\u0e42\u0e04\u0e23\u0e07\u0e2a\u0e23\u0e49\u0e32\u0e07\u0e0b\u0e49\u0e33\u0e01\u0e31\u0e19\u0e19\u0e49\u0e2d\u0e22.<\/p>\n\n\n\n \u0e01\u0e32\u0e23\u0e2a\u0e23\u0e38\u0e1b\u0e40\u0e2d\u0e01\u0e2a\u0e32\u0e23, \u0e01\u0e32\u0e23\u0e2a\u0e23\u0e49\u0e32\u0e07\u0e2a\u0e23\u0e23\u0e04\u0e4c, \u0e01\u0e32\u0e23\u0e2a\u0e01\u0e31\u0e14\u0e04\u0e23\u0e31\u0e49\u0e07\u0e40\u0e14\u0e35\u0e22\u0e27, \u0e41\u0e25\u0e30\u0e07\u0e32\u0e19\u0e0a\u0e38\u0e14\u0e41\u0e1a\u0e1a\u0e2d\u0e30\u0e0b\u0e34\u0e07\u0e42\u0e04\u0e23\u0e19\u0e31\u0e2a\u0e2b\u0e25\u0e32\u0e22\u0e07\u0e32\u0e19\u0e2d\u0e32\u0e08\u0e44\u0e21\u0e48\u0e21\u0e35\u0e01\u0e32\u0e23\u0e17\u0e31\u0e1a\u0e0b\u0e49\u0e2d\u0e19\u0e02\u0e2d\u0e07\u0e04\u0e33\u0e19\u0e33\u0e2b\u0e19\u0e49\u0e32\u0e17\u0e35\u0e48\u0e41\u0e0a\u0e23\u0e4c\u0e40\u0e1e\u0e35\u0e22\u0e07\u0e1e\u0e2d\u0e17\u0e35\u0e48\u0e08\u0e30\u0e1b\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07\u0e17\u0e35\u0e48\u0e15\u0e23\u0e30\u0e2b\u0e19\u0e31\u0e01\u0e16\u0e36\u0e07\u0e41\u0e04\u0e0a \u0e43\u0e19\u0e01\u0e23\u0e13\u0e35\u0e40\u0e2b\u0e25\u0e48\u0e32\u0e19\u0e31\u0e49\u0e19 \u0e01\u0e32\u0e23\u0e01\u0e23\u0e30\u0e08\u0e32\u0e22\u0e42\u0e2b\u0e25\u0e14\u0e41\u0e1a\u0e1a\u0e18\u0e23\u0e23\u0e21\u0e14\u0e32\u0e2d\u0e32\u0e08\u0e2a\u0e30\u0e2d\u0e32\u0e14\u0e01\u0e27\u0e48\u0e32.<\/p>\n\n\n\n \u0e01\u0e32\u0e23\u0e17\u0e14\u0e2a\u0e2d\u0e1a\u0e40\u0e0a\u0e34\u0e07\u0e1b\u0e0f\u0e34\u0e1a\u0e31\u0e15\u0e34\u0e04\u0e37\u0e2d\u0e01\u0e32\u0e23\u0e27\u0e31\u0e14\u0e1c\u0e25: \u0e2d\u0e31\u0e15\u0e23\u0e32\u0e01\u0e32\u0e23\u0e40\u0e02\u0e49\u0e32\u0e16\u0e36\u0e07\u0e41\u0e04\u0e0a, \u0e40\u0e27\u0e25\u0e32\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e42\u0e17\u0e40\u0e04\u0e47\u0e19\u0e41\u0e23\u0e01, \u0e04\u0e27\u0e32\u0e21\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e43\u0e19\u0e01\u0e32\u0e23\u0e1b\u0e23\u0e30\u0e21\u0e27\u0e25\u0e1c\u0e25, \u0e04\u0e27\u0e32\u0e21\u0e25\u0e36\u0e01\u0e02\u0e2d\u0e07\u0e04\u0e34\u0e27, \u0e04\u0e27\u0e32\u0e21\u0e01\u0e14\u0e14\u0e31\u0e19\u0e02\u0e2d\u0e07\u0e2b\u0e19\u0e48\u0e27\u0e22\u0e04\u0e27\u0e32\u0e21\u0e08\u0e33 GPU \u0e41\u0e25\u0e30\u0e15\u0e49\u0e19\u0e17\u0e38\u0e19\u0e15\u0e48\u0e2d\u0e20\u0e32\u0e23\u0e01\u0e34\u0e08\u0e17\u0e35\u0e48\u0e40\u0e2a\u0e23\u0e47\u0e08\u0e2a\u0e21\u0e1a\u0e39\u0e23\u0e13\u0e4c \u0e2b\u0e32\u0e01\u0e01\u0e32\u0e23\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07\u0e17\u0e35\u0e48\u0e23\u0e31\u0e1a\u0e23\u0e39\u0e49\u0e41\u0e04\u0e0a\u0e44\u0e21\u0e48\u0e40\u0e1b\u0e25\u0e35\u0e48\u0e22\u0e19\u0e41\u0e1b\u0e25\u0e07\u0e15\u0e31\u0e27\u0e40\u0e25\u0e02\u0e40\u0e2b\u0e25\u0e48\u0e32\u0e19\u0e31\u0e49\u0e19 \u0e43\u0e2b\u0e49\u0e41\u0e01\u0e49\u0e44\u0e02\u0e42\u0e04\u0e23\u0e07\u0e2a\u0e23\u0e49\u0e32\u0e07\u0e04\u0e33\u0e2a\u0e31\u0e48\u0e07\u0e01\u0e48\u0e2d\u0e19.<\/p>\n\n\n\n ShareAI \u0e40\u0e1b\u0e47\u0e19\u0e15\u0e25\u0e32\u0e14 AI \u0e41\u0e25\u0e30 API \u0e44\u0e21\u0e48\u0e43\u0e0a\u0e48\u0e15\u0e31\u0e27\u0e1b\u0e23\u0e31\u0e1a\u0e2a\u0e21\u0e14\u0e38\u0e25\u0e42\u0e2b\u0e25\u0e14\u0e01\u0e32\u0e23\u0e43\u0e2b\u0e49\u0e1a\u0e23\u0e34\u0e01\u0e32\u0e23\u0e42\u0e21\u0e40\u0e14\u0e25\u0e20\u0e32\u0e22\u0e43\u0e19\u0e04\u0e25\u0e31\u0e2a\u0e40\u0e15\u0e2d\u0e23\u0e4c GPU \u0e02\u0e2d\u0e07\u0e04\u0e38\u0e13 \u0e19\u0e31\u0e01\u0e1e\u0e31\u0e12\u0e19\u0e32\u0e08\u0e30\u0e43\u0e0a\u0e49 ShareAI \u0e40\u0e1e\u0e37\u0e48\u0e2d\u0e40\u0e02\u0e49\u0e32\u0e16\u0e36\u0e07\u0e42\u0e21\u0e40\u0e14\u0e25\u0e2b\u0e25\u0e32\u0e22\u0e15\u0e31\u0e27\u0e1c\u0e48\u0e32\u0e19 API \u0e40\u0e14\u0e35\u0e22\u0e27 \u0e40\u0e1b\u0e23\u0e35\u0e22\u0e1a\u0e40\u0e17\u0e35\u0e22\u0e1a\u0e2a\u0e31\u0e0d\u0e0d\u0e32\u0e13\u0e15\u0e25\u0e32\u0e14 \u0e01\u0e33\u0e2b\u0e19\u0e14\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07\u0e04\u0e33\u0e02\u0e2d \u0e08\u0e31\u0e14\u0e01\u0e32\u0e23\u0e01\u0e32\u0e23\u0e43\u0e0a\u0e49\u0e07\u0e32\u0e19 \u0e41\u0e25\u0e30\u0e40\u0e1b\u0e25\u0e35\u0e48\u0e22\u0e19\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07\u0e40\u0e21\u0e37\u0e48\u0e2d\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07\u0e40\u0e2a\u0e37\u0e48\u0e2d\u0e21\u0e04\u0e38\u0e13\u0e20\u0e32\u0e1e.<\/p>\n\n\n\n \u0e19\u0e31\u0e48\u0e19\u0e22\u0e31\u0e07\u0e04\u0e07\u0e17\u0e33\u0e43\u0e2b\u0e49\u0e01\u0e32\u0e23\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07\u0e41\u0e04\u0e0a KV \u0e21\u0e35\u0e04\u0e27\u0e32\u0e21\u0e40\u0e01\u0e35\u0e48\u0e22\u0e27\u0e02\u0e49\u0e2d\u0e07 \u0e2b\u0e32\u0e01\u0e04\u0e38\u0e13\u0e14\u0e33\u0e40\u0e19\u0e34\u0e19\u0e01\u0e32\u0e23\u0e2a\u0e41\u0e15\u0e47\u0e01\u0e01\u0e32\u0e23\u0e2d\u0e19\u0e38\u0e21\u0e32\u0e19\u0e02\u0e2d\u0e07\u0e04\u0e38\u0e13\u0e40\u0e2d\u0e07 \u0e21\u0e31\u0e19\u0e08\u0e30\u0e0a\u0e48\u0e27\u0e22\u0e43\u0e2b\u0e49\u0e04\u0e38\u0e13\u0e16\u0e32\u0e21\u0e04\u0e33\u0e16\u0e32\u0e21\u0e42\u0e04\u0e23\u0e07\u0e2a\u0e23\u0e49\u0e32\u0e07\u0e1e\u0e37\u0e49\u0e19\u0e10\u0e32\u0e19\u0e44\u0e14\u0e49\u0e14\u0e35\u0e02\u0e36\u0e49\u0e19 \u0e2b\u0e32\u0e01\u0e04\u0e38\u0e13\u0e43\u0e0a\u0e49\u0e42\u0e21\u0e40\u0e14\u0e25\u0e17\u0e35\u0e48\u0e42\u0e2e\u0e2a\u0e15\u0e4c\u0e44\u0e27\u0e49 \u0e21\u0e31\u0e19\u0e08\u0e30\u0e0a\u0e48\u0e27\u0e22\u0e43\u0e2b\u0e49\u0e04\u0e38\u0e13\u0e1b\u0e23\u0e30\u0e40\u0e21\u0e34\u0e19\u0e27\u0e48\u0e32\u0e17\u0e33\u0e44\u0e21\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07\u0e2a\u0e2d\u0e07\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07\u0e17\u0e35\u0e48\u0e21\u0e35\u0e0a\u0e37\u0e48\u0e2d\u0e42\u0e21\u0e40\u0e14\u0e25\u0e04\u0e25\u0e49\u0e32\u0e22\u0e01\u0e31\u0e19\u0e2d\u0e32\u0e08\u0e21\u0e35\u0e1e\u0e24\u0e15\u0e34\u0e01\u0e23\u0e23\u0e21\u0e41\u0e15\u0e01\u0e15\u0e48\u0e32\u0e07\u0e01\u0e31\u0e19\u0e20\u0e32\u0e22\u0e43\u0e15\u0e49\u0e20\u0e32\u0e23\u0e30\u0e07\u0e32\u0e19\u0e08\u0e23\u0e34\u0e07.<\/p>\n\n\n\n \u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e1c\u0e39\u0e49\u0e2a\u0e23\u0e49\u0e32\u0e07 \u0e2a\u0e34\u0e48\u0e07\u0e19\u0e35\u0e49\u0e22\u0e31\u0e07\u0e40\u0e0a\u0e37\u0e48\u0e2d\u0e21\u0e42\u0e22\u0e07\u0e01\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e15\u0e31\u0e49\u0e07\u0e23\u0e32\u0e04\u0e32 \u0e41\u0e2d\u0e1b\u0e17\u0e35\u0e48\u0e21\u0e35\u0e04\u0e33\u0e2a\u0e31\u0e48\u0e07\u0e22\u0e32\u0e27 \u0e1a\u0e23\u0e34\u0e1a\u0e17 RAG \u0e17\u0e35\u0e48\u0e0b\u0e49\u0e33\u0e0b\u0e32\u0e01 \u0e2b\u0e23\u0e37\u0e2d\u0e27\u0e07\u0e27\u0e19\u0e15\u0e31\u0e27\u0e41\u0e17\u0e19\u0e2d\u0e32\u0e08\u0e2a\u0e23\u0e49\u0e32\u0e07\u0e01\u0e32\u0e23\u0e43\u0e0a\u0e49\u0e07\u0e32\u0e19 AI \u0e17\u0e35\u0e48\u0e44\u0e21\u0e48\u0e2a\u0e21\u0e48\u0e33\u0e40\u0e2a\u0e21\u0e2d ShareAI Builder \u0e0a\u0e48\u0e27\u0e22\u0e43\u0e2b\u0e49\u0e40\u0e08\u0e49\u0e32\u0e02\u0e2d\u0e07\u0e41\u0e2d\u0e1b\u0e1e\u0e25\u0e34\u0e40\u0e04\u0e0a\u0e31\u0e19\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07\u0e01\u0e32\u0e23\u0e08\u0e23\u0e32\u0e08\u0e23\u0e01\u0e32\u0e23\u0e2d\u0e19\u0e38\u0e21\u0e32\u0e19 AI \u0e1c\u0e48\u0e32\u0e19 ShareAI \u0e15\u0e31\u0e49\u0e07\u0e04\u0e48\u0e32\u0e01\u0e33\u0e44\u0e23\u0e2b\u0e23\u0e37\u0e2d\u0e04\u0e48\u0e32\u0e18\u0e23\u0e23\u0e21\u0e40\u0e19\u0e35\u0e22\u0e21\u0e40\u0e1e\u0e34\u0e48\u0e21\u0e40\u0e15\u0e34\u0e21 \u0e43\u0e2b\u0e49\u0e25\u0e39\u0e01\u0e04\u0e49\u0e32\u0e08\u0e48\u0e32\u0e22 ShareAI \u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e43\u0e0a\u0e49\u0e07\u0e32\u0e19\u0e17\u0e35\u0e48\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07 \u0e41\u0e25\u0e30\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e08\u0e48\u0e32\u0e22\u0e40\u0e07\u0e34\u0e19\u0e23\u0e32\u0e22\u0e40\u0e14\u0e37\u0e2d\u0e19\u0e15\u0e32\u0e21\u0e01\u0e32\u0e23\u0e43\u0e0a\u0e49\u0e07\u0e32\u0e19\u0e17\u0e35\u0e48\u0e2a\u0e23\u0e49\u0e32\u0e07\u0e02\u0e36\u0e49\u0e19 \u0e41\u0e2d\u0e1b\u0e1e\u0e25\u0e34\u0e40\u0e04\u0e0a\u0e31\u0e19\u0e40\u0e2d\u0e07\u0e22\u0e31\u0e07\u0e04\u0e07\u0e16\u0e39\u0e01\u0e2a\u0e23\u0e49\u0e32\u0e07\u0e02\u0e36\u0e49\u0e19\u0e19\u0e2d\u0e01 ShareAI.<\/p>\n\n\n\n \u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e40\u0e25\u0e37\u0e2d\u0e01\u0e42\u0e21\u0e40\u0e14\u0e25\u0e41\u0e25\u0e30\u0e01\u0e32\u0e23\u0e1b\u0e23\u0e30\u0e40\u0e21\u0e34\u0e19\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07 \u0e40\u0e23\u0e34\u0e48\u0e21\u0e15\u0e49\u0e19\u0e14\u0e49\u0e27\u0e22 \u0e15\u0e25\u0e32\u0e14\u0e42\u0e21\u0e40\u0e14\u0e25 ShareAI<\/a>. \u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e1e\u0e37\u0e49\u0e19\u0e10\u0e32\u0e19\u0e01\u0e32\u0e23\u0e14\u0e33\u0e40\u0e19\u0e34\u0e19\u0e01\u0e32\u0e23 \u0e43\u0e0a\u0e49 \u0e40\u0e2d\u0e01\u0e2a\u0e32\u0e23\u0e2d\u0e49\u0e32\u0e07\u0e2d\u0e34\u0e07 API \u0e02\u0e2d\u0e07 ShareAI<\/a>.<\/p>\n\n\n\n \u0e01\u0e32\u0e23\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07\u0e41\u0e04\u0e0a KV \u0e40\u0e1b\u0e47\u0e19\u0e01\u0e25\u0e22\u0e38\u0e17\u0e18\u0e4c\u0e01\u0e32\u0e23\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07\u0e17\u0e35\u0e48\u0e2a\u0e48\u0e07\u0e04\u0e33\u0e02\u0e2d\u0e17\u0e35\u0e48\u0e21\u0e35\u0e04\u0e33\u0e19\u0e33\u0e0b\u0e49\u0e33\u0e44\u0e1b\u0e22\u0e31\u0e07\u0e2a\u0e33\u0e40\u0e19\u0e32\u0e17\u0e35\u0e48\u0e21\u0e35\u0e41\u0e19\u0e27\u0e42\u0e19\u0e49\u0e21\u0e27\u0e48\u0e32\u0e08\u0e30\u0e21\u0e35\u0e41\u0e04\u0e0a KV \u0e17\u0e35\u0e48\u0e15\u0e23\u0e07\u0e01\u0e31\u0e19\u0e2d\u0e22\u0e39\u0e48\u0e41\u0e25\u0e49\u0e27 \u0e40\u0e1b\u0e49\u0e32\u0e2b\u0e21\u0e32\u0e22\u0e04\u0e37\u0e2d\u0e01\u0e32\u0e23\u0e25\u0e14\u0e01\u0e32\u0e23\u0e04\u0e33\u0e19\u0e27\u0e13\u0e40\u0e15\u0e34\u0e21\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e0b\u0e49\u0e33\u0e17\u0e35\u0e48\u0e44\u0e21\u0e48\u0e08\u0e33\u0e40\u0e1b\u0e47\u0e19.<\/p>\n\n\n\n \u0e01\u0e32\u0e23\u0e41\u0e04\u0e0a\u0e04\u0e33\u0e19\u0e33\u0e04\u0e37\u0e2d\u0e04\u0e27\u0e32\u0e21\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e02\u0e2d\u0e07\u0e40\u0e04\u0e23\u0e37\u0e48\u0e2d\u0e07\u0e21\u0e37\u0e2d\u0e43\u0e2b\u0e49\u0e1a\u0e23\u0e34\u0e01\u0e32\u0e23\u0e42\u0e21\u0e40\u0e14\u0e25\u0e43\u0e19\u0e01\u0e32\u0e23\u0e43\u0e0a\u0e49\u0e2a\u0e16\u0e32\u0e19\u0e30\u0e17\u0e35\u0e48\u0e41\u0e04\u0e0a\u0e44\u0e27\u0e49\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e04\u0e33\u0e19\u0e33\u0e17\u0e35\u0e48\u0e43\u0e0a\u0e49\u0e23\u0e48\u0e27\u0e21\u0e01\u0e31\u0e19 \u0e01\u0e32\u0e23\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07\u0e41\u0e04\u0e0a KV \u0e40\u0e1b\u0e47\u0e19\u0e01\u0e25\u0e22\u0e38\u0e17\u0e18\u0e4c\u0e01\u0e32\u0e23\u0e27\u0e32\u0e07\u0e15\u0e33\u0e41\u0e2b\u0e19\u0e48\u0e07\u0e01\u0e32\u0e23\u0e08\u0e23\u0e32\u0e08\u0e23\u0e17\u0e35\u0e48\u0e0a\u0e48\u0e27\u0e22\u0e43\u0e2b\u0e49\u0e04\u0e33\u0e02\u0e2d\u0e17\u0e35\u0e48\u0e15\u0e23\u0e07\u0e01\u0e31\u0e19\u0e44\u0e1b\u0e22\u0e31\u0e07\u0e15\u0e33\u0e41\u0e2b\u0e19\u0e48\u0e07\u0e17\u0e35\u0e48\u0e21\u0e35\u0e2a\u0e16\u0e32\u0e19\u0e30\u0e17\u0e35\u0e48\u0e41\u0e04\u0e0a\u0e44\u0e27\u0e49\u0e41\u0e25\u0e49\u0e27.<\/p>\n\n\n\n \u0e01\u0e32\u0e23\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07\u0e41\u0e1a\u0e1a\u0e27\u0e19\u0e23\u0e2d\u0e1a\u0e01\u0e23\u0e30\u0e08\u0e32\u0e22\u0e04\u0e33\u0e02\u0e2d\u0e44\u0e1b\u0e22\u0e31\u0e07\u0e2a\u0e33\u0e40\u0e19\u0e32\u0e42\u0e14\u0e22\u0e44\u0e21\u0e48\u0e17\u0e23\u0e32\u0e1a\u0e27\u0e48\u0e32\u0e2a\u0e33\u0e40\u0e19\u0e32\u0e43\u0e14\u0e21\u0e35\u0e04\u0e33\u0e19\u0e33\u0e17\u0e35\u0e48\u0e41\u0e04\u0e0a\u0e44\u0e27\u0e49 \u0e04\u0e33\u0e19\u0e33\u0e17\u0e35\u0e48\u0e0b\u0e49\u0e33\u0e01\u0e31\u0e19\u0e2d\u0e32\u0e08\u0e1e\u0e25\u0e32\u0e14\u0e41\u0e04\u0e0a\u0e40\u0e1e\u0e35\u0e22\u0e07\u0e40\u0e1e\u0e23\u0e32\u0e30\u0e21\u0e31\u0e19\u0e44\u0e1b\u0e2d\u0e22\u0e39\u0e48\u0e1a\u0e19\u0e2a\u0e33\u0e40\u0e19\u0e32\u0e17\u0e35\u0e48\u0e15\u0e48\u0e32\u0e07\u0e01\u0e31\u0e19.<\/p>\n\n\n\n \u0e01\u0e32\u0e23\u0e2a\u0e19\u0e17\u0e19\u0e32\u0e41\u0e1a\u0e1a\u0e2b\u0e25\u0e32\u0e22\u0e23\u0e2d\u0e1a, RAG, \u0e15\u0e31\u0e27\u0e41\u0e17\u0e19\u0e40\u0e02\u0e35\u0e22\u0e19\u0e42\u0e04\u0e49\u0e14, \u0e15\u0e31\u0e27\u0e41\u0e17\u0e19\u0e2a\u0e19\u0e31\u0e1a\u0e2a\u0e19\u0e38\u0e19, \u0e01\u0e32\u0e23\u0e15\u0e31\u0e49\u0e07\u0e04\u0e33\u0e16\u0e32\u0e21\u0e41\u0e1a\u0e1a few-shot \u0e41\u0e25\u0e30\u0e41\u0e2d\u0e1b\u0e17\u0e35\u0e48\u0e21\u0e35\u0e04\u0e33\u0e19\u0e33\u0e23\u0e30\u0e1a\u0e1a\u0e23\u0e48\u0e27\u0e21\u0e01\u0e31\u0e19\u0e22\u0e32\u0e27\u0e40\u0e1b\u0e47\u0e19\u0e1c\u0e39\u0e49\u0e2a\u0e21\u0e31\u0e04\u0e23\u0e17\u0e35\u0e48\u0e41\u0e02\u0e47\u0e07\u0e41\u0e01\u0e23\u0e48\u0e07\u0e17\u0e35\u0e48\u0e2a\u0e38\u0e14\u0e40\u0e1e\u0e23\u0e32\u0e30\u0e1e\u0e27\u0e01\u0e40\u0e02\u0e32\u0e43\u0e0a\u0e49\u0e04\u0e33\u0e19\u0e33\u0e0b\u0e49\u0e33\u0e43\u0e19\u0e1b\u0e23\u0e34\u0e21\u0e32\u0e13\u0e21\u0e32\u0e01.<\/p>\n\n\n\n \u0e02\u0e49\u0e32\u0e21\u0e40\u0e21\u0e37\u0e48\u0e2d\u0e04\u0e33\u0e19\u0e33\u0e2a\u0e31\u0e49\u0e19, \u0e2a\u0e48\u0e27\u0e19\u0e43\u0e2b\u0e0d\u0e48\u0e44\u0e21\u0e48\u0e0b\u0e49\u0e33\u0e01\u0e31\u0e19 \u0e2b\u0e23\u0e37\u0e2d\u0e40\u0e1b\u0e47\u0e19\u0e41\u0e1a\u0e1a\u0e41\u0e1a\u0e17\u0e0a\u0e4c\u0e17\u0e35\u0e48\u0e21\u0e35\u0e42\u0e04\u0e23\u0e07\u0e2a\u0e23\u0e49\u0e32\u0e07\u0e0b\u0e49\u0e33\u0e40\u0e25\u0e47\u0e01\u0e19\u0e49\u0e2d\u0e22 \u0e43\u0e19\u0e01\u0e23\u0e13\u0e35\u0e40\u0e2b\u0e25\u0e48\u0e32\u0e19\u0e31\u0e49\u0e19 \u0e04\u0e27\u0e32\u0e21\u0e0b\u0e31\u0e1a\u0e0b\u0e49\u0e2d\u0e19\u0e02\u0e2d\u0e07\u0e01\u0e32\u0e23\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07\u0e2d\u0e32\u0e08\u0e40\u0e1e\u0e34\u0e48\u0e21\u0e21\u0e39\u0e25\u0e04\u0e48\u0e32\u0e40\u0e1e\u0e35\u0e22\u0e07\u0e40\u0e25\u0e47\u0e01\u0e19\u0e49\u0e2d\u0e22.<\/p>\n\n\n\n \u0e43\u0e0a\u0e48 \u0e40\u0e2d\u0e01\u0e2a\u0e32\u0e23 vLLM \u0e23\u0e30\u0e1a\u0e38\u0e01\u0e32\u0e23\u0e41\u0e04\u0e0a\u0e04\u0e33\u0e19\u0e33\u0e2d\u0e31\u0e15\u0e42\u0e19\u0e21\u0e31\u0e15\u0e34 \u0e41\u0e25\u0e30\u0e40\u0e2d\u0e01\u0e2a\u0e32\u0e23 SGLang \u0e23\u0e30\u0e1a\u0e38\u0e01\u0e32\u0e23\u0e41\u0e04\u0e0a\u0e04\u0e33\u0e19\u0e33\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e41\u0e04\u0e0a KV \u0e17\u0e35\u0e48\u0e43\u0e0a\u0e49\u0e23\u0e48\u0e27\u0e21\u0e01\u0e31\u0e19\u0e43\u0e19\u0e25\u0e33\u0e14\u0e31\u0e1a\u0e42\u0e17\u0e40\u0e04\u0e47\u0e19\u0e17\u0e31\u0e48\u0e27\u0e44\u0e1b \u0e40\u0e04\u0e23\u0e37\u0e48\u0e2d\u0e07\u0e21\u0e37\u0e2d\u0e43\u0e2b\u0e49\u0e1a\u0e23\u0e34\u0e01\u0e32\u0e23\u0e22\u0e31\u0e07\u0e04\u0e07\u0e15\u0e49\u0e2d\u0e07\u0e01\u0e32\u0e23\u0e04\u0e27\u0e32\u0e21\u0e0a\u0e48\u0e27\u0e22\u0e40\u0e2b\u0e25\u0e37\u0e2d\u0e43\u0e19\u0e01\u0e32\u0e23\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07\u0e40\u0e21\u0e37\u0e48\u0e2d\u0e21\u0e35\u0e2a\u0e33\u0e40\u0e19\u0e32\u0e2b\u0e25\u0e32\u0e22\u0e0a\u0e38\u0e14.<\/p>\n\n\n\n \u0e44\u0e21\u0e48 \u0e01\u0e32\u0e23\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07\u0e41\u0e04\u0e0a KV \u0e17\u0e33\u0e07\u0e32\u0e19\u0e01\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e43\u0e0a\u0e49\u0e04\u0e33\u0e19\u0e33\u0e0b\u0e49\u0e33\u0e17\u0e35\u0e48\u0e40\u0e2b\u0e21\u0e37\u0e2d\u0e19\u0e01\u0e31\u0e19\u0e2b\u0e23\u0e37\u0e2d\u0e43\u0e01\u0e25\u0e49\u0e40\u0e04\u0e35\u0e22\u0e07\u0e43\u0e19\u0e42\u0e04\u0e23\u0e07\u0e2a\u0e23\u0e49\u0e32\u0e07\u0e20\u0e32\u0e22\u0e43\u0e19\u0e01\u0e32\u0e23\u0e43\u0e2b\u0e49\u0e1a\u0e23\u0e34\u0e01\u0e32\u0e23\u0e01\u0e32\u0e23\u0e2d\u0e19\u0e38\u0e21\u0e32\u0e19 \u0e01\u0e32\u0e23\u0e41\u0e04\u0e0a\u0e40\u0e0a\u0e34\u0e07\u0e04\u0e27\u0e32\u0e21\u0e2b\u0e21\u0e32\u0e22\u0e08\u0e31\u0e14\u0e40\u0e01\u0e47\u0e1a\u0e41\u0e25\u0e30\u0e43\u0e0a\u0e49\u0e04\u0e33\u0e15\u0e2d\u0e1a\u0e2b\u0e23\u0e37\u0e2d\u0e1c\u0e25\u0e25\u0e31\u0e1e\u0e18\u0e4c\u0e23\u0e30\u0e2b\u0e27\u0e48\u0e32\u0e07\u0e17\u0e35\u0e48\u0e2d\u0e34\u0e07\u0e15\u0e32\u0e21\u0e04\u0e27\u0e32\u0e21\u0e2b\u0e21\u0e32\u0e22 \u0e42\u0e14\u0e22\u0e1b\u0e01\u0e15\u0e34\u0e08\u0e30\u0e43\u0e0a\u0e49\u0e01\u0e32\u0e23\u0e1d\u0e31\u0e07\u0e2b\u0e23\u0e37\u0e2d\u0e40\u0e01\u0e13\u0e11\u0e4c\u0e04\u0e27\u0e32\u0e21\u0e04\u0e25\u0e49\u0e32\u0e22\u0e04\u0e25\u0e36\u0e07.<\/p>\n\n\n\n \u0e44\u0e21\u0e48\u0e43\u0e0a\u0e48 ShareAI \u0e40\u0e1b\u0e47\u0e19\u0e15\u0e25\u0e32\u0e14 AI \u0e41\u0e25\u0e30\u0e0a\u0e31\u0e49\u0e19 API \u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e40\u0e02\u0e49\u0e32\u0e16\u0e36\u0e07\u0e42\u0e21\u0e40\u0e14\u0e25 \u0e01\u0e32\u0e23\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07 \u0e01\u0e32\u0e23\u0e2a\u0e33\u0e23\u0e2d\u0e07\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25 \u0e01\u0e32\u0e23\u0e43\u0e0a\u0e49\u0e07\u0e32\u0e19 \u0e41\u0e25\u0e30\u0e01\u0e32\u0e23\u0e40\u0e23\u0e35\u0e22\u0e01\u0e40\u0e01\u0e47\u0e1a\u0e40\u0e07\u0e34\u0e19 \u0e01\u0e32\u0e23\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07\u0e17\u0e35\u0e48\u0e23\u0e31\u0e1a\u0e23\u0e39\u0e49 KV-cache \u0e40\u0e1b\u0e47\u0e19\u0e42\u0e04\u0e23\u0e07\u0e2a\u0e23\u0e49\u0e32\u0e07\u0e1e\u0e37\u0e49\u0e19\u0e10\u0e32\u0e19\u0e01\u0e32\u0e23\u0e43\u0e2b\u0e49\u0e1a\u0e23\u0e34\u0e01\u0e32\u0e23\u0e42\u0e21\u0e40\u0e14\u0e25\u0e23\u0e30\u0e14\u0e31\u0e1a\u0e15\u0e48\u0e33\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e17\u0e35\u0e21\u0e17\u0e35\u0e48\u0e14\u0e33\u0e40\u0e19\u0e34\u0e19\u0e01\u0e32\u0e23\u0e08\u0e33\u0e25\u0e2d\u0e07\u0e01\u0e32\u0e23\u0e2d\u0e19\u0e38\u0e21\u0e32\u0e19.<\/p>\n\n\n\n \u0e1c\u0e39\u0e49\u0e2a\u0e23\u0e49\u0e32\u0e07\u0e04\u0e27\u0e23\u0e1e\u0e34\u0e08\u0e32\u0e23\u0e13\u0e32\u0e1e\u0e24\u0e15\u0e34\u0e01\u0e23\u0e23\u0e21\u0e02\u0e2d\u0e07\u0e41\u0e04\u0e0a\u0e40\u0e1b\u0e47\u0e19\u0e15\u0e31\u0e27\u0e02\u0e31\u0e1a\u0e40\u0e04\u0e25\u0e37\u0e48\u0e2d\u0e19\u0e15\u0e49\u0e19\u0e17\u0e38\u0e19\u0e20\u0e32\u0e22\u0e43\u0e19\u0e41\u0e2d\u0e1b\u0e17\u0e35\u0e48\u0e40\u0e19\u0e49\u0e19 AI \u0e2b\u0e32\u0e01\u0e41\u0e2d\u0e1b\u0e1e\u0e25\u0e34\u0e40\u0e04\u0e0a\u0e31\u0e19\u0e02\u0e2d\u0e07\u0e1e\u0e27\u0e01\u0e40\u0e02\u0e32\u0e21\u0e35\u0e01\u0e32\u0e23\u0e43\u0e0a\u0e49\u0e07\u0e32\u0e19\u0e17\u0e35\u0e48\u0e44\u0e21\u0e48\u0e2a\u0e21\u0e48\u0e33\u0e40\u0e2a\u0e21\u0e2d ShareAI \u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e0a\u0e48\u0e27\u0e22\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07\u0e41\u0e25\u0e30\u0e2a\u0e23\u0e49\u0e32\u0e07\u0e23\u0e32\u0e22\u0e44\u0e14\u0e49\u0e08\u0e32\u0e01\u0e01\u0e32\u0e23\u0e43\u0e0a\u0e49\u0e07\u0e32\u0e19 AI \u0e43\u0e19\u0e02\u0e13\u0e30\u0e17\u0e35\u0e48\u0e41\u0e2d\u0e1b\u0e22\u0e31\u0e07\u0e04\u0e07\u0e16\u0e39\u0e01\u0e2a\u0e23\u0e49\u0e32\u0e07\u0e41\u0e25\u0e30\u0e40\u0e1b\u0e47\u0e19\u0e40\u0e08\u0e49\u0e32\u0e02\u0e2d\u0e07\u0e19\u0e2d\u0e01 ShareAI.<\/p>\n\n\n\n \u0e27\u0e31\u0e14\u0e2d\u0e31\u0e15\u0e23\u0e32\u0e01\u0e32\u0e23\u0e40\u0e02\u0e49\u0e32\u0e16\u0e36\u0e07\u0e41\u0e04\u0e0a \u0e40\u0e27\u0e25\u0e32\u0e43\u0e19\u0e01\u0e32\u0e23\u0e23\u0e31\u0e1a\u0e42\u0e17\u0e40\u0e04\u0e47\u0e19\u0e41\u0e23\u0e01 \u0e1b\u0e23\u0e34\u0e21\u0e32\u0e13\u0e07\u0e32\u0e19 \u0e04\u0e27\u0e32\u0e21\u0e25\u0e36\u0e01\u0e02\u0e2d\u0e07\u0e04\u0e34\u0e27 \u0e04\u0e27\u0e32\u0e21\u0e01\u0e14\u0e14\u0e31\u0e19\u0e02\u0e2d\u0e07 VRAM \u0e15\u0e49\u0e19\u0e17\u0e38\u0e19\u0e15\u0e48\u0e2d\u0e20\u0e32\u0e23\u0e01\u0e34\u0e08 \u0e41\u0e25\u0e30\u0e04\u0e38\u0e13\u0e20\u0e32\u0e1e\u0e02\u0e2d\u0e07\u0e1c\u0e25\u0e25\u0e31\u0e1e\u0e18\u0e4c \u0e01\u0e32\u0e23\u0e40\u0e1b\u0e25\u0e35\u0e48\u0e22\u0e19\u0e41\u0e1b\u0e25\u0e07\u0e01\u0e32\u0e23\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07\u0e04\u0e27\u0e23\u0e1b\u0e23\u0e31\u0e1a\u0e1b\u0e23\u0e38\u0e07\u0e20\u0e32\u0e23\u0e30\u0e07\u0e32\u0e19 \u0e44\u0e21\u0e48\u0e43\u0e0a\u0e48\u0e41\u0e04\u0e48\u0e41\u0e14\u0e0a\u0e1a\u0e2d\u0e23\u0e4c\u0e14.<\/p>\n\n\n\n \u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e25\u0e14\u0e15\u0e49\u0e19\u0e17\u0e38\u0e19\u0e42\u0e04\u0e23\u0e07\u0e2a\u0e23\u0e49\u0e32\u0e07\u0e1e\u0e37\u0e49\u0e19\u0e10\u0e32\u0e19\u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a\u0e17\u0e35\u0e21\u0e17\u0e35\u0e48\u0e43\u0e2b\u0e49\u0e1a\u0e23\u0e34\u0e01\u0e32\u0e23\u0e42\u0e21\u0e40\u0e14\u0e25\u0e14\u0e49\u0e27\u0e22\u0e15\u0e31\u0e27\u0e40\u0e2d\u0e07\u0e44\u0e14\u0e49 \u0e40\u0e19\u0e37\u0e48\u0e2d\u0e07\u0e08\u0e32\u0e01\u0e07\u0e32\u0e19\u0e40\u0e15\u0e34\u0e21\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e17\u0e35\u0e48\u0e0b\u0e49\u0e33\u0e0b\u0e49\u0e2d\u0e19\u0e19\u0e49\u0e2d\u0e22\u0e25\u0e07\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e1b\u0e23\u0e31\u0e1a\u0e1b\u0e23\u0e38\u0e07\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e GPU \u0e2a\u0e33\u0e2b\u0e23\u0e31\u0e1a API \u0e17\u0e35\u0e48\u0e42\u0e2e\u0e2a\u0e15\u0e4c \u0e1c\u0e25\u0e01\u0e23\u0e30\u0e17\u0e1a\u0e02\u0e36\u0e49\u0e19\u0e2d\u0e22\u0e39\u0e48\u0e01\u0e31\u0e1a\u0e27\u0e48\u0e32\u0e1c\u0e39\u0e49\u0e43\u0e2b\u0e49\u0e1a\u0e23\u0e34\u0e01\u0e32\u0e23\u0e40\u0e1b\u0e34\u0e14\u0e40\u0e1c\u0e22\u0e01\u0e32\u0e23\u0e1b\u0e23\u0e30\u0e2b\u0e22\u0e31\u0e14\u0e40\u0e2b\u0e25\u0e48\u0e32\u0e19\u0e31\u0e49\u0e19\u0e43\u0e19\u0e14\u0e49\u0e32\u0e19\u0e23\u0e32\u0e04\u0e32 \u0e2b\u0e23\u0e37\u0e2d\u0e1b\u0e23\u0e30\u0e2a\u0e34\u0e17\u0e18\u0e34\u0e20\u0e32\u0e1e\u0e2b\u0e23\u0e37\u0e2d\u0e44\u0e21\u0e48.<\/p>","protected":false},"excerpt":{"rendered":" \u0e01\u0e32\u0e23\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07\u0e41\u0e04\u0e0a KV \u0e2a\u0e48\u0e07\u0e04\u0e33\u0e41\u0e19\u0e30\u0e19\u0e33\u0e17\u0e35\u0e48\u0e0b\u0e49\u0e33\u0e01\u0e31\u0e19\u0e44\u0e1b\u0e22\u0e31\u0e07\u0e2a\u0e33\u0e40\u0e19\u0e32\u0e17\u0e35\u0e48\u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e19\u0e33\u0e2a\u0e16\u0e32\u0e19\u0e30\u0e01\u0e32\u0e23\u0e43\u0e2b\u0e49\u0e04\u0e27\u0e32\u0e21\u0e2a\u0e19\u0e43\u0e08\u0e17\u0e35\u0e48\u0e41\u0e04\u0e0a\u0e44\u0e27\u0e49\u0e01\u0e25\u0e31\u0e1a\u0e21\u0e32\u0e43\u0e0a\u0e49\u0e43\u0e2b\u0e21\u0e48\u0e44\u0e14\u0e49 \u0e0a\u0e48\u0e27\u0e22\u0e43\u0e2b\u0e49\u0e17\u0e35\u0e21\u0e25\u0e14\u0e07\u0e32\u0e19\u0e40\u0e15\u0e34\u0e21\u0e02\u0e49\u0e2d\u0e21\u0e39\u0e25\u0e25\u0e48\u0e27\u0e07\u0e2b\u0e19\u0e49\u0e32\u0e02\u0e2d\u0e07 LLM \u0e17\u0e35\u0e48\u0e0b\u0e49\u0e33\u0e0b\u0e49\u0e2d\u0e19\u0e25\u0e07.<\/p>","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"cta-title":"Explore AI Models","cta-description":"Compare price, latency, and availability across providers.","cta-button-text":"Browse Models","cta-button-link":"https:\/\/shareai.now\/models\/?utm_source=blog&utm_medium=content&utm_campaign=kv-cache-routing-llm-prefill","rank_math_title":"KV Cache Routing: Cut Redundant LLM Prefill Work","rank_math_description":"KV cache routing sends repeated prompt prefixes to the right replica so LLM teams can reduce redundant prefill work and latency.","rank_math_focus_keyword":"KV cache routing, prefix-aware routing, prefix caching, LLM inference optimization","footnotes":""},"categories":[4,6],"tags":[176,173,175,174,178,177],"class_list":["post-3047","post","type-post","status-publish","format-standard","hentry","category-developers","category-insights","tag-ai-routing","tag-kv-cache-routing","tag-llm-inference","tag-prefix-caching","tag-sglang","tag-vllm"],"_links":{"self":[{"href":"https:\/\/shareai.now\/th\/api\/wp\/v2\/posts\/3047","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/shareai.now\/th\/api\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/shareai.now\/th\/api\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/shareai.now\/th\/api\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/shareai.now\/th\/api\/wp\/v2\/comments?post=3047"}],"version-history":[{"count":1,"href":"https:\/\/shareai.now\/th\/api\/wp\/v2\/posts\/3047\/revisions"}],"predecessor-version":[{"id":3089,"href":"https:\/\/shareai.now\/th\/api\/wp\/v2\/posts\/3047\/revisions\/3089"}],"wp:attachment":[{"href":"https:\/\/shareai.now\/th\/api\/wp\/v2\/media?parent=3047"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/shareai.now\/th\/api\/wp\/v2\/categories?post=3047"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/shareai.now\/th\/api\/wp\/v2\/tags?post=3047"}],"curies":[{"name":"\u0e27\u0e1e","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}\u0e08\u0e38\u0e14\u0e17\u0e35\u0e48 Round-Robin \u0e25\u0e49\u0e21\u0e40\u0e2b\u0e25\u0e27<\/h2>\n\n\n\n
\u0e23\u0e30\u0e14\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07\u0e17\u0e35\u0e48\u0e43\u0e0a\u0e49\u0e07\u0e32\u0e19\u0e44\u0e14\u0e49\u0e08\u0e23\u0e34\u0e07\u0e2a\u0e32\u0e21\u0e23\u0e30\u0e14\u0e31\u0e1a<\/h2>\n\n\n\n
1. \u0e04\u0e27\u0e32\u0e21\u0e2a\u0e31\u0e21\u0e1e\u0e31\u0e19\u0e18\u0e4c\u0e02\u0e2d\u0e07\u0e40\u0e0b\u0e2a\u0e0a\u0e31\u0e19<\/h3>\n\n\n\n
2. \u0e01\u0e32\u0e23\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07\u0e14\u0e49\u0e27\u0e22\u0e41\u0e2e\u0e0a\u0e04\u0e33\u0e19\u0e33\u0e2b\u0e19\u0e49\u0e32<\/h3>\n\n\n\n
3. \u0e01\u0e32\u0e23\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07\u0e17\u0e35\u0e48\u0e15\u0e23\u0e30\u0e2b\u0e19\u0e31\u0e01\u0e16\u0e36\u0e07\u0e40\u0e2b\u0e15\u0e38\u0e01\u0e32\u0e23\u0e13\u0e4c\u0e41\u0e04\u0e0a<\/h3>\n\n\n\n
\u0e40\u0e21\u0e37\u0e48\u0e2d\u0e04\u0e27\u0e23\u0e02\u0e49\u0e32\u0e21<\/h2>\n\n\n\n
\u0e2a\u0e34\u0e48\u0e07\u0e19\u0e35\u0e49\u0e40\u0e02\u0e49\u0e32\u0e01\u0e31\u0e19\u0e44\u0e14\u0e49\u0e01\u0e31\u0e1a ShareAI \u0e2d\u0e22\u0e48\u0e32\u0e07\u0e44\u0e23<\/h2>\n\n\n\n
\u0e23\u0e32\u0e22\u0e01\u0e32\u0e23\u0e15\u0e23\u0e27\u0e08\u0e2a\u0e2d\u0e1a\u0e01\u0e32\u0e23\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07\u0e41\u0e04\u0e0a KV<\/h2>\n\n\n\n
\u0e04\u0e33\u0e16\u0e32\u0e21\u0e17\u0e35\u0e48\u0e1e\u0e1a\u0e1a\u0e48\u0e2d\u0e22<\/h2>\n\n\n\n
\u0e01\u0e32\u0e23\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07\u0e41\u0e04\u0e0a KV \u0e04\u0e37\u0e2d\u0e2d\u0e30\u0e44\u0e23?<\/h3>\n\n\n
\u0e01\u0e32\u0e23\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07\u0e41\u0e04\u0e0a KV \u0e41\u0e15\u0e01\u0e15\u0e48\u0e32\u0e07\u0e08\u0e32\u0e01\u0e01\u0e32\u0e23\u0e41\u0e04\u0e0a\u0e04\u0e33\u0e19\u0e33\u0e2d\u0e22\u0e48\u0e32\u0e07\u0e44\u0e23?<\/h3>\n\n\n
\u0e17\u0e33\u0e44\u0e21\u0e01\u0e32\u0e23\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07\u0e41\u0e1a\u0e1a\u0e27\u0e19\u0e23\u0e2d\u0e1a\u0e16\u0e36\u0e07\u0e17\u0e33\u0e23\u0e49\u0e32\u0e22\u0e01\u0e32\u0e23\u0e41\u0e04\u0e0a\u0e04\u0e33\u0e19\u0e33?<\/h3>\n\n\n
\u0e07\u0e32\u0e19\u0e1b\u0e23\u0e30\u0e40\u0e20\u0e17\u0e43\u0e14\u0e17\u0e35\u0e48\u0e44\u0e14\u0e49\u0e23\u0e31\u0e1a\u0e1b\u0e23\u0e30\u0e42\u0e22\u0e0a\u0e19\u0e4c\u0e21\u0e32\u0e01\u0e17\u0e35\u0e48\u0e2a\u0e38\u0e14\u0e08\u0e32\u0e01\u0e01\u0e32\u0e23\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07\u0e41\u0e04\u0e0a KV?<\/h3>\n\n\n
\u0e40\u0e21\u0e37\u0e48\u0e2d\u0e43\u0e14\u0e17\u0e35\u0e48\u0e17\u0e35\u0e21\u0e04\u0e27\u0e23\u0e02\u0e49\u0e32\u0e21\u0e01\u0e32\u0e23\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07\u0e41\u0e04\u0e0a KV?<\/h3>\n\n\n
vLLM \u0e41\u0e25\u0e30 SGLang \u0e23\u0e2d\u0e07\u0e23\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e41\u0e04\u0e0a\u0e04\u0e33\u0e19\u0e33\u0e2b\u0e23\u0e37\u0e2d\u0e44\u0e21\u0e48?<\/h3>\n\n\n
\u0e01\u0e32\u0e23\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07\u0e41\u0e04\u0e0a KV \u0e40\u0e2b\u0e21\u0e37\u0e2d\u0e19\u0e01\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e41\u0e04\u0e0a\u0e40\u0e0a\u0e34\u0e07\u0e04\u0e27\u0e32\u0e21\u0e2b\u0e21\u0e32\u0e22\u0e2b\u0e23\u0e37\u0e2d\u0e44\u0e21\u0e48?<\/h3>\n\n\n
ShareAI \u0e41\u0e17\u0e19\u0e17\u0e35\u0e48\u0e15\u0e31\u0e27\u0e1a\u0e32\u0e25\u0e32\u0e19\u0e0b\u0e4c\u0e42\u0e2b\u0e25\u0e14\u0e17\u0e35\u0e48\u0e23\u0e31\u0e1a\u0e23\u0e39\u0e49\u0e41\u0e04\u0e0a KV \u0e2b\u0e23\u0e37\u0e2d\u0e44\u0e21\u0e48?<\/h3>\n\n\n
\u0e1c\u0e39\u0e49\u0e2a\u0e23\u0e49\u0e32\u0e07\u0e04\u0e27\u0e23\u0e04\u0e34\u0e14\u0e40\u0e01\u0e35\u0e48\u0e22\u0e27\u0e01\u0e31\u0e1a\u0e01\u0e32\u0e23\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07 KV cache \u0e2d\u0e22\u0e48\u0e32\u0e07\u0e44\u0e23?<\/h3>\n\n\n
\u0e17\u0e35\u0e21\u0e04\u0e27\u0e23\u0e27\u0e31\u0e14\u0e2d\u0e30\u0e44\u0e23\u0e1a\u0e49\u0e32\u0e07\u0e01\u0e48\u0e2d\u0e19\u0e40\u0e1b\u0e25\u0e35\u0e48\u0e22\u0e19\u0e01\u0e32\u0e23\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07?<\/h3>\n\n\n
\u0e01\u0e32\u0e23\u0e01\u0e33\u0e2b\u0e19\u0e14\u0e40\u0e2a\u0e49\u0e19\u0e17\u0e32\u0e07 KV cache \u0e2a\u0e32\u0e21\u0e32\u0e23\u0e16\u0e25\u0e14\u0e15\u0e49\u0e19\u0e17\u0e38\u0e19 API AI \u0e44\u0e14\u0e49\u0e2b\u0e23\u0e37\u0e2d\u0e44\u0e21\u0e48?<\/h3>\n\n\n