केवी कैश रूटिंग: अनावश्यक एलएलएम प्रीफिल कार्य को कम करें

जब आपके LLM ट्रैफिक में बार-बार एक जैसे प्रॉम्प्ट प्रीफिक्स दिखाई देते हैं, तो KV कैश रूटिंग महत्वपूर्ण हो जाती है। यदि सही अनुरोध सही प्रतिकृति पर पहुंचता है, तो सर्विंग इंजन कैश्ड अटेंशन स्टेट का पुनः उपयोग कर सकता है, बजाय इसके कि बार-बार वही प्रीफिल टोकन फिर से गणना करे।.

यह एक इंफ्रास्ट्रक्चर डिटेल जैसा लगता है, लेकिन यह जल्दी ही एक प्रोडक्ट समस्या बन जाती है। लंबे सिस्टम प्रॉम्प्ट, RAG संदर्भ, कुछ-शॉट उदाहरण, और मल्टी-टर्न चैट इतिहास प्रीफिल कार्य को महंगा बना सकते हैं। जब हर प्रतिकृति एक ही प्रीफिक्स की पुनः गणना करती है, तो टीमें लेटेंसी, GPU समय, और क्षमता योजना में भुगतान करती हैं।.

ShareAI डेवलपर्स को 150+ मॉडलों के लिए एक API, मार्केटप्लेस दृश्यता, रूटिंग, और फेलओवर प्रदान करता है। KV कैश रूटिंग एक परत नीचे, मॉडल-सर्विंग इंफ्रास्ट्रक्चर के अंदर स्थित है। ShareAI पाठकों के लिए उपयोगी निष्कर्ष सरल है: रूटिंग निर्णय AI स्टैक की हर परत पर मायने रखते हैं, मॉडल चयन से लेकर उस GPU प्रतिकृति तक जो एक दोहराए गए प्रॉम्प्ट को संभालता है।.

क्यों KV कैश रूटिंग महत्वपूर्ण है

LLM इनफरेंस के दौरान, एक मॉडल पहले प्रीफिल चरण में इनपुट प्रॉम्प्ट को प्रोसेस करता है। यह एक की-वैल्यू कैश बनाता है, जिसे आमतौर पर KV कैश कहा जाता है, ताकि बाद में उत्पन्न टोकन पहले से प्रोसेस किए गए संदर्भ पर वापस ध्यान दे सकें।.

प्रीफिक्स कैशिंग सर्विंग इंजनों को उस कैश का पुनः उपयोग करने देती है जब बाद का अनुरोध प्रॉम्प्ट की समान शुरुआत साझा करता है। vLLM स्वचालित प्रीफिक्स कैशिंग दस्तावेज़ीकरण इसे साझा प्रीफिक्स के लिए KV कैश का पुनः उपयोग करने के रूप में वर्णित करता है ताकि नया अनुरोध साझा भाग के लिए गणना को छोड़ सके।. SGLang प्रीफिक्स कैशिंग सामान्य टोकन अनुक्रमों के लिए KV कैश साझा करने के लिए एक संबंधित विचार का उपयोग करता है।.

यह उन वर्कलोड्स के लिए विशेष रूप से महत्वपूर्ण है जहां कई अनुरोध एक ही तरीके से शुरू होते हैं: बड़े सिस्टम प्रॉम्प्ट वाले सपोर्ट एजेंट, दोहराए गए दस्तावेज़ीकरण खंडों का उपयोग करने वाले RAG एप्लिकेशन, रिपॉजिटरी निर्देशों वाले कोडिंग एजेंट, या चैट उत्पाद जो टर्न के बीच वार्तालाप इतिहास को ले जाते हैं।.

जहां राउंड-रॉबिन विफल हो जाता है

प्रीफिक्स कैशिंग एक प्रतिकृति पर सबसे आसान है। वही प्रक्रिया दोहराए गए प्रीफिक्स को देखती है और यदि मेमोरी उपलब्ध है तो उसके कैश का पुनः उपयोग कर सकती है। समस्या तब उत्पन्न होती है जब सेवा क्षैतिज रूप से स्केल करती है।.

एक मानक राउंड-रॉबिन लोड बैलेंसर के साथ, पहला अनुरोध प्रतिकृति A पर कैश को गर्म कर सकता है, जबकि दूसरा अनुरोध उसी प्रीफिक्स के साथ प्रतिकृति B पर पहुंचता है। प्रतिकृति B के पास वह कैश्ड स्टेट नहीं होता है, इसलिए यह वही प्रीफिल कार्य फिर से गणना करता है। तीसरा अनुरोध प्रतिकृति C पर जा सकता है और फिर से चूक सकता है।.

जैसे-जैसे प्रतिकृति की संख्या बढ़ती है, साधारण लोड बैलेंसिंग संबंधित अनुरोधों को अधिक मशीनों में फैला सकती है। मॉडल-सर्विंग फ्लीट संतुलित दिख सकती है, लेकिन प्रीफिक्स कैश हिट दर गिर जाती है। यही वह अंतर है जिसे KV कैश रूटिंग बंद करने की कोशिश करती है।.

तीन व्यावहारिक रूटिंग स्तर

1. सत्र संबद्धता

सत्र संबद्धता ट्रैफ़िक को एक ही उपयोगकर्ता, कार्यक्षेत्र, किरायेदार, या बातचीत से एक ही प्रतिकृति पर रूट करती है। यह बहु-मोड़ चैट के लिए शुरू करने का सबसे सरल स्थान है क्योंकि अनुवर्ती संकेत अक्सर पिछले संदर्भ को साझा करते हैं।.

समझौता यह है कि उपयोगकर्ता पहचान हमेशा संकेत समानता के समान नहीं होती है। दो उपयोगकर्ता एक ही लंबे सिस्टम संकेत को साझा कर सकते हैं और फिर भी अलग-अलग प्रतिकृतियों पर रूट किए जा सकते हैं। जब प्रतिकृतियां जोड़ी जाती हैं या हटाई जाती हैं तो सत्र संबद्धता भी बाधित हो सकती है।.

2. प्रीफिक्स-हैश रूटिंग

प्रीफिक्स-हैश रूटिंग संकेत को ही रूटिंग कुंजी के रूप में उपयोग करती है। राउटर संकेत की स्थिर शुरुआत को हैश करता है और मिलते-जुलते प्रीफिक्स को एक ही प्रतिकृति पर भेजता है।.

यह बेहतर काम करता है जब बार-बार सिस्टम संकेत, कुछ-शॉट उदाहरण, या साझा पुनः प्राप्त संदर्भ उपयोगकर्ता पहचान से अधिक महत्वपूर्ण होते हैं। कठिन हिस्सा प्रीफिक्स सीमा चुनना है। यदि हैश में टाइमस्टैम्प, अनुरोध आईडी, या उपयोगकर्ता-विशिष्ट फ़ील्ड शामिल है, तो रूटिंग कुंजी खंडित हो जाती है और कैश पुन: उपयोग विफल हो जाता है।.

3. कैश-इवेंट-अवेयर रूटिंग

सबसे उन्नत दृष्टिकोण ट्रैक करता है कि कौन से कैश ब्लॉक किस प्रतिकृति पर निवासी हैं, फिर प्रत्येक अनुरोध को उस प्रतिकृति पर रूट करता है जिसमें सबसे अच्छा कैश ओवरलैप है जबकि अभी भी लोड को ध्यान में रखते हुए। llm-d राउटर प्रोजेक्ट एक एंडपॉइंट पिकर का वर्णन करता है जो KV-कैश स्थानीयता, वर्तमान लोड, और प्राथमिकता को ध्यान में रखता है जब यह तय करता है कि अनुरोध कहाँ जाना चाहिए।.

यह अधिक जटिल है, लेकिन यह उच्च-थ्रूपुट बेड़े के लिए सही दिशा है जहां कैश मिस को मापा जाता है, महंगा होता है, और बार-बार होता है।.

इसे कब छोड़ें

KV कैश रूटिंग स्वचालित रूप से जटिलता के लायक नहीं है। यह कमजोर फिट है जब संकेत छोटे, ज्यादातर अद्वितीय, या बैचों में संसाधित होते हैं जिनमें थोड़ी दोहराई गई संरचना होती है।.

दस्तावेज़ सारांश, रचनात्मक पीढ़ी, एक बार निष्कर्षण, और कई एसिंक्रोनस बैच नौकरियां कैश-अवेयर रूटिंग को सही ठहराने के लिए पर्याप्त साझा प्रीफिक्स ओवरलैप नहीं कर सकती हैं। उन मामलों में, सादा लोड बैलेंसिंग अधिक साफ हो सकता है।.

व्यावहारिक परीक्षण मापन है: कैश हिट दर, पहले टोकन तक का समय, थ्रूपुट, कतार गहराई, GPU मेमोरी दबाव, और प्रति पूर्ण कार्य लागत। यदि कैश-अवेयर रूटिंग इन संख्याओं को नहीं बदलती है, तो पहले प्रॉम्प्ट संरचना को ठीक करें।.

यह ShareAI के साथ कैसे फिट बैठता है

ShareAI एक AI मार्केटप्लेस और API है, न कि आपके GPU क्लस्टर के अंदर मॉडल-सर्विंग लोड बैलेंसर। डेवलपर्स ShareAI का उपयोग कई मॉडलों तक पहुंचने, मार्केटप्लेस संकेतों की तुलना करने, अनुरोधों को रूट करने, उपयोग प्रबंधन करने और जब कोई रूट खराब हो जाए तो फेलओवर करने के लिए करते हैं।.

यह अभी भी KV कैश रूटिंग को प्रासंगिक बनाता है। यदि आप अपना स्वयं का इंफ्रास्ट्रक्चर स्टैक संचालित करते हैं, तो यह आपको बेहतर इंफ्रास्ट्रक्चर प्रश्न पूछने में मदद करता है। यदि आप होस्टेड मॉडल का उपयोग करते हैं, तो यह आपको मूल्यांकन करने में मदद करता है कि समान मॉडल नामों वाले दो रूट वास्तविक वर्कलोड के तहत अलग-अलग व्यवहार क्यों कर सकते हैं।.

निर्माताओं के लिए, यह मूल्य निर्धारण से भी जुड़ता है। एक ऐप जिसमें लंबे प्रॉम्प्ट, दोहराए गए RAG संदर्भ, या एजेंट लूप्स होते हैं, बहुत असमान AI उपयोग उत्पन्न कर सकता है। ShareAI Builder एप्लिकेशन मालिकों को ShareAI के माध्यम से AI इंफ्रेंस ट्रैफिक को रूट करने, एक मार्जिन या अधिभार सेट करने, ग्राहकों को रूट किए गए उपयोग के लिए ShareAI का भुगतान करने, और उत्पन्न उपयोग के आधार पर मासिक भुगतान प्राप्त करने की अनुमति देता है। स्वयं एप्लिकेशन ShareAI के बाहर निर्मित रहता है।.

मॉडल चयन और रूट मूल्यांकन के लिए, शुरू करें ShareAI मॉडल मार्केटप्लेस से. । कार्यान्वयन मूलभूत बातों के लिए, उपयोग करें ShareAI API संदर्भ.

KV कैश रूटिंग चेकलिस्ट

• स्थिर प्रॉम्प्ट सामग्री पहले रखें: सिस्टम प्रॉम्प्ट, टूल नियम, उदाहरण, और दोहराया गया संदर्भ।.
• गतिशील फ़ील्ड बाद में ले जाएं: टाइमस्टैम्प, अनुरोध आईडी, उपयोगकर्ता-विशिष्ट तथ्य, और एक बार के निर्देश।.
• रूटिंग परिवर्तनों से पहले और बाद में कैश हिट दर मापें।.
• पहले टोकन तक का समय, थ्रूपुट, कतार गहराई, और VRAM दबाव को एक साथ देखें।.
• कैश-इवेंट-अवेयर रूटिंग बनाने से पहले प्रीफिक्स-हैश रूटिंग से शुरू करें।.
• एक वैश्विक नीति को मजबूर करने के बजाय वर्कलोड द्वारा रूटिंग नियमों को विभाजित करें।.
• लागत और विलंबता को एप्लिकेशन स्तर पर दृश्यमान रखें, न कि केवल इंफ्रेंस क्लस्टर के अंदर।.

अक्सर पूछे जाने वाले प्रश्न (FAQ)

KV कैश रूटिंग क्या है?

KV कैश रूटिंग एक रूटिंग रणनीति है जो उन अनुरोधों को उन प्रतिकृतियों पर भेजती है जो पहले से ही मेल खाते KV कैश को होल्ड करने की संभावना रखते हैं। इसका उद्देश्य अनावश्यक प्रीफिल गणना को कम करना है।.

KV कैश रूटिंग प्रीफिक्स कैशिंग से कैसे अलग है?

प्रीफिक्स कैशिंग मॉडल-सर्विंग इंजन की वह क्षमता है जो साझा प्रॉम्प्ट प्रीफिक्स के लिए कैश की गई स्थिति का पुन: उपयोग करती है। KV कैश रूटिंग वह ट्रैफिक-प्लेसमेंट रणनीति है जो मेल खाते अनुरोधों को वहां पहुंचने में मदद करती है जहां वह कैश की गई स्थिति पहले से मौजूद है।.

राउंड-रॉबिन रूटिंग प्रीफिक्स कैशिंग को क्यों नुकसान पहुंचाती है?

राउंड-रॉबिन रूटिंग अनुरोधों को प्रतिकृतियों में इस जानकारी के बिना फैलाती है कि किस प्रतिकृति में कौन सा कैश किया गया प्रीफिक्स है। एक दोहराया प्रॉम्प्ट कैश को मिस कर सकता है केवल इसलिए क्योंकि यह किसी अलग प्रतिकृति पर पहुंचता है।.

कौन से वर्कलोड्स KV कैश रूटिंग से सबसे अधिक लाभान्वित होते हैं?

मल्टी-टर्न चैट, RAG, कोडिंग एजेंट्स, सपोर्ट एजेंट्स, फ्यू-शॉट प्रॉम्प्टिंग, और लंबे साझा सिस्टम प्रॉम्प्ट वाले ऐप्स सबसे मजबूत उम्मीदवार हैं क्योंकि वे पर्याप्त प्रॉम्प्ट प्रीफिक्स का पुन: उपयोग करते हैं।.

एक टीम को कब KV कैश रूटिंग को छोड़ देना चाहिए?

इसे तब छोड़ें जब प्रॉम्प्ट छोटे, ज्यादातर अद्वितीय, या बैच-ओरिएंटेड हों जिनमें दोहराए गए संरचना की कमी हो। ऐसे मामलों में, रूटिंग की जटिलता का मूल्य कम हो सकता है।.

क्या vLLM और SGLang प्रीफिक्स कैशिंग का समर्थन करते हैं?

हां। vLLM स्वचालित प्रीफिक्स कैशिंग का दस्तावेजीकरण करता है, और SGLang सामान्य टोकन अनुक्रमों के लिए साझा KV कैश के लिए प्रीफिक्स कैशिंग का दस्तावेजीकरण करता है। जब कई प्रतिकृतियां शामिल होती हैं, तो सर्विंग इंजन को अभी भी रूटिंग सहायता की आवश्यकता होती है।.

क्या KV कैश रूटिंग सेमांटिक कैशिंग के समान है?

नहीं। KV कैश रूटिंग सटीक या निकट-संरचनात्मक प्रीफिक्स पुन: उपयोग के साथ इन्फरेंस सर्विंग के अंदर काम करती है। सेमांटिक कैशिंग अर्थ के आधार पर प्रतिक्रियाओं या मध्यवर्ती परिणामों को संग्रहीत और पुन: उपयोग करती है, आमतौर पर एम्बेडिंग्स या समानता थ्रेशोल्ड्स के साथ।.

क्या ShareAI एक KV-कैश-अवेयर लोड बैलेंसर को बदल देता है?

नहीं। ShareAI मॉडल एक्सेस, रूटिंग, फेलओवर, उपयोग और बिलिंग के लिए AI मार्केटप्लेस और API लेयर है। KV-cache-aware रूटिंग उन टीमों के लिए लोअर-लेवल मॉडल-सर्विंग इंफ्रास्ट्रक्चर है जो इंफेरेंस रिप्लिकास का संचालन करती हैं।.

बिल्डर्स को KV कैश रूटिंग के बारे में कैसे सोचना चाहिए?

बिल्डर्स को कैश व्यवहार को AI-हैवी ऐप्स के अंदर एक लागत चालक के रूप में मानना चाहिए। यदि उनके एप्लिकेशन का उपयोग असमान है, तो ShareAI उस AI ट्रैफिक को रूट और मोनेटाइज करने में मदद कर सकता है जबकि ऐप ShareAI के बाहर निर्मित और स्वामित्व में रहता है।.

रूटिंग बदलने से पहले टीमों को क्या मापना चाहिए?

कैश हिट रेट, पहले टोकन तक का समय, थ्रूपुट, कतार गहराई, VRAM दबाव, प्रति कार्य लागत, और आउटपुट गुणवत्ता को मापें। रूटिंग परिवर्तन को वर्कलोड में सुधार करना चाहिए, न कि केवल डैशबोर्ड।.

क्या KV कैश रूटिंग AI API लागत को कम कर सकती है?

यह उन टीमों के लिए इंफ्रास्ट्रक्चर लागत को कम कर सकता है जो स्वयं मॉडल सर्व कर रही हैं क्योंकि कम रेडंडेंट प्रीफिल कार्य GPU दक्षता में सुधार कर सकता है। होस्टेड APIs के लिए, प्रभाव इस बात पर निर्भर करता है कि प्रदाता उन बचतों को कीमत या प्रदर्शन में उजागर करता है या नहीं।.