KV कॅश रूटिंग: अनावश्यक LLM प्रीफिल कार्य कमी करा

जेव्हा पुनरावृत्त प्रॉम्प्ट उपसर्ग तुमच्या LLM ट्रॅफिकमध्ये सतत दिसत राहतात तेव्हा KV कॅश रूटिंग महत्त्वाचे ठरते. योग्य विनंती योग्य प्रतिकृतीवर पोहोचल्यास, सर्व्हिंग इंजिन पुन्हा-पुन्हा समान प्रीफिल टोकनची पुनर्गणना करण्याऐवजी कॅश केलेले लक्ष स्थिती पुन्हा वापरू शकते.

ते एक पायाभूत तपशीलासारखे वाटते, परंतु ते लवकरच उत्पादनाचा मुद्दा बनते. लांब सिस्टम प्रॉम्प्ट्स, RAG संदर्भ, फ्यू-शॉट उदाहरणे आणि मल्टी-टर्न चॅट इतिहास प्रीफिल कार्य महाग बनवू शकतो. जेव्हा प्रत्येक प्रतिकृती समान उपसर्गाची पुनर्गणना करते, तेव्हा संघ विलंब, GPU वेळ आणि क्षमता नियोजनासाठी पैसे देतात.

ShareAI विकसकांना 150+ मॉडेल्स, मार्केटप्लेस दृश्यमानता, रूटिंग आणि फेलओव्हरसाठी एक API देते. KV कॅश रूटिंग एक स्तर खाली बसते, मॉडेल-सर्व्हिंग पायाभूत संरचनेच्या आत. ShareAI वाचकांसाठी उपयुक्त निष्कर्ष सोपा आहे: मॉडेल निवडीपासून ते कोणती GPU प्रतिकृती पुनरावृत्त प्रॉम्प्ट हाताळते यापर्यंत AI स्टॅकच्या प्रत्येक स्तरावर रूटिंग निर्णय महत्त्वाचे असतात.

KV कॅश रूटिंग का महत्त्वाचे आहे

LLM अनुमानादरम्यान, एक मॉडेल प्रथम प्रीफिल टप्प्यात इनपुट प्रॉम्प्ट प्रक्रिया करते. ते की-वॅल्यू कॅश तयार करते, सामान्यतः KV कॅश म्हणतात, त्यामुळे नंतर तयार केलेले टोकन आधीच प्रक्रिया केलेल्या संदर्भाकडे लक्ष देऊ शकतात.

उपसर्ग कॅशिंग सर्व्हिंग इंजिन्सला नंतरच्या विनंतीमध्ये प्रॉम्प्टच्या समान सुरुवातीचा भाग सामायिक केल्यास ती कॅश पुन्हा वापरण्याची परवानगी देते. vLLM स्वयंचलित उपसर्ग कॅशिंग दस्तऐवजीकरण सामायिक उपसर्गांसाठी KV कॅश पुन्हा वापरण्याचे वर्णन करते जेणेकरून नवीन विनंती सामायिक भागासाठी गणना टाळू शकेल. SGLang उपसर्ग कॅशिंग सामान्य टोकन अनुक्रमांसाठी KV कॅश सामायिक करण्यासाठी संबंधित कल्पना वापरते.

हे विशेषतः त्या वर्कलोडसाठी महत्त्वाचे आहे जिथे अनेक विनंत्या एकाच प्रकारे सुरू होतात: मोठ्या सिस्टम प्रॉम्प्टसह समर्थन एजंट्स, पुनरावृत्त दस्तऐवज तुकड्यांचा वापर करणारे RAG अनुप्रयोग, रिपॉझिटरी सूचना असलेले कोडिंग एजंट्स किंवा चॅट उत्पादने जे टर्न्समध्ये संभाषण इतिहास घेऊन जातात.

राउंड-रॉबिन कोठे अपयशी ठरते

उपसर्ग कॅशिंग एका प्रतिकृतीवर सर्वात सोपे आहे. समान प्रक्रिया पुनरावृत्त उपसर्ग पाहते आणि मेमरी उपलब्ध असल्यास त्याची कॅश पुन्हा वापरू शकते. समस्या तेव्हा दिसते जेव्हा सेवा आडव्या प्रमाणात वाढते.

मानक राउंड-रॉबिन लोड बॅलन्सरसह, विनंती एक प्रतिकृती A वर कॅश गरम करू शकते, तर समान उपसर्गासह विनंती दोन प्रतिकृती B वर पोहोचते. प्रतिकृती B कडे ती कॅश केलेली स्थिती नसते, त्यामुळे ती समान प्रीफिल कार्याची पुनर्गणना करते. विनंती तीन प्रतिकृती C वर जाऊ शकते आणि पुन्हा चुकते.

प्रतिकृती संख्या वाढल्यावर, साध्या लोड बॅलन्सिंग संबंधित विनंत्या अधिक मशीनमध्ये पसरवू शकते. मॉडेल-सर्व्हिंग फ्लीट संतुलित दिसू शकते, परंतु उपसर्ग कॅश हिट दर कमी होतो. KV कॅश रूटिंग बंद करण्याचा प्रयत्न करते तो हा अंतर आहे.

तीन व्यावहारिक रूटिंग स्तर

1. सत्र सुसंगती

सत्र सुसंगती एकाच वापरकर्ता, कार्यक्षेत्र, भाडेकरू किंवा संभाषणातून वाहतूक एकाच प्रतिकृतीकडे नेते. हे मल्टी-टर्न चॅटसाठी सुरू करण्यासाठी सर्वात सोपी जागा आहे कारण फॉलो-अप प्रॉम्प्ट्स अनेकदा मागील संदर्भ सामायिक करतात.

त्याचा तोटा असा आहे की वापरकर्ता ओळख नेहमी प्रॉम्प्ट समानतेसारखी नसते. दोन वापरकर्ते समान दीर्घ प्रणाली प्रॉम्प्ट सामायिक करू शकतात आणि तरीही वेगवेगळ्या प्रतिकृतींवर नेले जाऊ शकतात. प्रतिकृती जोडल्या किंवा काढल्या गेल्या तरी सत्र सुसंगती विस्कळीत होऊ शकते.

2. प्रिफिक्स-हॅश रूटिंग

प्रिफिक्स-हॅश रूटिंग प्रॉम्प्टला स्वतःच रूटिंग की म्हणून वापरते. राउटर प्रॉम्प्टच्या स्थिर सुरुवातीला हॅश करते आणि जुळणारे प्रिफिक्सेस एकाच प्रतिकृतीकडे पाठवते.

हे चांगले कार्य करते जेव्हा पुनरावृत्त प्रणाली प्रॉम्प्ट्स, फ्यू-शॉट उदाहरणे किंवा सामायिक पुनर्प्राप्त संदर्भ वापरकर्ता ओळखीपेक्षा अधिक महत्त्वाचे असतात. कठीण भाग म्हणजे प्रिफिक्स सीमा निवडणे. जर हॅशमध्ये टाइमस्टॅम्प, विनंती आयडी किंवा वापरकर्ता-विशिष्ट फील्ड समाविष्ट असेल, तर रूटिंग की तुटते आणि कॅशे पुनर्वापर विस्कळीत होते.

3. कॅशे-इव्हेंट-जाणकार रूटिंग

सर्वात प्रगत दृष्टिकोन ट्रॅक करतो की कोणते कॅशे ब्लॉक्स कोणत्या प्रतिकृतीवर आहेत, नंतर प्रत्येक विनंतीला सर्वोत्तम कॅशे ओव्हरलॅप असलेल्या प्रतिकृतीकडे नेते, तरीही लोड विचारात घेतो. llm-d राउटर प्रकल्प KV-कॅशे स्थानिकता, वर्तमान लोड आणि प्राधान्य विचारात घेऊन विनंती कुठे जायची हे ठरवताना एंडपॉइंट पिकरचे वर्णन करते.

हे अधिक जटिल आहे, परंतु उच्च-थ्रूपुट फ्लीट्ससाठी योग्य दिशा आहे जिथे कॅशे मिसेस मोजल्या जातात, महाग असतात आणि वारंवार असतात.

ते कधी टाळावे

KV कॅशे रूटिंग आपोआप जटिलतेसाठी योग्य नाही. प्रॉम्प्ट्स लहान, मुख्यतः अद्वितीय किंवा बॅचमध्ये प्रक्रिया केली जातात जिथे पुनरावृत्त संरचना कमी असते तेव्हा ते कमकुवत फिट आहे.

दस्तऐवज संक्षेप, सर्जनशील निर्मिती, एक-वेळ काढणे आणि अनेक असिंक्रोनस बॅच जॉब्समध्ये कॅशे-जाणकार रूटिंग योग्य ठरवण्यासाठी पुरेसे सामायिक प्रिफिक्स ओव्हरलॅप नसू शकते. अशा प्रकरणांमध्ये, साधे लोड संतुलन अधिक स्वच्छ असू शकते.

व्यावहारिक चाचणी म्हणजे मोजमाप: कॅश हिट रेट, पहिल्या टोकनपर्यंतचा वेळ, थ्रूपुट, क्यू डेप्थ, GPU मेमरी प्रेशर, आणि पूर्ण झालेल्या कार्यासाठीचा खर्च. जर कॅश-अवेयर रूटिंगने हे आकडे बदलले नाहीत, तर प्रथम प्रॉम्प्ट संरचना सुधारित करा.

हे ShareAI सोबत कसे जुळते

ShareAI हे AI मार्केटप्लेस आणि API आहे, तुमच्या GPU क्लस्टरमधील मॉडेल-सर्व्हिंग लोड बॅलन्सर नाही. विकसक ShareAI वापरून एकाच API द्वारे अनेक मॉडेल्समध्ये प्रवेश करतात, मार्केटप्लेस सिग्नल्सची तुलना करतात, विनंत्या रूट करतात, वापर व्यवस्थापित करतात, आणि रूट खराब झाल्यावर फेल ओव्हर करतात.

तरीही KV कॅश रूटिंग संबंधित आहे. जर तुम्ही तुमचा स्वतःचा इनफरन्स स्टॅक चालवत असाल, तर ते तुम्हाला चांगले पायाभूत प्रश्न विचारण्यास मदत करते. जर तुम्ही होस्ट केलेले मॉडेल्स वापरत असाल, तर ते तुम्हाला मूल्यांकन करण्यास मदत करते की समान मॉडेल नावांसह दोन रूट्स वास्तविक वर्कलोड्स अंतर्गत वेगळे का वागतात.

बिल्डर्ससाठी, हे किंमतीशी देखील जोडलेले आहे. लांब प्रॉम्प्ट्स, पुनरावृत्त RAG संदर्भ, किंवा एजंट लूप्स असलेले अॅप खूप असमान AI वापर तयार करू शकते. ShareAI Builder अॅप्लिकेशन मालकांना ShareAI द्वारे AI इनफरन्स ट्रॅफिक रूट करण्यास, मार्जिन किंवा अधिभार सेट करण्यास, रूट केलेल्या वापरासाठी ग्राहकांना ShareAI देय देण्यास, आणि तयार केलेल्या वापरावर आधारित मासिक पेआउट्स प्राप्त करण्यास अनुमती देते. अॅप्लिकेशन स्वतः ShareAI बाहेर तयार केलेले राहते.

मॉडेल निवड आणि रूट मूल्यांकनासाठी, यासह प्रारंभ करा ShareAI मॉडेल मार्केटप्लेस मधून. अंमलबजावणी मूलभूत गोष्टींसाठी, वापरा ShareAI API संदर्भ.

KV कॅश रूटिंग चेकलिस्ट

• स्थिर प्रॉम्प्ट सामग्री प्रथम ठेवा: सिस्टम प्रॉम्प्ट, टूल नियम, उदाहरणे, आणि पुनरावृत्त संदर्भ.
• डायनॅमिक फील्ड्स नंतर हलवा: टाइमस्टॅम्प्स, विनंती IDs, वापरकर्त्यासाठी विशिष्ट तथ्ये, आणि एकदाच दिलेल्या सूचना.
• रूटिंग बदलांपूर्वी आणि नंतर कॅश हिट रेट मोजा.
• पहिल्या टोकनपर्यंतचा वेळ, थ्रूपुट, क्यू डेप्थ, आणि VRAM प्रेशर एकत्र पहा.
• कॅश-इव्हेंट-अवेयर रूटिंग तयार करण्यापूर्वी प्रीफिक्स-हॅश रूटिंगसह प्रारंभ करा.
• एक जागतिक धोरण लागू करण्याऐवजी वर्कलोडनुसार रूटिंग नियम विभाजित करा.
• खर्च आणि विलंबता अॅप्लिकेशन स्तरावर दृश्यमान ठेवा, केवळ इनफरन्स क्लस्टरमध्ये नाही.

वारंवार विचारले जाणारे प्रश्न

KV कॅश राउटिंग म्हणजे काय?

KV कॅश राउटिंग ही एक राउटिंग रणनीती आहे जी पुनरावृत्त प्रॉम्प्ट प्रीफिक्ससह विनंत्या अशा प्रतिकृतींना पाठवते ज्यामध्ये आधीच जुळणारा KV कॅश असण्याची शक्यता असते. उद्दिष्ट म्हणजे अनावश्यक प्रीफिल गणना कमी करणे.

KV कॅश राउटिंग प्रीफिक्स कॅशिंगपेक्षा कसे वेगळे आहे?

प्रीफिक्स कॅशिंग म्हणजे मॉडेल-सर्व्हिंग इंजिनची सामायिक प्रॉम्प्ट प्रीफिक्ससाठी कॅश केलेली स्थिती पुन्हा वापरण्याची क्षमता. KV कॅश राउटिंग ही ट्रॅफिक-प्लेसमेंट रणनीती आहे जी जुळणाऱ्या विनंत्या त्या कॅश केलेल्या स्थितीवर पोहोचण्यास मदत करते जिथे ती आधीच अस्तित्वात आहे.

राउंड-रॉबिन राउटिंग प्रीफिक्स कॅशिंगला का हानी पोहोचवते?

राउंड-रॉबिन राउटिंग विनंत्या प्रतिकृतींमध्ये पसरवते, कोणत्या प्रतिकृतीमध्ये कोणता कॅश केलेला प्रीफिक्स आहे हे न जाणता. पुनरावृत्त प्रॉम्प्ट कॅश गमावू शकतो फक्त कारण ते वेगळ्या प्रतिकृतीवर पोहोचते.

कोणते वर्कलोड्स KV कॅश राउटिंगमुळे सर्वाधिक लाभ घेतात?

मल्टी-टर्न चॅट, RAG, कोडिंग एजंट्स, सपोर्ट एजंट्स, फ्यू-शॉट प्रॉम्प्टिंग आणि लांब सामायिक सिस्टम प्रॉम्प्ट्स असलेल्या अॅप्स हे सर्वात मजबूत उमेदवार आहेत कारण ते मोठ्या प्रमाणात प्रॉम्प्ट प्रीफिक्स पुन्हा वापरतात.

एखाद्या टीमने KV कॅश राउटिंग कधी टाळावे?

तेव्हा टाळा जेव्हा प्रॉम्प्ट्स लहान, प्रामुख्याने अद्वितीय किंवा बॅच-ओरिएंटेड असतात ज्यामध्ये थोडी पुनरावृत्त रचना असते. अशा प्रकरणांमध्ये, राउटिंगची गुंतागुंत कमी मूल्य देऊ शकते.

vLLM आणि SGLang प्रीफिक्स कॅशिंगला समर्थन देतात का?

होय. vLLM स्वयंचलित प्रीफिक्स कॅशिंगचे दस्तऐवजीकरण करते आणि SGLang सामान्य टोकन अनुक्रमांमध्ये सामायिक KV कॅशसाठी प्रीफिक्स कॅशिंगचे दस्तऐवजीकरण करते. जेव्हा एकाधिक प्रतिकृतींचा समावेश असतो तेव्हा सर्व्हिंग इंजिनला राउटिंग मदतीची आवश्यकता असते.

KV कॅश राउटिंग सेमॅंटिक कॅशिंगसारखे आहे का?

नाही. KV कॅश राउटिंग अचूक किंवा जवळजवळ-संरचनात्मक प्रीफिक्स पुनर्वापरासह इनफरन्स सर्व्हिंगमध्ये कार्य करते. सेमॅंटिक कॅशिंग अर्थावर आधारित प्रतिसाद किंवा मध्यवर्ती परिणाम संग्रहित आणि पुनर्वापर करते, सामान्यतः एम्बेडिंग्स किंवा समानता थ्रेशोल्डसह.

ShareAI KV-कॅश-जाणकार लोड बॅलन्सरची जागा घेते का?

नाही. ShareAI हे मॉडेल ऍक्सेस, रूटिंग, फेलओव्हर, वापर आणि बिलिंगसाठी AI मार्केटप्लेस आणि API लेयर आहे. KV-cache-aware रूटिंग हे इन्फरन्स रेप्लिकास चालवणाऱ्या टीम्ससाठी लोअर-लेव्हल मॉडेल-सर्व्हिंग इन्फ्रास्ट्रक्चर आहे.

बिल्डर्सनी KV कॅश रूटिंगबद्दल कसे विचार करावे?

बिल्डर्सनी कॅश वर्तनाला AI-हेवी अॅप्समधील एक खर्च घटक म्हणून पाहावे. जर त्यांच्या अॅप्लिकेशनमध्ये असमान वापर असेल, तर ShareAI अॅप बाहेर तयार आणि मालकीचे राहून AI ट्रॅफिक रूट आणि मोनेटाइज करण्यात मदत करू शकते.

रूटिंग बदलण्यापूर्वी टीम्सनी काय मोजले पाहिजे?

कॅश हिट रेट, पहिल्या टोकनपर्यंतचा वेळ, थ्रूपुट, क्यू डेप्थ, VRAM प्रेशर, प्रति टास्क खर्च, आणि आउटपुट गुणवत्ता मोजा. रूटिंग बदलांमुळे फक्त डॅशबोर्ड नव्हे तर वर्कलोड सुधारले पाहिजे.

KV कॅश रूटिंग AI API खर्च कमी करू शकते का?

हे मॉडेल्स स्वतः सर्व्ह करणाऱ्या टीम्ससाठी इन्फ्रास्ट्रक्चर खर्च कमी करू शकते कारण कमी अनावश्यक प्रीफिल काम GPU कार्यक्षमता सुधारू शकते. होस्टेड APIs साठी, प्रभाव प्रदाता त्या बचती किंमतीत किंवा कार्यक्षमतेत कशा प्रकारे उघड करतो यावर अवलंबून असतो.