کے وی کیش روٹنگ: غیر ضروری ایل ایل ایم پریفل کام کو کم کریں

KV کیش روٹنگ اس وقت اہم ہوتی ہے جب بار بار کے پرامپٹ پری فکسز آپ کے LLM ٹریفک میں ظاہر ہوتے رہتے ہیں۔ اگر صحیح درخواست صحیح نقل پر پہنچے، تو سروسنگ انجن کیشڈ توجہ کی حالت کو دوبارہ استعمال کر سکتا ہے بجائے اس کے کہ وہی پریفل ٹوکنز بار بار دوبارہ حساب کرے۔.

یہ ایک انفراسٹرکچر کی تفصیل کی طرح لگتا ہے، لیکن یہ جلد ہی ایک پروڈکٹ مسئلہ بن جاتا ہے۔ لمبے سسٹم پرامپٹس، RAG سیاق و سباق، چند شاٹ مثالیں، اور ملٹی ٹرن چیٹ ہسٹری پریفل کام کو مہنگا بنا سکتی ہیں۔ جب ہر نقل وہی پری فکس دوبارہ حساب کرتی ہے، ٹیمیں لیٹنسی، GPU وقت، اور صلاحیت کی منصوبہ بندی میں قیمت ادا کرتی ہیں۔.

ShareAI ڈویلپرز کو 150+ ماڈلز، مارکیٹ پلیس کی مرئیت، روٹنگ، اور فیل اوور کے لیے ایک API فراہم کرتا ہے۔ KV کیش روٹنگ ایک پرت نیچے، ماڈل سروسنگ انفراسٹرکچر کے اندر بیٹھتی ہے۔ ShareAI قارئین کے لیے مفید نتیجہ سادہ ہے: روٹنگ کے فیصلے AI اسٹیک کی ہر پرت پر اہم ہوتے ہیں، ماڈل کے انتخاب سے لے کر اس GPU نقل تک جو بار بار پرامپٹ کو ہینڈل کرتا ہے۔.

کیوں KV کیش روٹنگ اہم ہے

LLM انفرنس کے دوران، ایک ماڈل پہلے پریفل مرحلے میں ان پٹ پرامپٹ کو پروسیس کرتا ہے۔ یہ ایک کلیدی-ویلیو کیش بناتا ہے، جسے عام طور پر KV کیش کہا جاتا ہے، تاکہ بعد میں پیدا ہونے والے ٹوکن پہلے سے پروسیس شدہ سیاق و سباق پر واپس توجہ دے سکیں۔.

پری فکس کیشنگ سروسنگ انجنز کو اس کیش کو دوبارہ استعمال کرنے دیتی ہے جب بعد کی درخواست پرامپٹ کے اسی آغاز کو شیئر کرتی ہے۔ vLLM خودکار پری فکس کیشنگ دستاویزات اس کو مشترکہ پری فکسز کے لیے KV کیش کو دوبارہ استعمال کرنے کے طور پر بیان کرتی ہے تاکہ نئی درخواست مشترکہ حصے کے لیے حساب کتاب کو چھوڑ سکے۔. SGLang پری فکس کیشنگ عام ٹوکن سیکوینسز کے لیے KV کیش کو شیئر کرنے کے لیے ایک متعلقہ خیال استعمال کرتی ہے۔.

یہ خاص طور پر ان ورک لوڈز کے لیے اہم ہے جہاں بہت سی درخواستیں ایک ہی طرح سے شروع ہوتی ہیں: بڑے سسٹم پرامپٹ کے ساتھ سپورٹ ایجنٹس، RAG ایپلیکیشنز جو بار بار دستاویزات کے ٹکڑوں کا استعمال کرتی ہیں، ریپوزٹری انسٹرکشنز کے ساتھ کوڈنگ ایجنٹس، یا چیٹ پروڈکٹس جو گفتگو کی تاریخ کو ٹرنز کے درمیان لے کر چلتے ہیں۔.

جہاں راؤنڈ-روبن ناکام ہوتا ہے

پری فکس کیشنگ ایک نقل پر سب سے آسان ہے۔ وہی عمل بار بار پری فکس کو دیکھتا ہے اور اگر میموری دستیاب ہو تو اس کیش کو دوبارہ استعمال کر سکتا ہے۔ مسئلہ اس وقت ظاہر ہوتا ہے جب سروس افقی طور پر اسکیل کرتی ہے۔.

ایک معیاری راؤنڈ-روبن لوڈ بیلینسر کے ساتھ، درخواست ایک نقل A پر کیش کو گرم کر سکتی ہے، جبکہ درخواست دو اسی پری فکس کے ساتھ نقل B پر پہنچتی ہے۔ نقل B کے پاس وہ کیشڈ حالت نہیں ہوتی، اس لیے وہ وہی پریفل کام دوبارہ حساب کرتی ہے۔ درخواست تین نقل C پر جا سکتی ہے اور دوبارہ چھوٹ سکتی ہے۔.

جیسے جیسے نقل کی تعداد بڑھتی ہے، سادہ لوڈ بیلنسنگ متعلقہ درخواستوں کو مزید مشینوں میں پھیلا سکتی ہے۔ ماڈل سروسنگ فلیٹ متوازن نظر آ سکتا ہے، لیکن پری فکس کیش ہٹ ریٹ کم ہو جاتا ہے۔ یہ وہ خلا ہے جسے KV کیش روٹنگ بند کرنے کی کوشش کرتی ہے۔.

تین عملی روٹنگ کی سطحیں

1. سیشن افینٹی

سیشن افینٹی ٹریفک کو ایک ہی صارف، ورک اسپیس، کرایہ دار، یا گفتگو سے ایک ہی نقل پر بھیجتی ہے۔ یہ ملٹی ٹرن چیٹ کے لیے شروع کرنے کی سب سے آسان جگہ ہے کیونکہ فالو اپ پرامپٹس اکثر پچھلے سیاق و سباق کو شیئر کرتے ہیں۔.

اس کا نقصان یہ ہے کہ صارف کی شناخت ہمیشہ پرامپٹ کی مماثلت جیسی نہیں ہوتی۔ دو صارفین ایک ہی طویل سسٹم پرامپٹ شیئر کر سکتے ہیں اور پھر بھی مختلف نقلوں پر بھیجے جا سکتے ہیں۔ سیشن افینٹی اس وقت بھی متاثر ہو سکتی ہے جب نقلیں شامل یا ہٹائی جائیں۔.

2. پری فکس-ہیش روٹنگ

پری فکس-ہیش روٹنگ پرامپٹ کو خود روٹنگ کی کلید کے طور پر استعمال کرتی ہے۔ روٹر پرامپٹ کے مستحکم آغاز کو ہیش کرتا ہے اور مماثل پری فکسز کو ایک ہی نقل پر بھیجتا ہے۔.

یہ اس وقت بہتر کام کرتا ہے جب بار بار سسٹم پرامپٹس، چند شاٹ مثالیں، یا مشترکہ حاصل کردہ سیاق و سباق صارف کی شناخت سے زیادہ اہم ہوں۔ مشکل حصہ پری فکس کی حد کا انتخاب کرنا ہے۔ اگر ہیش میں ٹائم اسٹیمپ، درخواست ID، یا صارف کے مخصوص فیلڈ شامل ہوں، تو روٹنگ کی کلید ٹکڑے ٹکڑے ہو جاتی ہے اور کیش ری یوز ختم ہو جاتا ہے۔.

3. کیش-ایونٹ-آگاہ روٹنگ

سب سے جدید طریقہ یہ ٹریک کرتا ہے کہ کون سے کیش بلاکس کون سی نقل پر موجود ہیں، پھر ہر درخواست کو اس نقل پر بھیجتا ہے جس میں بہترین کیش اوورلیپ ہو جبکہ لوڈ کو بھی مدنظر رکھا جائے۔ llm-d روٹر پروجیکٹ ایک اینڈ پوائنٹ پککر کی وضاحت کرتا ہے جو KV-کیش لوکلٹی، موجودہ لوڈ، اور ترجیح کو مدنظر رکھتا ہے جب یہ فیصلہ کرتا ہے کہ درخواست کہاں جانی چاہیے۔.

یہ زیادہ پیچیدہ ہے، لیکن یہ زیادہ تھروپٹ فلیٹس کے لیے صحیح سمت ہے جہاں کیش مسز کو ماپا جاتا ہے، مہنگا ہوتا ہے، اور بار بار ہوتا ہے۔.

کب اسے چھوڑنا ہے

KV کیش روٹنگ خود بخود پیچیدگی کے قابل نہیں ہے۔ یہ اس وقت کمزور فٹ ہے جب پرامپٹس مختصر، زیادہ تر منفرد، یا بیچوں میں پروسیس کیے جاتے ہیں جن میں کم دہرائی گئی ساخت ہوتی ہے۔.

دستاویز کا خلاصہ، تخلیقی جنریشن، ایک بار نکالنا، اور بہت سے غیر متزامن بیچ کاموں میں اتنا مشترکہ پری فکس اوورلیپ نہیں ہو سکتا کہ کیش-آگاہ روٹنگ کو جواز فراہم کیا جا سکے۔ ان صورتوں میں، سادہ لوڈ بیلنسنگ زیادہ صاف ہو سکتی ہے۔.

عملی ٹیسٹ پیمائش ہے: کیش ہٹ ریٹ، پہلے ٹوکن تک وقت، تھروپٹ، قطار کی گہرائی، GPU میموری پریشر، اور مکمل شدہ کام پر لاگت۔ اگر کیش-اویئر روٹنگ ان نمبروں کو تبدیل نہیں کرتی، تو پہلے پرامپٹ اسٹرکچر کو درست کریں۔.

یہ ShareAI کے ساتھ کیسے فٹ بیٹھتا ہے

ShareAI ایک AI مارکیٹ پلیس اور API ہے، نہ کہ آپ کے GPU کلسٹر کے اندر ماڈل-سروینگ لوڈ بیلینسر۔ ڈویلپرز ShareAI کو استعمال کرتے ہیں تاکہ ایک API کے ذریعے کئی ماڈلز تک رسائی حاصل کریں، مارکیٹ پلیس سگنلز کا موازنہ کریں، درخواستوں کو روٹ کریں، استعمال کو منظم کریں، اور جب کوئی روٹ خراب ہو جائے تو فیل اوور کریں۔.

یہ اب بھی KV کیش روٹنگ کو متعلقہ بناتا ہے۔ اگر آپ اپنی انفرینس اسٹیک کو چلاتے ہیں، تو یہ آپ کو بہتر انفراسٹرکچر سوالات پوچھنے میں مدد دیتا ہے۔ اگر آپ ہوسٹڈ ماڈلز استعمال کرتے ہیں، تو یہ آپ کو یہ جانچنے میں مدد دیتا ہے کہ کیوں دو روٹس جن کے ماڈل نام ملتے جلتے ہیں، حقیقی ورک لوڈز کے تحت مختلف طریقے سے برتاؤ کر سکتے ہیں۔.

بلڈرز کے لیے، یہ قیمتوں سے بھی جڑتا ہے۔ ایک ایپ جس میں لمبے پرامپٹس، بار بار RAG کانٹیکسٹ، یا ایجنٹ لوپس ہوں، بہت غیر مساوی AI استعمال پیدا کر سکتی ہے۔ ShareAI Builder ایپلیکیشن مالکان کو ShareAI کے ذریعے AI انفرینس ٹریفک کو روٹ کرنے، مارجن یا سرچارج مقرر کرنے، صارفین کو روٹڈ استعمال کے لیے ShareAI کو ادائیگی کرنے، اور پیدا شدہ استعمال کی بنیاد پر ماہانہ ادائیگیاں وصول کرنے کی اجازت دیتا ہے۔ خود ایپلیکیشن ShareAI کے باہر بنی رہتی ہے۔.

ماڈل کے انتخاب اور روٹ کی جانچ کے لیے، شروع کریں ShareAI ماڈل مارکیٹ پلیس سے. ۔ عمل درآمد کی بنیادی باتوں کے لیے، استعمال کریں ShareAI API حوالہ.

KV کیش روٹنگ چیک لسٹ

• مستحکم پرامپٹ مواد کو پہلے رکھیں: سسٹم پرامپٹ، ٹول کے قواعد، مثالیں، اور بار بار کانٹیکسٹ۔.
• متحرک فیلڈز کو بعد میں منتقل کریں: ٹائم اسٹیمپس، درخواست IDs، صارف کے مخصوص حقائق، اور ایک بار کی ہدایات۔.
• روٹنگ تبدیلیوں سے پہلے اور بعد میں کیش ہٹ ریٹ کی پیمائش کریں۔.
• پہلے ٹوکن تک وقت، تھروپٹ، قطار کی گہرائی، اور VRAM پریشر کو ایک ساتھ دیکھیں۔.
• کیش-ایونٹ-اویئر روٹنگ بنانے سے پہلے پری فکس-ہیش روٹنگ سے شروع کریں۔.
• ورک لوڈ کے ذریعے روٹنگ کے قواعد کو تقسیم کریں بجائے اس کے کہ ایک عالمی پالیسی کو نافذ کریں۔.
• لاگت اور لیٹنسی کو ایپلیکیشن سطح پر مرئی رکھیں، نہ کہ صرف انفرینس کلسٹر کے اندر۔.

عمومی سوالات

KV کیش روٹنگ کیا ہے؟

KV کیش روٹنگ ایک روٹنگ حکمت عملی ہے جو درخواستوں کو ایسے نقلوں پر بھیجتی ہے جن میں ممکنہ طور پر پہلے سے موجود مماثل KV کیش ہو۔ اس کا مقصد غیر ضروری پریفل حساب کو کم کرنا ہے۔.

KV کیش روٹنگ پریفکس کیشنگ سے کیسے مختلف ہے؟

پریفکس کیشنگ ماڈل-سرونگ انجن کی صلاحیت ہے کہ مشترکہ پریفکس کے لیے کیش شدہ حالت کو دوبارہ استعمال کرے۔ KV کیش روٹنگ ایک ٹریفک پلیسمنٹ حکمت عملی ہے جو مماثل درخواستوں کو وہاں پہنچنے میں مدد دیتی ہے جہاں وہ کیش شدہ حالت پہلے سے موجود ہو۔.

راؤنڈ-روبن روٹنگ پریفکس کیشنگ کو کیوں نقصان پہنچاتی ہے؟

راؤنڈ-روبن روٹنگ درخواستوں کو نقلوں میں پھیلاتی ہے بغیر یہ جانے کہ کس نقل میں کون سا کیش شدہ پریفکس موجود ہے۔ ایک دہرایا ہوا پریفکس کیش کو اس لیے کھو سکتا ہے کیونکہ یہ مختلف نقل پر پہنچتا ہے۔.

کون سے ورک لوڈز KV کیش روٹنگ سے سب سے زیادہ فائدہ اٹھاتے ہیں؟

ملٹی ٹرن چیٹ، RAG، کوڈنگ ایجنٹس، سپورٹ ایجنٹس، فیو شاٹ پرامپٹنگ، اور ایپس جن میں طویل مشترکہ سسٹم پرامپٹس ہوتے ہیں سب سے مضبوط امیدوار ہیں کیونکہ وہ کافی پریفکس کو دوبارہ استعمال کرتے ہیں۔.

ٹیم کو کب KV کیش روٹنگ کو چھوڑ دینا چاہیے؟

اسے چھوڑ دیں جب پرامپٹس مختصر، زیادہ تر منفرد، یا بیچ پر مبنی ہوں جن میں کم دہرائی ہوئی ساخت ہو۔ ان صورتوں میں، روٹنگ کی پیچیدگی کم قدر فراہم کر سکتی ہے۔.

کیا vLLM اور SGLang پریفکس کیشنگ کو سپورٹ کرتے ہیں؟

جی ہاں۔ vLLM دستاویزات خودکار پریفکس کیشنگ کو بیان کرتی ہیں، اور SGLang مشترکہ KV کیش کے لیے عام ٹوکن سیکوینسز پر پریفکس کیشنگ کو بیان کرتا ہے۔ جب متعدد نقلیں شامل ہوں تو سرونگ انجن کو اب بھی روٹنگ مدد کی ضرورت ہوتی ہے۔.

کیا KV کیش روٹنگ سیمینٹک کیشنگ جیسا ہی ہے؟

نہیں۔ KV کیش روٹنگ انفرنس سرونگ کے اندر بالکل یا قریب-ساختی پریفکس کے دوبارہ استعمال کے ساتھ کام کرتی ہے۔ سیمینٹک کیشنگ معنی کی بنیاد پر جوابات یا درمیانی نتائج کو ذخیرہ اور دوبارہ استعمال کرتی ہے، عام طور پر ایمبیڈنگز یا مماثلت کی حدوں کے ساتھ۔.

کیا ShareAI ایک KV-کیش-آگاہ لوڈ بیلینسر کی جگہ لیتا ہے؟

نہیں۔ ShareAI AI مارکیٹ پلیس اور API لیئر ہے ماڈل تک رسائی، روٹنگ، فیل اوور، استعمال، اور بلنگ کے لیے۔ KV-cache-aware روٹنگ ٹیموں کے لیے انفراسٹرکچر ہے جو انفرینس ریپلیکا چلاتے ہیں۔.

بلڈرز کو KV کیش روٹنگ کے بارے میں کیسے سوچنا چاہیے؟

بلڈرز کو کیش کے رویے کو AI-ہیوی ایپس کے اندر ایک لاگت کے عنصر کے طور پر دیکھنا چاہیے۔ اگر ان کی ایپلیکیشن کا استعمال غیر متوازن ہے، تو ShareAI AI ٹریفک کو روٹ اور مونیٹائز کرنے میں مدد کر سکتا ہے جبکہ ایپ ShareAI کے باہر تعمیر اور ملکیت میں رہے۔.

ٹیموں کو روٹنگ تبدیل کرنے سے پہلے کیا پیمائش کرنی چاہیے؟

کیش ہٹ ریٹ، پہلے ٹوکن تک وقت، تھروپٹ، قطار کی گہرائی، VRAM دباؤ، فی ٹاسک لاگت، اور آؤٹ پٹ کوالٹی کی پیمائش کریں۔ روٹنگ میں تبدیلیاں ورک لوڈ کو بہتر بنانی چاہیے، نہ کہ صرف ڈیش بورڈ۔.

کیا KV کیش روٹنگ AI API کی لاگت کو کم کر سکتی ہے؟

یہ ان ٹیموں کے لیے انفراسٹرکچر کی لاگت کو کم کر سکتی ہے جو خود ماڈلز چلاتی ہیں کیونکہ کم غیر ضروری پریفل کام GPU کی کارکردگی کو بہتر بنا سکتا ہے۔ ہوسٹڈ APIs کے لیے، اثر اس بات پر منحصر ہے کہ آیا فراہم کنندہ ان بچتوں کو قیمت یا کارکردگی میں ظاہر کرتا ہے۔.