سرعة الاستدلال لوكلاء البرمجة: TTFT مقابل الإنتاجية

السرعة في ترميز الذكاء الاصطناعي من السهل تبسيطها بشكل مفرط. غالبًا ما تتحدث الفرق عن نموذج أو نظام خلفي كما لو كان ببساطة سريعًا أو بطيئًا، ولكن تدفقات العمل الحقيقية في الترميز تقسم السرعة إلى سؤالين مختلفين على الأقل: مدى سرعة وصول أول رمز مفيد، وكم العمل الذي يمكن للنظام تحمله بمجرد بدء التوليد.

جعل معيار Cline الأخير هذا الانقسام واضحًا جدًا. في مهمة قصيرة بأسلوب الإقصاء، فاز إعداد مدعوم بالسحابة لأنه بدأ بسرعة. في اختبار استدلال خام أطول، قدم إعداد DGX Spark المحلي إنتاجية مستدامة أقوى بكثير من وحدة معالجة الرسومات للمستهلك التي تشغل نفس النموذج مع تفريغ ذاكرة ثقيل. بالنسبة للفرق التي تختار مكان تشغيل وكلاء الترميز، فإن هذا التمييز مهم جدًا.

مقارنة سريعة: ما أظهره الاختبار

• فاز إعداد Mac المدعوم بالسحابة بمهمة “Thunderdome” القصيرة في 1.04 ثانية.
• قاس نفس المعيار DGX Spark عند 42.9 رمزًا في الثانية في سباق الاستدلال المباشر.
• وصل إعداد RTX 4090 إلى 8.7 رمزًا في الثانية مع تفريغ ذاكرة RAM ثقيل.
• بلغ وقت الجدار في سباق الاستدلال المباشر 5.11 ثانية لـ Mac المدعوم بالسحابة، و21.83 ثانية لـ DGX Spark، و93.89 ثانية لمحطة العمل 4090.

تساعد تفاصيل الأجهزة في تفسير الفجوة. NVIDIA’s نظرة عامة على نظام DGX Spark تسلط الضوء على تصميم ذاكرته الموحدة بسعة 128 جيجابايت، بينما كان جهاز 4090 في الاختبار يحتوي على 24 جيجابايت من VRAM وكان عليه تفريغ الكثير من نموذج 120B إلى ذاكرة النظام. هذا يغير شكل عبء العمل بالكامل.

لماذا فاز TTFT بالسباق القصير

في مهمة تسلسلية صغيرة، يحدد وقت الوصول إلى الرمز الأول الفائز. النظام الأول الذي يفهم الطلب، ويولد أمرًا صالحًا، وينفذه يحصل على بداية مبكرة قد لا يتمكن الآخرون من التعافي منها أبدًا. هذا بالضبط ما حدث في اختبار Cline القصير.

يمكن للبنية التحتية السحابية أن تتألق هنا لأن النظام الخلفي مُحسّن بالفعل لمسارات استجابة سريعة. إذا كان عبء العمل الخاص بك يتكون في الغالب من تصنيفات سريعة، أو طلبات قصيرة، أو حلقات وكيل صغيرة حيث تكون الإجابة الأولى أكثر أهمية من المدى الطويل، يمكن لوقت TTFT المنخفض أن يتفوق على جهاز محلي أقوى.

لماذا تهم الإنتاجية أكثر في جلسات الترميز الحقيقية

معظم جلسات الترميز ليست معارك سريعة تستغرق ثانية واحدة. إنها حلقات طويلة وفوضوية مع تعديلات الملفات، واستدعاءات الأدوات، والمحاولات المتكررة، وتشغيل الاختبارات، ومئات أو آلاف الرموز المولدة. هنا تبدأ الإنتاجية المستدامة في أن تكون أكثر أهمية من الانفجار الافتتاحي.

عند 42.9 رمزًا في الثانية، يُظهر نتيجة DGX Spark ما يحدث عندما يمكن لنموذج كبير البقاء في الذاكرة السريعة. بالمقابل، تُظهر نتيجة 4090 مدى تكلفة التفريغ عندما يكون النموذج كبيرًا جدًا بالنسبة لذاكرة VRAM المحلية. يمكن أن يشعر النموذج نفسه بشكل مختلف تمامًا اعتمادًا على تخطيط الذاكرة، وليس فقط على العلامة التجارية أو سعر وحدة معالجة الرسومات الخام.

إذا كنت تعمل مع المكدسات المحلية، فإن وثائق Ollama تعد مرجعًا جيدًا لكيفية قيام الفرق بكشف نقاط نهاية النماذج المحلية والمدعومة بالسحابة بطريقة متوافقة. الدرس المهم ليس في الأداة التي تختارها. بل في أن حجم النموذج، وتوافق الذاكرة، وطوبولوجيا الشبكة تغير تجربة المستخدم أكثر بكثير مما توحي به عناوين المعايير الفردية.

يغير حجم النموذج الاقتصاديات

ركزت مقارنة Cline على نموذج بحجم 120B، مما يدفع الأجهزة الاستهلاكية إلى نظام مختلف تمامًا. بمجرد أن يخرج النموذج من الذاكرة السريعة، لم تعد تكلفتك مجرد رموز. بل تدفع أيضًا في التأخير، والانتظار، وصبر المطورين.

لهذا السبب نادرًا ما يكون الاختيار بين المحلي والسحابة خيارًا أيديولوجيًا بحتًا. يمكن أن تفوز السحابة من حيث الراحة وسرعة الإعداد. يمكن للأنظمة المحلية الكبيرة أن تفوز من حيث الخصوصية، والتكلفة الهامشية المتوقعة، والإنتاجية المستدامة. لا تزال الأجهزة الاستهلاكية خيارًا صحيحًا، ولكن غالبًا للنماذج الأصغر التي تناسب بشكل نظيف.

أين يتناسب ShareAI

تساعد ShareAI عندما لا تكون الإجابة الأفضل هي استخدام واجهة خلفية واحدة إلى الأبد. مع أكثر من 150 نموذجًا عبر واجهة برمجة تطبيقات واحدة, ، يمكنك الحفاظ على استقرار سير العمل البرمجي أثناء تغيير النموذج أو المزود بناءً على المهمة. يكون ذلك مفيدًا عندما تفضل مهمة واحدة زمن استجابة منخفض (TTFT) وأخرى تفضل إنتاجية مستدامة أقوى أو تسعيرًا مختلفًا.

يمكنك استخدام وثائق ShareAI و البداية السريعة لواجهة برمجة التطبيقات للحفاظ على بساطة طبقة التوجيه. بدلاً من إعادة كتابة تكاملك في كل مرة تريد فيها مقارنة المزودين أو النماذج، يمكنك إبقاء الوكيل موجهًا إلى واجهة برمجة تطبيقات واحدة واتخاذ قرارات خلفية أكثر ذكاءً تحتها.

كيفية اختيار المكدس الصحيح

• اختر السحابة أولاً عندما تكون الإجابة الأولى هي الأهم وسرعة الإعداد أكثر أهمية من التحكم المحلي.
• اختر أجهزة محلية ذات ذاكرة عالية عندما تحتاج إلى الخصوصية، وتكلفة متوقعة، وأداء قوي ومستدام على النماذج الكبيرة.
• اختر وحدات معالجة الرسومات للمستهلكين بعناية ووافقها مع أحجام النماذج التي تناسبها جيدًا.
• اختر طبقة تجريد مثل ShareAI عندما تريد المقارنة، والتوجيه، وتغيير المزودين دون إعادة بناء سير العمل الخاص بك.

الخطوة التالية

إذا كنت تقيم سرعة الاستدلال لوكلاء البرمجة، فلا تتوقف عند رقم رئيسي واحد. قم بقياس استجابة الفتح، ومعدل التوليد المستدام، والمقايضات التشغيلية التي تهم فريقك. ثم اختر طبقة توجيه تتيح لك التكيف مع تغير تلك الأولويات.