زمینه به‌موقع برای عوامل هوش مصنوعی: درخواست‌ها را مختصر نگه دارید

زمینه به‌موقع برای عوامل هوش مصنوعی یک ایده ساده با تأثیر تولیدی بزرگ است: درخواست فعال را ساده نگه دارید، ارجاعات سبک به آنچه عامل ممکن است نیاز داشته باشد را حمل کنید، و زمینه سنگین را فقط زمانی بارگذاری کنید که یک مرحله واقعاً به آن نیاز داشته باشد.

این تغییر مهم است زیرا اجرای عوامل حلقه‌ای هستند. یک کتابچه راهنما، کاتالوگ ابزار، عکس‌برداری از پایگاه داده، یا نتیجه طولانی که در درخواست قرار دارد، فقط یک بار پرداخت نمی‌شود. می‌تواند بارها و بارها در برنامه‌ریزی، تماس‌های ابزار، تلاش‌های مجدد، و پاسخ‌های نهایی ارسال شود. زمینه ساده مدل را متمرکز نگه می‌دارد، هزینه‌ها را آسان‌تر برای تحلیل می‌کند، و مسیر تمیزتری برای هدایت هر مرحله به مدل مناسب به تیم‌ها می‌دهد.

معنای زمینه به‌موقع چیست

زمینه به‌موقع جایگزین بارگذاری عمده با یک کاتالوگ می‌شود. مدل اشاره‌گرهای فشرده را در دید نگه می‌دارد: مسیر فایل، نام ابزار، توضیحات مهارت، پرسش ذخیره‌شده، دسته نتیجه جستجو، یا خلاصه کوتاهی از مرحله قبلی. وقتی عامل به وظیفه‌ای می‌رسد که به محموله نیاز دارد، زمان اجرا محتوای خاص را دریافت می‌کند، از آن استفاده می‌کند، و پس از آن اجازه می‌دهد از پنجره فعال خارج شود.

بهترین مدل ذهنی یک میز کار است، نه یک انبار. عامل باید ابزارها و ارجاعاتی را ببیند که به آن کمک می‌کنند مرحله بعدی را انتخاب کند. نیازی به داشتن هر کتابچه راهنما، هر خط گزارش، و هر طرح‌واره ممکن در درخواست از ابتدا ندارد.

چه چیزی باید بارگذاری شده باقی بماند

زمینه ساده به معنای درخواست خالی نیست. برخی اطلاعات به پیشوند ثابت تعلق دارند زیرا همیشه مرتبط هستند و کشف مجدد آنها هزینه‌بر است.

• دستورالعمل‌های اصلی: نقش، محدودیت‌های ایمنی، قالب خروجی، و وظیفه کاربر.
• سطح ابزار ضروری: مجموعه کوچکی از ابزارها که عامل باید بداند برای اکثر اجراها وجود دارند.
• وضعیت اخیر: تصمیماتی که قبلاً گرفته شده‌اند، سوالات باز، و مرز وظیفه فعلی.
• قوانین دسترسی: کدام داده‌ها، سیستم‌ها و اقدامات مجاز هستند.
• قوانین مسیریابی: زمانی که برنامه باید از یک مدل سریع، یک مدل ارزان‌تر یا یک مدل استدلال قوی‌تر استفاده کند.

بقیه باید جایگاه خود را کسب کنند. اسناد کامل سیاست، نتایج حجیم API، رونوشت‌های طولانی، جداول بزرگ و دستورالعمل‌های ابزار که به ندرت استفاده می‌شوند، بهتر است به‌عنوان بارهای قابل بازیابی مدیریت شوند.

جایی که هدررفت توکن معمولاً شروع می‌شود

هدررفت توکن اغلب با یک میانبر منطقی شروع می‌شود: “الان بارگذاری کن تا مدل همه چیز را داشته باشد.” این برای وظایف کوتاه و یک‌مرحله‌ای کار می‌کند. اما در جریان‌های کاری عامل گران می‌شود زیرا هر مرحله حلقه همان زمینه ثابت را به همراه می‌کشد.

نمونه‌های رایج شامل پیش‌بارگذاری تاریخچه‌های کامل مشتری زمانی که عامل فقط به بلیط فعلی نیاز دارد، چسباندن هر نتیجه ابزار به درخواست بعدی، نگه داشتن توضیحات ابزارهای استفاده‌نشده قابل مشاهده، یا ارسال تمام مستندات زمانی که یک وظیفه فقط به یک نقطه پایانی نیاز دارد، می‌باشد. هزینه فقط توکن‌ها نیست. زمینه نامربوط با بخش‌هایی از درخواست که واقعاً مهم هستند رقابت می‌کند.

جفت کردن زمینه JIT با مسیریابی مدل

زمینه به‌موقع (JIT) و مسیریابی مدل دو جنبه مختلف از یک مشکل تولیدی را حل می‌کنند. زمینه JIT تصمیم می‌گیرد چه چیزی وارد درخواست شود. مسیریابی تصمیم می‌گیرد کدام مدل باید مرحله را مدیریت کند.

یک درخواست کم‌حجم مسیریابی را آسان‌تر می‌کند. اگر یک مرحله فقط به یک جستجوی کوچک و یک پاسخ ساختاریافته نیاز داشته باشد، ممکن است نیازی به مدل استدلال پیشرفته نداشته باشد. اگر یک مرحله بعدی یک قرارداد پیچیده، بخشی از کد، یا مقایسه چند سند را بارگذاری کند، مسیریاب می‌تواند فقط برای آن مرحله به یک مدل قوی‌تر ارتقا دهد. برنامه از این که هر درخواست را مانند سخت‌ترین درخواست مدیریت کند اجتناب می‌کند.

برای سازندگان، اینجاست که طراحی درخواست به اقتصاد محصول تبدیل می‌شود. هزینه یک ویژگی هوش مصنوعی با میزان زمینه‌ای که ویژگی ارسال می‌کند، تعداد دفعات تکرار حلقه‌های عامل، مدلی که هر مرحله را مدیریت می‌کند، و نحوه رفتار در صورت عدم دسترسی به مسیر ترجیحی شکل می‌گیرد.

یک چک‌لیست عملی برای زمینه JIT

• هر اجرای عامل را با یک پیشوند دستورالعمل فشرده و پایدار شروع کنید.
• منابع بزرگ را به‌صورت دسته‌هایی با نام‌های واضح، صاحبان، اندازه‌ها و خلاصه‌ها نمایش دهید.
• توضیحات ابزار را کوتاه و خاص وظیفه نگه دارید.
• نتایج ابزارهای حجیم را تخلیه کنید و ابتدا پیش‌نمایش‌های مختصر ارائه دهید.
• داده‌های منبع را فقط زمانی واکشی کنید که یک مرحله به آن نیاز دارد.
• کار تکمیل‌شده را قبل از اینکه به تاریخچه درخواست کهنه تبدیل شود، خلاصه کنید.
• توکن‌های ورودی، توکن‌های خروجی، تلاش‌های مجدد و تغییرات مسیر را برای هر جریان کاری ردیابی کنید.
• تعیین کنید که چه زمانی یک مرحله باید به یک مدل قوی‌تر ارتقا یابد.
• به کاربران مسیرهای تأییدشده بدهید به‌جای اینکه هر تیم را مجبور کنید قوانین زمینه‌ای را به‌صورت دستی ایجاد کند.
• بارهای زمینه‌ای را به‌عنوان بخشی از تضمین کیفیت انتشار بررسی کنید، نه فقط پس از افزایش هزینه‌ها.

جایگاه ShareAI کجاست

ShareAI یک بازار و API هوش مصنوعی مبتنی بر افراد است. سازندگان از یک API برای دسترسی به بیش از 150 مدل، مقایسه گزینه‌های مدل، مسیریابی درخواست‌ها، استفاده از پشتیبان‌گیری و پرداخت به ازای هر توکن استفاده می‌کنند. این امر آن را به یک لایه مفید برای تیم‌هایی تبدیل می‌کند که می‌خواهند برنامه به‌طور هدفمند مدل‌ها را انتخاب کند به‌جای اینکه هر جریان کاری را حول یک مسیر مدل خاص کدنویسی کنند.

ShareAI یک سازنده برنامه یا چارچوب عامل نیست. سازنده مالک تجربه محصول، استراتژی زمینه، سیاست داده و طراحی عامل است. ShareAI با لایه دسترسی به مدل در پشت آن تجربه کمک می‌کند: انتخاب مدل، دیدگاه بازار، مسیریابی، پشتیبان‌گیری و اقتصاد مبتنی بر استفاده.

برای محصولات عامل، حرکت عملی این است که زمینه کم‌حجم را با مسیرهای اندازه‌گیری‌شده جفت کنید. درخواست‌ها را کوچک‌تر نگه دارید، هر مرحله را به مدلی که مناسب است ارسال کنید و استفاده از هوش مصنوعی را به‌اندازه‌ای شفاف کنید که قیمت‌گذاری، قابلیت اطمینان و تجربه مشتری بتوانند با هم بهبود یابند. رابط برنامه‌نویسی ShareAI با مدل‌های ShareAI.

سوالات متداول

و مدل‌های موجود را در

زمینه به‌موقع برای عوامل هوش مصنوعی چیست؟.

این یک استراتژی زمینه‌ای است که در آن یک عامل مراجع فشرده را در درخواست نگه می‌دارد و فایل‌های بزرگ‌تر، خروجی ابزارها، دستورالعمل‌ها یا سوابق را فقط زمانی بارگذاری می‌کند که یک مرحله وظیفه به آن‌ها نیاز داشته باشد.

زمینه به‌موقع چگونه با RAG سنتی متفاوت است؟.

آیا زمینه JIT هزینه‌های هوش مصنوعی را کاهش می‌دهد؟

بله، می‌تواند. حلقه‌های عامل زمینه فعال را چندین بار ارسال می‌کنند، بنابراین حذف بارهای غیرضروری می‌تواند تعداد توکن‌های ورودی تکراری را کاهش دهد. صرفه‌جویی واقعی به طول جریان کار، انتخاب مدل، تلاش‌های مجدد و اندازه خروجی بستگی دارد.

آیا زمینه JIT کیفیت مدل را بهبود می‌بخشد؟

اغلب، بله. یک درخواست تمیزتر دستورالعمل‌های مهم و داده‌های تازه وظیفه را بیشتر برجسته می‌کند. همچنین احتمال اینکه زمینه غیرمرتبط مدل را منحرف کند کاهش می‌یابد.

چه چیزی نباید به‌صورت لحظه‌ای بارگذاری شود؟

دستورالعمل‌های اصلی، قوانین ایمنی، توضیحات ابزار ضروری، محدودیت‌های دسترسی و وضعیت فعلی وظیفه معمولاً باید در درخواست پایدار باشند زیرا عامل به آن‌ها در طول اجرا نیاز دارد.

زمینه JIT چگونه بر مسیریابی مدل تأثیر می‌گذارد؟

این مسیریابی را دقیق‌تر می‌کند. مراحل ساده می‌توانند از مدل‌های ارزان‌تر یا سریع‌تر استفاده کنند، در حالی که مراحل بارگذاری زمینه پیچیده فقط در صورت نیاز به مدل‌های قوی‌تر هدایت می‌شوند.

آیا زمینه JIT برای عوامل پشتیبانی مشتری مفید است؟

بله. یک عامل پشتیبانی می‌تواند با بلیت، نکات سیاست و وضعیت مکالمه اخیر شروع کند، سپس فقط زمانی که جریان کار نیاز دارد، رکورد دقیق مشتری یا بخش سیاست را دریافت کند.

آیا زمینه JIT برای عوامل کدنویسی مفید است؟

بله. عوامل کدنویسی می‌توانند دستورالعمل‌های پروژه و ارجاعات فایل را قابل مشاهده نگه دارند، سپس فایل‌های خاص، تست‌ها یا گزارش‌ها را زمانی که یک مرحله به آن‌ها نیاز دارد بخوانند، به جای اینکه کل مخزن را پیش‌بارگذاری کنند.

آیا ShareAI زمینه عامل من را مدیریت می‌کند؟

خیر. سازنده کنترل منطق برنامه، درخواست‌ها، بازیابی و استراتژی زمینه را بر عهده دارد. ShareAI بازار مدل و لایه API را برای دسترسی به مدل، مسیریابی، پشتیبانی و استفاده پرداخت به ازای توکن فراهم می‌کند.

چه زمانی ShareAI برای محصولات عامل با استفاده از زمینه JIT مناسب است؟

ShareAI زمانی مناسب است که یک سازنده بخواهد یک API برای مدل‌های مختلف، توانایی هدایت مراحل مختلف عامل به گزینه‌های مدل مختلف، و اقتصادی بودن استفاده که به مصرف واقعی توکن‌ها به‌طور دقیق مطابقت دارد، داشته باشد.