چارچوب‌های عامل هوش مصنوعی: اتصال یک API به چندین مدل

چارچوب‌های عامل هوش مصنوعی جایی هستند که تیم‌ها رفتار عامل را تعریف می‌کنند: اهداف، ابزارها، حافظه، انتقال‌ها، حلقه‌ها و قوانین برای زمانی که یک عامل باید متوقف شود. اما لایه دسترسی به مدل یک تصمیم متفاوت است. اگر هر چارچوب عامل مستقیماً به یک ارائه‌دهنده متصل شود، محصول قیمت‌گذاری، محدودیت‌های نرخ، قطعی‌ها، تغییرات مدل و قوانین حساب آن ارائه‌دهنده را به ارث می‌برد.

به همین دلیل است که چارچوب‌های عامل هوش مصنوعی بهتر عمل می‌کنند وقتی که چارچوب یک API مدل پایدار را فراخوانی می‌کند و لایه مدل انتخاب، مسیریابی، بازیابی، مشاهده استفاده و صورتحساب را مدیریت می‌کند. ShareAI به این لایه می‌پردازد. برنامه عامل خارج از ShareAI باقی می‌ماند، در حالی که ShareAI به توسعه‌دهندگان یک API برای بیش از 150 مدل، سیگنال‌های بازار، استفاده پرداخت به ازای هر توکن و مسیر Builder ارائه می‌دهد زمانی که ترافیک عامل باید قابل درآمدزایی شود.

چرا چارچوب‌های عامل هوش مصنوعی به یک لایه دسترسی به مدل نیاز دارند

یک چارچوب عامل باید به شما کمک کند کار را تعریف کنید. نباید هر فراخوانی مدل، گام ابزار و تصمیم بازگشتی را به یک مسیر ارائه‌دهنده سخت‌کد شده تحمیل کند.

یک عامل تولیدی معمولاً انواع مختلفی از فراخوانی‌های مدل دارد. یک برنامه‌ریز ممکن است به استدلال قوی‌تری نیاز داشته باشد. یک طبقه‌بند ممکن است به هزینه کمتر و تأخیر کمتر نیاز داشته باشد. یک خلاصه‌کننده ممکن است به یک مسیر ارزان‌تر نیاز داشته باشد. یک پاسخ قابل مشاهده برای مشتری ممکن است به یک مدل با کیفیت بالاتر و یک بازگشت ایمن‌تر نیاز داشته باشد. در نظر گرفتن همه این مراحل به عنوان یک مدل پیش‌فرض، کنترل هزینه و قابلیت اطمینان را دشوارتر می‌کند.

ShareAI به برنامه یک لایه مدل پایدار می‌دهد. توسعه‌دهندگان می‌توانند مدل‌ها را مقایسه کنند, گزینه‌ها را آزمایش کنند و ترافیک را از طریق یک API مسیریابی کنند به جای اینکه ادغام‌های جداگانه ارائه‌دهنده را برای هر چارچوب یا گام عامل نگهداری کنند.

الگوی اتصال پایه

بیشتر ادغام‌ها از همان الگو پیروی می‌کنند:

• چارچوب عامل خود را مسئول منطق جریان کار، ابزارها و حالت نگه دارید.
• مشتری مدل چارچوب را به نقطه پایانی تکمیل‌های چت ShareAI هدایت کنید.
• از یک کلید API ShareAI از محیط سمت سرور خود استفاده کنید.
• مسیر مدل را انتخاب کنید که با هر گام عامل مطابقت داشته باشد.
• استفاده را بر اساس کاربر، فضای کاری، ویژگی یا مسیر عامل قبل از راه‌اندازی ثبت کنید.

این الگو به ویژه زمانی مفید است که چارچوب شما از قبل از یک مشتری مدل چت سازگار با OpenAI پشتیبانی می‌کند. اسناد LangChain توضیح می‌دهد که چگونه ادغام ChatOpenAI آن می‌تواند از یک URL پایه قابل تنظیم استفاده کند، که این الگو بسیاری از تیم‌ها هنگام مسیریابی از طریق یک پروکسی، دروازه یا API مدل سازگار استفاده می‌کنند. مستندات LangChain ChatOpenAI.

مرحله ۱: تأیید درخواست ShareAI

قبل از تغییر تنظیمات یک چارچوب، یک درخواست مستقیم سمت سرور انجام دهید. این کار یک مبنای تمیز برای اعتبارنامه‌ها، انتخاب مدل و شکل پاسخ به شما می‌دهد.

curl -X POST "https://api.shareai.now/v1/chat/completions" \"

کلید را در سمت سرور نگه دارید. آن را در کد مرورگر، مخازن عمومی، افزونه‌های سمت کلاینت یا قالب‌های مشترک عامل افشا نکنید. وقتی درخواست موفق شد، همان نقطه پایانی و کلید را به تنظیمات چارچوب منتقل کنید.

مرحله ۲: چارچوب را به ShareAI متصل کنید

برای چارچوب‌های مبتنی بر کد، الگو معمولاً شامل یک URL پایه، یک کلید API و یک نام مدل است. در LangChain، این می‌تواند به این شکل باشد:

import os

برای ابزارهایی که از متغیرهای محیطی استفاده می‌کنند، متغیرهای API مدل چارچوب را به کلید ShareAI و URL پایه در محیط استقرار تنظیم کنید، سپس زمان اجرای کارگر یا عامل را مجدداً راه‌اندازی کنید.

SHAREAI_API_KEY="your-server-side-key"

برای ابزارهای بصری، به دنبال تنظیمات ارائه‌دهنده مدل یا تنظیمات ارائه‌دهنده سفارشی باشید. به عنوان مثال، مستندات Dify ارائه‌دهندگان سیستم را از ارائه‌دهندگان سفارشی در تنظیمات ارائه‌دهنده مدل جدا می‌کند: مستندات ارائه‌دهنده مدل Dify. برچسب‌های دقیق با توجه به محصول متفاوت است، اما ورودی‌های عملی معمولاً یکسان هستند: کلید، نقطه پایانی، مدل و دامنه استفاده.

مرحله ۳: مسیرهای عامل را بر اساس وظیفه تقسیم کنید

هنگامی که چارچوب می‌تواند ShareAI را فراخوانی کند، از ارسال هر مرحله به همان مدل به‌طور عادی خودداری کنید. یک تنظیم بهتر مسیرهای مدل را بر اساس نوع کار اختصاص می‌دهد.

• برنامه‌ریزی مسیر: از یک مدل قوی‌تر برای تجزیه، انتخاب ابزار و استدلال طولانی استفاده کنید.
• مسیر سریع: از یک مدل کم‌هزینه‌تر برای طبقه‌بندی، بازنویسی، استخراج یا قالب‌بندی استفاده کنید.
• مسیر قابل مشاهده برای مشتری: از مدلی استفاده کنید که بهترین تعادل بین کیفیت، تأخیر و قابلیت اطمینان را برای پاسخ نهایی فراهم کند.
• مسیر پشتیبان: یک مدل پشتیبان انتخاب کنید که بتواند همان وظیفه را زمانی که مسیر ترجیحی کاهش می‌یابد، انجام دهد.

اینجاست که رویکرد یک API مفید می‌شود. چارچوب نیازی به یکپارچه‌سازی جداگانه برای هر تصمیم ارائه‌دهنده ندارد. برنامه می‌تواند یک الگوی تماس پایدار را حفظ کند در حالی که تیم مسیرها را با تغییر قیمت، تأخیر، دسترسی یا کیفیت تغییر می‌دهد.

اگر در حال حاضر چندین عامل را اجرا می‌کنید، این را به‌عنوان بخشی از مدل عملیاتی خود در نظر بگیرید، نه فقط یک تنظیم کد. عملیات ناوگان عامل هوش مصنوعی راهنمای گسترده توضیح می‌دهد که چگونه مسیریابی، قیمت‌گذاری و مالکیت زمانی که یک عامل به چندین عامل تبدیل می‌شود، هماهنگ می‌شوند.

جایگاه کسب درآمد سازنده

برخی از جریان‌های کاری عامل، مراکز هزینه داخلی هستند. برخی دیگر ویژگی‌های محصولی هستند که با مشتری در ارتباط‌اند. اگر یک سازنده مالک یک برنامه، افزونه، جریان کاری، چت‌بات یا محصول عامل خارج از ShareAI باشد، آن ترافیک عامل می‌تواند بخشی از یک مدل کسب‌وکار مبتنی بر استفاده شود.

سازنده همچنان برنامه را خارج از ShareAI می‌سازد و مالک آن است. ShareAI استفاده از استنتاج AI مسیریابی‌شده، پرداخت مشتری برای آن استفاده مسیریابی‌شده، پیکربندی حاشیه یا هزینه اضافی، و پرداخت ماهانه سازنده بر اساس درآمد تولیدشده را مدیریت می‌کند.

این موضوع برای چارچوب‌های عامل اهمیت دارد زیرا عوامل می‌توانند استفاده نابرابر ایجاد کنند. یک مشتری ممکن است چند خلاصه پشتیبانی در ماه اجرا کند. مشتری دیگر ممکن است هزاران تماس تحقیق، اولویت‌بندی و جریان کاری اجرا کند. با کسب درآمد سازنده ShareAI، سازنده می‌تواند ترافیک AI را از طریق ShareAI مسیریابی کند، یک حاشیه تنظیم کند و به مشتریان با استفاده سنگین اجازه دهد هزینه استنتاجی که تولید می‌کنند را پرداخت کنند.

وقتی آماده نقشه‌برداری از جنبه تجاری هستید، باز کنید کنسول سازنده. برای برنامه‌ریزی پیاده‌سازی، نگه دارید مستندات ShareAI را نزدیک نگه دارید.

چک‌لیست تولید برای چارچوب‌های عامل AI

• کلیدهای API ShareAI را در سمت سرور نگه دارید.
• قبل از راه‌اندازی، مسیر هر عامل را نام‌گذاری کنید.
• استفاده را بر اساس مشتری، فضای کاری، ویژگی یا عامل پیگیری کنید.
• مسیرهای با استدلال بالا را از مسیرهای ابزار کم‌هزینه جدا کنید.
• چارچوب را با حداقل یک مسیر مدل پشتیبان آزمایش کنید.
• مدل، تأخیر، استفاده از توکن، دلیل خطا و مسیر نهایی را ثبت کنید.
• از قرار دادن کلیدهای ارائه‌دهنده داخل درخواست‌ها یا قالب‌های صادر شده عامل خودداری کنید.
• قبل از افزایش ترافیک، تصمیم بگیرید که کدام مراحل عامل قابل‌صورتحساب برای مشتری هستند.

کوچک‌ترین راه‌اندازی مفید شامل یک عامل، یک مسیر، یک پشتیبان و یک برچسب استفاده است. هنگامی که آن مسیر قابل اندازه‌گیری شد، الگو را به مرحله بعدی عامل گسترش دهید.

سوالات متداول

چارچوب‌های عامل هوش مصنوعی چیستند؟

چارچوب‌های عامل هوش مصنوعی به توسعه‌دهندگان کمک می‌کنند رفتار عامل، ابزارها، حافظه، جریان‌های کاری، حالت و حلقه‌های اجرا را تعریف کنند. آن‌ها با لایه دسترسی مدل که تصمیم می‌گیرد کدام مدل هر درخواست را سرویس دهد، متفاوت هستند.

چرا چارچوب‌های عامل هوش مصنوعی را به یک API متصل کنیم؟

یک API دسترسی به مدل را آسان‌تر برای تغییر نگه می‌دارد. تیم‌ها می‌توانند مراحل مختلف عامل را به مدل‌های مختلف هدایت کنند، سیگنال‌های بازار را مقایسه کنند و وابستگی به یک ادغام ارائه‌دهنده را کاهش دهند.

آیا ShareAI یک چارچوب عامل هوش مصنوعی است؟

خیر. ShareAI یک بازار و API هوش مصنوعی است. این برنامه عامل را نمی‌سازد. می‌تواند پشت یک چارچوب عامل به عنوان لایه دسترسی مدل، مسیریابی، استفاده، صورتحساب و کسب درآمد قرار گیرد.

آیا می‌توانم از ShareAI با LangChain استفاده کنم؟

بله، زمانی که یکپارچه‌سازی LangChain برای فراخوانی نقطه پایانی تکمیل چت ShareAI با کلید API ShareAI و نام مدل پشتیبانی‌شده تنظیم شده باشد. درخواست مستقیم API را قبل از اتصال آن به زنجیره کامل آزمایش کنید.

آیا سازندگان عامل بصری می‌توانند از این الگو استفاده کنند؟

اغلب، بله. اگر ابزار بصری از یک ارائه‌دهنده مدل سفارشی یا نقطه پایانی سازگار با OpenAI پشتیبانی کند، تنظیم معمولاً به نقطه پایانی، کلید API، نام مدل و محل ذخیره اعتبارنامه‌های ارائه‌دهنده توسط ابزار خلاصه می‌شود.

چگونه باید مدل‌ها را برای مراحل مختلف عامل انتخاب کنم؟

با وظیفه شروع کنید. از مدل‌های قوی‌تر برای برنامه‌ریزی و پاسخ‌های با ارزش بالا استفاده کنید، مدل‌های کم‌هزینه‌تر برای طبقه‌بندی ساده یا قالب‌بندی، و مسیرهای پشتیبان برای مراحل که نمی‌توانند به‌طور خاموش شکست بخورند.

چگونه Failover به عوامل هوش مصنوعی کمک می‌کند؟

Failover به عامل یک مسیر مدل دیگر می‌دهد زمانی که مسیر ترجیحی در دسترس نیست، کند است، بسیار گران است، یا برای درخواست نامناسب است. این زمانی مفیدترین است که قبل از افزایش ترافیک تولید آزمایش شود.

آیا سازندگان می‌توانند از استفاده از چارچوب عامل درآمد کسب کنند؟

بله، زمانی که سازنده مالک برنامه، جریان کاری، افزونه، چت‌بات، یا محصول عامل خارج از ShareAI باشد و ترافیک استنتاج هوش مصنوعی خود را از طریق ShareAI هدایت کند. سازنده می‌تواند برای آن ترافیک یک حاشیه یا هزینه اضافی تعیین کند.

چه کسی هزینه استفاده از عامل هدایت‌شده را پرداخت می‌کند؟

در مدل سازنده، مشتری، فضای کاری، کاربر، یا حسابی که استفاده هدایت‌شده هوش مصنوعی را ایجاد می‌کند، هزینه آن استفاده را به ShareAI پرداخت می‌کند. ShareAI ماهانه بر اساس درآمد تولیدشده از حاشیه یا هزینه اضافی تنظیم‌شده به سازنده پرداخت می‌کند.

آیا ارائه‌دهندگان و سازندگان به یک شکل درآمد کسب می‌کنند؟

خیر. سازندگان از ترافیک برنامه‌ای که از طریق ShareAI هدایت می‌کنند درآمد کسب می‌کنند. ارائه‌دهندگان از طریق برنامه‌های ارائه‌دهنده تأییدشده با ارائه ظرفیت محاسباتی واجد شرایط به شبکه ShareAI درآمد کسب می‌کنند.

قبل از راه‌اندازی چه چیزی را باید پیگیری کنم؟

نام عامل، کاربر یا فضای کاری، مسیر مدل، تأخیر، استفاده از توکن، نرخ خطا، رویدادهای جایگزین، و ویژگی یا اقدام مشتری که تماس را ایجاد کرده است را پیگیری کنید. این داده‌ها تصمیم‌گیری‌های قیمت‌گذاری و مسیریابی را بعداً بسیار آسان‌تر می‌کند.