Фреймворки AI-агентов: Подключите один API к нескольким моделям

Фреймворки агентов ИИ — это место, где команды определяют поведение агентов: цели, инструменты, память, передачи, циклы и правила, когда агент должен остановиться. Но уровень доступа к модели — это другое решение. Если каждый фреймворк агента напрямую подключен к одному провайдеру, продукт наследует цены этого провайдера, ограничения скорости, сбои, изменения модели и правила учетной записи.

Именно поэтому фреймворки агентов ИИ работают лучше, когда фреймворк вызывает один стабильный API модели, а уровень модели обрабатывает выбор, маршрутизацию, резервирование, видимость использования и биллинг. ShareAI соответствует этому уровню. Приложение агента остается вне ShareAI, в то время как ShareAI предоставляет разработчикам один API для 150+ моделей, рыночных сигналов, оплаты за использование токенов и пути Builder, когда трафик агента должен стать монетизируемым.

Почему фреймворкам агентов ИИ нужен уровень доступа к модели

Фреймворк агента должен помогать вам определять работу. Он не должен заставлять каждую модельную вызов, шаг инструмента и решение о резервировании быть жестко закодированными в одном пути провайдера.

Производственный агент обычно имеет разные виды вызовов моделей. Планировщику может потребоваться более сильное рассуждение. Классификатору может потребоваться низкая стоимость и низкая задержка. Резюмирующему может потребоваться более дешевый маршрут. Ответ, видимый клиенту, может потребовать более качественной модели и более безопасного резервирования. Рассмотрение всех этих шагов как одной модели по умолчанию усложняет контроль затрат и надежности.

ShareAI предоставляет приложению стабильный уровень модели. Разработчики могут сравнивать модели, тестировать варианты и маршрутизировать трафик через один API вместо того, чтобы поддерживать отдельные интеграции провайдеров для каждого шага фреймворка или агента.

Основной шаблон подключения

Большинство интеграций следуют одному и тому же шаблону:

• Оставьте фреймворк вашего агента ответственным за логику рабочего процесса, инструменты и состояние.
• Укажите клиенту модели фреймворка конечную точку завершения чата ShareAI.
• Используйте ключ API ShareAI из серверной среды.
• Выберите маршрут модели, который подходит для каждого шага агента.
• Логируйте использование по пользователю, рабочему пространству, функции или маршруту агента перед запуском.

Этот шаблон особенно полезен, когда ваш фреймворк уже поддерживает клиента модели чата, совместимого с OpenAI. LangChain документирует, как его интеграция ChatOpenAI может использовать настраиваемый базовый URL, что является шаблоном, который многие команды используют при маршрутизации через прокси, шлюз или совместимый API модели. Документация LangChain ChatOpenAI.

Шаг 1: Подтвердите запрос ShareAI

Перед изменением конфигурации фреймворка выполните один прямой запрос на стороне сервера. Это обеспечит чистую базовую линию для учетных данных, выбора модели и формы ответа.

curl -X POST "https://api.shareai.now/v1/chat/completions" \"

Храните ключ на сервере. Не раскрывайте его в коде браузера, публичных репозиториях, клиентских плагинах или шаблонах общих агентов. Когда запрос выполнится успешно, перенесите тот же конечный пункт и ключ в конфигурацию фреймворка.

Шаг 2: Настройте фреймворк на ShareAI

Для фреймворков, ориентированных на код, обычно используется базовый URL, ключ API и название модели. В LangChain это может выглядеть так:

import os

Для инструментов, использующих переменные окружения, установите переменные API модели фреймворка на ключ ShareAI и базовый URL в среде развертывания, затем перезапустите рабочий процесс или среду выполнения агента.

SHAREAI_API_KEY="ваш серверный ключ"

Для визуальных инструментов найдите настройки поставщика модели или настройки пользовательского поставщика. Например, документация Dify разделяет системных поставщиков и пользовательских поставщиков в настройках поставщика модели: Документация поставщика модели Dify. Точные метки различаются в зависимости от продукта, но практические входные данные обычно одинаковы: ключ, конечная точка, модель и область использования.

Шаг 3: Разделите маршруты агентов по задачам

Как только фреймворк сможет вызывать ShareAI, избегайте отправки каждого шага в одну и ту же модель по привычке. Лучший подход — назначать маршруты моделей по типу задачи.

• Планирование маршрута: используйте более мощную модель для декомпозиции, выбора инструментов и длительных рассуждений.
• Быстрый маршрут: используйте менее затратную модель для классификации, переписывания, извлечения или форматирования.
• Маршрут, видимый клиенту: используйте модель, которая лучше всего балансирует качество, задержку и надежность для окончательного ответа.
• Резервный маршрут: выберите резервную модель, которая может выполнить ту же задачу, если предпочтительный маршрут ухудшается.

Здесь становится полезным подход с одним API. Фреймворку не требуется отдельная интеграция для каждого решения провайдера. Приложение может сохранять стабильный шаблон вызовов, пока команда меняет маршруты в зависимости от цены, задержки, доступности или качества.

Если вы уже используете несколько агентов, рассматривайте это как часть вашей операционной модели, а не только как настройку кода. Операции флота AI-агентов Более широкий гид объясняет, как маршрутизация, ценообразование и владение вписываются, когда один агент превращается в множество.

Где подходит монетизация Builder

Некоторые рабочие процессы агентов являются внутренними центрами затрат. Другие — это функции продукта, ориентированные на клиента. Если Builder владеет приложением, плагином, рабочим процессом, чат-ботом или продуктом агента вне ShareAI, этот трафик агента может стать частью бизнес-модели, основанной на использовании.

Builder все еще создает и владеет приложением вне ShareAI. ShareAI обрабатывает маршрутизированное использование AI-инференции, оплату клиентов за это использование, настройку маржи или наценки, а также ежемесячные выплаты Builder на основе полученного дохода.

Это важно для фреймворков агентов, потому что агенты могут создавать неравномерное использование. Один клиент может запускать несколько сводок поддержки в месяц. Другой может запускать тысячи вызовов для исследований, сортировки и рабочих процессов. С монетизацией Builder через ShareAI, Builder может маршрутизировать AI-трафик через ShareAI, установить маржу и позволить клиентам с высоким использованием оплачивать генерируемую ими инференцию.

Когда вы будете готовы к коммерческому планированию, откройте Консоль разработчика. Для планирования реализации сохраните документации ShareAI поблизости.

Контрольный список для производства фреймворков AI-агентов

• Храните ключи API ShareAI на стороне сервера.
• Назовите каждый маршрут агента перед запуском.
• Отслеживайте использование по клиенту, рабочему пространству, функции или агенту.
• Разделите маршруты с высоким уровнем рассуждений от маршрутов с низкой стоимостью.
• Протестируйте фреймворк с как минимум одним резервным маршрутом модели.
• Записывайте модель, задержку, использование токенов, причину ошибки и конечный маршрут.
• Избегайте размещения ключей провайдера внутри подсказок или экспортированных шаблонов агентов.
• Решите, какие шаги агента оплачиваются клиентом до увеличения трафика.

Самый минимальный полезный запуск — один агент, один маршрут, один резервный путь и одна метка использования. Как только этот путь станет измеримым, расширьте шаблон на следующий шаг агента.

Часто задаваемые вопросы

Что такое фреймворки AI агентов?

Фреймворки AI агентов помогают разработчикам определять поведение агента, инструменты, память, рабочие процессы, состояние и циклы выполнения. Они отличаются от уровня доступа к модели, который решает, какая модель обслуживает каждый запрос.

Зачем подключать фреймворки AI агентов к одному API?

Один API упрощает изменение доступа к модели. Команды могут направлять разные шаги агента к разным моделям, сравнивать сигналы рынка и снижать зависимость от одной интеграции провайдера.

Является ли ShareAI фреймворком AI агентов?

Нет. ShareAI — это AI маркетплейс и API. Он не создает приложение агента. Он может находиться за фреймворком агента как уровень доступа к модели, маршрутизации, использования, выставления счетов и монетизации.

Могу ли я использовать ShareAI с LangChain?

Да, когда интеграция LangChain настроена для вызова конечной точки завершения чата ShareAI с использованием ключа API ShareAI и поддерживаемого имени модели. Протестируйте прямой запрос к API перед подключением его к полной цепочке.

Могут ли визуальные конструкторы агентов использовать этот шаблон?

Часто да. Если визуальный инструмент поддерживает поставщика пользовательских моделей или конечную точку, совместимую с OpenAI, настройка обычно сводится к конечной точке, ключу API, имени модели и месту хранения учетных данных поставщика.

Как мне выбирать модели для различных шагов агента?

Начните с задачи. Используйте более мощные модели для планирования и ответов высокой ценности, модели с меньшей стоимостью для простой классификации или форматирования, а также резервные маршруты для шагов, которые не могут завершиться без уведомления.

Как резервирование помогает AI-агентам?

Резервирование предоставляет агенту другой путь модели, когда предпочтительный маршрут недоступен, медленный, слишком дорогой или неподходящий для запроса. Это наиболее полезно, когда протестировано до роста производственного трафика.

Могут ли разработчики монетизировать использование фреймворка агента?

Да, если разработчик владеет приложением, рабочим процессом, плагином, чат-ботом или продуктом агента вне ShareAI и направляет его трафик AI-инференции через ShareAI. Разработчик может установить наценку или дополнительную плату за этот трафик.

Кто оплачивает использование маршрутизированного агента?

В модели разработчика клиент, рабочее пространство, пользователь или аккаунт, который генерирует маршрутизированное использование AI, оплачивает ShareAI за это использование. ShareAI ежемесячно оплачивает разработчику на основе заработка, полученного от настроенной наценки или дополнительной платы.

Зарабатывают ли поставщики и разработчики одинаково?

Нет. Разработчики зарабатывают на трафике приложений, который они направляют через ShareAI. Поставщики зарабатывают через утвержденные программы поставщиков, предоставляя подходящую вычислительную мощность в сеть ShareAI.

Что мне следует отслеживать перед запуском?

Отслеживайте имя агента, пользователя или рабочее пространство, маршрут модели, задержку, использование токенов, уровень ошибок, события резервирования и функцию или действие клиента, которое вызвало вызов. Эти данные значительно упрощают принятие решений о ценообразовании и маршрутизации позже.