AI 에이전트 프레임워크: 하나의 API를 여러 모델에 연결

AI 에이전트 프레임워크는 팀이 에이전트의 행동을 정의하는 곳입니다: 목표, 도구, 메모리, 핸드오프, 루프, 그리고 에이전트가 멈춰야 할 규칙들. 하지만 모델 액세스 계층은 다른 결정입니다. 모든 에이전트 프레임워크가 하나의 제공자에 직접 연결된다면, 제품은 그 제공자의 가격, 속도 제한, 장애, 모델 변경, 계정 규칙을 상속받게 됩니다.

그래서 AI 에이전트 프레임워크는 프레임워크가 안정적인 모델 API를 호출하고 모델 계층이 선택, 라우팅, 장애 복구, 사용 가시성, 청구를 처리할 때 더 잘 작동합니다. ShareAI는 그 계층에 적합합니다. 에이전트 애플리케이션은 ShareAI 외부에 남아 있으며, ShareAI는 개발자에게 150개 이상의 모델, 마켓플레이스 신호, 토큰당 사용 요금, 그리고 에이전트 트래픽이 수익화될 때를 위한 Builder 경로를 제공하는 하나의 API를 제공합니다.

왜 AI 에이전트 프레임워크가 모델 액세스 계층을 필요로 하는가

에이전트 프레임워크는 작업을 정의하는 데 도움을 줘야 합니다. 모든 모델 호출, 도구 단계, 그리고 대체 결정이 하나의 하드코딩된 제공자 경로로 강제되어서는 안 됩니다.

프로덕션 에이전트는 일반적으로 다양한 종류의 모델 호출을 가지고 있습니다. 계획자는 더 강력한 추론이 필요할 수 있습니다. 분류기는 저비용과 낮은 지연 시간이 필요할 수 있습니다. 요약자는 더 저렴한 경로가 필요할 수 있습니다. 고객이 볼 수 있는 답변은 더 높은 품질의 모델과 더 안전한 대체 경로가 필요할 수 있습니다. 이러한 모든 단계를 하나의 기본 모델로 처리하면 비용과 신뢰성을 제어하기가 더 어려워집니다.

ShareAI는 애플리케이션에 안정적인 모델 계층을 제공합니다. 개발자는 모델을 비교할 수 있습니다, 옵션을 테스트하고, 하나의 API를 통해 트래픽을 라우팅하며, 모든 프레임워크나 에이전트 단계에 대해 별도의 제공자 통합을 유지하지 않아도 됩니다.

기본 연결 패턴

대부분의 통합은 동일한 패턴을 따릅니다:

• 에이전트 프레임워크가 워크플로우 논리, 도구, 상태를 책임지도록 유지합니다.
• 프레임워크의 모델 클라이언트를 ShareAI의 채팅 완료 엔드포인트로 지정합니다.
• 서버 측 환경에서 ShareAI API 키를 사용합니다.
• 각 에이전트 단계에 맞는 모델 경로를 선택합니다.
• 출시 전에 사용자, 작업 공간, 기능, 또는 에이전트 경로별로 사용량을 기록합니다.

이 패턴은 프레임워크가 이미 OpenAI 호환 채팅 모델 클라이언트를 지원하는 경우 특히 유용합니다. LangChain은 ChatOpenAI 통합이 구성 가능한 기본 URL을 사용할 수 있음을 문서화하며, 이는 많은 팀이 프록시, 게이트웨이, 또는 호환 가능한 모델 API를 통해 라우팅할 때 사용하는 패턴입니다. LangChain ChatOpenAI 문서.

단계 1: ShareAI 요청 증명

프레임워크 구성을 변경하기 전에 서버 측에서 직접 요청을 한 번 수행하십시오. 이는 자격 증명, 모델 선택 및 응답 형태에 대한 깨끗한 기준을 제공합니다.

curl -X POST "https://api.shareai.now/v1/chat/completions" \"

키를 서버에 유지하십시오. 브라우저 코드, 공개 저장소, 클라이언트 측 플러그인 또는 공유 에이전트 템플릿에 노출하지 마십시오. 요청이 성공하면 동일한 엔드포인트와 키를 프레임워크 구성으로 이동하십시오.

단계 2: 프레임워크를 ShareAI로 지정

코드 우선 프레임워크의 경우 패턴은 일반적으로 기본 URL, API 키 및 모델 이름입니다. LangChain에서는 다음과 같이 보일 수 있습니다:

import os

환경 변수를 사용하는 도구의 경우, 프레임워크의 모델 API 변수를 ShareAI 키와 기본 URL로 배포 환경에 설정한 후 워커 또는 에이전트 런타임을 재시작하십시오.

SHAREAI_API_KEY="your-server-side-key"

시각적 도구의 경우 모델 제공자 설정 또는 사용자 정의 제공자 설정을 찾으십시오. 예를 들어, Dify의 문서는 시스템 제공자와 사용자 정의 제공자를 모델 제공자 설정에서 분리합니다: Dify 모델 제공자 문서. 정확한 레이블은 제품마다 다르지만 실질적인 입력은 일반적으로 동일합니다: 키, 엔드포인트, 모델 및 사용 범위.

단계 3: 작업별 에이전트 경로 분리

프레임워크가 ShareAI를 호출할 수 있게 되면 습관적으로 모든 단계를 동일한 모델로 보내는 것을 피하십시오. 더 나은 설정은 작업 유형별로 모델 경로를 할당하는 것입니다.

• 경로 계획: 분해, 도구 선택 및 긴 추론을 위해 더 강력한 모델을 사용합니다.
• 빠른 경로: 분류, 재작성, 추출 또는 형식을 위해 저비용 모델을 사용합니다.
• 고객 가시 경로: 최종 답변을 위해 품질, 지연 시간 및 신뢰성을 가장 잘 균형 잡는 모델을 사용합니다.
• 백업 경로: 선호하는 경로가 저하될 때 동일한 작업을 완료할 수 있는 백업 모델을 선택합니다.

이것이 바로 원-API 접근 방식이 유용해지는 지점입니다. 프레임워크는 제공자 결정마다 별도의 통합이 필요하지 않습니다. 애플리케이션은 가격, 지연 시간, 가용성 또는 품질 변화에 따라 팀이 경로를 변경하더라도 안정적인 호출 패턴을 유지할 수 있습니다.

이미 여러 에이전트를 운영 중이라면 이를 코드 설정뿐만 아니라 운영 모델의 일부로 간주하십시오. AI 에이전트 함대 운영 가이드는 한 에이전트가 여러 개가 되었을 때 라우팅, 가격 책정 및 소유권이 어떻게 적합한지 설명합니다.

빌더 수익화가 적합한 위치

일부 에이전트 워크플로는 내부 비용 센터입니다. 다른 워크플로는 고객 대상 제품 기능입니다. 빌더가 ShareAI 외부에서 앱, 플러그인, 워크플로, 챗봇 또는 에이전트 제품을 소유하는 경우 해당 에이전트 트래픽은 사용 기반 비즈니스 모델의 일부가 될 수 있습니다.

빌더는 여전히 ShareAI 외부에서 애플리케이션을 구축하고 소유합니다. ShareAI는 라우팅된 AI 추론 사용, 해당 라우팅된 사용에 대한 고객 결제, 마진 또는 추가 요금 구성, 생성된 수익에 따른 월별 빌더 지급을 처리합니다.

에이전트 프레임워크에 중요합니다. 에이전트는 고르지 않은 사용량을 생성할 수 있기 때문입니다. 한 고객은 한 달에 몇 개의 지원 요약을 실행할 수 있습니다. 다른 고객은 수천 개의 연구, 분류 및 워크플로 호출을 실행할 수 있습니다. ShareAI 빌더 수익화를 통해 빌더는 AI 트래픽을 ShareAI를 통해 라우팅하고 마진을 설정하며 사용량이 많은 고객이 생성한 추론에 대해 비용을 지불하도록 할 수 있습니다.

상업적 측면을 매핑할 준비가 되면 열어보십시오. 빌더 콘솔. 구현 계획을 위해 유지하십시오. ShareAI 문서 가까이에 두세요.

AI 에이전트 프레임워크를 위한 생산 체크리스트

• ShareAI API 키를 서버 측에 유지하십시오.
• 각 에이전트 경로를 출시 전에 이름을 지정하세요.
• 고객, 작업 공간, 기능 또는 에이전트별로 사용량을 추적하세요.
• 고차원 추론 경로와 저비용 유틸리티 경로를 분리하세요.
• 최소한 하나의 백업 모델 경로로 프레임워크를 테스트하세요.
• 모델, 지연 시간, 토큰 사용량, 오류 이유 및 최종 경로를 기록하세요.
• 프롬프트나 내보낸 에이전트 템플릿에 공급자 키를 넣지 마세요.
• 트래픽이 증가하기 전에 고객 청구 가능 에이전트 단계를 결정하세요.

가장 작은 유용한 롤아웃은 하나의 에이전트, 하나의 경로, 하나의 백업 및 하나의 사용 라벨입니다. 해당 경로가 측정 가능해지면 다음 에이전트 단계로 패턴을 확장하세요.

자주 묻는 질문

AI 에이전트 프레임워크란 무엇인가요?

AI 에이전트 프레임워크는 개발자가 에이전트의 동작, 도구, 메모리, 워크플로, 상태 및 실행 루프를 정의하도록 돕습니다. 이는 각 요청에 어떤 모델을 사용할지 결정하는 모델 액세스 계층과는 다릅니다.

왜 AI 에이전트 프레임워크를 하나의 API에 연결해야 하나요?

하나의 API는 모델 액세스를 더 쉽게 변경할 수 있도록 합니다. 팀은 다양한 에이전트 단계를 다른 모델로 라우팅하고, 마켓플레이스 신호를 비교하며, 하나의 공급자 통합에 대한 의존도를 줄일 수 있습니다.

ShareAI가 AI 에이전트 프레임워크인가요?

아니요. ShareAI는 AI 마켓플레이스 및 API입니다. 에이전트 애플리케이션을 구축하지 않습니다. 에이전트 프레임워크 뒤에서 모델 액세스, 라우팅, 사용량, 청구 및 수익화 계층으로 작동할 수 있습니다.

ShareAI를 LangChain과 함께 사용할 수 있나요?

네, LangChain 통합이 ShareAI API 키와 지원되는 모델 이름을 사용하여 ShareAI의 채팅 완료 엔드포인트를 호출하도록 구성된 경우 가능합니다. 전체 체인에 연결하기 전에 직접 API 요청을 테스트하세요.

시각적 에이전트 빌더가 이 패턴을 사용할 수 있나요?

종종 가능합니다. 시각적 도구가 사용자 정의 모델 제공자 또는 OpenAI 호환 엔드포인트를 지원하는 경우, 설정은 일반적으로 엔드포인트, API 키, 모델 이름, 도구가 제공자 자격 증명을 저장하는 위치로 귀결됩니다.

다른 에이전트 단계에 대해 모델을 어떻게 선택해야 하나요?

작업에서 시작하세요. 계획 및 고가치 응답에는 강력한 모델을 사용하고, 간단한 분류 또는 형식화에는 저비용 모델을 사용하며, 조용히 실패할 수 없는 단계에는 백업 경로를 사용하세요.

장애 조치가 AI 에이전트에 어떻게 도움이 되나요?

장애 조치는 선호하는 경로가 사용할 수 없거나, 느리거나, 너무 비싸거나, 요청에 적합하지 않을 때 에이전트에게 다른 모델 경로를 제공합니다. 이는 생산 트래픽이 증가하기 전에 테스트될 때 가장 유용합니다.

빌더가 에이전트 프레임워크 사용을 통해 수익을 창출할 수 있나요?

네, 빌더가 ShareAI 외부에서 앱, 워크플로, 플러그인, 챗봇 또는 에이전트 제품을 소유하고 AI 추론 트래픽을 ShareAI를 통해 라우팅하는 경우 가능합니다. 빌더는 해당 트래픽에 대해 마진 또는 추가 요금을 설정할 수 있습니다.

라우팅된 에이전트 사용 비용은 누가 지불하나요?

빌더 모델에서는 라우팅된 AI 사용을 생성하는 고객, 워크스페이스, 사용자 또는 계정이 ShareAI에 해당 사용 비용을 지불합니다. ShareAI는 설정된 마진 또는 추가 요금에서 생성된 수익을 기반으로 매월 빌더에게 지급합니다.

공급자와 빌더는 동일한 방식으로 수익을 얻습니까?

아니요. 빌더는 ShareAI를 통해 라우팅하는 애플리케이션 트래픽에서 수익을 얻습니다. 제공자는 ShareAI 네트워크에 적격한 컴퓨팅 용량을 기여하여 승인된 제공자 프로그램을 통해 수익을 얻습니다.

출시 전에 무엇을 추적해야 하나요?

에이전트 이름, 사용자 또는 워크스페이스, 모델 경로, 지연 시간, 토큰 사용량, 오류율, 폴백 이벤트, 호출을 트리거한 기능 또는 고객 행동을 추적하세요. 해당 데이터는 나중에 가격 책정 및 라우팅 결정을 훨씬 쉽게 만듭니다.