Cadre pentru Agenți AI: Conectați un API la Mai Multe Modele

Frameworkurile agenților AI sunt locurile unde echipele definesc comportamentul agenților: obiective, instrumente, memorie, transferuri, bucle și regulile pentru momentul în care un agent ar trebui să se oprească. Dar stratul de acces la model este o decizie diferită. Dacă fiecare framework de agent este conectat direct la un singur furnizor, produsul moștenește prețurile, limitele de rată, întreruperile, modificările modelului și regulile contului acelui furnizor.

De aceea frameworkurile agenților AI funcționează mai bine atunci când frameworkul apelează un API de model stabil și stratul de model gestionează alegerea, rutarea, failover-ul, vizibilitatea utilizării și facturarea. ShareAI se potrivește acestui strat. Aplicația agentului rămâne în afara ShareAI, în timp ce ShareAI oferă dezvoltatorilor un API pentru 150+ modele, semnale de piață, utilizare plătită pe token și o cale Builder atunci când traficul agentului ar trebui să devină monetizabil.

De ce Frameworkurile Agenților AI Au Nevoie de un Strat de Acces la Model

Un framework de agent ar trebui să te ajute să definești munca. Nu ar trebui să forțeze fiecare apel de model, pas de instrument și decizie de fallback într-o singură cale hardcodificată a furnizorului.

Un agent de producție are de obicei diferite tipuri de apeluri de model. Un planificator poate avea nevoie de o raționare mai puternică. Un clasificator poate avea nevoie de costuri reduse și latență scăzută. Un sumarizator poate avea nevoie de o rută mai ieftină. Un răspuns vizibil pentru client poate avea nevoie de un model de calitate superioară și un fallback mai sigur. Tratarea tuturor acestor pași ca un singur model implicit face ca costurile și fiabilitatea să fie mai greu de controlat.

ShareAI oferă aplicației un strat de model stabil. Dezvoltatorii pot compara modele, testa opțiuni și rutează traficul printr-un singur API în loc să mențină integrări separate ale furnizorilor pentru fiecare framework sau pas al agentului.

Modelul de Conexiune de Bază

Majoritatea integrărilor urmează același model:

• Menține frameworkul agentului responsabil pentru logica fluxului de lucru, instrumente și stare.
• Direcționează clientul de model al frameworkului către endpoint-ul de completări chat al ShareAI.
• Utilizează o cheie API ShareAI din mediul server-side.
• Alege ruta modelului care se potrivește fiecărui pas al agentului.
• Înregistrează utilizarea pe baza utilizatorului, spațiului de lucru, funcției sau rutei agentului înainte de lansare.

Acest model este deosebit de util atunci când frameworkul tău deja suportă un client de model chat compatibil cu OpenAI. Documentația LangChain explică cum integrarea sa ChatOpenAI poate utiliza un URL de bază configurabil, care este modelul pe care multe echipe îl folosesc atunci când rutează printr-un proxy, gateway sau API de model compatibil. Documentația LangChain ChatOpenAI.

Pasul 1: Dovedește Cererea ShareAI

Înainte de a schimba o configurație de framework, efectuează o cerere directă pe partea serverului. Acest lucru îți oferă o bază curată pentru acreditive, selecția modelului și forma răspunsului.

curl -X POST "https://api.shareai.now/v1/chat/completions" \"

Păstrează cheia pe server. Nu o expune în codul browserului, în depozite publice, în pluginuri client-side sau în șabloane de agenți partajați. Când cererea reușește, mută același endpoint și cheie în configurația framework-ului.

Pasul 2: Direcționează Framework-ul către ShareAI

Pentru framework-urile orientate pe cod, modelul este de obicei un URL de bază, o cheie API și un nume de model. În LangChain, aceasta poate arăta astfel:

import os

Pentru instrumentele care utilizează variabile de mediu, setează variabilele API ale modelului framework-ului la cheia ShareAI și URL-ul de bază în mediul de implementare, apoi repornește runtime-ul worker-ului sau agentului.

SHAREAI_API_KEY="cheia-ta-server-side"

Pentru instrumentele vizuale, caută setările furnizorului de model sau setările furnizorului personalizat. Documentația Dify, de exemplu, separă furnizorii de sistem de furnizorii personalizați în configurarea furnizorului de model: Documentația furnizorului de model Dify. Etichetele exacte diferă în funcție de produs, dar intrările practice sunt de obicei aceleași: cheie, endpoint, model și domeniul de utilizare.

Pasul 3: Împarte Rutele Agenților pe Sarcini

Odată ce framework-ul poate apela ShareAI, evită trimiterea fiecărui pas către același model din obișnuință. O configurare mai bună atribuie rutele modelului în funcție de tipul de job.

• Planificarea traseului: utilizați un model mai puternic pentru decompoziție, alegerea instrumentelor și raționamente complexe.
• Traseu rapid: utilizați un model cu costuri mai mici pentru clasificare, rescriere, extragere sau formatare.
• Traseu vizibil pentru client: utilizați modelul care echilibrează cel mai bine calitatea, latența și fiabilitatea pentru răspunsul final.
• Traseu de rezervă: alegeți un model de rezervă care poate îndeplini aceeași sarcină atunci când traseul preferat se degradează.

Aici devine utilă abordarea cu un singur API. Cadrul nu necesită o integrare separată pentru fiecare decizie a furnizorului. Aplicația poate menține un model stabil de apeluri în timp ce echipa schimbă traseele în funcție de preț, latență, disponibilitate sau calitate.

Dacă deja utilizați mai mulți agenți, tratați acest lucru ca parte a modelului dvs. operațional, nu doar ca o setare de cod. Operațiuni ale flotei de agenți AI ghidul mai amplu explică modul în care rutarea, prețurile și proprietatea se potrivesc odată ce un agent devine mai mulți.

Unde se încadrează Monetizarea Builder

Unele fluxuri de lucru ale agenților sunt centre de cost interne. Altele sunt caracteristici de produs orientate către client. Dacă un Builder deține o aplicație, un plugin, un flux de lucru, un chatbot sau un produs agent în afara ShareAI, acel trafic al agentului poate deveni parte a unui model de afaceri bazat pe utilizare.

Builder-ul încă construiește și deține aplicația în afara ShareAI. ShareAI gestionează utilizarea inferenței AI rutate, plata clientului pentru acea utilizare rutată, configurarea marjei sau suprataxei și plata lunară a Builder-ului bazată pe câștigurile generate.

Acest lucru contează pentru cadrele agenților, deoarece agenții pot crea utilizări inegale. Un client poate rula câteva rezumate de suport pe lună. Altul poate rula mii de apeluri de cercetare, triere și flux de lucru. Cu monetizarea Builder ShareAI, Builder-ul poate ruta traficul AI prin ShareAI, seta o marjă și permite clienților cu utilizare intensă să plătească pentru inferența pe care o generează.

Când sunteți gata să mapați partea comercială, deschideți Consola Constructorului. Pentru planificarea implementării, păstrați documentația ShareAI aproape.

Lista de verificare pentru producție pentru cadrele agenților AI

• Păstrați cheile API ShareAI pe partea serverului.
• Denumiți fiecare rută a agentului înainte de lansare.
• Urmăriți utilizarea pe baza clientului, spațiului de lucru, funcției sau agentului.
• Separați rutele cu raționament complex de rutele utilitare cu cost redus.
• Testați cadrul cu cel puțin o cale de model de rezervă.
• Înregistrați modelul, latența, utilizarea token-urilor, motivul erorii și ruta finală.
• Evitați să introduceți cheile furnizorului în prompturi sau șabloanele exportate ale agentului.
• Decideți care pași ai agentului sunt facturabili pentru client înainte ca traficul să crească.

Cel mai mic rollout util este un agent, o rută, o rezervă și o etichetă de utilizare. Odată ce acea cale este măsurabilă, extindeți modelul la următorul pas al agentului.

Întrebări frecvente

Ce sunt cadrele de agenți AI?

Cadrele de agenți AI ajută dezvoltatorii să definească comportamentul agentului, uneltele, memoria, fluxurile de lucru, starea și buclele de execuție. Ele sunt diferite de stratul de acces la model care decide ce model servește fiecare cerere.

De ce să conectați cadrele de agenți AI la un singur API?

Un singur API face accesul la model mai ușor de schimbat. Echipele pot direcționa diferiți pași ai agentului către modele diferite, compara semnalele pieței și reduce dependența de o singură integrare a furnizorului.

Este ShareAI un cadru de agent AI?

Nu. ShareAI este o piață AI și un API. Nu construiește aplicația agentului. Poate funcționa în spatele unui cadru de agent ca strat de acces la model, rutare, utilizare, facturare și monetizare.

Pot folosi ShareAI cu LangChain?

Da, atunci când integrarea LangChain este configurată pentru a apela endpoint-ul de completări de chat al ShareAI cu o cheie API ShareAI și un nume de model acceptat. Testați cererea API directă înainte de a o conecta la lanțul complet.

Pot constructorii vizuali de agenți să utilizeze acest tipar?

Adesea, da. Dacă instrumentul vizual acceptă un furnizor de model personalizat sau un endpoint compatibil cu OpenAI, configurarea se reduce de obicei la endpoint, cheia API, numele modelului și locul unde instrumentul stochează acreditivele furnizorului.

Cum ar trebui să aleg modelele pentru diferiții pași ai agentului?

Începeți cu sarcina. Utilizați modele mai puternice pentru planificare și răspunsuri de mare valoare, modele mai puțin costisitoare pentru clasificări simple sau formatare și rute de rezervă pentru pașii care nu pot eșua în tăcere.

Cum ajută failover-ul agenții AI?

Failover-ul oferă unui agent o altă cale de model atunci când ruta preferată nu este disponibilă, este lentă, prea costisitoare sau nepotrivită pentru o cerere. Este cel mai util atunci când este testat înainte ca traficul de producție să crească.

Pot constructorii să monetizeze utilizarea cadrului de agenți?

Da, atunci când constructorul deține aplicația, fluxul de lucru, pluginul, chatbot-ul sau produsul agent în afara ShareAI și direcționează traficul de inferență AI prin ShareAI. Constructorul poate seta o marjă sau o suprataxă pentru acel trafic.

Cine plătește pentru utilizarea agentului direcționat?

În modelul constructorului, clientul, spațiul de lucru, utilizatorul sau contul care generează utilizarea AI direcționată plătește ShareAI pentru acea utilizare. ShareAI plătește constructorului lunar pe baza câștigurilor generate din marja sau suprataxa configurată.

Câștigă Furnizorii și Constructorii în același mod?

Nu. Constructorii câștigă din traficul aplicației pe care îl direcționează prin ShareAI. Furnizorii câștigă prin programe de furnizori aprobate, contribuind cu capacitate de calcul eligibilă la rețeaua ShareAI.

Ce ar trebui să urmăresc înainte de lansare?

Urmăriți numele agentului, utilizatorul sau spațiul de lucru, ruta modelului, latența, utilizarea token-urilor, rata de eroare, evenimentele de fallback și caracteristica sau acțiunea clientului care a declanșat apelul. Aceste date fac deciziile de preț și rutare mult mai ușoare ulterior.