AI ఏజెంట్ ఫ్రేమ్‌వర్క్‌లు: ఒక APIని అనేక మోడళ్లకు కనెక్ట్ చేయండి

AI ఏజెంట్ ఫ్రేమ్‌వర్క్‌లు టీమ్‌లు ఏజెంట్ ప్రవర్తనను నిర్వచించే చోట: లక్ష్యాలు, సాధనాలు, మెమరీ, హ్యాండాఫ్‌లు, లూప్‌లు, మరియు ఏజెంట్ ఆపివేయాల్సిన నియమాలు. కానీ మోడల్ యాక్సెస్ లేయర్ వేరు నిర్ణయం. ప్రతి ఏజెంట్ ఫ్రేమ్‌వర్క్ ఒక ప్రొవైడర్‌కు నేరుగా కనెక్ట్ అయితే, ప్రొడక్ట్ ఆ ప్రొవైడర్ యొక్క ధరలు, రేటు పరిమితులు, అవుటేజీలు, మోడల్ మార్పులు, మరియు ఖాతా నియమాలను వారసత్వంగా పొందుతుంది.

అందుకే AI ఏజెంట్ ఫ్రేమ్‌వర్క్‌లు మెరుగ్గా పనిచేస్తాయి, ఫ్రేమ్‌వర్క్ ఒక స్థిరమైన మోడల్ APIని కాల్ చేస్తే మరియు మోడల్ లేయర్ ఎంపిక, రూటింగ్, ఫెయిలోవర్, వినియోగ దృశ్యమానం, మరియు బిల్లింగ్‌ను నిర్వహిస్తే. ShareAI ఆ లేయర్‌కు సరిపోతుంది. ఏజెంట్ అప్లికేషన్ ShareAI వెలుపల ఉంటుంది, ShareAI డెవలపర్‌లకు 150+ మోడల్‌లు, మార్కెట్‌ప్లేస్ సిగ్నల్స్, టోకెన్ వినియోగానికి చెల్లింపు, మరియు ఏజెంట్ ట్రాఫిక్ మోనిటైజబుల్ అవ్వాల్సినప్పుడు ఒక బిల్డర్ మార్గాన్ని అందిస్తుంది.

AI ఏజెంట్ ఫ్రేమ్‌వర్క్‌లు మోడల్ యాక్సెస్ లేయర్ అవసరం ఎందుకు ఉంది

ఒక ఏజెంట్ ఫ్రేమ్‌వర్క్ మీకు పని నిర్వచించడంలో సహాయపడాలి. ప్రతి మోడల్ కాల్, టూల్ స్టెప్, మరియు ఫాల్బ్యాక్ నిర్ణయాన్ని ఒక హార్డ్‌కోడ్ చేసిన ప్రొవైడర్ మార్గంలో బలవంతం చేయకూడదు.

ఒక ప్రొడక్షన్ ఏజెంట్ సాధారణంగా వివిధ రకాల మోడల్ కాల్‌లను కలిగి ఉంటుంది. ఒక ప్లానర్ బలమైన తర్కం అవసరం కావచ్చు. ఒక క్లాసిఫైయర్ తక్కువ ఖర్చు మరియు తక్కువ లేటెన్సీ అవసరం కావచ్చు. ఒక సమ్మరైజర్ తక్కువ ఖర్చుతో మార్గం అవసరం కావచ్చు. ఒక కస్టమర్-విజిబుల్ సమాధానం అధిక నాణ్యత మోడల్ మరియు సురక్షితమైన ఫాల్బ్యాక్ అవసరం కావచ్చు. ఆ స్టెప్‌లన్నింటిని ఒక డిఫాల్ట్ మోడల్‌గా పరిగణించడం ఖర్చు మరియు నమ్మకాన్ని నియంత్రించడం కష్టతరం చేస్తుంది.

ShareAI అప్లికేషన్‌కు స్థిరమైన మోడల్ లేయర్‌ను అందిస్తుంది. డెవలపర్‌లు మోడల్స్‌ను పోల్చవచ్చు, ఎంపికలను పరీక్షించవచ్చు, మరియు ప్రతి ఫ్రేమ్‌వర్క్ లేదా ఏజెంట్ స్టెప్ కోసం వేర్వేరు ప్రొవైడర్ ఇంటిగ్రేషన్లను నిర్వహించకుండా ఒక API ద్వారా ట్రాఫిక్‌ను రూట్ చేయవచ్చు.

ప్రాథమిక కనెక్షన్ నమూనా

చాలా ఇంటిగ్రేషన్లు అదే నమూనాను అనుసరిస్తాయి:

• మీ ఏజెంట్ ఫ్రేమ్‌వర్క్‌ను వర్క్‌ఫ్లో లాజిక్, టూల్స్, మరియు స్టేట్ కోసం బాధ్యత వహించేలా ఉంచండి.
• ఫ్రేమ్‌వర్క్ యొక్క మోడల్ క్లయింట్‌ను ShareAI యొక్క చాట్ కంప్లీషన్ ఎండ్‌పాయింట్‌కు పాయింట్ చేయండి.
• మీ సర్వర్-సైడ్ ఎన్విరాన్‌మెంట్ నుండి ShareAI API కీని ఉపయోగించండి.
• ప్రతి ఏజెంట్ స్టెప్‌కు సరిపడే మోడల్ రూట్‌ను ఎంచుకోండి.
• లాంచ్ ముందు యూజర్, వర్క్‌స్పేస్, ఫీచర్, లేదా ఏజెంట్ రూట్ ద్వారా వినియోగాన్ని లాగ్ చేయండి.

మీ ఫ్రేమ్‌వర్క్ ఇప్పటికే OpenAI-కంపాటిబుల్ చాట్ మోడల్ క్లయింట్‌ను మద్దతు ఇస్తే ఈ నమూనా ప్రత్యేకంగా ఉపయోగకరంగా ఉంటుంది. LangChain దాని ChatOpenAI ఇంటిగ్రేషన్ ఒక కాన్ఫిగరబుల్ బేస్ URLను ఎలా ఉపయోగించగలదో డాక్యుమెంట్ చేస్తుంది, ఇది ప్రాక్సీ, గేట్‌వే, లేదా కంపాటిబుల్ మోడల్ API ద్వారా రూటింగ్ చేస్తూ చాలా టీమ్‌లు ఉపయోగించే నమూనా: LangChain ChatOpenAI డాక్యుమెంటేషన్.

దశ 1: ShareAI అభ్యర్థనను నిరూపించండి

ఫ్రేమ్‌వర్క్ కాన్ఫిగరేషన్‌ను మార్చే ముందు, ఒక డైరెక్ట్ సర్వర్-సైడ్ అభ్యర్థనను చేయండి. ఇది క్రెడెన్షియల్స్, మోడల్ ఎంపిక, మరియు ప్రతిస్పందన ఆకారానికి క్లీన్గా బేస్‌లైన్‌ను ఇస్తుంది.

curl -X POST "https://api.shareai.now/v1/chat/completions" \"

కీని సర్వర్‌లో ఉంచండి. బ్రౌజర్ కోడ్, పబ్లిక్ రిపోజిటరీలు, క్లయింట్-సైడ్ ప్లగిన్లు లేదా షేర్ చేసిన ఏజెంట్ టెంప్లేట్లలో దాన్ని ఎక్స్‌పోజ్ చేయవద్దు. అభ్యర్థన విజయవంతమైతే, అదే ఎండ్‌పాయింట్ మరియు కీని ఫ్రేమ్‌వర్క్ కాన్ఫిగరేషన్‌లో తరలించండి.

దశ 2: ఫ్రేమ్‌వర్క్‌ను ShareAI వద్దకు చూపించండి

కోడ్-ఫస్ట్ ఫ్రేమ్‌వర్క్‌ల కోసం, నమూనా సాధారణంగా బేస్ URL, API కీ, మరియు మోడల్ పేరు ఉంటుంది. LangChainలో, అది ఇలా కనిపించవచ్చు:

import os

పర్యావరణ వేరియబుల్స్‌ను ఉపయోగించే టూల్స్ కోసం, ఫ్రేమ్‌వర్క్ యొక్క మోడల్ API వేరియబుల్స్‌ను ShareAI కీ మరియు బేస్ URLకు డిప్లాయ్‌మెంట్ పర్యావరణంలో సెట్ చేయండి, తరువాత వర్కర్ లేదా ఏజెంట్ రన్‌టైమ్‌ను రీస్టార్ట్ చేయండి.

SHAREAI_API_KEY="your-server-side-key"

విజువల్ టూల్స్ కోసం, మోడల్ ప్రొవైడర్ సెట్టింగ్స్ లేదా కస్టమ్ ప్రొవైడర్ సెట్టింగ్స్ కోసం చూడండి. ఉదాహరణకు, Dify యొక్క డాక్యుమెంటేషన్, సిస్టమ్ ప్రొవైడర్లను కస్టమ్ ప్రొవైడర్ల నుండి దాని మోడల్-ప్రొవైడర్ సెటప్‌లో వేరు చేస్తుంది: Dify మోడల్ ప్రొవైడర్ డాక్యుమెంటేషన్. ఖచ్చితమైన లేబుల్స్ ఉత్పత్తి ద్వారా భిన్నంగా ఉంటాయి, కానీ ప్రాక్టికల్ ఇన్‌పుట్స్ సాధారణంగా ఒకే విధంగా ఉంటాయి: కీ, ఎండ్‌పాయింట్, మోడల్, మరియు వినియోగ పరిధి.

దశ 3: టాస్క్ ద్వారా ఏజెంట్ రూట్లను విభజించండి

ఫ్రేమ్‌వర్క్ ShareAIను కాల్ చేయగలిగితే, అలవాటుగా ప్రతి దశను అదే మోడల్‌కు పంపడం నివారించండి. మంచి సెటప్ జాబ్ రకం ద్వారా మోడల్ రూట్లను కేటాయిస్తుంది.

• మార్గాన్ని ప్రణాళిక చేయడం: విభజన, సాధన ఎంపిక, మరియు దీర్ఘ reasoning కోసం బలమైన మోడల్ ఉపయోగించండి.
• వేగవంతమైన మార్గం: వర్గీకరణ, పునర్రచన, వెలికితీత, లేదా ఫార్మాటింగ్ కోసం తక్కువ ఖర్చు మోడల్ ఉపయోగించండి.
• కస్టమర్-కనిపించే మార్గం: తుది సమాధానానికి నాణ్యత, ఆలస్యం, మరియు విశ్వసనీయతను సమతుల్యం చేసే మోడల్ ఉపయోగించండి.
• ఫాల్బ్యాక్ మార్గం: ప్రాధాన్య మార్గం తగ్గిపోయినప్పుడు అదే పనిని పూర్తి చేయగల బ్యాకప్ మోడల్‌ను ఎంచుకోండి.

ఇది ఒక API విధానం ఉపయోగకరంగా మారే చోటు. ఫ్రేమ్‌వర్క్ ప్రతి ప్రొవైడర్ నిర్ణయం కోసం ప్రత్యేక సమీకరణ అవసరం లేదు. ధర, ఆలస్యం, లభ్యత, లేదా నాణ్యత మార్పులుగా మార్గాలను మార్చినప్పుడు అప్లికేషన్ స్థిరమైన కాల్ నమూనాను కొనసాగించగలదు.

మీరు ఇప్పటికే బహుళ ఏజెంట్లను నడుపుతున్నట్లయితే, దీన్ని మీ ఆపరేటింగ్ మోడల్‌లో భాగంగా పరిగణించండి, కేవలం కోడ్ సెట్టింగ్ మాత్రమే కాదు. AI ఏజెంట్ ఫ్లీట్ ఆపరేషన్స్ మార్గనిర్దేశం, ధరల నిర్ణయం, మరియు యాజమాన్యం ఒక ఏజెంట్ అనేకమవుతుందనుకున్నప్పుడు ఎలా సరిపోతాయో విస్తృతమైన మార్గదర్శకం వివరిస్తుంది.

బిల్డర్ మోనిటైజేషన్ ఎక్కడ సరిపోతుంది

కొన్ని ఏజెంట్ వర్క్‌ఫ్లోలు అంతర్గత ఖర్చు కేంద్రాలు. మరికొన్ని కస్టమర్-ముఖమైన ఉత్పత్తి లక్షణాలు. ఒక బిల్డర్ ShareAI వెలుపల ఒక యాప్, ప్లగిన్, వర్క్‌ఫ్లో, చాట్‌బాట్, లేదా ఏజెంట్ ఉత్పత్తిని కలిగి ఉంటే, ఆ ఏజెంట్ ట్రాఫిక్ వినియోగ-ఆధారిత వ్యాపార మోడల్‌లో భాగంగా మారవచ్చు.

బిల్డర్ ఇంకా ShareAI వెలుపల అప్లికేషన్‌ను నిర్మించి యాజమాన్యం చేస్తాడు. ShareAI ఆ మార్గం AI inference వినియోగాన్ని, ఆ మార్గం వినియోగానికి కస్టమర్ చెల్లింపును, మార్జిన్ లేదా సర్‌చార్జ్ కాన్ఫిగరేషన్‌ను, మరియు ఉత్పత్తి చేసిన ఆదాయాల ఆధారంగా నెలవారీ బిల్డర్ చెల్లింపును నిర్వహిస్తుంది.

ఏజెంట్ ఫ్రేమ్‌వర్క్‌లకు ఇది ముఖ్యమైనది ఎందుకంటే ఏజెంట్లు అసమానమైన వినియోగాన్ని సృష్టించగలవు. ఒక కస్టమర్ నెలకు కొన్ని మద్దతు సారాంశాలను నడపవచ్చు. మరొకరు వేల పరిశోధన, ట్రైయేజ్, మరియు వర్క్‌ఫ్లో కాల్స్‌ను నడపవచ్చు. ShareAI బిల్డర్ మోనిటైజేషన్‌తో, బిల్డర్ AI ట్రాఫిక్‌ను ShareAI ద్వారా మార్గం చేయగలదు, ఒక మార్జిన్‌ను సెట్ చేయగలదు, మరియు వినియోగం-భారీ కస్టమర్లు వారు సృష్టించే inference కోసం చెల్లించగలరు.

మీరు వాణిజ్య వైపు మ్యాప్ చేయడానికి సిద్ధంగా ఉన్నప్పుడు, తెరవండి బిల్డర్ కన్సోల్. అమలు ప్రణాళిక కోసం, దయచేసి ShareAI డాక్యుమెంటేషన్ దగ్గరలో ఉంచుకోండి.

AI ఏజెంట్ ఫ్రేమ్‌వర్క్‌ల కోసం ఉత్పత్తి తనిఖీ జాబితా

• ShareAI API కీలు సర్వర్-సైడ్ ఉంచండి.
• ప్రారంభానికి ముందు ప్రతి ఏజెంట్ మార్గాన్ని పేరు పెట్టండి.
• వినియోగాన్ని కస్టమర్, వర్క్‌స్పేస్, ఫీచర్ లేదా ఏజెంట్ ద్వారా ట్రాక్ చేయండి.
• అధిక-తర్క మార్గాలను తక్కువ-ఖర్చు యుటిలిటీ మార్గాల నుండి వేరు చేయండి.
• కనీసం ఒక బ్యాకప్ మోడల్ మార్గంతో ఫ్రేమ్‌వర్క్‌ను పరీక్షించండి.
• మోడల్, లేటెన్సీ, టోకెన్ వినియోగం, లోపం కారణం మరియు తుది మార్గాన్ని లాగ్ చేయండి.
• ప్రొవైడర్ కీలు ప్రాంప్ట్‌లు లేదా ఎగుమతి చేసిన ఏజెంట్ టెంప్లేట్‌లలో ఉంచడం నివారించండి.
• ట్రాఫిక్ పెరిగే ముందు ఏ ఏజెంట్ దశలు కస్టమర్-బిల్లబుల్ అని నిర్ణయించండి.

అత్యంత చిన్న ఉపయోగకరమైన రోలౌట్ ఒక ఏజెంట్, ఒక మార్గం, ఒక బ్యాకప్ మరియు ఒక వినియోగ లేబుల్. ఆ మార్గం కొలిచేలా ఉన్న తర్వాత, నమూనాను తదుపరి ఏజెంట్ దశకు విస్తరించండి.

తరచుగా అడిగే ప్రశ్నలు

AI ఏజెంట్ ఫ్రేమ్‌వర్క్‌లు ఏమిటి?

AI ఏజెంట్ ఫ్రేమ్‌వర్క్‌లు డెవలపర్‌లకు ఏజెంట్ ప్రవర్తన, సాధనాలు, మెమరీ, వర్క్‌ఫ్లోలు, స్థితి మరియు ఎగ్జిక్యూషన్ లూప్‌లను నిర్వచించడంలో సహాయపడతాయి. ఇవి ప్రతి అభ్యర్థనకు ఏ మోడల్ సేవలు అందించాలో నిర్ణయించే మోడల్ యాక్సెస్ లేయర్ నుండి భిన్నంగా ఉంటాయి.

ఒక APIకి AI ఏజెంట్ ఫ్రేమ్‌వర్క్‌లను ఎందుకు కనెక్ట్ చేయాలి?

ఒక API మోడల్ యాక్సెస్‌ను మార్చడం సులభంగా ఉంచుతుంది. టీమ్‌లు వివిధ ఏజెంట్ దశలను వివిధ మోడల్‌లకు మార్గం చేయవచ్చు, మార్కెట్‌ప్లేస్ సంకేతాలను సరిపోల్చవచ్చు మరియు ఒక ప్రొవైడర్ ఇంటిగ్రేషన్‌పై ఆధారాన్ని తగ్గించవచ్చు.

ShareAI ఒక AI ఏజెంట్ ఫ్రేమ్‌వర్క్인가?

కాదు. ShareAI ఒక AI మార్కెట్‌ప్లేస్ మరియు API. ఇది ఏజెంట్ అప్లికేషన్‌ను నిర్మించదు. ఇది మోడల్ యాక్సెస్, రూటింగ్, వినియోగం, బిల్లింగ్ మరియు మోనిటైజేషన్ లేయర్‌గా ఏజెంట్ ఫ్రేమ్‌వర్క్ వెనుక ఉండవచ్చు.

నేను ShareAIని LangChainతో ఉపయోగించగలనా?

అవును, LangChain ఇంటిగ్రేషన్ ShareAI API కీ మరియు మద్దతు ఉన్న మోడల్ పేరుతో ShareAI యొక్క చాట్ కంప్లీషన్స్ ఎండ్‌పాయింట్‌ను కాల్ చేయడానికి కాన్ఫిగర్ చేయబడినప్పుడు. పూర్తి చైన్‌లో వైర్ చేయడానికి ముందు డైరెక్ట్ API రిక్వెస్ట్‌ను పరీక్షించండి.

విజువల్ ఏజెంట్ బిల్డర్స్ ఈ ప్యాటర్న్‌ను ఉపయోగించగలరా?

తరచుగా, అవును. విజువల్ టూల్ కస్టమ్ మోడల్ ప్రొవైడర్ లేదా OpenAI-కంపాటిబుల్ ఎండ్‌పాయింట్‌ను మద్దతు ఇస్తే, సెటప్ సాధారణంగా ఎండ్‌పాయింట్, API కీ, మోడల్ పేరు, మరియు టూల్ ప్రొవైడర్ క్రెడెన్షియల్స్‌ను ఎక్కడ స్టోర్ చేస్తుందో దానిపై ఆధారపడి ఉంటుంది.

వివిధ ఏజెంట్ స్టెప్స్ కోసం మోడల్స్‌ను ఎలా ఎంచుకోవాలి?

పని నుండి ప్రారంభించండి. ప్లానింగ్ మరియు హై-వాల్యూ రెస్పాన్స్‌ల కోసం శక్తివంతమైన మోడల్స్‌ను ఉపయోగించండి, సింపుల్ క్లాసిఫికేషన్ లేదా ఫార్మాటింగ్ కోసం తక్కువ ఖర్చు మోడల్స్‌ను ఉపయోగించండి, మరియు మౌనంగా విఫలమయ్యే స్టెప్స్ కోసం బ్యాకప్ రూట్స్‌ను ఉపయోగించండి.

ఫెయిలోవర్ AI ఏజెంట్లకు ఎలా సహాయపడుతుంది?

ఫెయిలోవర్ ప్రిఫర్డ్ రూట్ అందుబాటులో లేకపోయినప్పుడు, నెమ్మదిగా ఉన్నప్పుడు, చాలా ఖర్చుతో ఉన్నప్పుడు, లేదా రిక్వెస్ట్‌కు అనుకూలంగా లేకపోయినప్పుడు ఏజెంట్‌కు మరో మోడల్ మార్గాన్ని ఇస్తుంది. ఇది ప్రొడక్షన్ ట్రాఫిక్ పెరిగే ముందు పరీక్షించినప్పుడు అత్యంత ఉపయోగకరంగా ఉంటుంది.

బిల్డర్స్ ఏజెంట్ ఫ్రేమ్‌వర్క్ వినియోగాన్ని మోనిటైజ్ చేయగలరా?

అవును, బిల్డర్ ShareAI వెలుపల యాప్, వర్క్‌ఫ్లో, ప్లగిన్, చాట్‌బాట్, లేదా ఏజెంట్ ప్రొడక్ట్‌ను కలిగి ఉన్నప్పుడు మరియు దాని AI ఇన్‌ఫరెన్స్ ట్రాఫిక్‌ను ShareAI ద్వారా రూట్ చేస్తుంది. బిల్డర్ ఆ ట్రాఫిక్ కోసం మార్జిన్ లేదా సర్‌చార్జ్‌ను సెట్ చేయవచ్చు.

రూట్ చేసిన ఏజెంట్ వినియోగానికి ఎవరు చెల్లిస్తారు?

బిల్డర్ మోడల్‌లో, రూట్ చేసిన AI వినియోగాన్ని ఉత్పత్తి చేసే కస్టమర్, వర్క్‌స్పేస్, యూజర్, లేదా అకౌంట్ ఆ వినియోగానికి ShareAIకి చెల్లిస్తుంది. ShareAI బిల్డర్‌కు నెలవారీగా కాన్ఫిగర్ చేసిన మార్జిన్ లేదా సర్‌చార్జ్ నుండి ఉత్పత్తి చేసిన ఆదాయంపై ఆధారపడి చెల్లిస్తుంది.

ప్రొవైడర్లు మరియు బిల్డర్లు ఒకే విధంగా సంపాదిస్తారా?

లేదు. బిల్డర్స్ ShareAI ద్వారా రూట్ చేసే అప్లికేషన్ ట్రాఫిక్ నుండి సంపాదిస్తారు. ప్రొవైడర్స్ ShareAI నెట్‌వర్క్‌కు అర్హమైన కంప్యూట్ సామర్థ్యాన్ని అందించడం ద్వారా ఆమోదించిన ప్రొవైడర్ ప్రోగ్రామ్‌ల ద్వారా సంపాదిస్తారు.

ప్రారంభానికి ముందు ఏమి ట్రాక్ చేయాలి?

ఏజెంట్ పేరు, యూజర్ లేదా వర్క్‌స్పేస్, మోడల్ రూట్, లేటెన్సీ, టోకెన్ వినియోగం, ఎర్రర్ రేట్, ఫాల్‌బ్యాక్ ఈవెంట్స్, మరియు కాల్‌ను ట్రిగర్ చేసిన ఫీచర్ లేదా కస్టమర్ చర్యను ట్రాక్ చేయండి. ఆ డేటా తర్వాత ధర మరియు రూటింగ్ నిర్ణయాలను చాలా సులభంగా చేస్తుంది.