เฟรมเวิร์กตัวแทน AI: เชื่อมต่อ API หนึ่งตัวกับหลายโมเดล

เฟรมเวิร์กตัวแทน AI คือที่ที่ทีมกำหนดพฤติกรรมของตัวแทน: เป้าหมาย, เครื่องมือ, หน่วยความจำ, การส่งต่อ, วงวน, และกฎสำหรับเวลาที่ตัวแทนควรหยุด แต่ชั้นการเข้าถึงโมเดลเป็นการตัดสินใจที่แตกต่างออกไป หากเฟรมเวิร์กตัวแทนทุกตัวเชื่อมต่อโดยตรงกับผู้ให้บริการรายเดียว ผลิตภัณฑ์จะสืบทอดราคาของผู้ให้บริการนั้น, ขีดจำกัดอัตรา, การหยุดทำงาน, การเปลี่ยนแปลงโมเดล, และกฎบัญชีของผู้ให้บริการนั้น.

นั่นคือเหตุผลที่เฟรมเวิร์กตัวแทน AI ทำงานได้ดีกว่าเมื่อเฟรมเวิร์กเรียกใช้ API โมเดลที่เสถียรหนึ่งตัว และชั้นโมเดลจัดการการเลือก, การกำหนดเส้นทาง, การสำรองข้อมูล, การมองเห็นการใช้งาน, และการเรียกเก็บเงิน ShareAI เหมาะสมกับชั้นนั้น แอปพลิเคชันตัวแทนยังคงอยู่นอก ShareAI ในขณะที่ ShareAI ให้ API หนึ่งตัวสำหรับโมเดลกว่า 150+ ตัว, สัญญาณตลาด, การใช้งานแบบจ่ายต่อโทเค็น, และเส้นทาง Builder เมื่อการจราจรของตัวแทนควรกลายเป็นสิ่งที่สร้างรายได้.

ทำไมเฟรมเวิร์กตัวแทน AI ถึงต้องการชั้นการเข้าถึงโมเดล

เฟรมเวิร์กตัวแทนควรช่วยคุณกำหนดงาน ไม่ควรบังคับให้การเรียกโมเดลทุกครั้ง, ขั้นตอนเครื่องมือ, และการตัดสินใจสำรองข้อมูลอยู่ในเส้นทางผู้ให้บริการที่ถูกเขียนโค้ดอย่างแน่นอน.

ตัวแทนในระบบการผลิตมักมีการเรียกโมเดลที่แตกต่างกันออกไป นักวางแผนอาจต้องการเหตุผลที่แข็งแกร่งกว่า ตัวจัดประเภทอาจต้องการต้นทุนต่ำและความหน่วงต่ำ ตัวสรุปอาจต้องการเส้นทางที่ถูกกว่า คำตอบที่มองเห็นได้โดยลูกค้าอาจต้องการโมเดลที่มีคุณภาพสูงกว่าและการสำรองข้อมูลที่ปลอดภัยกว่า การปฏิบัติต่อขั้นตอนทั้งหมดเหล่านั้นเป็นโมเดลเริ่มต้นเดียวทำให้การควบคุมต้นทุนและความน่าเชื่อถือยากขึ้น.

ShareAI ให้ชั้นโมเดลที่เสถียรสำหรับแอปพลิเคชัน นักพัฒนาสามารถ เปรียบเทียบโมเดล, ทดสอบตัวเลือก และกำหนดเส้นทางการจราจรผ่าน API หนึ่งตัวแทนที่จะต้องดูแลการรวมผู้ให้บริการแยกต่างหากสำหรับทุกเฟรมเวิร์กหรือขั้นตอนตัวแทน.

รูปแบบการเชื่อมต่อพื้นฐาน

การรวมส่วนใหญ่ปฏิบัติตามรูปแบบเดียวกัน:

• ให้เฟรมเวิร์กตัวแทนของคุณรับผิดชอบตรรกะของเวิร์กโฟลว์, เครื่องมือ, และสถานะ.
• ชี้ไคลเอนต์โมเดลของเฟรมเวิร์กไปที่จุดสิ้นสุดการเติมข้อความของ ShareAI.
• ใช้คีย์ API ของ ShareAI จากสภาพแวดล้อมฝั่งเซิร์ฟเวอร์ของคุณ.
• เลือกเส้นทางโมเดลที่เหมาะสมกับแต่ละขั้นตอนของตัวแทน.
• บันทึกการใช้งานตามผู้ใช้, พื้นที่ทำงาน, ฟีเจอร์, หรือเส้นทางตัวแทนก่อนเปิดตัว.

รูปแบบนี้มีประโยชน์เป็นพิเศษเมื่อเฟรมเวิร์กของคุณรองรับไคลเอนต์โมเดลแชทที่เข้ากันได้กับ OpenAI อยู่แล้ว LangChain เอกสารวิธีการที่การรวม ChatOpenAI ของมันสามารถใช้ URL พื้นฐานที่กำหนดค่าได้ ซึ่งเป็นรูปแบบที่ทีมหลายทีมใช้เมื่อกำหนดเส้นทางผ่านพร็อกซี, เกตเวย์, หรือ API โมเดลที่เข้ากันได้ เอกสาร LangChain ChatOpenAI.

ขั้นตอนที่ 1: ยืนยันคำขอ ShareAI

ก่อนเปลี่ยนการตั้งค่ากรอบงาน ให้ทำคำขอฝั่งเซิร์ฟเวอร์โดยตรงหนึ่งครั้ง สิ่งนี้จะให้ข้อมูลพื้นฐานที่ชัดเจนสำหรับข้อมูลรับรอง การเลือกโมเดล และรูปแบบการตอบกลับ.

curl -X POST "https://api.shareai.now/v1/chat/completions" \"

เก็บคีย์ไว้ในเซิร์ฟเวอร์ อย่าเปิดเผยในโค้ดเบราว์เซอร์ ที่เก็บสาธารณะ ปลั๊กอินฝั่งลูกค้า หรือเทมเพลตตัวแทนที่แชร์ เมื่อคำขอสำเร็จ ให้ย้ายจุดสิ้นสุดและคีย์เดียวกันไปยังการตั้งค่ากรอบงาน.

ขั้นตอนที่ 2: ชี้กรอบงานไปที่ ShareAI

สำหรับกรอบงานที่เริ่มต้นด้วยโค้ด รูปแบบมักจะเป็น URL ฐาน คีย์ API และชื่อโมเดล ใน LangChain อาจมีลักษณะดังนี้:

import os

สำหรับเครื่องมือที่ใช้ตัวแปรสภาพแวดล้อม ให้ตั้งค่าตัวแปร API ของโมเดลกรอบงานเป็นคีย์ ShareAI และ URL ฐานในสภาพแวดล้อมการปรับใช้ จากนั้นรีสตาร์ทการทำงานของ worker หรือ runtime ของตัวแทน.

SHAREAI_API_KEY="your-server-side-key"

สำหรับเครื่องมือที่เป็นภาพ ให้มองหาการตั้งค่าผู้ให้บริการโมเดลหรือการตั้งค่าผู้ให้บริการแบบกำหนดเอง ตัวอย่างเช่น เอกสารของ Dify แยกผู้ให้บริการระบบออกจากผู้ให้บริการแบบกำหนดเองในการตั้งค่าผู้ให้บริการโมเดล: เอกสารผู้ให้บริการโมเดล Dify. ป้ายกำกับที่แน่นอนแตกต่างกันไปตามผลิตภัณฑ์ แต่ข้อมูลที่ป้อนในทางปฏิบัติมักจะเหมือนกัน: คีย์ จุดสิ้นสุด โมเดล และขอบเขตการใช้งาน.

ขั้นตอนที่ 3: แยกเส้นทางตัวแทนตามงาน

เมื่อกรอบงานสามารถเรียก ShareAI ได้ หลีกเลี่ยงการส่งทุกขั้นตอนไปยังโมเดลเดียวกันโดยอัตโนมัติ การตั้งค่าที่ดีกว่าคือการกำหนดเส้นทางโมเดลตามประเภทงาน.

• วางแผนเส้นทาง: ใช้โมเดลที่แข็งแกร่งขึ้นสำหรับการแยกส่วน การเลือกเครื่องมือ และการให้เหตุผลที่ยาวขึ้น.
• เส้นทางที่รวดเร็ว: ใช้โมเดลที่มีต้นทุนต่ำกว่าในการจัดประเภท การเขียนใหม่ การดึงข้อมูล หรือการจัดรูปแบบ.
• เส้นทางที่ลูกค้ามองเห็นได้: ใช้โมเดลที่สมดุลระหว่างคุณภาพ ความหน่วง และความน่าเชื่อถือสำหรับคำตอบสุดท้าย.
• เส้นทางสำรอง: เลือกโมเดลสำรองที่สามารถทำงานเดียวกันได้เมื่อเส้นทางที่ต้องการเสื่อมลง.

นี่คือจุดที่วิธีการแบบ API เดียวมีประโยชน์ เฟรมเวิร์กไม่จำเป็นต้องมีการรวมแยกสำหรับการตัดสินใจของผู้ให้บริการแต่ละราย แอปพลิเคชันสามารถรักษารูปแบบการเรียกที่เสถียรในขณะที่ทีมเปลี่ยนเส้นทางตามราคา ความหน่วง การใช้งาน หรือการเปลี่ยนแปลงคุณภาพ.

หากคุณกำลังใช้งานตัวแทนหลายตัวอยู่แล้ว ให้ถือว่านี่เป็นส่วนหนึ่งของรูปแบบการดำเนินงานของคุณ ไม่ใช่แค่การตั้งค่ารหัส การดำเนินงานของกลุ่มตัวแทน AI คู่มือที่กว้างขึ้นอธิบายว่าการกำหนดเส้นทาง การตั้งราคา และการเป็นเจ้าของเข้ากันได้อย่างไรเมื่อหนึ่งตัวแทนกลายเป็นหลายตัว.

ตำแหน่งที่การสร้างรายได้ของ Builder เข้ากันได้

เวิร์กโฟลว์ของตัวแทนบางตัวเป็นศูนย์ต้นทุนภายใน บางตัวเป็นคุณสมบัติของผลิตภัณฑ์ที่ลูกค้าเห็น หาก Builder เป็นเจ้าของแอป ปลั๊กอิน เวิร์กโฟลว์ แชทบอท หรือผลิตภัณฑ์ตัวแทนนอก ShareAI การจราจรของตัวแทนนั้นสามารถกลายเป็นส่วนหนึ่งของโมเดลธุรกิจที่อิงตามการใช้งาน.

Builder ยังคงสร้างและเป็นเจ้าของแอปพลิเคชันนอก ShareAI ShareAI จัดการการใช้งานการอนุมาน AI ที่กำหนดเส้นทาง การชำระเงินของลูกค้าสำหรับการใช้งานที่กำหนดเส้นทาง การกำหนดค่ากำไรหรือค่าธรรมเนียมเพิ่มเติม และการจ่ายเงินรายเดือนของ Builder ตามรายได้ที่สร้างขึ้น.

สิ่งนี้สำคัญสำหรับเฟรมเวิร์กตัวแทนเพราะตัวแทนสามารถสร้างการใช้งานที่ไม่สม่ำเสมอ ลูกค้าหนึ่งรายอาจเรียกใช้บทสรุปการสนับสนุนเพียงไม่กี่ครั้งต่อเดือน อีกคนอาจเรียกใช้การวิจัย การจัดลำดับความสำคัญ และการโทรเวิร์กโฟลว์หลายพันครั้ง ด้วยการสร้างรายได้ของ ShareAI Builder Builder สามารถกำหนดเส้นทางการจราจร AI ผ่าน ShareAI ตั้งค่ากำไร และให้ลูกค้าที่ใช้งานหนักจ่ายสำหรับการอนุมานที่พวกเขาสร้างขึ้น.

เมื่อคุณพร้อมที่จะทำแผนที่ด้านการค้า ให้เปิด คอนโซลผู้สร้าง. สำหรับการวางแผนการดำเนินการ ให้เก็บ เอกสาร ShareAI ไว้ใกล้ตัว.

รายการตรวจสอบการผลิตสำหรับเฟรมเวิร์กตัวแทน AI

• เก็บคีย์ API ของ ShareAI ไว้ฝั่งเซิร์ฟเวอร์.
• ตั้งชื่อเส้นทางของตัวแทนแต่ละตัวก่อนเปิดใช้งาน.
• ติดตามการใช้งานตามลูกค้า, พื้นที่ทำงาน, ฟีเจอร์, หรือ ตัวแทน.
• แยกเส้นทางที่ต้องใช้เหตุผลสูงออกจากเส้นทางที่มีต้นทุนต่ำ.
• ทดสอบกรอบงานด้วยเส้นทางสำรองของโมเดลอย่างน้อยหนึ่งเส้นทาง.
• บันทึกโมเดล, ความหน่วงเวลา, การใช้โทเค็น, เหตุผลของข้อผิดพลาด, และเส้นทางสุดท้าย.
• หลีกเลี่ยงการใส่คีย์ของผู้ให้บริการในคำสั่งหรือเทมเพลตตัวแทนที่ส่งออก.
• ตัดสินใจว่าขั้นตอนใดของตัวแทนที่สามารถเรียกเก็บเงินจากลูกค้าได้ก่อนที่การจราจรจะเพิ่มขึ้น.

การเปิดตัวที่เล็กที่สุดที่มีประโยชน์คือหนึ่งตัวแทน, หนึ่งเส้นทาง, หนึ่งสำรอง, และหนึ่งป้ายการใช้งาน เมื่อเส้นทางนั้นสามารถวัดผลได้ ให้ขยายรูปแบบไปยังขั้นตอนถัดไปของตัวแทน.

คำถามที่พบบ่อย

กรอบงานตัวแทน AI คืออะไร?

กรอบงานตัวแทน AI ช่วยให้นักพัฒนากำหนดพฤติกรรมของตัวแทน, เครื่องมือ, หน่วยความจำ, เวิร์กโฟลว์, สถานะ, และลูปการดำเนินการ พวกมันแตกต่างจากชั้นการเข้าถึงโมเดลที่ตัดสินใจว่าโมเดลใดให้บริการแต่ละคำขอ.

ทำไมต้องเชื่อมต่อกรอบงานตัวแทน AI กับ API เดียว?

API เดียวทำให้การเข้าถึงโมเดลเปลี่ยนแปลงได้ง่ายขึ้น ทีมสามารถกำหนดเส้นทางขั้นตอนต่างๆ ของตัวแทนไปยังโมเดลต่างๆ, เปรียบเทียบสัญญาณในตลาด, และลดการพึ่งพาการรวมผู้ให้บริการเดียว.

ShareAI เป็นกรอบงานตัวแทน AI หรือไม่?

ไม่ใช่ ShareAI เป็นตลาด AI และ API มันไม่ได้สร้างแอปพลิเคชันตัวแทน มันสามารถอยู่เบื้องหลังกรอบงานตัวแทนในฐานะชั้นการเข้าถึงโมเดล, การกำหนดเส้นทาง, การใช้งาน, การเรียกเก็บเงิน, และการสร้างรายได้.

ฉันสามารถใช้ ShareAI กับ LangChain ได้หรือไม่?

ใช่ เมื่อการรวม LangChain ถูกตั้งค่าให้เรียกใช้ endpoint การเติมข้อความแชทของ ShareAI ด้วย ShareAI API key และชื่อโมเดลที่รองรับ ทดสอบการร้องขอ API โดยตรงก่อนที่จะเชื่อมต่อเข้ากับโซ่เต็มรูปแบบ.

ผู้สร้างตัวแทนแบบภาพสามารถใช้รูปแบบนี้ได้หรือไม่?

บ่อยครั้ง ใช่ หากเครื่องมือภาพรองรับผู้ให้บริการโมเดลแบบกำหนดเองหรือ endpoint ที่เข้ากันได้กับ OpenAI การตั้งค่ามักจะเกี่ยวข้องกับ endpoint, API key, ชื่อโมเดล และตำแหน่งที่เครื่องมือจัดเก็บข้อมูลรับรองผู้ให้บริการ.

ฉันควรเลือกโมเดลสำหรับขั้นตอนตัวแทนต่าง ๆ อย่างไร?

เริ่มต้นด้วยงาน ใช้โมเดลที่แข็งแกร่งสำหรับการวางแผนและการตอบสนองที่มีมูลค่าสูง ใช้โมเดลที่มีต้นทุนต่ำสำหรับการจัดประเภทหรือการจัดรูปแบบที่ง่าย และใช้เส้นทางสำรองสำหรับขั้นตอนที่ไม่สามารถล้มเหลวได้โดยไม่มีการแจ้งเตือน.

การสำรองช่วยตัวแทน AI อย่างไร?

การสำรองให้ตัวแทนมีเส้นทางโมเดลอื่นเมื่อเส้นทางที่ต้องการไม่สามารถใช้งานได้ ช้า มีค่าใช้จ่ายสูง หรือไม่เหมาะสมสำหรับคำร้องขอ มันมีประโยชน์มากที่สุดเมื่อทดสอบก่อนที่การจราจรในระบบจะเพิ่มขึ้น.

ผู้สร้างสามารถสร้างรายได้จากการใช้งานกรอบตัวแทนได้หรือไม่?

ใช่ เมื่อผู้สร้างเป็นเจ้าของแอป เวิร์กโฟลว์ ปลั๊กอิน แชทบอท หรือผลิตภัณฑ์ตัวแทนนอก ShareAI และส่งการจราจรการอนุมาน AI ผ่าน ShareAI ผู้สร้างสามารถตั้งค่ากำไรหรือค่าบริการเพิ่มเติมสำหรับการจราจรนั้น.

ใครเป็นผู้จ่ายเงินสำหรับการใช้งานตัวแทนที่ส่งผ่าน?

ในรูปแบบผู้สร้าง ลูกค้า พื้นที่ทำงาน ผู้ใช้ หรือบัญชีที่สร้างการใช้งาน AI ที่ส่งผ่านจะจ่ายเงินให้ ShareAI สำหรับการใช้งานนั้น ShareAI จะจ่ายเงินให้ผู้สร้างรายเดือนตามรายได้ที่เกิดจากกำไรหรือค่าบริการเพิ่มเติมที่ตั้งค่าไว้.

ผู้ให้บริการและผู้สร้างรายได้เหมือนกันหรือไม่?

ไม่ ผู้สร้างได้รับรายได้จากการจราจรของแอปพลิเคชันที่พวกเขาส่งผ่าน ShareAI ผู้ให้บริการได้รับรายได้ผ่านโปรแกรมผู้ให้บริการที่ได้รับการอนุมัติโดยการมีส่วนร่วมในความสามารถในการประมวลผลที่มีสิทธิ์ในเครือข่าย ShareAI.

ฉันควรติดตามอะไรบ้างก่อนเปิดตัว?

ติดตามชื่อของตัวแทน ผู้ใช้หรือพื้นที่ทำงาน เส้นทางโมเดล ความล่าช้า การใช้งานโทเค็น อัตราความผิดพลาด เหตุการณ์สำรอง และฟีเจอร์หรือการกระทำของลูกค้าที่กระตุ้นการเรียกใช้ ข้อมูลนั้นทำให้การตัดสินใจด้านการตั้งราคาและการกำหนดเส้นทางง่ายขึ้นมากในภายหลัง.