Khung AI Agent: Kết nối Một API với Nhiều Mô Hình

Các khung tác nhân AI là nơi các nhóm xác định hành vi của tác nhân: mục tiêu, công cụ, bộ nhớ, chuyển giao, vòng lặp và các quy tắc khi nào tác nhân nên dừng lại. Nhưng lớp truy cập mô hình là một quyết định khác. Nếu mỗi khung tác nhân được kết nối trực tiếp với một nhà cung cấp, sản phẩm sẽ kế thừa giá cả, giới hạn tốc độ, sự cố, thay đổi mô hình và quy tắc tài khoản của nhà cung cấp đó.

Đó là lý do tại sao các khung tác nhân AI hoạt động tốt hơn khi khung gọi một API mô hình ổn định và lớp mô hình xử lý lựa chọn, định tuyến, chuyển đổi dự phòng, khả năng hiển thị sử dụng và thanh toán. ShareAI phù hợp với lớp đó. Ứng dụng tác nhân nằm ngoài ShareAI, trong khi ShareAI cung cấp cho nhà phát triển một API cho hơn 150+ mô hình, tín hiệu thị trường, sử dụng trả theo token và một lộ trình Builder khi lưu lượng tác nhân cần được kiếm tiền.

Tại Sao Các Khung Tác Nhân AI Cần Một Lớp Truy Cập Mô Hình

Một khung tác nhân nên giúp bạn xác định công việc. Nó không nên ép buộc mọi cuộc gọi mô hình, bước công cụ và quyết định dự phòng vào một đường dẫn nhà cung cấp được mã hóa cứng.

Một tác nhân sản xuất thường có các loại cuộc gọi mô hình khác nhau. Một người lập kế hoạch có thể cần lý luận mạnh mẽ hơn. Một bộ phân loại có thể cần chi phí thấp và độ trễ thấp. Một bộ tóm tắt có thể cần một tuyến đường rẻ hơn. Một câu trả lời hiển thị cho khách hàng có thể cần một mô hình chất lượng cao hơn và một dự phòng an toàn hơn. Xử lý tất cả các bước đó như một mô hình mặc định làm cho chi phí và độ tin cậy khó kiểm soát hơn.

ShareAI cung cấp cho ứng dụng một lớp mô hình ổn định. Các nhà phát triển có thể so sánh các mô hình, kiểm tra các tùy chọn và định tuyến lưu lượng qua một API thay vì duy trì các tích hợp nhà cung cấp riêng biệt cho mỗi khung hoặc bước tác nhân.

Mẫu Kết Nối Cơ Bản

Hầu hết các tích hợp tuân theo cùng một mẫu:

• Giữ khung tác nhân của bạn chịu trách nhiệm về logic quy trình làm việc, công cụ và trạng thái.
• Chỉ định khách hàng mô hình của khung vào điểm cuối hoàn thành trò chuyện của ShareAI.
• Sử dụng khóa API ShareAI từ môi trường phía máy chủ của bạn.
• Chọn tuyến mô hình phù hợp với từng bước tác nhân.
• Ghi nhật ký sử dụng theo người dùng, không gian làm việc, tính năng hoặc tuyến tác nhân trước khi khởi chạy.

Mẫu này đặc biệt hữu ích khi khung của bạn đã hỗ trợ một khách hàng mô hình trò chuyện tương thích với OpenAI. LangChain tài liệu hóa cách tích hợp ChatOpenAI của nó có thể sử dụng một URL cơ sở có thể cấu hình, đây là mẫu mà nhiều nhóm sử dụng khi định tuyến qua proxy, cổng hoặc API mô hình tương thích: Tài liệu LangChain ChatOpenAI.

Bước 1: Xác minh Yêu cầu ShareAI

Trước khi thay đổi cấu hình framework, hãy thực hiện một yêu cầu trực tiếp phía máy chủ. Điều này cung cấp một cơ sở sạch cho thông tin xác thực, lựa chọn mô hình và định dạng phản hồi.

curl -X POST "https://api.shareai.now/v1/chat/completions" \"

Giữ khóa trên máy chủ. Không để lộ nó trong mã trình duyệt, kho lưu trữ công khai, plugin phía khách hàng hoặc mẫu đại lý chia sẻ. Khi yêu cầu thành công, chuyển cùng endpoint và khóa vào cấu hình framework.

Bước 2: Trỏ Framework Đến ShareAI

Đối với các framework ưu tiên mã, mẫu thường là một URL cơ sở, một khóa API và một tên mô hình. Trong LangChain, điều này có thể trông như sau:

import os

Đối với các công cụ sử dụng biến môi trường, hãy đặt các biến API mô hình của framework thành khóa ShareAI và URL cơ sở trong môi trường triển khai, sau đó khởi động lại runtime của worker hoặc agent.

SHAREAI_API_KEY="your-server-side-key"

Đối với các công cụ trực quan, hãy tìm cài đặt nhà cung cấp mô hình hoặc cài đặt nhà cung cấp tùy chỉnh. Ví dụ, tài liệu của Dify phân biệt giữa nhà cung cấp hệ thống và nhà cung cấp tùy chỉnh trong thiết lập nhà cung cấp mô hình của nó: Tài liệu nhà cung cấp mô hình Dify. Các nhãn chính xác khác nhau tùy theo sản phẩm, nhưng các đầu vào thực tế thường giống nhau: khóa, endpoint, mô hình và phạm vi sử dụng.

Bước 3: Phân chia Tuyến Đại lý Theo Nhiệm vụ

Khi framework có thể gọi ShareAI, tránh gửi mọi bước đến cùng một mô hình theo thói quen. Một thiết lập tốt hơn là gán các tuyến mô hình theo loại công việc.

• Lập kế hoạch tuyến đường: sử dụng mô hình mạnh hơn để phân rã, lựa chọn công cụ và lập luận dài.
• Tuyến đường nhanh: sử dụng mô hình chi phí thấp hơn để phân loại, viết lại, trích xuất hoặc định dạng.
• Tuyến đường hiển thị cho khách hàng: sử dụng mô hình cân bằng tốt nhất giữa chất lượng, độ trễ và độ tin cậy cho câu trả lời cuối cùng.
• Tuyến đường dự phòng: chọn một mô hình dự phòng có thể hoàn thành cùng nhiệm vụ khi tuyến đường ưu tiên bị suy giảm.

Đây là nơi cách tiếp cận một API trở nên hữu ích. Khung làm việc không cần tích hợp riêng biệt cho mỗi quyết định của nhà cung cấp. Ứng dụng có thể giữ một mẫu gọi ổn định trong khi nhóm thay đổi tuyến đường khi giá cả, độ trễ, khả dụng hoặc chất lượng thay đổi.

Nếu bạn đã chạy nhiều tác nhân, hãy coi đây là một phần của mô hình vận hành của bạn, không chỉ là một cài đặt mã. Hoạt động đội ngũ tác nhân AI Hướng dẫn rộng hơn giải thích cách định tuyến, định giá và quyền sở hữu phù hợp khi một tác nhân trở thành nhiều tác nhân.

Vị trí của Kiếm tiền từ Builder

Một số quy trình làm việc của tác nhân là trung tâm chi phí nội bộ. Một số khác là tính năng sản phẩm hướng tới khách hàng. Nếu một Builder sở hữu một ứng dụng, plugin, quy trình làm việc, chatbot hoặc sản phẩm tác nhân bên ngoài ShareAI, lưu lượng tác nhân đó có thể trở thành một phần của mô hình kinh doanh dựa trên sử dụng.

Builder vẫn xây dựng và sở hữu ứng dụng bên ngoài ShareAI. ShareAI xử lý việc sử dụng suy luận AI được định tuyến, thanh toán của khách hàng cho việc sử dụng được định tuyến đó, cấu hình biên lợi nhuận hoặc phụ phí, và thanh toán hàng tháng cho Builder dựa trên thu nhập tạo ra.

Điều này quan trọng đối với các khung làm việc của tác nhân vì các tác nhân có thể tạo ra mức sử dụng không đồng đều. Một khách hàng có thể chạy một vài bản tóm tắt hỗ trợ mỗi tháng. Một khách hàng khác có thể chạy hàng nghìn cuộc gọi nghiên cứu, phân loại và quy trình làm việc. Với kiếm tiền từ Builder của ShareAI, Builder có thể định tuyến lưu lượng AI qua ShareAI, đặt biên lợi nhuận và để khách hàng sử dụng nhiều trả tiền cho suy luận mà họ tạo ra.

Khi bạn sẵn sàng lập bản đồ khía cạnh thương mại, hãy mở Bảng điều khiển Nhà xây dựng. Để lập kế hoạch triển khai, hãy giữ tài liệu ShareAI ở gần.

Danh sách kiểm tra sản xuất cho các khung làm việc của AI Agent

• Giữ khóa API ShareAI ở phía máy chủ.
• Đặt tên cho từng tuyến đường của tác nhân trước khi khởi chạy.
• Theo dõi việc sử dụng theo khách hàng, không gian làm việc, tính năng hoặc tác nhân.
• Tách các tuyến đường yêu cầu lý luận cao khỏi các tuyến đường tiện ích chi phí thấp.
• Kiểm tra khung với ít nhất một đường dẫn mô hình dự phòng.
• Ghi lại mô hình, độ trễ, sử dụng token, lý do lỗi và tuyến đường cuối cùng.
• Tránh đặt các khóa nhà cung cấp bên trong các lời nhắc hoặc mẫu tác nhân xuất khẩu.
• Quyết định các bước của tác nhân nào sẽ được tính phí khách hàng trước khi lưu lượng tăng.

Triển khai nhỏ nhất hữu ích là một tác nhân, một tuyến đường, một dự phòng và một nhãn sử dụng. Khi đường dẫn đó có thể đo lường được, mở rộng mẫu sang bước tác nhân tiếp theo.

Câu hỏi thường gặp

Khung tác nhân AI là gì?

Các khung tác nhân AI giúp nhà phát triển xác định hành vi của tác nhân, công cụ, bộ nhớ, quy trình làm việc, trạng thái và vòng lặp thực thi. Chúng khác với lớp truy cập mô hình quyết định mô hình nào phục vụ mỗi yêu cầu.

Tại sao kết nối các khung tác nhân AI với một API?

Một API giữ cho việc truy cập mô hình dễ thay đổi hơn. Các nhóm có thể định tuyến các bước tác nhân khác nhau đến các mô hình khác nhau, so sánh tín hiệu thị trường và giảm sự phụ thuộc vào một tích hợp nhà cung cấp.

ShareAI có phải là một khung tác nhân AI không?

Không. ShareAI là một thị trường AI và API. Nó không xây dựng ứng dụng tác nhân. Nó có thể nằm sau một khung tác nhân như lớp truy cập mô hình, định tuyến, sử dụng, tính phí và kiếm tiền.

Tôi có thể sử dụng ShareAI với LangChain không?

Có, khi tích hợp LangChain được cấu hình để gọi điểm cuối hoàn thành chat của ShareAI với khóa API ShareAI và tên mô hình được hỗ trợ. Hãy kiểm tra yêu cầu API trực tiếp trước khi kết nối vào chuỗi đầy đủ.

Các nhà xây dựng đại lý trực quan có thể sử dụng mẫu này không?

Thường thì có. Nếu công cụ trực quan hỗ trợ nhà cung cấp mô hình tùy chỉnh hoặc điểm cuối tương thích với OpenAI, việc thiết lập thường chỉ cần điểm cuối, khóa API, tên mô hình và nơi công cụ lưu trữ thông tin xác thực của nhà cung cấp.

Tôi nên chọn mô hình như thế nào cho các bước đại lý khác nhau?

Bắt đầu với công việc. Sử dụng các mô hình mạnh hơn cho việc lập kế hoạch và phản hồi có giá trị cao, các mô hình chi phí thấp hơn cho phân loại đơn giản hoặc định dạng, và các tuyến dự phòng cho các bước không thể thất bại một cách im lặng.

Chuyển đổi dự phòng giúp các đại lý AI như thế nào?

Chuyển đổi dự phòng cung cấp cho đại lý một tuyến mô hình khác khi tuyến ưu tiên không khả dụng, chậm, quá đắt, hoặc không phù hợp với yêu cầu. Nó hữu ích nhất khi được kiểm tra trước khi lưu lượng sản xuất tăng lên.

Các nhà xây dựng có thể kiếm tiền từ việc sử dụng khung đại lý không?

Có, khi Nhà xây dựng sở hữu ứng dụng, quy trình làm việc, plugin, chatbot, hoặc sản phẩm đại lý bên ngoài ShareAI và định tuyến lưu lượng suy luận AI của nó qua ShareAI. Nhà xây dựng có thể đặt một mức lợi nhuận hoặc phụ phí cho lưu lượng đó.

Ai trả tiền cho việc sử dụng đại lý được định tuyến?

Trong mô hình Nhà xây dựng, khách hàng, không gian làm việc, người dùng, hoặc tài khoản tạo ra việc sử dụng AI được định tuyến sẽ trả tiền cho ShareAI cho việc sử dụng đó. ShareAI trả tiền cho Nhà xây dựng hàng tháng dựa trên thu nhập được tạo ra từ mức lợi nhuận hoặc phụ phí đã cấu hình.

Các nhà cung cấp và nhà xây dựng có kiếm tiền theo cách giống nhau không?

Không. Các nhà xây dựng kiếm tiền từ lưu lượng ứng dụng mà họ định tuyến qua ShareAI. Các nhà cung cấp kiếm tiền thông qua các chương trình nhà cung cấp được phê duyệt bằng cách đóng góp khả năng tính toán đủ điều kiện vào mạng ShareAI.

Tôi nên theo dõi gì trước khi ra mắt?

Theo dõi tên đại lý, người dùng hoặc không gian làm việc, tuyến mô hình, độ trễ, sử dụng token, tỷ lệ lỗi, các sự kiện dự phòng, và tính năng hoặc hành động của khách hàng đã kích hoạt cuộc gọi. Dữ liệu đó giúp việc quyết định giá cả và định tuyến dễ dàng hơn sau này.