Kiếm tiền từ các vòng lặp của AI Agent: Định giá việc sử dụng suy luận lặp lại

Các vòng lặp của đại lý thay đổi kinh tế của các ứng dụng AI. Một yêu cầu trò chuyện thông thường có thể gọi một mô hình một lần. Một vòng lặp của đại lý có thể lập kế hoạch, gọi công cụ, đọc kết quả, yêu cầu một mô hình mạnh hơn xem xét câu trả lời, thử lại một bước thất bại, và tiếp tục cho đến khi nhiệm vụ hoàn thành.

Điều đó hữu ích. Nó cũng là một vấn đề về giá cả.

Nếu sản phẩm của bạn tính phí hàng tháng cố định trong khi mỗi nhiệm vụ của khách hàng kích hoạt việc sử dụng mô hình không thể đoán trước, lợi nhuận của bạn có thể biến mất một cách âm thầm. Vòng lặp càng hữu ích, việc đo lường, giới hạn, định tuyến và định giá suy luận phía sau nó càng trở nên quan trọng.

Đối với các nhà xây dựng, câu hỏi thực tế rất đơn giản: làm thế nào để bạn cho phép khách hàng sử dụng các tính năng đại lý mà không biến mỗi quy trình làm việc thành một trung tâm chi phí không giới hạn?

Những gì một vòng lặp đại lý AI thay đổi

Một vòng lặp đại lý AI là một quy trình làm việc lặp lại. Hệ thống quan sát trạng thái hiện tại, suy luận về bước tiếp theo, hành động thông qua một mô hình hoặc công cụ, đánh giá kết quả, và quyết định có tiếp tục hay không.

Mẫu đó xuất hiện trong nhiều sản phẩm hơn mỗi tháng:

• Các trợ lý mã hóa kiểm tra một kho lưu trữ, chỉnh sửa tệp, chạy thử nghiệm, và sửa lỗi.
• Các đại lý nghiên cứu tìm kiếm, đọc, trích xuất bằng chứng, và viết một báo cáo có cấu trúc.
• Các đại lý hỗ trợ phân loại một vé, truy xuất ngữ cảnh tài khoản, soạn thảo phản hồi, và nâng cấp các trường hợp không chắc chắn.
• Các đại lý tài liệu phân tích tệp, xác định các trường bị thiếu, so sánh chính sách, và tạo ghi chú đánh giá.
• Các công cụ tự động hóa nội bộ chạy kiểm tra theo lịch trình và tạo nhiệm vụ khi có sự thay đổi.

Sản phẩm có thể hiển thị điều này như một hành động: sửa lỗi này, tóm tắt hợp đồng này, điều tra tài khoản này, hoặc chuẩn bị báo cáo này. Bên dưới, hành động đơn lẻ đó có thể chứa nhiều lần gọi mô hình.

Khoảng cách giữa hành động hướng tới người dùng và suy luận cơ bản là nơi cần thiết kế việc kiếm tiền.

Tại sao các vòng lặp cần một mô hình định giá

Việc sử dụng vòng lặp khó định giá hơn so với trò chuyện một lần vì chi phí không phải lúc nào cũng tỷ lệ thuận với yêu cầu hiển thị.

Một khách hàng có thể hỏi một câu đơn giản kết thúc trong một cuộc gọi chi phí thấp. Một khách hàng khác có thể gửi một nhiệm vụ phức tạp chạy qua lập kế hoạch, truy xuất, gọi công cụ, xác thực và thử lại. Nếu cả hai hành động được định giá như nhau, khách hàng thứ hai có thể tiêu thụ hầu hết lợi nhuận.

Rủi ro tăng lên khi các vòng lặp chạy trong nền. Một quy trình làm việc được lên lịch có thể thử lại trong khi không có người dùng nào đang theo dõi. Một tác nhân có quyền truy cập công cụ có thể tạo ra nhiều bước trung gian hơn dự kiến. Một mô hình kiểm tra có thể tăng gấp đôi số lượng cuộc gọi nếu mỗi câu trả lời được xem xét.

Điều đó không làm cho các vòng lặp trở nên xấu. Nó có nghĩa là chúng nên được coi là một mẫu sử dụng trước khi được coi là một tính năng.

Việc định giá hữu ích bắt đầu với ba câu hỏi:

• Đơn vị mà khách hàng tin rằng họ đang mua là gì?
• Những cuộc gọi mô hình nào mà đơn vị đó kích hoạt?
• Lợi nhuận nên được thêm vào ở đâu để Nhà xây dựng được trả công cho giá trị họ tạo ra?

Câu trả lời hiếm khi là tính phí theo số lượng token thô trong giao diện sản phẩm. Hầu hết khách hàng nghĩ về nhiệm vụ, lần chạy, chỗ ngồi, tài liệu, báo cáo, dự án hoặc tự động hóa. Nhưng Nhà xây dựng vẫn cần sự hiển thị ở mức token, mô hình và lần chạy phía sau hậu trường.

Vị trí của ShareAI đối với Nhà xây dựng

ShareAI không phải là khung tác nhân, trình tạo ứng dụng không mã, CMS, nền tảng lưu trữ hoặc công cụ quy trình làm việc. Nhà xây dựng sở hữu ứng dụng bên ngoài ShareAI: trải nghiệm sản phẩm, tài khoản khách hàng, logic tác nhân, công cụ, chính sách, nhật ký và luồng hỗ trợ.

ShareAI phù hợp ở lớp suy luận và kiếm tiền.

Với ShareAI, một Nhà xây dựng có thể định tuyến việc sử dụng AI từ sản phẩm của họ thông qua ShareAI, chọn các mô hình từ chợ mô hình ShareAI, và đặt lợi nhuận hoặc phụ phí trên việc sử dụng đó. Khách hàng trả tiền cho ShareAI cho việc sử dụng AI được định tuyến, và ShareAI trả tiền cho Nhà xây dựng hàng tháng từ thu nhập tạo ra.

Điều đó quan trọng đối với các vòng lặp tác nhân vì Nhà xây dựng có thể tách biệt hai điều thường được pha trộn với nhau.

• Giá trị sản phẩm: quy trình làm việc, UX, logic miền, lời nhắc, đánh giá và kết quả khách hàng.
• Chi phí suy luận: việc sử dụng mô hình lặp lại cần thiết để cung cấp kết quả đó.

Người xây dựng không cần trở thành nhà cung cấp mô hình để kiếm tiền từ lưu lượng AI. Các nhà cung cấp đóng góp mô hình hoặc khả năng tính toán cho ShareAI. Người xây dựng định tuyến nhu cầu từ sản phẩm của riêng họ và có thể kiếm tiền từ biên lợi nhuận họ đặt trên việc sử dụng AI mà họ tạo ra.

Để biết chi tiết triển khai, bắt đầu với tài liệu ShareAI và Tài liệu tham khảo API ShareAI.

Cách định giá việc sử dụng suy luận lặp lại

Mô hình định giá tốt nhất phụ thuộc vào sản phẩm của bạn bán gì. Các vòng lặp tác nhân thường phù hợp với một trong năm mẫu.

1. Giá theo mỗi lần chạy

Một lần chạy là một vòng lặp hoàn chỉnh từ đầu đến cuối. Điều này hoạt động khi mỗi lần chạy có một kết quả rõ ràng, chẳng hạn như một báo cáo, một đánh giá mã, một cuộc điều tra hỗ trợ hoặc một phân tích tài liệu.

Sử dụng điều này khi khách hàng hiểu công việc như một nhiệm vụ cần hoàn thành. Thêm giới hạn nội bộ cho số bước tối đa, số token tối đa và số lần gọi công cụ tối đa để một lần chạy khó bất thường không trở thành không giới hạn.

2. Giá theo cấp độ nhiệm vụ

Một số vòng lặp thay đổi theo độ phức tạp. Một nhiệm vụ phân loại ngắn không nên có chi phí giống như một quy trình nghiên cứu nhiều bước. Trong trường hợp đó, tạo các cấp độ như tiêu chuẩn, nâng cao và chuyên sâu.

Mỗi cấp độ có thể liên kết với các lựa chọn mô hình khác nhau, giới hạn thử lại, các bước đánh giá và kích thước ngữ cảnh. Khách hàng thấy một kế hoạch đơn giản. Người xây dựng vẫn kiểm soát ngân sách suy luận phía sau nó.

3. Giá với việc sử dụng bao gồm cộng thêm vượt mức

Đây là cách phổ biến cho các sản phẩm SaaS đã bán đăng ký. Bao gồm một lượng sử dụng AI hợp lý trong mỗi kế hoạch, sau đó tính phí cho việc sử dụng thêm khi khách hàng vượt quá.

Điều này giữ cho việc áp dụng dễ dàng trong khi bảo vệ người xây dựng khỏi những người dùng nặng. Nó cũng cung cấp cho đội ngũ bán hàng một lộ trình nâng cấp rõ ràng khi một khách hàng bắt đầu dựa vào tính năng tác nhân mỗi ngày.

4. Quy trình làm việc cao cấp có giá riêng biệt

Không phải tính năng nào của đại lý cũng nên được gộp vào sản phẩm cơ bản. Một quy trình làm việc sử dụng mô hình mạnh hơn, ngữ cảnh dài hơn, cuộc gọi đánh giá, hoặc công cụ đắt tiền có thể được định vị như một tiện ích bổ sung cao cấp.

Điều này đặc biệt hữu ích cho các cơ quan và công ty phần mềm theo ngành dọc. Một khách hàng có thể không quan tâm đến số lượng cuộc gọi mô hình diễn ra. Họ quan tâm rằng quy trình làm việc tiết kiệm thời gian nhân viên, giảm công việc đánh giá, hoặc tạo ra một sản phẩm họ có thể sử dụng.

5. Định giá theo kết quả được chấp nhận

Trong một số sản phẩm, khách hàng chỉ muốn trả tiền khi vòng lặp tạo ra thứ gì đó có thể sử dụng được. Điều này có thể áp dụng cho làm giàu dữ liệu, làm sạch dữ liệu, trích xuất tài liệu, hoặc tạo nội dung nơi đầu ra có thể được xác thực.

Hãy cẩn thận với mô hình này. Người xây dựng vẫn phải trả tiền cho các lần thử không thành công. Định giá theo kết quả được chấp nhận cần đánh giá mạnh mẽ, giới hạn thử lại nghiêm ngặt, và đủ biên lợi nhuận để hấp thụ các lần chạy không thành công.

Kiểm soát chi phí trước khi bạn thêm biên lợi nhuận

Việc kiếm tiền an toàn hơn khi vòng lặp được giới hạn.

Bắt đầu bằng cách lập bản đồ từng bước trong quy trình làm việc. Xác định cuộc gọi nào cần mô hình cao cấp, cuộc gọi nào có thể sử dụng mô hình chi phí thấp hơn, cuộc gọi nào cần người kiểm tra, và cuộc gọi nào có thể bỏ qua khi độ tin cậy cao. Một vòng lặp không cần cùng một mô hình cho mỗi bước.

Sử dụng quy tắc định tuyến để phù hợp chi phí với giá trị:

• Sử dụng mô hình nhanh hơn hoặc chi phí thấp hơn cho phân loại, lập kế hoạch, trích xuất, và các biến đổi đơn giản.
• Sử dụng mô hình mạnh hơn cho tổng hợp cuối cùng, thay đổi mã, lý luận quan trọng, hoặc câu trả lời hiển thị cho khách hàng.
• Thêm cuộc gọi đánh giá chỉ khi sai sót là đắt đỏ.
• Dừng vòng lặp khi đạt đến giới hạn bước, token, thời gian, hoặc ngân sách.
• Hiển thị cho khách hàng khi một nhiệm vụ quá lớn đối với kế hoạch đã chọn.

Quyền truy cập công cụ cũng cần được quan tâm. The Giao thức ngữ cảnh mô hình đang làm cho việc kết nối các ứng dụng AI với công cụ và nguồn dữ liệu trở nên dễ dàng hơn. Điều đó rất mạnh mẽ, nhưng nó cũng có nghĩa là Người xây dựng cần có quyền rõ ràng, ghi nhật ký và các đường dẫn xem xét xung quanh các hành động phá hoại.

Hướng dẫn bảo mật như the OWASP Top 10 cho Ứng dụng LLM rất hữu ích ở đây vì các vòng lặp có thể khuếch đại rủi ro như tiêm lệnh, quyền tự chủ quá mức, thiết kế công cụ không an toàn và lộ thông tin nhạy cảm.

Cuối cùng, quan sát hệ thống như một quy trình làm việc sản xuất. The Hướng dẫn cơ bản về khả năng quan sát OpenTelemetry là một điểm khởi đầu tốt để suy nghĩ về dấu vết, số liệu và nhật ký. Đối với một vòng lặp tác nhân, bạn muốn biết mô hình nào đã chạy, mất bao nhiêu bước, chi phí là bao nhiêu, liệu nó có thử lại hay không, và nơi nó dừng lại.

Danh sách kiểm tra triển khai thực tế

Trước khi thêm một vòng lặp tác nhân vào sản phẩm trả phí, hãy làm theo danh sách kiểm tra này:

1. Xác định đơn vị hướng tới khách hàng: chạy, nhiệm vụ, tài liệu, báo cáo, tự động hóa, ghế ngồi hoặc tín dụng.
2. Lập bản đồ mọi cuộc gọi mô hình và cuộc gọi công cụ bên trong đơn vị đó.
3. Quyết định bước nào có thể sử dụng mô hình chi phí thấp hơn và bước nào yêu cầu mô hình cao cấp.
4. Thêm giới hạn cứng cho các bước, token, thời gian, thử lại và chạy nền.
5. Quyết định liệu các cuộc gọi người đánh giá có luôn cần thiết hay chỉ được kích hoạt bởi rủi ro.
6. Định tuyến suy luận qua ShareAI và kiểm tra đường dẫn sử dụng dự kiến.
7. Đặt một biên độ Người xây dựng bao gồm sử dụng bình thường, các lần thử thất bại và chi phí hỗ trợ.
8. Hiển thị giới hạn kế hoạch rõ ràng cho khách hàng trước khi họ bắt đầu các quy trình làm việc tốn kém.
9. Theo dõi chi phí ở mức chạy, tỷ lệ thành công, tỷ lệ thử lại và giá trị khách hàng.
10. Xem xét lại giá cả sau khi có dữ liệu sử dụng thực tế.

Mục tiêu không phải là làm cho mỗi vòng lặp rẻ. Mục tiêu là làm cho mỗi vòng lặp dễ hiểu. Khi việc sử dụng được hiển thị và giới hạn, một Builder có thể định giá nó một cách tự tin thay vì hấp thụ nó một cách âm thầm.

Câu hỏi thường gặp

Monetize các vòng lặp của tác nhân AI có nghĩa là gì?

Điều đó có nghĩa là biến việc sử dụng mô hình lặp lại trong một quy trình làm việc của tác nhân thành một phần có giá của sản phẩm của bạn. Thay vì hấp thụ mỗi lần gọi mô hình như một chi phí ẩn, Builder có thể định tuyến việc sử dụng qua ShareAI, đặt một mức lợi nhuận và kiếm tiền từ lưu lượng AI mà ứng dụng của họ tạo ra.

ShareAI là một khung tác nhân hay trình xây dựng ứng dụng?

Không. ShareAI không phải là một khung tác nhân, trình xây dựng không mã, lớp lưu trữ, hay CMS. Builder sở hữu ứng dụng và quy trình làm việc của tác nhân bên ngoài ShareAI. ShareAI hỗ trợ truy cập mô hình, sử dụng API và kiếm tiền từ thị trường.

Khi nào một vòng lặp tác nhân phù hợp với ShareAI Builder?

Nó phù hợp khi sản phẩm của bạn đã tạo ra việc sử dụng AI và bạn muốn kiếm tiền trực tiếp từ việc sử dụng đó. Các ví dụ bao gồm trợ lý lập trình, công cụ nghiên cứu, tự động hóa hỗ trợ, đánh giá tài liệu, tác nhân quy trình làm việc và các sản phẩm SaaS theo ngành dọc có tính năng AI.

Kiếm tiền cho Nhà xây dựng của ShareAI hoạt động như thế nào?

Một Builder định tuyến việc sử dụng AI từ sản phẩm của họ qua ShareAI và đặt một mức lợi nhuận hoặc phụ phí. Khách hàng trả tiền cho ShareAI cho việc sử dụng được định tuyến đó, và ShareAI trả tiền cho Builder hàng tháng từ thu nhập tạo ra.

Khách hàng có nên thấy giá token không?

Thông thường không phải là trải nghiệm sản phẩm chính. Hầu hết khách hàng hiểu các nhiệm vụ, báo cáo, tài liệu, chỗ ngồi, tín dụng hoặc tự động hóa tốt hơn là token. Token vẫn quan trọng nội bộ vì chúng xác định chi phí và lợi nhuận.

Builder nên định giá các vòng lặp gọi nhiều mô hình như thế nào?

Bắt đầu bằng cách định giá kết quả hướng tới khách hàng, sau đó ánh xạ các cuộc gọi cơ bản. Sử dụng các mô hình chi phí thấp hơn cho các bước đơn giản và các mô hình mạnh hơn cho các bước có giá trị cao. Thêm lợi nhuận dựa trên chi phí chạy đầy đủ dự kiến, không chỉ là cuộc gọi mô hình đầu tiên.

Các cơ quan có thể sử dụng mô hình này cho quy trình làm việc AI của khách hàng không?

Có. Các cơ quan xây dựng công cụ AI hướng tới khách hàng có thể sử dụng ShareAI Builder để định tuyến việc sử dụng suy luận và đặt mức lợi nhuận. Cơ quan vẫn sở hữu ứng dụng khách hàng, triển khai, logic quy trình làm việc và mối quan hệ hỗ trợ.

Những rào cản nào nên có trong vòng lặp đại lý trước khi kiếm tiền?

Tối thiểu, xác định giới hạn bước, giới hạn thử lại, giới hạn token, giới hạn ngân sách, quyền công cụ, ghi nhật ký và xem xét của con người đối với các hành động có rủi ro cao. Việc kiếm tiền hoạt động tốt nhất khi vòng lặp được giới hạn và có thể quan sát được.

ShareAI có thay thế LangChain, LangGraph, CrewAI hoặc các công cụ đại lý khác không?

Không. Những công cụ đó có thể giúp xây dựng hoặc điều phối quy trình làm việc của đại lý. ShareAI phù hợp ở lớp truy cập mô hình và kiếm tiền, nơi Builder định tuyến lưu lượng suy luận và kiếm tiền từ việc sử dụng.

Các Builder nên theo dõi những chỉ số nào?

Theo dõi chi phí mỗi lần chạy, số bước mỗi lần chạy, số token mỗi lần chạy, sự kết hợp mô hình, tỷ lệ thử lại, tỷ lệ thành công, lý do thất bại, giá trị hướng tới khách hàng và gánh nặng hỗ trợ. Giá cả nên được điều chỉnh từ việc sử dụng thực tế, không phải giả định.

Điều này khác gì so với việc trở thành Nhà cung cấp trên ShareAI?

Các nhà cung cấp đóng góp mô hình hoặc năng lực tính toán vào thị trường ShareAI. Các Builder mang lại nhu cầu từ các ứng dụng của riêng họ và có thể kiếm tiền bằng cách thêm mức lợi nhuận vào việc sử dụng AI mà sản phẩm của họ tạo ra.

Thử nghiệm giá đầu tiên an toàn nhất là gì?

Bắt đầu với việc sử dụng bao gồm cộng với một lộ trình vượt mức rõ ràng, hoặc giá mỗi lần chạy với các giới hạn bảo thủ. Điều đó mang lại cho khách hàng một điểm khởi đầu đơn giản trong khi bảo vệ Builder khỏi các vòng lặp đắt đỏ bất thường.