Ngữ cảnh đúng lúc cho các tác nhân AI: Giữ lời nhắc gọn nhẹ

Ngữ cảnh vừa đủ cho các tác nhân AI là một ý tưởng đơn giản với tác động lớn đến sản xuất: giữ cho lời nhắc hoạt động gọn nhẹ, mang theo các tham chiếu nhẹ nhàng đến những gì tác nhân có thể cần, và chỉ tải ngữ cảnh nặng khi một bước thực sự yêu cầu.

Sự thay đổi đó quan trọng vì các lần chạy của tác nhân là các vòng lặp. Một sổ tay, danh mục công cụ, ảnh chụp cơ sở dữ liệu, hoặc kết quả dài nằm trong lời nhắc không chỉ được trả tiền một lần. Nó có thể được gửi đi lặp lại qua lập kế hoạch, gọi công cụ, thử lại, và câu trả lời cuối cùng. Ngữ cảnh gọn nhẹ giúp mô hình tập trung, làm cho chi phí dễ dàng lý giải hơn, và cung cấp cho các nhóm một con đường sạch hơn để định tuyến từng bước đến mô hình phù hợp.

Ý nghĩa của Ngữ cảnh Vừa đủ

Ngữ cảnh vừa đủ thay thế việc tải trước hàng loạt bằng một danh mục. Mô hình giữ các con trỏ gọn nhẹ trong tầm nhìn: một đường dẫn tệp, tên công cụ, mô tả kỹ năng, truy vấn được lưu trữ, tay cầm kết quả tìm kiếm, hoặc một tóm tắt ngắn gọn của bước trước đó. Khi tác nhân đạt đến một nhiệm vụ cần tải trọng, thời gian chạy sẽ lấy nội dung cụ thể, sử dụng nó, và để nó rời khỏi cửa sổ hoạt động sau đó.

Mô hình tư duy tốt nhất là một bàn làm việc, không phải một nhà kho. Tác nhân nên thấy các công cụ và tham chiếu giúp nó chọn bước tiếp theo. Nó không cần mọi hướng dẫn, mọi dòng nhật ký, và mọi sơ đồ có thể có nằm trong lời nhắc từ đầu.

Những gì nên được giữ lại

Ngữ cảnh gọn nhẹ không có nghĩa là một lời nhắc trống. Một số thông tin thuộc về phần tiền tố ổn định vì nó luôn liên quan và tốn kém để tái khám phá.

• Hướng dẫn cốt lõi: vai trò, ràng buộc an toàn, định dạng đầu ra, và nhiệm vụ của người dùng.
• Bề mặt công cụ thiết yếu: tập hợp nhỏ các công cụ mà tác nhân phải biết tồn tại cho hầu hết các lần chạy.
• Trạng thái gần đây: các quyết định đã được đưa ra, các câu hỏi mở, và ranh giới nhiệm vụ hiện tại.
• Quy tắc truy cập: dữ liệu, hệ thống và hành động nào được phép.
• Quy tắc định tuyến: khi nào ứng dụng nên sử dụng mô hình nhanh, mô hình rẻ hơn, hoặc mô hình suy luận mạnh hơn.

Phần còn lại nên được sử dụng hợp lý. Các tài liệu chính sách đầy đủ, kết quả API cồng kềnh, bản ghi dài, bảng lớn và hướng dẫn công cụ ít được sử dụng nên được xử lý như các tải trọng có thể truy xuất.

Nơi Lãng Phí Token Thường Bắt Đầu

Lãng phí token thường bắt đầu với một lối tắt hợp lý: “Tải ngay bây giờ để mô hình có mọi thứ.” Điều này hoạt động cho các nhiệm vụ ngắn, một lượt. Nó trở nên tốn kém trong các quy trình làm việc của agent vì mỗi bước lặp kéo theo cùng một ngữ cảnh đứng yên.

Các ví dụ phổ biến bao gồm tải trước toàn bộ lịch sử khách hàng khi agent chỉ cần vé hiện tại, dán mọi kết quả công cụ vào lời nhắc tiếp theo, giữ các mô tả công cụ không sử dụng hiển thị, hoặc gửi toàn bộ tài liệu khi một nhiệm vụ chỉ cần một điểm cuối. Chi phí không chỉ là token. Ngữ cảnh không liên quan cạnh tranh với các phần của lời nhắc thực sự quan trọng.

Kết Hợp Ngữ Cảnh JIT Với Định Tuyến Mô Hình

Ngữ cảnh đúng lúc (JIT) và định tuyến mô hình giải quyết các khía cạnh khác nhau của cùng một vấn đề sản xuất. Ngữ cảnh JIT quyết định những gì sẽ được đưa vào lời nhắc. Định tuyến quyết định mô hình nào nên xử lý bước đó.

Một lời nhắc gọn nhẹ làm cho việc định tuyến dễ dàng hơn. Nếu một bước chỉ cần một tra cứu nhỏ và một câu trả lời có cấu trúc, nó có thể không cần một mô hình suy luận cao cấp. Nếu một bước sau đó tải một hợp đồng phức tạp, một phần mã nguồn, hoặc so sánh nhiều tài liệu, bộ định tuyến có thể nâng cấp lên một mô hình mạnh hơn chỉ cho bước đó. Ứng dụng tránh việc xử lý mọi yêu cầu như yêu cầu khó nhất.

Đối với Người Xây Dựng, đây là nơi thiết kế lời nhắc chuyển thành kinh tế sản phẩm. Chi phí của một tính năng AI được định hình bởi lượng ngữ cảnh mà tính năng gửi, tần suất các vòng lặp agent lặp lại nó, mô hình nào xử lý mỗi bước, và cách xử lý khi tuyến đường ưu tiên không khả dụng.

Danh Sách Kiểm Tra Ngữ Cảnh JIT Thực Tiễn

• Bắt đầu mỗi lần chạy agent với một tiền tố hướng dẫn gọn nhẹ và ổn định.
• Đại diện các tài nguyên lớn dưới dạng các tay cầm với tên rõ ràng, chủ sở hữu, kích thước và tóm tắt.
• Giữ các mô tả công cụ ngắn gọn và cụ thể cho nhiệm vụ.
• Chuyển tải các kết quả công cụ cồng kềnh và trả về các bản xem trước ngắn gọn trước tiên.
• Chỉ lấy dữ liệu nguồn khi một bước cần đến nó.
• Tóm tắt công việc đã hoàn thành trước khi nó trở thành lịch sử nhắc nhở cũ.
• Theo dõi các token đầu vào, token đầu ra, số lần thử lại, và thay đổi tuyến đường cho mỗi quy trình làm việc.
• Xác định khi nào một bước nên nâng cấp lên mô hình mạnh hơn.
• Cung cấp cho người dùng các đường dẫn được phê duyệt thay vì buộc mỗi nhóm phải tự tạo quy tắc ngữ cảnh.
• Xem xét các tải trọng ngữ cảnh như một phần của QA phát hành, không chỉ sau khi chi phí tăng vọt.

Vị Trí Của ShareAI

ShareAI là một thị trường AI do con người vận hành và API. Các nhà xây dựng sử dụng một API để truy cập hơn 150+ mô hình, so sánh các tùy chọn mô hình, định tuyến yêu cầu, sử dụng dự phòng, và thanh toán theo token. Điều này làm cho nó trở thành một lớp hữu ích cho các nhóm muốn ứng dụng chọn mô hình một cách có chủ đích thay vì mã hóa cứng mỗi quy trình làm việc xung quanh một đường dẫn mô hình.

ShareAI không phải là trình xây dựng ứng dụng hoặc khung tác nhân. Nhà xây dựng sở hữu trải nghiệm sản phẩm, chiến lược ngữ cảnh, chính sách dữ liệu, và thiết kế tác nhân. ShareAI hỗ trợ lớp truy cập mô hình phía sau trải nghiệm đó: lựa chọn mô hình, khả năng hiển thị thị trường, định tuyến, dự phòng, và kinh tế dựa trên sử dụng.

Đối với các sản phẩm tác nhân, bước thực tế là kết hợp ngữ cảnh gọn nhẹ với các tuyến đường được đo lường. Giữ các nhắc nhở nhỏ hơn, gửi mỗi bước đến mô hình phù hợp, và làm cho việc sử dụng AI đủ rõ ràng để giá cả, độ tin cậy, và trải nghiệm khách hàng có thể cải thiện cùng nhau. Bắt đầu với API ShareAI và so sánh các mô hình có sẵn trong Chia sẻ Mô hình AI.

Câu hỏi thường gặp

Ngữ cảnh đúng lúc cho các tác nhân AI là gì?

Đó là một chiến lược ngữ cảnh nơi một tác nhân giữ các tham chiếu gọn nhẹ trong nhắc nhở và tải các tệp lớn hơn, đầu ra công cụ, hướng dẫn, hoặc hồ sơ chỉ khi một bước nhiệm vụ cần đến chúng.

Ngữ cảnh JIT khác với RAG truyền thống như thế nào?

Truy xuất truyền thống thường tải các đoạn có khả năng liên quan trước khi mô hình trả lời. Ngữ cảnh JIT cho phép tác nhân khám phá và lấy các tải trọng cụ thể trong quá trình chạy, điều này hữu ích khi nhiệm vụ diễn ra qua nhiều bước.

Ngữ cảnh JIT có giảm chi phí AI không?

Có thể. Các vòng lặp của agent gửi lại ngữ cảnh hoạt động nhiều lần, vì vậy việc loại bỏ các payload không sử dụng có thể giảm số lượng token đầu vào lặp lại. Tiết kiệm thực tế phụ thuộc vào độ dài quy trình làm việc, lựa chọn mô hình, số lần thử lại và kích thước đầu ra.

Ngữ cảnh JIT có thể cải thiện chất lượng mô hình không?

Thường là có. Một prompt sạch sẽ cung cấp các hướng dẫn quan trọng và dữ liệu nhiệm vụ mới có nhiều không gian hơn để có hiệu quả. Nó cũng giảm khả năng ngữ cảnh không liên quan làm phân tâm mô hình.

Những gì không nên được tải đúng lúc?

Các hướng dẫn cốt lõi, quy tắc an toàn, mô tả công cụ thiết yếu, giới hạn truy cập và trạng thái nhiệm vụ hiện tại thường thuộc về prompt ổn định vì agent cần chúng trong suốt quá trình chạy.

Ngữ cảnh JIT ảnh hưởng đến định tuyến mô hình như thế nào?

Nó làm cho định tuyến chính xác hơn. Các bước đơn giản có thể sử dụng các mô hình rẻ hơn hoặc nhanh hơn, trong khi các bước tải ngữ cảnh phức tạp có thể định tuyến đến các mô hình mạnh hơn chỉ khi cần thiết.

Ngữ cảnh JIT có hữu ích cho các agent hỗ trợ khách hàng không?

Có. Một agent hỗ trợ có thể bắt đầu với ticket, các chỉ dẫn chính sách và trạng thái cuộc trò chuyện gần đây, sau đó lấy hồ sơ khách hàng chính xác hoặc phần chính sách chỉ khi quy trình làm việc yêu cầu.

Ngữ cảnh JIT có hữu ích cho các agent lập trình không?

Có. Các agent lập trình có thể giữ các hướng dẫn dự án và tham chiếu tệp hiển thị, sau đó đọc các tệp cụ thể, kiểm tra hoặc nhật ký khi một bước yêu cầu thay vì tải trước toàn bộ kho lưu trữ.

ShareAI có quản lý ngữ cảnh của agent của tôi không?

Không. Builder kiểm soát logic ứng dụng, prompt, truy xuất và chiến lược ngữ cảnh. ShareAI cung cấp thị trường mô hình và lớp API để truy cập mô hình, định tuyến, dự phòng và sử dụng trả theo token.

Khi nào ShareAI phù hợp với các sản phẩm agent sử dụng ngữ cảnh JIT?

ShareAI phù hợp khi Builder muốn một API cho nhiều mô hình, khả năng định tuyến các bước agent khác nhau đến các tùy chọn mô hình khác nhau, và kinh tế sử dụng phù hợp rõ ràng với tiêu thụ token thực tế.