SLM vs LLM: Chuyển các nhiệm vụ sản xuất đến đúng mô hình

Các quyết định giữa SLM và LLM không nên được đưa ra một lần tại bảng trắng kiến trúc và sau đó áp dụng cho mọi yêu cầu mãi mãi. Trong sản xuất, kích thước mô hình là một quyết định định tuyến. Một số nhiệm vụ cần sự rộng rãi, phạm vi lý luận và tính linh hoạt của mô hình ngôn ngữ lớn. Các nhiệm vụ khác đủ ổn định để một mô hình ngôn ngữ nhỏ hơn có thể cung cấp câu trả lời đúng nhanh hơn và với chi phí thấp hơn.

Câu hỏi thực tế không phải là loại mô hình nào thắng. Câu hỏi thực tế là mô hình nào nên xử lý từng nhiệm vụ, dưới những ràng buộc nào, và với phương án dự phòng nào khi chất lượng, độ trễ, chi phí hoặc khả năng sẵn có thay đổi.

SLM và LLM là một quyết định định tuyến

Một mô hình ngôn ngữ lớn thường tốt hơn cho công việc mở rộng: lý luận phức tạp, hỗ trợ mã hóa, truy xuất kiến thức rộng, lập kế hoạch nhiều bước, và các trường hợp mà người dùng có thể hỏi hầu như bất cứ điều gì. Một mô hình ngôn ngữ nhỏ thường tốt hơn cho các nhiệm vụ lặp lại, hẹp, khối lượng lớn nơi mẫu đầu vào có thể dự đoán và hình dạng đầu ra được hiểu rõ.

Sự phân biệt đó quan trọng đối với AI sản xuất vì một sản phẩm thường chứa nhiều loại nhiệm vụ. Một trợ lý hỗ trợ khách hàng có thể cần một LLM cho cuộc trò chuyện mơ hồ, một SLM cho phân loại ý định, một mô hình chuyên biệt cho việc trích xuất, và một mô hình dự phòng cho độ tin cậy. Xem tất cả điều đó như một lựa chọn mô hình thường lãng phí chất lượng hoặc ngân sách.

So sánh nhanh

Yếu tố quyết định	Phù hợp với LLM	Phù hợp với SLM
Hình dạng nhiệm vụ	Mở rộng, nhiều bước, không thể đoán trước	Hẹp, ổn định, lặp lại
Nhu cầu chất lượng	Phạm vi lý luận cao và tính linh hoạt	Đầu ra nhất quán cho một công việc đã biết
Độ trễ	Thường chậm hơn, tùy thuộc vào mô hình và nhà cung cấp	Thường nhanh hơn cho các nhiệm vụ bị giới hạn
Chi phí	Cao hơn cho việc sử dụng rộng rãi, ngữ cảnh lớn	Thấp hơn khi sử dụng ở quy mô lớn cho các nhiệm vụ đơn giản
Sử dụng tốt nhất	Nghiên cứu, lập trình, tác nhân, tổng hợp, trò chuyện phức tạp	Phân loại, trích xuất, định tuyến, tóm tắt ngắn, xác thực
Rủi ro	Chi tiêu quá mức cho các nhiệm vụ đơn giản	Hiệu suất kém đối với các nhiệm vụ phức tạp hoặc không rõ ràng

Sử dụng LLM khi tính linh hoạt là quan trọng

Sử dụng LLM khi nhiệm vụ yêu cầu lý luận linh hoạt, ngữ cảnh rộng hoặc tổng hợp sáng tạo. Đây là các quy trình làm việc mà lời nhắc có thể thay đổi nhiều và mô hình cần đủ khả năng để diễn giải các tình huống mới mà không cần một hướng dẫn cứng nhắc.

• Các cuộc trò chuyện với khách hàng nơi câu hỏi tiếp theo của người dùng khó dự đoán.
• Quy trình làm việc của tác nhân yêu cầu lập kế hoạch, sử dụng công cụ và khôi phục từ các lỗi một phần.
• Tạo mã, gỡ lỗi và lý luận kiến trúc.
• Tổng hợp dài hạn trên nhiều tài liệu hoặc hướng dẫn.
• Khám phá sản phẩm ban đầu, khi nhóm vẫn đang tìm hiểu quy trình làm việc nên trở thành gì.

LLM đặc biệt hữu ích ở giai đoạn đầu của vòng đời tính năng AI. Khi nhiệm vụ chưa được xác định đầy đủ, một mô hình lớn hơn sẽ cho phép nhóm có không gian để học hỏi. Khi quy trình làm việc trở nên lặp lại, một số bước có thể là ứng viên cho một mô hình nhỏ hơn.

Sử dụng SLM khi quy trình làm việc ổn định

Sử dụng SLM khi quy trình làm việc có ranh giới rõ ràng, đầu vào dự đoán được và đầu ra có thể đo lường. Những nhiệm vụ này thường quan tâm nhiều hơn đến thông lượng, độ trễ và kinh tế đơn vị hơn là phạm vi lý luận rộng.

• Phân loại ý định cho các phiếu hỗ trợ hoặc định tuyến trò chuyện.
• Trích xuất có cấu trúc từ các loại tài liệu đã biết.
• Tóm tắt ngắn với định dạng cố định.
• Kiểm tra chính sách, bộ lọc an toàn hoặc các bước xác thực.
• Các nhiệm vụ nền lặp đi lặp lại với khối lượng lớn và nhiệm vụ hẹp.

Một SLM không tự động tốt hơn chỉ vì nó nhỏ hơn. Nó tốt hơn khi công việc đủ hạn chế để mô hình nhỏ hơn có thể đáp ứng tiêu chuẩn chất lượng. Cách duy nhất đáng tin cậy để biết là kiểm tra nó với các ví dụ thực tế trong sản xuất.

Xây dựng một lộ trình định tuyến lai

Mô hình sản xuất mạnh nhất thường là lai. Bắt đầu với lộ trình có khả năng nhất khi tính năng còn mới, thu thập các ví dụ thực tế, xác định các nhiệm vụ con có thể lặp lại, và chỉ chuyển các nhiệm vụ con đó sang các lộ trình nhỏ hơn hoặc chuyên biệt hơn sau khi có bằng chứng hỗ trợ thay đổi.

Một kế hoạch định tuyến đơn giản có thể trông như sau:

1. Sử dụng LLM cho khám phá ban đầu và dự phòng phức tạp.
2. Ghi lại loại nhiệm vụ, độ trễ, tín hiệu chất lượng và chi phí cho mỗi quy trình làm việc hoàn thành.
3. Tìm các bước lặp lại có hình dạng đầu vào và đầu ra ổn định.
4. Kiểm tra một SLM trên những bước đó với các ví dụ thực tế.
5. Chỉ định tuyến phần nhiệm vụ đã được chứng minh đến SLM.
6. Giữ lại phương án dự phòng LLM cho các yêu cầu có độ tin cậy thấp, mơ hồ hoặc thất bại.

Điều này cho phép các nhóm giảm chi phí và độ trễ mà không cần giả vờ rằng mọi yêu cầu đều đơn giản. Nó cũng làm cho ngăn xếp mô hình dễ dàng phát triển hơn khi có các nhà cung cấp mới, kích thước mô hình mới và các tùy chọn trọng số mở.

Vị trí của ShareAI

ShareAI giúp các Nhà xây dựng định tuyến qua một mạng lưới mô hình AI và nhà cung cấp rộng lớn thông qua một API duy nhất. Thay vì coi SLM và LLM như một quyết định nhà cung cấp cố định, các Nhà xây dựng có thể so sánh các tùy chọn, kiểm tra các tuyến đường và giữ logic sản phẩm của họ tách biệt khỏi lớp mô hình.

Điều này hữu ích cho các sản phẩm SaaS, các cơ quan, công cụ mã nguồn mở, ứng dụng chú trọng quyền riêng tư và các nhóm phần mềm nội bộ cần các tính năng AI nhưng không muốn mỗi thay đổi mô hình trở thành một chu kỳ phát hành. Các Nhà xây dựng có thể bắt đầu với tài liệu ShareAI, so sánh các mô hình AI, có sẵn, và kiểm tra đầu ra trong Sân chơi ShareAI.

Logic định tuyến mô hình tương tự cũng hỗ trợ các Nhà cung cấp. Nếu một nhà cung cấp cung cấp độ trễ, khả năng sẵn sàng hoặc giá cả mạnh mẽ cho một loại khối lượng công việc, định tuyến sẽ cung cấp cho khả năng đó một con đường đến nhu cầu. Đối với các Nhà sáng tạo và chủ sở hữu mô hình, định tuyến có thể làm cho một mô hình dễ dàng hơn để các Nhà xây dựng thử nghiệm, áp dụng và kiếm tiền khi nó phù hợp với một nhiệm vụ sản xuất thực tế.

Một bài kiểm tra thực tế trước khi chuyển đổi nhiệm vụ

Trước khi chuyển một khối lượng công việc từ LLM sang SLM, hãy xác định tiêu chuẩn chất lượng. Ví dụ, một bước trích xuất có thể yêu cầu JSON hợp lệ, các trường chính xác và không có giá trị ảo tưởng. Một bước phân loại có thể yêu cầu sự đồng thuận với nhãn của con người trên một ngưỡng mục tiêu. Một bước định tuyến có thể yêu cầu cả độ chính xác và thời gian phản hồi nhanh.

• Chọn một nhiệm vụ hẹp với các tiêu chí thành công rõ ràng.
• Xây dựng một tập kiểm tra từ các ví dụ thực tế của khách hàng hoặc sản xuất.
• So sánh đầu ra của LLM và SLM song song.
• Đo lường toàn bộ chi phí nhiệm vụ, không chỉ giá token.
• Đặt quy tắc dự phòng cho đầu ra có độ tin cậy thấp hoặc bị lỗi định dạng.
• Xem xét hiệu suất tuyến sau khi triển khai, vì các mô hình và nhà cung cấp có thể thay đổi.

Câu trả lời đúng hiếm khi là thay thế mọi cuộc gọi LLM bằng một SLM. Câu trả lời tốt hơn là định tuyến công việc ổn định đến các mô hình nhỏ hơn và giữ các mô hình lớn hơn cho những công việc thực sự cần đến chúng.

Để có định nghĩa rộng hơn về các mô hình ngôn ngữ nhỏ, hãy xem hướng dẫn của Microsoft Azure về các mô hình ngôn ngữ nhỏ.

Câu hỏi thường gặp

Sự khác biệt chính giữa SLM và LLM là gì?

Một SLM nhỏ hơn và thường phù hợp hơn với các nhiệm vụ hẹp, lặp lại. Một LLM lớn hơn và thường tốt hơn cho lý luận rộng, hội thoại phức tạp, lập trình, và các nhiệm vụ không thể đoán trước.

Một SLM có luôn rẻ hơn một LLM không?

Một SLM thường rẻ hơn cho các nhiệm vụ hẹp, khối lượng lớn, nhưng so sánh thực sự là chi phí trên mỗi nhiệm vụ thành công. Một mô hình rẻ nhưng thất bại thường xuyên có thể tốn kém hơn do phải thử lại, gọi dự phòng và xem xét của con người.

Một SLM có luôn nhanh hơn một LLM không?

Các mô hình nhỏ hơn thường nhanh hơn, nhưng độ trễ phụ thuộc vào nhà cung cấp, phần cứng, khu vực, xếp hàng, độ dài ngữ cảnh và hành vi phát trực tuyến. Đo lường toàn bộ quy trình làm việc, không chỉ kích thước mô hình.

Một sản phẩm có thể sử dụng cả SLM và LLM không?

Có. Nhiều hệ thống sản xuất nên sử dụng cả hai. Định tuyến các nhiệm vụ đơn giản, ổn định đến SLM và giữ LLM cho các yêu cầu phức tạp, mơ hồ hoặc có giá trị cao.

Khi nào một nhóm nên tránh sử dụng SLM?

Tránh sử dụng SLM khi nhiệm vụ là mở, không được xác định rõ, quan trọng về an toàn mà không có xác thực mạnh, hoặc phụ thuộc vào lý luận rộng mà mô hình nhỏ hơn không thể xử lý đáng tin cậy.

Làm thế nào định tuyến mô hình giúp với các quyết định SLM so với LLM?

Định tuyến mô hình cho phép ứng dụng chọn một mô hình cho từng nhiệm vụ, khách hàng, giới hạn chi phí, mục tiêu độ trễ hoặc điều kiện dự phòng. Điều đó linh hoạt hơn so với việc chọn một kích thước mô hình cho mọi yêu cầu.

Các nhà phát triển nên bắt đầu với LLM hay SLM?

Bắt đầu với lộ trình giúp bạn học nhanh nhất. Nhiều nhóm bắt đầu với một LLM trong khi quy trình làm việc đang thay đổi, sau đó chuyển các nhiệm vụ phụ ổn định sang SLM sau khi họ có các ví dụ thực tế và các chỉ số thành công rõ ràng.

ShareAI có xây dựng hoặc lưu trữ ứng dụng của tôi không?

Không. ShareAI không phải là một khung ứng dụng, CMS, nền tảng lưu trữ hoặc công cụ xây dựng không mã. Các nhà phát triển sử dụng ShareAI để truy cập, so sánh và định tuyến các mô hình AI thông qua một API.

Các cơ quan nên sử dụng định tuyến SLM so với LLM như thế nào?

Các cơ quan có thể định tuyến khối lượng công việc của khách hàng theo chi phí, chất lượng, nhu cầu bảo mật và yêu cầu thời gian phản hồi. Điều đó giúp tránh việc xây dựng một kế hoạch tích hợp mô hình tùy chỉnh từ đầu cho mỗi khách hàng.

Các nhà cung cấp được lợi gì từ định tuyến SLM và LLM?

Các nhà cung cấp có thể kiếm được nhu cầu khi khả năng tính toán hoặc suy luận của họ hoạt động tốt cho các loại khối lượng công việc cụ thể. Định tuyến giúp khả năng của nhà cung cấp tốt trở nên dễ dàng được các nhà phát triển phát hiện.

Bài kiểm tra sản xuất đầu tiên an toàn nhất là gì?

Chọn một nhiệm vụ hẹp, xác định tiêu chí thành công, so sánh đầu ra của SLM và LLM trên các ví dụ thực tế, đặt quy tắc dự phòng, và chỉ sau đó định tuyến một phần nhỏ lưu lượng truy cập đến lộ trình mới.

Tích hợp một API để kiểm tra các lộ trình mô hình mà không gắn logic sản phẩm vào một kích thước mô hình duy nhất.