Thêm một mô hình vào thiết bị provider

Chọn một mô hình đủ điều kiện#

Mở danh mục mô hình từ quy trình làm việc hoặc ứng dụng của Provider. Tìm kiếm mô hình mong muốn và đọc mã định danh chính xác, yêu cầu phần cứng, quyền phục vụ và các điều khoản thương mại có sẵn. Một tên mô hình dễ nhận biết không đủ để xác định thẻ hoặc biến thể chính xác của nó.

Kiểm tra dung lượng thiết bị#

Nhu cầu bộ nhớ GPU phụ thuộc vào trọng số, độ chính xác hoặc lượng tử hóa, độ dài ngữ cảnh, chi phí runtime và mức độ đồng thời. Sử dụng các yêu cầu mô hình hiện tại và tài nguyên thiết bị đã quan sát. Không suy luận khả năng tương thích đảm bảo chỉ dựa trên số lượng tham số.

Cài đặt và kích hoạt#

1. Chọn mô hình chính xác và xem xét bất kỳ điều khoản truy cập hoặc giá cả nào.
2. Bắt đầu tải xuống hoặc kết nối luồng cho mô hình được hỗ trợ.
3. Chờ cài đặt hoặc đồng bộ hóa hoàn tất và giải quyết lỗi trước khi kích hoạt chia sẻ.
4. Kích hoạt mô hình để chia sẻ trên thiết bị dự kiến.
5. Xác nhận trạng thái mô hình và thiết bị trong Console, sau đó theo dõi hoạt động thực tế.

Khi một mô hình không xuất hiện#

Kiểm tra không gian làm việc đã chọn, phê duyệt của nhà cung cấp, quyền truy cập danh mục, tính khả dụng của mô hình và liệu cài đặt đã hoàn tất hay chưa. Để kiểm tra danh mục tự động, sử dụng Điểm cuối mô hình của nhà cung cấp.

Khi một mô hình không thể tải#

Đọc lỗi runtime, so sánh tài nguyên yêu cầu và tài nguyên sẵn có, và kiểm tra xem các khối lượng công việc khác có tiêu thụ GPU hay không. Giải quyết các vấn đề tải trước khi quảng cáo khả năng. Thay đổi văn bản danh mục không khắc phục lỗi runtime của thiết bị.