向提供者設備添加模型

揀一個合資格嘅模型#

喺你嘅 Provider 工作流程或者應用程式中打開模型目錄。搜尋目標模型，並閱讀準確嘅識別碼、硬件需求、服務權限同可用嘅商業條款。單靠一個可識別嘅模型名稱係唔足夠去識別佢嘅準確標籤或者變體。

檢查裝置容量#

GPU 記憶體需求取決於權重、精度或者量化、上下文長度、運行時開銷同並發性。使用當前模型需求同觀察到嘅裝置資源。唔好單憑參數數量推斷保證兼容性。

安裝並啟用#

1. 選擇準確嘅模型並檢視任何訪問或者定價條款。
2. 開始支持嘅模型下載或者連接流程。
3. 等待安裝或者同步完成，並喺啟用共享之前解決錯誤。
4. 喺目標裝置上啟用模型共享。
5. 喺 Console 確認模型同裝置狀態，然後監控實際活動。

當模型冇出現嘅時候#

檢查所選工作區、Provider 批准、目錄權限、模型可用性同安裝是否完成。對於自動化目錄檢查，使用 Provider 模型端點.

當模型無法載入嘅時候#

閱讀運行時錯誤，對比所需同可用資源，並檢查其他工作負載是否消耗 GPU。喺廣告容量之前解決載入問題。更改目錄文本唔會修復裝置運行時故障。