モデルをプロバイダーデバイスに追加する

適格なモデルを選択する#

プロバイダーのワークフローまたはアプリケーションからモデルカタログを開きます。目的のモデルを検索し、正確な識別子、ハードウェア要件、提供許可、および利用可能な商業条件を確認してください。認識可能なモデル名だけでは、その正確なタグやバリアントを特定するには不十分です。

デバイス容量を確認する#

GPUメモリの必要量は、重み、精度または量子化、コンテキストの長さ、ランタイムのオーバーヘッド、および同時実行性に依存します。現在のモデル要件と観測されたデバイスリソースを使用してください。パラメータ数だけから保証された互換性を推測しないでください。

インストールして有効化する#

1. 正確なモデルを選択し、アクセス条件や価格条件を確認してください。
2. サポートされているモデルのダウンロードまたは接続フローを開始します。
3. インストールまたは同期が完了し、エラーを解決してから共有を有効にしてください。
4. 対象デバイスでモデルの共有を有効にします。
5. Consoleでモデルとデバイスの状態を確認し、実際のアクティビティを監視します。

モデルが表示されない場合#

選択したワークスペース、プロバイダーの承認、カタログの権限、モデルの利用可能性、インストールが完了しているかを確認します。自動カタログチェックには プロバイダーモデルエンドポイント.

モデルがロードできない場合#

実行時エラーを読み取り、必要なリソースと利用可能なリソースを比較し、他のワークロードがGPUを消費しているか確認します。読み込みの問題を解決してから容量を広告してください。カタログテキストを変更してもデバイスの実行時エラーは解決しません。