Magdagdag ng modelo sa isang provider device

Pumili ng kwalipikadong modelo#

Buksan ang katalogo ng modelo mula sa iyong workflow ng Provider o aplikasyon. Hanapin ang nais na modelo at basahin ang eksaktong identifier, mga kinakailangan sa hardware, mga pahintulot sa pagseserbisyo, at mga magagamit na komersyal na termino. Ang isang kilalang pangalan ng modelo ay hindi sapat upang matukoy ang eksaktong tag o variant nito.

Suriin ang kapasidad ng device#

Ang pangangailangan sa GPU memory ay nakadepende sa weights, precision o quantization, haba ng konteksto, runtime overhead, at concurrency. Gamitin ang kasalukuyang mga kinakailangan ng modelo at mga naobserbahang mapagkukunan ng device. Huwag magpalagay ng garantisadong compatibility batay lamang sa bilang ng parameter.

I-install at i-enable#

1. Piliin ang eksaktong modelo at suriin ang anumang mga termino sa pag-access o pagpepresyo.
2. Simulan ang pag-download o koneksyon ng suportadong modelo.
3. Maghintay hanggang matapos ang pag-install o pagsasabay at ayusin ang mga error bago paganahin ang pagbabahagi.
4. Paganahin ang modelo para sa pagbabahagi sa nakatakdang device.
5. Kumpirmahin ang estado ng modelo at device sa Console, pagkatapos ay subaybayan ang aktwal na aktibidad.

Kapag hindi lumitaw ang isang modelo#

Suriin ang napiling workspace, pag-apruba ng provider, mga pahintulot sa katalogo, availability ng modelo, at kung natapos na ang pag-install. Para sa awtomatikong pagsusuri ng katalogo, gamitin ang Mga endpoint ng modelo ng Provider.

Kapag hindi ma-load ang isang modelo#

Basahin ang runtime error, ihambing ang kinakailangan at magagamit na mga resources, at suriin kung ang ibang mga workload ay gumagamit ng GPU. Ayusin ang mga problema sa pag-load bago i-advertise ang kapasidad. Ang pagbabago ng teksto ng katalogo ay hindi nag-aayos ng runtime failure ng device.