一個可發現嘅產品
幫助建設者了解你提供嘅模型同政策。
專為推理 Provider 而設
喺 ShareAI 市場上提供支持嘅模型同推理能力,應用程式可以喺度發現 Provider 並路由 AI 請求。
連接帶嚟合資格嘅基礎設施
配置揀支持嘅產品
提供服務為路由推理作出貢獻
追蹤檢視你嘅供應商獎勵
值得解決嘅部分
提供模型係一個任務。接觸需要模型嘅應用程式同管理持續使用係另一個任務。
更清晰嘅模型
用供應商工作區配置你嘅產品,探索支持嘅模型點樣喺公共目錄中出現。
適用範圍
幫助建設者了解你提供嘅模型同政策。
參與應用程式使用嘅同一個路由層。
你嘅收入嚟自合資格嘅推理容量,與建設者利潤分開。
令你嘅GPU發揮作用
揀你嘅GPU,設定你嘅收費,睇下滿負荷運行嘅價值幾多。
參考模型Llama 2 7B · Q4_0
短請求:512個輸入tokens同128個輸出tokens。每個GPU一次處理一個請求。
有自己嘅基準測試?更換兩個速度值。選擇其他GPU會恢復其參考值。
100%代表請求喺你選擇嘅時段內持續到達。降低呢個值以考慮閒置時間。
發佈嘅速度來自社群llama.cpp測試,並關閉Flash Attention。RTX 3080 Ti預設使用RTX 3080參考;呢係估算值,唔係實際測量嘅3080 Ti結果。
輸入處理同輸出生成共用相同嘅時間預算。實際吞吐量仲取決於上下文、軟件同請求開銷。一個月係30日,重複你嘅每週時間表。
睇基準測試來源喺100%工作負載下
總估算,未扣除電費、費用同稅項。
呢係一個模擬場景,唔係付款承諾。實際服務同獎勵取決於資格、需求同計劃條款。Exchange同Mission有自己嘅獎勵機制。
Builder通過佢哋擁有嘅應用程序嘅AI流量賺錢。Provider提供合資格嘅計算資源為網絡服務。佢哋嘅收入來自唔同嘅貢獻。
打開Provider工作區檢視要求同配置你嘅供應。使用公共目錄了解模型同供應商政策係點樣展示嘅。
你嘅應用係由你嘅團隊開發同託管。ShareAI提供路由、使用同支付層,處理經網絡路由嘅推理。
連接你嘅貢獻