一个可发现的服务
帮助构建者了解您提供的模型和政策。
面向推理Provider
在ShareAI市场上提供支持的模型和推理能力,让应用程序发现Provider并路由AI请求。
连接提供符合条件的基础设施
配置选择支持的服务
服务为路由推理做出贡献
路由你的请求。查看您的提供者奖励
值得解决的部分
服务一个模型是一项任务。触达需要它的应用程序并管理持续使用是另一项任务。
更清晰的模型
使用提供者工作区配置您的服务,并探索支持的模型如何出现在公共目录中。
它适合的地方
帮助构建者了解您提供的模型和政策。
参与应用程序使用的同一路由层。
您的收入来自符合条件的推理能力,与构建者的利润率不同。
让您的GPU开始工作
选择您的GPU,设置您的费率,了解满负荷日程可能的价值。
参考模型Llama 2 7B · Q4_0
短请求:512输入tokens和128输出tokens。每个GPU一次处理一个请求。
有自己的基准测试吗?替换两种速度。选择其他GPU会恢复其参考值。
100%表示请求在您选择的时间内持续到达。降低它以考虑空闲时间。
发布的速度来自社区llama.cpp测试,关闭Flash Attention。RTX 3080 Ti预设使用RTX 3080参考;这是一个近似值,而不是测量的3080 Ti结果。
输入处理和输出生成共享相同的时间预算。实际吞吐量还取决于上下文、软件和请求开销。一个月为30天,每周计划重复。
查看基准测试来源在100%工作负载下
总估算,未扣除电费、费用和税金。
这是一个模拟场景,不是支付报价。实际服务和奖励取决于资格、需求和计划条款。Exchange和Mission有自己的激励措施。
Builder通过其拥有的应用程序的AI流量获利。Provider贡献符合条件的计算资源以服务网络。他们的收入来自不同的贡献。
打开Provider工作区以查看要求并配置您的服务。使用公共目录了解模型和提供者政策的展示方式。
您的应用程序由您的团队开发和托管。ShareAI提供网络中推理的路由、使用和支付层。
连接您的贡献