AI Prosumer
ZH

面向推理Provider

您的推理服务。连接更多Builders。

在ShareAI市场上提供支持的模型和推理能力,让应用程序发现Provider并路由AI请求。

您的基础设施。您在网络中的角色。
AI网络选择您的角色
应用程序
模型与提供者
推理请求
分享AI路由 · 计量 · 计费
您的贡献连接的使用与支付
01

连接提供符合条件的基础设施

02

配置选择支持的服务

03

服务为路由推理做出贡献

04

路由你的请求。查看您的提供者奖励

值得解决的部分

一个端点仍需分发。

服务一个模型是一项任务。触达需要它的应用程序并管理持续使用是另一项任务。

更清晰的模型

在应用程序选择模型的地方与其相遇。

使用提供者工作区配置您的服务,并探索支持的模型如何出现在公共目录中。

它适合的地方

一个连接的贡献。

01

一个可发现的服务

帮助构建者了解您提供的模型和政策。

02

一个通用的集成路径

参与应用程序使用的同一路由层。

03

提供者经济学

您的收入来自符合条件的推理能力,与构建者的利润率不同。

让您的GPU开始工作

您的容量可能是什么样子?

选择您的GPU,设置您的费率,了解满负荷日程可能的价值。

基于RTX 3080的估算每秒约140输出tokens,每个GPU。
8小时最多24小时
您可以贡献的天数
您的费率(每百万tokens) 附加费之前的推理成本。

示例费率。输入您计算服务的价格。

模型、速度和工作负载

参考模型Llama 2 7B · Q4_0

短请求:512输入tokens和128输出tokens。每个GPU一次处理一个请求。

有自己的基准测试吗?替换两种速度。选择其他GPU会恢复其参考值。

100%表示请求在您选择的时间内持续到达。降低它以考虑空闲时间。

发布的速度来自社区llama.cpp测试,关闭Flash Attention。RTX 3080 Ti预设使用RTX 3080参考;这是一个近似值,而不是测量的3080 Ti结果。

输入处理和输出生成共享相同的时间预算。实际吞吐量还取决于上下文、软件和请求开销。一个月为30天,每周计划重复。

查看基准测试来源
潜在计算收入附加费之前的推理成本。Llama 2 7B · Q4_0
$54.28每30天一个月

在100%工作负载下

总估算,未扣除电费、费用和税金。

310.2M输入tokens$31.02
77.5M输出tokens$23.26
您的每周计划40 GPU小时
您计划的可用时间剩余时间
已选择5天1 GPU × 8小时 × 5天

这是一个模拟场景,不是支付报价。实际服务和奖励取决于资格、需求和计划条款。Exchange和Mission有自己的激励措施。

在您连接之前

清晰的答案。
一个有用的下一步。

联系我们的团队
Builder与Provider有何不同?

Builder通过其拥有的应用程序的AI流量获利。Provider贡献符合条件的计算资源以服务网络。他们的收入来自不同的贡献。

我应该从哪里开始?

打开Provider工作区以查看要求并配置您的服务。使用公共目录了解模型和提供者政策的展示方式。

ShareAI 是否构建或托管我的应用程序?

您的应用程序由您的团队开发和托管。ShareAI提供网络中推理的路由、使用和支付层。

连接您的贡献

提供您的容量。
探索网络。

开放Provider探索文档