- 各种各样的创业公司正在涌入人工智能推理市场。
- 推理市场竞争可能会降低人工智能的价格，对建设者有利，但对云构成挑战。
- 并不是所有的初创公司都能挺过即将到来的“混乱”时期。
杰瑞德·昆西·戴维斯和他的人工智能计算初创公司Foundry出售推理。他们不制造芯片或构建大型语言模型。Foundry有一种使云计算更高效的独特方法。代工团队没有把自己的技术卖给云提供商，而是决定自己成为一个云提供商，并利用自己的技术来运营一个更高效的云。
一旦希望利用和销售人工智能产品的公司训练了他们的模型并知道它们的表现，他们就会在生成输出时寻求轻松、速度和价值。像Foundry这样的推理即服务提供商，旨在简化生成这些输出的过程。
像许多云提供商一样，Foundry也提供培训和微调，但如今，似乎任何拥有人工智能计算提升技术的人都试图通过出售推理来赚钱——或者更具体地说，出售代币，即人工智能中的基本数据单位。
大脑公司也销售推理。该公司的核心专长是设计用于训练和推理的芯片，但它最近开始将后者作为一种服务进行销售。Groq也是如此，这是一家由两位前谷歌员工组建的芯片公司，他们很早就意识到推理将在计算领域占据更大的份额。另一个硬件平台SambaNova Systems也将推理作为服务进行销售。
Lambda、CoreWeave、Together AI和Crusoe等公司都是英伟达的密切合作伙伴，它们运营着专门适合人工智能工作负载的数据中心，并提供推理服务。还有像AWS和微软Azure这样的超大规模服务商。
随着专门从事推理的公司越来越多，越来越多的人怀疑推理的成本即将急剧下降。
戴维斯对《商业内幕》表示：“推断出比特币有点商品化的部分原因是，消费者最终还是会为代币付费。”
戴维斯说，目前的推理市场有点像电力市场。如果你真的货比三家，你可以找到大量的小众资源，但不是每个人都这样做。大多数人只是想拨动电灯开关，让它工作。
但对于那些愿意的人来说，有很多细微差别需要筛选。对于一些客户来说，速度是最重要的。速度也有区别，比如第一个代币的时间和每秒代币的时间。总作业完成时间不同，不同类型的推理工作负载适用于不同的计算设置。
底层硬件和网络的能源效率是成本的一个重要决定因素。Groq的联合创始人乔纳森·罗斯最近告诉商业内幕网，推理计算的成本甚至比训练成本更重要。训练是一种间接成本，而推理是一种操作成本。
有关的故事
从所有的错综复杂中剔除，推理正在成为人工智能时代的商品。
Lambda的云计算主管Mitesh Agrawal告诉商业内幕网：“一些公司只想要产出，他们不在乎基础设施。”
大众化的人工智能
Lambda还处于“推理即服务”的早期阶段，但Agrawal表示，该公司正在谨慎行事，专注于提供整体计算服务，而不仅仅是代币。
阿格拉瓦尔说，推断利润率可能差别很大。对于通用计算（客户租用固定容量），利润率更容易管理。当您对使用或模型的输入和输出收费时，回报就不那么可预测了。
在有限数量的服务器上组织多个用户需要技巧。阿格拉瓦尔解释说，硬件的运营成本是否真的有利润空间，归根结底取决于该组织做得有多好。
那么，为什么新云会提供风险更大的服务呢？
阿格拉瓦尔说，这是为了吸引潜在客户。“推理即服务”的客户可以转变为更传统的计算客户，并且随着竞争对手的增长，关系和历史变得越来越重要。
Lambda的财务模型假设，随着越来越多的参与者进入推理领域，芯片变得更加高效，价格将很快下调。
一场逐底竞赛？
对推理的需求增长有多快还有待讨论，但在最近的公开声明中，英伟达首席执行官黄仁勋多次表示，像OpenAI的01这样的新模型，需要更多的计算来生成相同数量的响应，因为它们运行多个模型来检查自己的工作或“推理”。事实证明，准确性需要更多的计算。
推断负载有望增长，但服务提供商仍预计新玩家的涌入会降低价格。不过戴维斯并不担心。
他回忆起杰文悖论——价格下降或效率提高导致总消费增加的经济学原理——就像你拓宽高速公路，交通变得更糟一样。
“如果我把东西便宜10倍，人们不会花10倍的钱，甚至不会保持预算不变。他们会花更多钱，”戴维斯说。“这是有道理的，因为当你把东西便宜10倍时，你所做的就是提高投资回报率。”
换句话说，“事实证明，当你让推理更便宜时，人们决定做更多的推理，”戴维斯说。
不过，未来的道路可能会“崎岖不平”，并不是所有的参与者都能在供需不匹配的时刻幸存下来。
Celesta Capital创始管理合伙人、SambaNova Systems投资人斯里拉姆•维斯瓦纳坦表示：“正如我在英特尔的老老板安迪•格鲁夫（Andy Grove）过去常说的，‘让混乱主宰世界，然后在混乱中统治。’”
他同意，未来几年对推理提供商来说，竞争将会非常激烈，但他相信，赢家将取决于实力。
维斯瓦纳坦说：“核心创新不在于进入市场，而在于底层架构的性能和能力。”
许多出售代币以进入人工智能市场的公司都渴望获得更多代币。芯片设计师最终希望把芯片卖给超大规模的企业，而不是卖给人工智能初创企业。Foundry技术的最终版本也更大。
“如果我们做好我们的工作，你知道，我们将成为每个GPU运行的核心部分，”戴维斯说。似乎所有的道路都要经过推理。
休·兰利公司ntributed报告。
有什么建议或见解要分享吗？联系资深记者艾玛·科斯格罗夫（Emma Cosgrove）： ecosgrove@businessinsider.com或使用安全消息应用程序Signal: 443-333-9088
本文来自作者[海冬]投稿，不代表rybis号立场，如若转载，请注明出处：https://www.rybis.cn/zskp/202508-3083.html
评论列表（4条）
我是rybis号的签约作者“海冬”！
希望本篇文章《人工智能推理成本大幅下降：混乱时代的统治者》能对你有所帮助！
本站[rybis号]内容主要涵盖：国足,欧洲杯,世界杯,篮球,欧冠,亚冠,英超,足球,综合体育
本文概览：各种各样的创业公司正在涌入人工智能推理市场。 推理市场竞争可能会降低人工智能的价格，对建设者有利，但对云构成挑战。...