AI 推理市场全景解析：战火从云端到边缘端

OpenAI新发布的O1模型，让AI推理成了行业焦点。这是首次在AI系统中，推理计算占了很大比重。随之诞生的推理时ScalingLaw表明，让模型多"思考"一会，准确度就会更高。Anthropic也在跟进，推出非常依赖推理能力的“Computer Use”的Agent功能。这说明AI应用越来越复杂，对推理能力的要求也越来越高。

推理性能直接影响用户体验 - 反应快不快，放在本地还是云端，都会影响实际使用感受。用的人越多，需要的算力就越大，这就涉及到成本和效率问题了。所以现在各大科技公司都在抢占推理这个领域，谁能做得好，谁就能占优势。

近日，Eric Flaningam对外刊载了一篇大模型推理的市场分析文章，文中一些关键洞察值得注意。

市场现状分析

1. 市场规模与增长

• 推理计算需求呈现爆发式增长，据NVIDIA估计，未来推理市场规模将较现在扩大数百倍
• 目前推理业务已占NVIDIA数据中心收入的40%，揭示推理巨大的市场规模

2. 市场参与者分类

当前市场形成了五层完整的服务体系：

1. 基础模型API（如OpenAI）- 最易用但灵活性最低
2. 专业推理服务商（如Fireworks AI、DeepInfra）- 优化开源模型部署
3. AI云服务提供商（如Coreweave）- 提供定制化算力服务
4. 超大规模云服务商 - 传统云服务商和新型 AI 云服务提供商共同参与，提供全栈AI服务平台
5. AI硬件供应商 - NVIDIA 继续主导，AMD 等传统厂商积极追赶，面向高度定制化需求

竞争格局分析

1. 硬件层面

• NVIDIA依然占据主导地位，推理收入占其数据中心业务40%
• AMD通过MI300X系列进军市场，预计年收入可达50亿美元
• 众多创新创业公司（如Groq、Cerebras）带来差异化竞争

2. 服务层面

• 推理服务提供商主要在开源模型部署方面竞争​
• 关键竞争要素：推理成本、延迟性能、吞吐能力
• 硬件厂商开始向上游服务延伸，如NVIDIA收购OctoAI

发展趋势预测

1. 边缘计算成为新战场

• 本地推理优势明显：降低企业运营成本，提升用户体验
• 苹果、高通等厂商积极布局边缘AI芯片
• 小型模型进步将加速边缘推理发展

2. 市场分化趋势

• 云端推理：面向高性能、复杂任务场景
• 边缘推理：面向消费级应用和实时响应场景
• 混合部署：将成为主流架构选择​

3. 价值链重构

• 硬件层面：性能与成本的平衡将决定竞争力
• 服务层面：差异化和垂直整合成为核心竞争策略
• 应用层面：场景定制能力日益重要

结论与展望

AI推理市场正处于快速发展期，竞争格局尚未完全固化。随着技术进步和应用场景拓展，市场将进一步细分和专业化。企业需要根据自身优势，在云端推理与边缘计算之间找到最优定位，打造差异化竞争优势。

未来，伴随着小型模型技术的进步和边缘计算能力的提升，我们很可能见证AI推理的新一轮革命，这将为整个产业带来更多创新机遇与发展可能。

原文：https://www.generativevalue.com/p/the-inference-landscape

本文转载自 ​​AI工程化​​，作者： ully