AI 云前沿洞察：竞争格局与优化实战

摘要

本文整理了 AI 领域专家的最新分享，深入剖析了 AI 云市场的竞争态势、推理层软件的效率优化、各大云厂商的能力对比、基础设施层的改进与盈利估算，以及 AI 原生云的未来展望和应用生态壁垒。内容详尽对比了传统云巨头与 AI 原生云新贵的区别，深度解读了推理引擎、投机解码、量化技术及 Flash Attention 等关键技术路径，并评估了不同芯片（如 GPU、TPU）的生态护城河与实际表现。此外，还收录了关于 Together AI 等专业推理服务商的问答实录。

1、AI 云行业竞争格局

·AI 云玩家分类：AI 云服务提供商依核心业务可划分为两大阵营，各阵营领军者明确。GPU 租赁赛道的代表包括 CoreWeave、Nebius 和 Lambda，主攻 GPU 算力出租。推理服务赛道则以 Baseten、Firework 为核心，专注于推理服务供给。目前 GPU 租赁与推理服务的界限日益模糊，部分租赁商持续打磨软件能力，而 AI 应用公司亦是租赁商的客户，因此推理服务的具体定义及两类业务的关联成为行业焦点。

·传统云与 AI 原生云差异：传统云厂商与 AI 原生云厂商在成本架构、定价逻辑、服务特性及目标客群上存在显著区别，核心对比如下：

a.成本与定价差异：以 AWS 为例的传统云厂商 GPU 租赁溢价明显，单价高出市场价 2 至 4 倍，且伴随多项额外费用，如高昂的跨区域数据传输费；部分初期无自有算力、依赖 AWS 搭建服务的推理厂商，因底层成本高企，整体利润微薄。相比之下，AI 原生云厂商定价优势显著，部分价格甚至低于头部同业的底价，免除传输费等额外支出，支持按分钟计费，规则透明。

b.服务能力差异：传统云厂商基础设施经过全方位优化，网络迅捷、存储强劲，配套体系完善，涵盖 EKS、EC2 等多元产品，能应对复杂需求；AI 原生云厂商则更契合 AI 开发场景，交互流程更为简便。

c.适用场景差异：AI 原生云凭借突出的性价比和灵活性，更受初创企业及 AI 开发者的青睐。

2、推理层软件优化与效率提升

·核心优化技术路径：推理层软件优化主要聚焦四大核心技术方向，各方向的优化逻辑、成效及成熟度如下：

a.推理引擎优化：当前业内通用引擎包括传统 VR、VRM、STR、TensorRT（TRT）等，所有企业开展推理业务均需依赖上述引擎，但优化效果差异显著，关键在于研发团队的配置。具备核心研发实力的企业拥有 STR 核心贡献者、TRT 及 kernel、TRT LLM 优化专项团队，可实现大模型推理吞吐量的大幅提升；其他企业受限于专项研发人员匮乏和技术储备不足，优化效果有限。不同模型优化效果各异，头部企业整体可实现模型 2-3 倍提速，例如优化后的 Kimi 模型即为当前最快大模型，相关数据可在公开 AI 分析平台查询。

b.投机解码：这是当前关键的推理优化技术，其中成熟度较高的 Eagle3 技术可实现任意模型 2 倍以上提速；尚在验证期的 DeepFlash 技术有望实现 3-4 倍提速，待验证成熟后即可推广。该技术的核心在于训练出最优 speculator，核心指标为 accept rate 与 accept length，accept rate 每提升 10%，模型速度及利润率同步提升 8%-10%，直接体现为 GPU 的 token per minute（TPM）增长，相关效果在与 MiniMax 的合作项目中已有直观体现，随技术升级提升显著。

c.量化技术：主流量化方案含 FP8 与 FP4 两类，FP8 量化几乎无损，FP4 量化损耗仅 1%-3%，处于可控范围。针对原生支持 FP4 的英伟达 Blackwell（B200）系列芯片，FP4 量化可实现更优提速。总体而言，量化技术可实现模型 1.5-2 倍提速，针对新发布大模型可提前获取并完成量化适配，在保障效果前提下实现效率升级。

d. Flash Attention：该技术由相关团队创始人核心发明，迭代迅速。最新发布的 Flash Attention Four 在二代基础上进一步优化，Flash Attention Three 可适配 H100 等芯片，大幅提升 kernel 运行效率，实现单卡吞吐量翻倍。

上述四大类软件优化技术叠加应用后，单 GPU 节点整体算力可提升 10 倍以上，是当前 AI 推理层效率提升的核心支柱。

·优化后的盈利提升：当前海外市场英伟达 B 系列裸卡租赁基础毛利率约为 30%，该水平随芯片供需及迭代等市场情况波动。在叠加上述推理层软件优化技术后，裸卡租赁业务毛利率可大幅跃升至 70%-90%，软件优化对盈利的拉动作用极大。软件优化带来的效率提升可直接转化为盈利增长，核心逻辑在于优化技术直接提升了 GPU 的 token per minute（TPM）指标，在硬件投入相对固定的前提下，单位 GPU 承载的推理输出量大增，直接带动利润率同步增长。

3、不同云厂商优化能力对比

·传统云厂商优化能力：传统云厂商未将通用推理服务作为核心成熟业务，虽具备基础 instance 供给能力，但未针对具体开源模型做深度推理优化，仅开放通用调用接口，相关服务未形成规模化成熟体系。AI 开发者及创业公司选择推理服务商时，会优先考虑 Together AI、Fireworks AI、Base Ten 等专业厂商，传统云厂商的相关服务存在价格缺乏竞争力、配套服务不完善等明显短板。推理服务的低价策略不具备长期普适性，部分较低定价可能仅为营销性质，若无足够需求规模与持续调用请求支撑，厂商难以长期维持低价供给。

·闭开源模型服务差异：推理服务运营及闭开源模型的相关合作模式存在以下差异：

a.运营策略：多数模型刚上线时热度高、盈利好，但经过 1-2 个月后热度下降易出现亏损，厂商可通过低价策略吸引用户，引导其转向专属 GPU 服务，通过连续、大量的请求提升 GPU 利用率以摊薄成本。

b.闭源模型：核心推理优化工作由厂商自主完成，Anthropic 等闭源大模型厂商会预先完成模型层面的深度优化，与云厂商合作时，仅提供打包好的镜像、专属密钥等内容，不允许云厂商接触模型核心代码；云厂商仅需提供集群、硬件资源与基础网络、路由等配套支持，无需参与模型层面的优化。部分闭源大模型为提升 GPU 利用率，可能采用量化等相对激进的操作，这是模型流量上升后出现”降智”问题的潜在原因。

c.开源模型：推理优化可由第三方服务商完成，为专业推理服务厂商提供了充足的市场空间。

·AI 原生云核心价值：CoreWeave 等 AI 原生云厂商的核心竞争力首先来自底层硬件资源，硬件资源价值占 AI 云服务总价值的 85%，是当前阶段的核心壁垒，在现阶段市场算力供给短缺的背景下，激进拿卡获得的算力容量是这类厂商的核心优势。长期来看，硬件基础之上的软件优化、基础设施调度能力是提升毛利率的重要手段，可在现有硬件的利润基础上进一步抬升盈利空间，但软件优化本身不构成核心壁垒。若云厂商的主力服务对象为闭源模型，其在软件层面可开展的优化空间较为有限，但这类厂商往往 SOP 更成熟，整体服务效果可能更好，基础设施调度能力也是影响云厂商服务能力的重要因素。

4、基础设施层优化与盈利测算

·基础设施核心优化方向：基础设施层优化是保障 AI 业务稳定运行的核心前提，核心优化要点涵盖集群稳定性、通信能力、存储可靠性三大维度，各维度配置水平直接决定 AI 服务运行效率。a.通信与存储配置是核心基础：AI 集群通信层需基于 InfiniBand 架构搭建，配套使用 NCCL、RDMA、共享存储等集群组件，上述组件的可靠性需充分保障，配置不到位会引发系列运行故障。若基础设施稳定性不足，会直接影响 GPU 的可用性，单节点故障修复周期可达 2 天，期间节点完全无法使用，严重拖累 AI 训练、推理任务推进。当前部分仅拥有算力卡资源的厂商，比如拥有算力卡资源但基础设施能力薄弱的 iron，其服务稳定性极差，因通信层、存储层配置不完善，经常出现模型下载相关的共享存储故障，难以满足大规模 AI 业务的运行需求。b.不同厂商基础设施能力差异显著：CoreWeave 拥有成熟稳定的硬件适配名单及标准化 RDMA 接口，在其提供的算力资源上开展 AI 训练、推理业务的稳定性远高于其他普通厂商。

·GPU 租赁盈利测算：当前 GPU 租赁业务依托上游算力资源合作开展，核心盈利