亚马逊自研AI芯片以成本优势赢得企业市场
对于正在为自有数据中心挑选AI服务器芯片的企业来说,相较于英伟达,亚马逊(237.5, -8.50, -3.46%)具备一个关键竞争优势:定价。
爱尔兰咨询机构Co Driver Labs专注于为企业提供AI基础设施落地咨询服务,该机构分析师卡罗尔・皮亚泰克指出:在相同算力负载条件下,采用亚马逊第二代Inferentia推理芯片与Trainium训练芯片部署现有AI模型开展推理业务,算力成本较英伟达H100芯片降低80%。
如今越来越多自建数据中心的企业,都在寻觅性价比更高、供货更稳定的替代芯片方案。近几个月,亚马逊向这类客户大力推广自研两款AI专用芯片:用于大模型训练的Trainium、用于业务推理的Inferentia,越来越多企业开始认可这一方案。
皮亚泰克的一位保险行业客户,由于合规监管要求,必须在自有数据中心为客户运行AI业务,无法使用公有云服务。该企业此前一直采购英伟达芯片,如今正在寻找替代方案;经过前期测试,亚马逊芯片凭借价格优势与稳定的算力承载能力,测试结果表现优异。
基于不错的测试效果,这家保险公司随即向亚马逊云科技(AWS)客户经理咨询,能否在AWS Outposts本地部署一体机中搭载Inferentia推理芯片。但亚马逊方面回复,目前该芯片暂未开放Outposts场景测试。
皮亚泰克称:“只要能在企业本地机房部署Inferentia芯片,这家保险公司就会立刻落地。即便本地部署的成本是云端租用价格的两倍,企业也依然会选择在自有机房部署AWS提供的这款芯片。”
他表示,虽然企业本地机房部署芯片的成本大概率高于直接租用AWS云服务器,但相较英伟达芯片,整体算力开支依旧会大幅降低。
英伟达官方发言人引用公司近期一篇博客文章的观点回应:单纯对比芯片采购单价意义有限,核心要看芯片的实际算力产出。如果低价芯片在相同时长内可承载的AI算力任务远少于高价芯片,那么从单位算力成本来看,高价芯片反而更划算。
英伟达在博文中写道:“我们的芯片能够实现行业最低的模元(Token)单位成本与最高的模元处理吞吐量。”
信息技术咨询公司高知特(48.82, -2.23, -4.37%)(Cognizant)云与基础设施服务负责人斯里拉姆・库马雷桑表示,当前全球算力供给紧张,不少客户正在评估、试点亚马逊自研芯片,其中就包含企业本地数据中心的落地场景。
库马雷桑在书面声明中提到:“我们观察到,客户的AI业务算力需求已经超出当前可用算力供给,这也让企业不再单一依赖英伟达GPU,开始积极寻找多元化算力方案。如今AWS的Trainium与Inferentia芯片已经成为业内可靠的量产级备选方案,不再只是GPU缺货时的应急选择。”
不过亚马逊芯片并非一帆风顺。云架构咨询企业Rhythmic Technologies首席执行官克里斯・达尼卢克表示,虽然不少客户在探讨芯片替代方案,但目前都仅处于早期调研阶段,企业普遍担忧适配这类自研芯片需要全新软件体系,存在技术落地风险。
在去年12月AWS年度技术大会re:Invent上,亚马逊正式推出全新服务,支持客户在AWS公有云之外部署亚马逊自研AI芯片,同时发布AWS AI Factories(亚马逊AI算力工厂)解决方案,企业可在自有数据中心混搭部署亚马逊Trainium芯片与英伟达芯片。
一直以来,AWS通过Outposts本地一体机服务,让自建机房的企业可以在本地部署亚马逊全套软硬件、存储与网络资源。据知情人士透露,近几个月,AWS销售团队已经和美国电话电报(22.44, -0.72, -3.11%)公司(AT&T)等企业展开前期洽谈,探讨通过Outposts服务租赁亚马逊自研AI芯片。
另有知情人士表示,亚马逊还在洽谈直接向政企客户售卖自研AI芯片。今年4月,亚马逊首席执行官安迪・贾西在年度股东信中提及,公司考虑对外直接出售自研AI芯片,自此企业客户的合作意愿显著提升。
贾西曾测算:如果亚马逊不再仅通过云服务出租芯片,而是直接对外售卖,芯片业务年化营收有望达到500亿美元。目前,包含通用处理器Graviton、云端部署的Trainium芯片在内,亚马逊芯片业务当前年化营收为200亿美元。
《信息》杂志分析数据显示:尽管英伟达面临诸多芯片竞品冲击、各行各业加速布局AI替代算力方案,但英伟达在AI推理算力市场的份额仍在持续攀升。
AWS正在借鉴谷歌(362.1, -9.00, -2.43%)的发展路径。谷歌自研TPU张量处理单元AI芯片,去年就开始接洽Anthropic等企业,推动客户在自有数据中心部署该芯片;上个月,谷歌还与黑石(125.01, -2.86, -2.24%)集团成立合资公司,打造TPU专属云业务,对标当下大量向AI厂商出租英伟达算力的专业云服务商。