AI发展下存储依赖的缓解之路

市场洞察丨作者/杰西和地瓜稀饭

这是发现地瓜 公众号第669篇原创文章

因为一篇报告，市场片面的选择了放大对英伟达降低VeraRubin内存容量配置的报道。事实上英伟达确实减半了Vera CPU的SOCAMM容量，但是Rubin GPU的HBM容量配置并没有改变，但是市场忽视了这一点。

黄教主及时地对市场传言做了响应。他接受采访时，表达了两点看法：一，英伟达GPU服务器的需求没有减少，仍然是严重的供不应求；二，内存的供应缺口使得英伟达GPU服务器不得不对内存使用进行一些优化。

黄教主的响应仅仅是部分缓和了市场对AI基础投资的看空情绪，但同时也向市场传递了两点重要的信息：一，存储的缺口确实限制了AI硬件投资的需求；二，连英伟达都必须要重视对存储的优化使用从而减少消耗存储资源。因此基本上肯定了市场对存储股的看空。

存储的极度缺货造成了成本数倍的上涨，在所有的系统整机和终端设备中，存储的成本均已经超过了总成本的50%，这种情况必然会倒逼全产业链思考一个问题，如何优化系统对存储的优化使用，降低对存储的依赖？

如果AI产业链从模型到硬件，从系统到存储部件，从数据中心服务器到端侧设备，能够全方位的、各个环节都对存储的优化使用展开技术的创新，不断的迭代优化，当前AI对存储的极度依赖是不可为继的。

我让AI从两个视角生成了对存储优化使用的一些可能的技术方向，AI生成了两篇文章，但是拷贝后会发生格式凌乱，以下是一些简要的总结。

CPU/GPU/LPU/NPU增加SRAM容量，以减少系统对DRAM容量需求。SRAM通常是片内嵌入，使用的是逻辑工艺，成本虽然比较贵，但变化幅度有限。

算法压缩，类似于面壁智能的1.5bit三值权重模型以及未来Int 1的两值权重模型都能够极大幅度降低内存的使用。

其他更加具有跨越性的模型方面的技术迭代，比如全稀疏算法的模型技术，注意力极限压缩的模型技术等等。

数据压缩已经在系统端和存储部件端都开始在应用导入，未来在数据管理方面仍然会有技术创新，比如数据剪枝（删除不必要的冗余数据）、数据合成等。

内存、SSD等存储子系统自身的优化，比如在SSD控制器中增加一些处理器单元来承接模型推理的预处理、参数卸载等Loading，在固件中增加一些KV缓存分层和调度、数据预取、数据压缩等算法，那么系统层面的存储资源消耗将会得到大大的减少。同样在内存方面，未来存内计算、存算一体等新形态的存储产品和技术会大大优化计算和存储之间的资源平衡。

端侧AI设备对中等规模大模型部署的支持，将会使得大部分场景的推理、内容生成都在本地完成，这样就会大大减少云端的大模型推理对存储的消耗。

市场对英伟达Vera CPU降配内存的解读最关键的一点是，连英伟达都用不起存储了，可想而知存储的涨价对行业和消费市场产生的破坏作用有多大。如果全市场形成优化存储使用的共识，全行业都展开优化存储的技术攻关，那么存储缺货短时间看不到缓解的预期会有所改变，存储的高峰点可能就在眼前，存储终究还会重新回到周期性行业的运行轨道上来。

-End-