为何 AI 始终面临存储荒
AI 堪称“数据饕餮”与“带宽黑洞”,其存储需求呈指数级暴涨,而产能与物理极限却难以企及。以下分五点详述:一、模型规模激增,直接撑爆内存- 大模型参数从数十亿跃升至数千亿,未来更将达万亿级。- 训练阶段,全量参数需载入 HBM 或高速 DRAM 方可运行。- 推理阶段,需储备海量 KV 缓存(上下文状态),上下文越长、并发用户越多,内存消耗越巨。- 结论:模型越庞大,内存越捉襟见肘;并发越高,短缺越严峻。二、训练数据:只进不出,无限累积- 训练涵盖全网文本、影像、视频、日志及对话,均需永久留存。- 全球数