标签

AI算力:异构芯片的混战格局

类别核心障碍资金流向对HBM的依赖度Training(训练)全面需求算力+带宽+互联全拉满极高Prefill(读题)计算能力算力核心中等Decode(答题)内存带宽HBM带宽或SRAM高推荐/检索容量+随机访问超大容量内存(CXL/DRAM)低MoE路由/Agent通信交换互联带宽+极低时延低模型规模INT4量化后大小能否放进44GB?7B3.5 GB轻松70B35 GB勉强(KV Cache空间极小)405B(Dense)200 GB完全放不下671B(MoE,激活37B)~18 GB放得下CoreWe

2026-07-11 05:17:15  |  2 阅读