国内首个1.58比特端侧大模型开源发布
IT之家5月25日信息，面壁智能携手清华等机构，今日公布并开源其最新低比特大模型成果BitCPM-CANN。 据透露，该模型为我国首个完全基于华为昇腾平台端到端训练并开源的三值（1.51-bit）大模型。从量化计算、训练方法到整体框架，BitCPM-CANN均在昇腾平台原生构建，提供0.5B、1B、3B、8B四种规模，与同规模MiniCPM4全精度系列逐一对比测试，表现卓越。 相较传统BF16精度，BitCPM-CANN在推理时释放约6倍显存优势，同时保持90%-97.2%模型能力保留率。 官方指出，对移
端侧AI新突破：国产技术实现手机运行大模型的高效压缩
一个 8B 参数的大模型，通常需要约 16GB 显存。参数越多，越吃显存，这就是为什么，内存价格一天比一天高。 现在，有一种方法，可以省下 6 倍显存，却几乎不损耗模型性能。 过去两年，围绕这个看似极端的思路，一条全球性的技术竞赛正在成型。而就在这条赛道上，一个完全基于国产算力的方案，刚刚给出了自己的第一个回答。 模型被压到了不到 3B，同时，能力却可以保留 97%，甚至更进一步，如果结合 MoE 架构，未来可以直接在一部 8GB 内存的手机，运行 600 亿参数的大模型。 听上去匪夷所思，怎么做到的？