国内首个1.58比特端侧大模型开源发布

IT之家5月25日信息，面壁智能携手清华等机构，今日公布并开源其最新低比特大模型成果BitCPM-CANN。

据透露，该模型为我国首个完全基于华为昇腾平台端到端训练并开源的三值（1.51-bit）大模型。从量化计算、训练方法到整体框架，BitCPM-CANN均在昇腾平台原生构建，提供0.5B、1B、3B、8B四种规模，与同规模MiniCPM4全精度系列逐一对比测试，表现卓越。

相较传统BF16精度，BitCPM-CANN在推理时释放约6倍显存优势，同时保持90%-97.2%模型能力保留率。

官方指出，对移动设备而言，6倍显存优势意味着，一个8B参数的BitCPM-CANN大模型，可在当前主流高端手机上顺畅运行。

另外，面壁智能基于MindSpeed×Megatron-LM主干构建完整低比特训练基础，包含环境匹配、32K长序列支持、并行策略、融合算子等全套工程系统。今后，所有昇腾低比特训练任务，均可建立在统一公共基础之上。