面壁智能开源首个基于昇腾训练的1.58位端侧大模型

【TechWeb】5月25日，面壁智能联合清华大学、OpenBMB开源社区共同发布了其在低比特大模型训练领域的最新成果——BitCPM-CANN。

这是国内首款完全基于华为昇腾算力平台实现的1.53位端侧大模型，该模型在技术上实现了重要突破。在相同设备配置下，该技术展示首次完成，随后已将其完整模型系列向公众开放。

据公开信息显示，相比传统BF16精度，该模型在推理过程中节省了约6倍的显存资源，同时模型能力保持在90%至97.2%之间。在相同终端设备上运行时，可承载的模型能力大幅提升，过去需要1/6的内存即可获得相应的功能。

「2-bit」技术是近期端侧芯片行业的热门研究领域，这项技术的出现使手机上运行更大参数模型成为可能。2-bit量化将模型权重压缩6-8倍，使其能存入手机闪存。例如4GB内存可承载16B模型，再配合MoE与激活范围约束后能放32B；若内存扩大到8GB，则可将模型参数扩大到60B。

面壁智能表示，BitCPM-CANN的发布标志着面边智能高效大模型「小钢炮」在端侧落地的能力进一步跃升，同时通过开源向中国端侧大模型赛道提交了一份新的答卷。