面壁智能破局：600亿参数模型仅用8G内存，国产算力领跑端侧AI
通常情况下，运行一个8B参数的大模型大约需要16GB显存，参数规模越大，对显存资源的消耗就越严峻，这也推高了硬件成本。不过，现在出现了一种新技术，能让显存需求骤降6倍，同时尽量维持原有的性能水平。这两年全球都在争夺这一前沿技术，而我国凭借国产算力优势，已率先取得突破。该技术能把模型压缩到3B以内，性能保留率高达97%；配合MoE架构，未来只需8G内存的手机就能运行600亿参数的大模型。这一惊人的技术突破背后有何奥秘？传统大模型通常依赖高精度的数值来存储权重，每个权重的可选数值非常丰富，虽然精度高，但非常消
彭志辉获五四奖章
（共29名）彭志辉1993年出生于江西吉安，本科和研究生都就读于电子科技大学。毕业后，他在OPPO研究院AI实验室担任算法工程师。2020年，他经过七轮面试，顺利加入华为“天才少年”计划，随后担任华为技术有限公司主任工程师。2022年12月，彭志辉从华为离职并开启创业之路，如今是智元创新（上海）科技有限公司联合创始人。权威报告显示，智元（AGIBOT）在2025年出货量与市场份额均位居全球第一。2025年，彭志辉成为AI百人会高级顾问。彭志辉的另一重知名身份，是科技圈人气KOL、B站百大UP主之一“稚晖君