标签
端侧AI新突破:国产技术实现手机运行大模型的高效压缩

端侧AI新突破:国产技术实现手机运行大模型的高效压缩

一个 8B 参数的大模型,通常需要约 16GB 显存。参数越多,越吃显存,这就是为什么,内存价格一天比一天高。 现在,有一种方法,可以省下 6 倍显存,却几乎不损耗模型性能。 过去两年,围绕这个看似极端的思路,一条全球性的技术竞赛正在成型。而就在这条赛道上,一个完全基于国产算力的方案,刚刚给出了自己的第一个回答。 模型被压到了不到 3B,同时,能力却可以保留 97%,甚至更进一步,如果结合 MoE 架构,未来可以直接在一部 8GB 内存的手机,运行 600 亿参数的大模型。 听上去匪夷所思,怎么做到的?

2026-05-25 22:44:42  |  13 阅读

面壁智能开源首个基于昇腾训练的1.58位端侧大模型

【TechWeb】5月25日,面壁智能联合清华大学、OpenBMB开源社区共同发布了其在低比特大模型训练领域的最新成果——BitCPM-CANN。这是国内首款完全基于华为昇腾算力平台实现的1.53位端侧大模型,该模型在技术上实现了重要突破。在相同设备配置下,该技术展示首次完成,随后已将其完整模型系列向公众开放。据公开信息显示,相比传统BF16精度,该模型在推理过程中节省了约6倍的显存资源,同时模型能力保持在90%至97.2%之间。在相同终端设备上运行时,可承载的模型能力大幅提升,过去需要1/6的内存即可获

2026-05-25 22:29:46  |  29 阅读

安克发布 AI 芯片耳机,端侧算力重构降噪体验

↑↑↑点击蓝字 | 关注我们follow usAINGOODS 硬集谷近日,安克创新正式发布了其首款搭载自研 Anker Thus™ AI 芯片的旗舰级开放式耳机 AeroClip。此举标志着安克正式进军 AI 音频硬件领域,将端侧 AI 算力直接融入消费级耳机,凭借硬件级 AI 能力全面重塑音频、通话及降噪体验。与市面上多数依赖手机端 AI 算法的耳机不同,AeroClip 的核心竞争力在于其端侧本地算力。通过 Anker Thus™ AI 芯片的实时运算,主要实现了三大实用功能:AI 实时人声增强与环

2026-05-24 12:00:31  |  10 阅读

端侧AI营收超25%,炬芯科技能否真正落地?

云端AI正在弥补短板,端侧AI同样如此。不同之处在于,云端可以通过资本支出堆叠服务器,而端侧产品不具备这一条件。耳机、眼镜和手表等设备电池小,散热空间有限,且芯片面积受限。要在这些设备上运行本地AI功能,难点不在于口号,而在于功耗、算力和出货量。我们需要从这个角度审视炬芯科技:存内计算能否将低功耗AI能力植入耳机、音箱、手表、AI眼镜和健康监测设备中,并产生稳定的收入。一、端侧AI的核心痛点:小设备能否承载AI服务器竞争的是系统效率,端侧设备也是如此。贴上AI标签很容易,但真正的挑战在于终端设备能否运行本

2026-05-21 19:11:45  |  12 阅读
美格智能领涨超 4%,77TOPS AI 模组迈入量产新阶段

美格智能领涨超 4%,77TOPS AI 模组迈入量产新阶段

扎根香江,布局全球。新浪财经全球资本峰会金曜奖评选正式拉开帷幕!探寻最具潜力的资本标杆,您的投票举足轻重 立即参与美格智能(03268)早盘表现强劲,涨幅突破 5%,截止发稿时上扬 4.09%,现价报 25.46 港元,成交总额达 3370.31 万港元。根据美格智能官方发布的信息,近期该公司在业内率先启动了 77 TOPS AI 模组的大规模量产与交付工作。继成功研发 48TOPS 高算力智能模组并实现广泛部署之后,此举再次彰显了其在端侧 AI 领域的技术领导地位。此外,针对云端巨大的低功耗推理市场需求

2026-05-21 13:47:49  |  33 阅读

深度复盘:物理AI产业链核心要素

尽管物理AI近期才广为人知,但其技术演变早已在多个细分领域落地。不同于侧重数据处理、内容生成或虚拟交互的传统AI,物理AI更强调对现实世界的感知与干预,它必须依托机器人、自动驾驶或工业机械等实体存在。从“虚拟智能”迈向“实体智能”的变革,催生了全新的技术栈:仿真训练、算力支持与环境感知缺一不可。通过对十七家企业的分析,我们发现物理AI产业生态已初具规模,各企业的角色定位也远比预想的清晰。仿真训练是物理AI区别于通用AI的核心壁垒。AI若要在物理世界安全运行,无法仅靠试错,虚拟训练环境势在必行。索辰科技依托

2026-05-21 12:06:07  |  16 阅读

端侧AI崛起:算力为何“下沉”车间?

展望2026年,开源AI智能体框架将迎来爆发,"本地优先"理念不再局限于边缘计算,而是成为制造车间的硬性指标。数据留在本地、决策不依赖云端、反应即时响应——随着智能体从"云端大脑"蜕变为"车间神经末梢",一场关于算力下沉的深刻变革正在上演。从"被动响应"迈向"主动决策"传统工业AI深受"云端依赖"困扰:设备先采集数据上传,待云端模型推理后再下发指令。这种"往返式"流程让车间设备沦为"感知器官",云端成了唯一的"大脑"。一旦网络波动或中断,决策链条便会瘫痪。延迟是核心痛点,百毫秒级的网络往返足以让高速产线的

2026-05-21 08:38:09  |  31 阅读

腾讯 Marvis 助手开启内测:打造操作系统级 AI 体验

5 月 19 日讯,腾讯近日正式拉开了个人智能助手 Marvis(马维斯)的邀请制内测序幕。Marvis 被定义为一款“操作系统层级”的智能助理,能够预装六位全天候在线的 AI 智能体,用户仅需通过自然语言即可实现对手机与电脑的全流程掌控。此外,该助手还支持端侧隐私保护模式,确保数据无需上云,并具备跨设备远程控制能力。据腾讯方面透露,Marvis 由腾讯应用宝团队倾力打造。在技术维度,它实现了“在电脑端操作手机应用”的功能,直接复用了应用宝在跨端运行领域的深厚积累;在生态维度,应用宝庞大的用户基础也助力

2026-05-20 18:49:09  |  12 阅读
摩尔线程发布万卡集群,构建全栈智算生态

摩尔线程发布万卡集群,构建全栈智算生态

5月20日下午,在摩尔线程年度产品发布会上,公司全方位展示了“云-边-端”全栈智算矩阵:从万卡规模的夸娥集群,到搭载自研“长江”SoC的MTT AICUBE与MTT AIBOOK;从数字智能体“小麦”,到加速物理AI落地的MT Lambda仿真平台,再到持续进化的MUSA生态,宣布全面贯通“云-边-端”智能算力体系。 如今,万物智能化浪潮涌动,算力基石作用日益凸显。在智算基建方面,摩尔线程以夸娥(KUAE)集群为核心,打造高性能AI底座。据悉,夸娥万卡集群已成功部署,多项核心指标对标国际主流:Dense大

2026-05-20 16:51:35  |  16 阅读

物理AI详解与产业链深度剖析

各位朋友,近期在梳理下半年的投资主线时,一个显著的趋势浮出水面:虚拟AI已火热逾半年,随着建国同志访华引发市场顺势调整,预计未来将进入震荡整理期。那么,下半年的机遇将何处寻?我认为将聚焦于物理AI。虚拟AI代表当下,物理AI则指向未来,且是触手可及的未来。鉴于近期诸多朋友询问物理AI的定义、其与现有AI的差异,以及产业链中值得关注的环节,本期视频将系统梳理物理AI的全产业链。本视频作为总纲,后续若有时间,将按细分赛道逐一拆解,若无暇则随缘更新,哈哈。首先明确大框架:何为虚拟AI?即我们当下使用的豆包、DS

2026-05-20 01:43:55  |  15 阅读

美格智能率先量产 77TOPS 模组,加速物理 AI 云端延伸

近日,美格智能在业内率先启动 77 TOPS AI 模组的批量交付,将 AI 硬件性能推至新高度,持续领跑端侧高算力赛道,助力物理 AI 快速落地。继成功研发并大规模部署 48TOPS 高算力智能模组后,美格智能再次彰显其在端侧 AI 领域的技术领导力。面对云端日益增长的低功耗推理需求,美格智能将依托端侧强大算力,融合高速互联的算力聚合技术,全力推动 AI 能力向云端延伸。从 48TOPS 跃升至 77TOPS:持续引领高算力 AI 模组技术革新此次规模交付的 SNM980 系列 AI 模组,基于行业领先

2026-05-19 19:37:47  |  15 阅读

AI 新趋势:边缘计算崛起,蒸馏技术重塑本地智能

理解 AI 为何必然走向边缘,不能始于硬件,而应源于对“心流(Flow State)”的深刻洞察。在 AI 芯片领域,长久以来我们受制于 NVIDIA 定义的“吞吐量(Throughput)”指标——即单位时间输出 Token 的数量。这好比衡量大巴车的载客量,只要一次能运送足够多人,便视为高效。然而,当 AI 转变为实时编程助手或虚拟伴侣时,底层逻辑彻底改变。若 AI 助手每秒仅输出 40 个词,你的思维将不断被打断,交互显得“割裂”;但若其速度达每秒 200 词,甚至快过阅读速度,AI 便从“对话框”

2026-05-19 19:32:51  |  12 阅读

北科瑞声 AI 星星猫:轻量化大模型重塑亲情陪伴

当业界仍沉迷于参数规模的比拼,北科瑞声已聚焦端侧轻量化应用,依托自研“潜岳”语音大模型,赋予小型硬件卓越智能。作为首款承载该模型的陪伴设备,AI 星星猫攻克了亲人声音克隆难题,仅需数分钟录音即可还原父母或子女的声线,彻底告别冰冷机械音。此外,其原生支持中、英、粤多语种实时互动,粤语识别高度契合日常口语习惯,有效打破了地域与语言的隔阂。在 2026 全球 AI 终端展上,AI 星星猫凭借“科技融合情感”的独特定位惊艳亮相,迅速成为端侧大模型落地的典范。对于职场父母,孩子独处时,它能用克隆的父母声音讲故事、辅

2026-05-19 08:54:30  |  30 阅读

端侧AI芯片加速物理世界智能化:泰芯半导体四款专用方案打通全域连接

当人工智能从云端走向现实物理世界,为何仍有九成设备面临“运行卡顿、传输受限、续航不足”的困境?2026年,全球人工智能迎来关键转折——物理AI与端侧AI正式步入规模化商用阶段。据弗若斯特沙利文最新数据,2024年全球端侧AI芯片市场规模已跨越百亿美元大关,年复合增长率超过40%,预计2030年将突破325.5亿美元。从智能机器人、AI眼镜到户外监控、智慧农业,端侧AI正以“毫瓦级功耗、毫秒级响应、美元级成本”的优势,成为AI赋能实体经济的核心载体。然而行业面临严峻挑战:云端算力再强大,也无法解决物理世界的

2026-05-18 18:12:00  |  19 阅读

华秋杯硬件大赛招募:抢高端 AI 开发板,赢万元奖金与京东卡

卷首语限时好礼承蒙各位厚爱与支持,我们特意奉上专属小惊喜:5 元代京东 E 卡(仅限前 30 名,以向小助理提交截图的时间先后为准)。参与流程十分便捷,只需将大赛推文分享至朋友圈并集满 10 个赞,随后截图发送给小助理微信,即可获赠一张 5 元京东 E 卡~赶快行动起来吧~记得第一时间添加大赛小助理微信并发送截图(opensrc_KLin)。官方指定参赛硬件六岳微 SYS‑F335D 国产 DSP 评估板奖池设置参赛赛道赛事说明赛事详情入口:https://p.eda.cn/act/hqcup2026(扫

2026-05-18 09:23:54  |  15 阅读