人工智能28：Transformer MoE架构演进全景深度解读
当采用单层或多层网络同时学习多个子任务时，各子任务之间的梯度会产生相互冲突（interference），从而造成训练效率低下和泛化能力不足的问题。因此1991年提出的MoE仍属于稠密计算模式——每个样本都会经过所有专家处理，仅在输出阶段进行加权融合。它最初的设计目标是解决"任务分工与抗干扰"问题，而非后来大家关注的"节省算力"。将"软加权"转变为"Top-K稀疏激活"则是2017年之后才出现的技术。1994年，Jordan与Jacobs将其扩展为层次化MoE（树形结构，采用EM算法进行训练）2017年，S
墨芯人工智能携手产学研共建稀疏计算联盟,推动生态协同破解产业化难题
近期，墨芯人工智能（以下简称"墨芯"）宣布正式组建"墨芯稀疏计算产学研联盟"（以下简称"联盟"）。此举措是墨芯成长道路上的关键节点，意味着企业技术战略进入开放协作、生态共筑的新时期。联盟将通过产学研紧密结合的模式，促进稀疏计算的商业化应用，为中国AI算力的下一代新范式贡献力量。目前，AI Token经济正迎来井喷式增长时期。随着大规模模型API调用、智能体交互、多模态内容生成等应用场景迅速扩散，全球日均Token产出与消耗量呈指数级上升——据行业估算，仅我国AI服务的日均Token处理规模已从2024年初
稀疏注意力技术深度解析
自从2017年Transformer模型问世以来，基于自注意力（Self-Attention）的架构在自然语言处理、计算机视觉、多模态理解等众多领域取得了主导地位。其核心机制——缩放点积注意力（Scaled Dot-Product Attention）——允许序列中任意两个位置直接交互，从而捕获长程依赖关系。这种全局感受野是卷积神经网络（CNN）与循环神经网络（RNN）难以企及的优势。然而，全局注意力带来了致命的平方复杂度问题。设输入序列长度为nn，则注意力矩阵A∈Rn×nA∈Rn×n，计算复杂度为O(n
Transformer高效改进方案：X-Formers技术全景解析
高效Transformer变体（X-Formers）技术分类与深度解析原始Transformer面临的核心挑战在于自注意力机制带来的二次方计算复杂度，这直接导致了算力资源与显存容量的双重限制，难以应对超长文本、超高分辨率图像、大规模批量训练等实际需求。自2019年起，学术界与产业界为实现降低注意力计算开销、优化注意力建模机制、增强长序列处理能力、减少计算资源浪费等目标，陆续提出了数百种Transformer改进方案，统称为X-Formers。本章节依据技术优化机制，将X-Formers划分为稀疏注意力、局
大模型背后的稀疏矩阵技术
学过线性代数的朋友应该都清楚，矩阵（Matrix）本质上就是将数据按照矩形网格形式排列的集合，这些数据可以是复数也可以是实数。这里就不给出过于学术化的定义了，毕竟这不是专门的数学教程。对很多人而言，矩阵都是个比较抽象的概念。对于纯编程出身的开发者来说，矩阵的应用场景相对有限，通常集中在游戏开发或图形渲染领域。但对于信号处理和电子工程领域的人来说，矩阵的使用频率就高多了。随着人工智能和大型语言模型的兴起，矩阵的用武之地变得越来越广阔。在之前学习AI和大模型的过程中，我们多次接触到稀疏矩阵及其相关的LoRA等
AI核心：自编码器的工作机制
前言：当机器掌握了“自我复制”的能力试想一下，面对一幅细节精美的油画，虽然赏心悦目，但庞大的体积却成了存储和传输的负担。我们能否将这幅画转化为一串简短的“密码”，在需要时再将其还原为近乎原作的视觉体验？这正是自编码器所实现的——不过，它的应用范围远超图像，涵盖了声音、文本、传感器数据乃至社会活动的各类复杂信息。自编码器是一种独特的神经网络，其主要功能看似简单：将输入数据复制到输出端。但这绝非简单的复制粘贴，而是一个必须经历“压缩-解压”过程的任务，迫使模型去提炼出数据中最核心、最重要的特征。正是这种“被迫
Vortex：赋能 AI 智能体的高性能可编程稀疏注意力框架
一问题背景在推理、AI 智能体、强化学习等应用场景中，LLM 输出长度不断增加，解码阶段的键值（KV）缓存数据传输成为系统核心瓶颈，稀疏注意力技术因此获得广泛运用。当前稀疏注意力既作为 DeepSeek、GLM-5.1 等主流模型的基础架构，也可作为插件对现有预训练模型进行性能优化。二架构设计与核心组成Vortex 系统由 vFlow 前端编程语言、解释器、基于 vTensor 的执行后端三大部分构成，同时与现代化 LLM 服务栈深度整合，在可编程性与运行效率之间取得良好平衡。（一）核心抽象：vTenso
稀疏计算先驱墨芯人工智能完成近10亿元C轮融资
当前，国产AI芯片产业已进入规模化商用与业绩兑现的关键阶段。据行业预测，2026年国内AI芯片市场规模有望突破3000亿元，年复合增长率超过50%。以华为昇腾、寒武纪、海光信息为代表的头部厂商形成"三足鼎立"格局，多款产品已实现万卡级出货，在金融、电信、互联网等关键领域加速渗透。同时，端侧AI推理芯片迎来爆发，随着AI推理需求超越训练需求成为主导，国产芯片在安防、智能汽车、AIoT等场景的应用深度持续拓展，产业链从设计、制造到封测的协同能力显著增强。国产AI芯片正面临"需求拉动、政策推动、技术突破"三重共
墨芯 AI 斩获近 10 亿 C 轮，引领国产稀疏计算新风向
今日，作为国内 AI 推理算力领域的领军者，墨芯人工智能正式宣告完成接近 10 亿元人民币的 C 轮融资，此举成为近期国产 AI 芯片行业中规模最为宏大的融资案例之一。本轮投资由深创投、岩山科技、大湾区共同家园、力鼎资本及蕴盛资本等产业资本与市场机构共同领投，凯旋创投、创享投资、盛景嘉成等既有股东继续追加投入。这种“国资 + 产业 + 财务”的多元化股东架构，为墨芯的技术迭代升级与商业化进程奠定了坚实基础。此次募集的资金将主要投入到新一代 SparsePrime®AI 通用推理计算卡的量产与市场推广中，同
墨芯完成C轮融资，下一代稀疏芯片SparsePrime年内面世
知名企业墨芯人工智能近日宣布完成C轮融资，金额高达十亿元人民币。此次融资吸引了深创投、岩山科技、大湾区共同家园、力鼎资本、蕴盛资本等产业巨头及市场机构，凯旋创投、创享投资、盛景嘉成等多家老股东跟投。这种“产业巨头+国资背书+财务资本”的多元股东结构，不仅保障了技术协同的深度，也为墨芯在全国算力网络布局中提供了坚实的资源保障与产业支撑，标志着稀疏计算正从技术验证阶段加速迈向规模化产业爆发的新时期。就在融资宣布之时，公司核心新品——全新一代计算卡SparsePrime®（以下简称“SparsePrime®”）
墨芯人工智能完成近十亿元C轮融资，推进AI推理芯片商业化
近日，墨芯人工智能正式完成C轮融资，金额近十亿元人民币。据悉，融资资金将重点投向全新一代计算卡SparsePrime的量产与商业化，以及全国算力网络版图的进一步扩张。2021年，真格基金参与其Pre-A轮融资，一路陪伴至今。融资宣布之际，公司核心产品全新一代计算卡SparsePrime将于今年内正式推出。SparsePrime计算卡是一款面向智算中心和数据中心的高性能AI通用推理计算卡，基于自研的Antoum2.0芯片架构，专为大模型与复杂推理场景优化设计。该产品采用自顶向下的整体设计理念，广泛适用主流T
深度解析AI上下文窗口算法机制-人工智能基础系列七
深度解析AI上下文窗口算法机制一切始于2017年谷歌发布的一篇开创性论文。那一年，《Attention Is All You Need》问世，正式提出了Transformer架构。Transformer的核心在于Self-Attention（自注意力）机制。然而，自注意力的计算复杂度会随着输入序列长度的增加而呈爆炸式增长。当你向AI输入一句话时，其内部究竟是如何运作的？第一步：将输入的每一个词转化为三个向量——Q（Query查询）、K（Key键）、V（Value值）。第二步：计算“谁关注谁”。具体而言，每
AI下半场新战场：能效制胜
先描绘一个场景。2025年，美国得州一座新建的AI算力中心旁，巨型柴油发电机日夜不息。周边数公里内的居民察觉，自家电费悄然上涨。这并非孤例。Google、Microsoft、Amazon、Meta四巨头在2025年的AI基建投入，总计将突破2000亿美元大关。这笔巨资，绝大多数流向了电力消耗。大模型的军备竞赛已持续数载，此前各方比拼的是参数规模与显卡数量。然而如今，一个更本质的议题浮出水面：AI的博弈，正从“跑得快”转向“用得省”。为何是此刻？大模型竞争的焦点，正由训练阶段转移至推理阶段。训练旨在构建模型
AI能否被视作社会生产力？
这一点值得我们认真想一想：AI究竟算不算社会生产力？如果答案是肯定的，那么它体现出来的“能力性格”又是什么？它与蒸汽机、电力、互联网这些技术的性质又有哪些差异？DeepSeek V4，究竟打破了哪层常规认知？V4的到来，至少在三个方面让“AI=生产力”这一判断更接近现实：智力被做成“可复制的大规模生产力”回顾人类每一次生产力跃迁，通常都在解决某种稀缺。蒸汽机主要缓解的是体力的不足，电力突破的是能源在距离上传输的限制，互联网则减少了信息传递的短板。而AI要跨越的，是“智力本身”的稀缺问题。呈现出“越用越便宜
2026年大模型冲刺加速：具身智能成本破15万
进入2026年，AI发展正以更快的节奏在全球扩散。从斯坦福近期出炉的《AI指数报告》，到国产大模型在海外市场频频亮相，再到人形机器人成本跌破15万元线——这些数据背后，指向的都是一场正在加速的产业变革。下面为你梳理近期最值得重点关注的AI技术动态。斯坦福大学以人为本人工智能研究院在2026年4月发布了最新《AI指数报告》，并通过12张关键图表呈现全球AI发展全貌。📊 模型研发：美中领跑，欧洲相对滞后在2025年全球主要AI模型成果中，美国贡献50个、中国贡献30个，而欧洲仅有2个，差距显著。另一个现象是：