Vortex：赋能 AI 智能体的高性能可编程稀疏注意力框架

一

问题背景

在推理、AI 智能体、强化学习等应用场景中，LLM 输出长度不断增加，解码阶段的键值（KV）缓存数据传输成为系统核心瓶颈，稀疏注意力技术因此获得广泛运用。当前稀疏注意力既作为 DeepSeek、GLM-5.1 等主流模型的基础架构，也可作为插件对现有预训练模型进行性能优化。

二

架构设计与核心组成

Vortex 系统由 vFlow 前端编程语言、解释器、基于 vTensor 的执行后端三大部分构成，同时与现代化 LLM 服务栈深度整合，在可编程性与运行效率之间取得良好平衡。

（一）核心抽象：vTensor 页式张量

三

实验方案与关键结论

测试环境配置 NVIDIA H200 SXM、B200 GPU，评测模型涵盖 Qwen3 系列、GLM-4.7-Flash、2290 亿参数 MiniMax-M2.7，评测基准为 AMC23、AIME24 长文本推理任务，从 AI 智能体算法生成、新架构适配、大规模模型部署、延迟优化四个维度验证系统性能。

（一）AI 智能体驱动的稀疏注意力算法创新与演进

四

技术贡献与创新亮点

架构创新：提出 vTensor 页式张量与 vFlow 编程模型，业界首次实现稀疏注意力算法的低代码开发，将新增算法的工程实现工作量从数千行代码压缩至数十行；

AI 与算法研发结合：构建 AI 智能体自主探索、迭代稀疏注意力算法的完整链路，开辟稀疏注意力自动化研究新方向；

全场景覆盖能力：支持静态 / 动态稀疏注意力、GQA/MLA 主流架构，兼容十亿至两千亿参数规模的各种 LLM，支持单卡、分布式多卡部署方式；

落地效果显著：在主流 GPU 与真实长文本推理场景中，达到最高 4.7 倍吞吐量提升、十余倍延迟下降，理论优化全面转化为实际工程价值。

五

不足与后续展望

（一）当前局限

六

总 结

Vortex 是一套面向现代 LLM 服务栈的可编程、高性能稀疏注意力部署系统，通过 vTensor 与 vFlow 双层抽象解决了页式布局下稀疏算法开发难度大、兼容性差的问题。借助该系统，研究人员能够快速设计、验证定制化稀疏注意力算法，AI 智能体也可自主完成算法生成、迭代与优化工作。