标签

直播预告丨AI推理性能深度优化:openFuyao InferNex如何大幅降低TTFT

当算力规模迈入万卡集群、单日Token处理量迈入万亿级别的今天,传统推理架构在KVCache的高效复用、长上下文显存调度、Prefill/Decode资源协同等关键环节遭遇全新的技术挑战。毫秒级的延迟波动与显存资源的无效占用在大规模推理业务场景下会被持续放大,不仅显著推高运营成本,也对终端用户体验带来不利影响。InferNex作为openFuyao面向多样化算力与灵衢高性能总线协议打造的云原生分布式推理加速套件,依托智能路由、PD分离式弹性伸缩决策框架、分布式KVCache管理、推理全链路可观测四大核心子

2026-08-11 15:19:22  |  53 阅读

AI 新蓝海:连接赛道崛起

AI 产业连接赛道全景系统分析报告 一、客观事实陈述 1. 行业标志性事件 台北 ComputeX 电脑展期间,英伟达 CEO 黄仁勋公开预言迈威尔将跻身万亿市值俱乐部;消息公布当天,迈威尔股价飙升逾 32%,市值瞬间冲破 2500 亿美元大关。迈威尔的核心业务专注于 AI 数据中心的高速连接硬件及解决方案。 2. AI 产业三阶段演进路径 AI 产业迭代清晰划分为算力、存储、连接三大核心壁垒赛道。算力赛道孕育了英伟达这样的万亿巨头,存储赛道也诞生了国际顶尖的存储巨头;当前产业重心已全面转向连接赛道,这将

2026-06-09 04:20:53  |  22 阅读

算力新范式:英伟达携手电网打造变电站旁微型集群

点击蓝字 关注我们SUBSCRIBEto USStuart Bradford作者:Emily Waltz, Dina Genkina随着数据中心能耗激增,人工智能产业被迫在电力获取途径上寻求突破。其中一种创新方案是:在公用变电站邻近区域部署微型数据中心,并实施协同调度,依据电力盈余状况动态迁移计算负载。这正是英伟达及其合作伙伴计划于年内晚些时候启动试点项目所遵循的理念。他们拟在美国五家公用电力公司的管辖范围内,构建约25座此类小型数据中心,单座规模介于5至20兆瓦之间。一旦某座变电站负荷过载或遭遇停电,计

2026-05-14 15:38:12  |  36 阅读