视频模型学会穿墙术?蚂蚁开源具身智能视频底座:画面精美还不够,还得懂物理因果
当你让视频模型生成"往杯子里倒水"的场景,效果细腻到无可挑剔:水流的光泽、玻璃的折射、光影的层次,全都恰到好处,仿佛请来了一流灯光师亲自操刀。
结果水直接穿透了玻璃杯壁,扬长而去,一滴都没留下。
动作干脆利落,毫无违和感,液体仿佛拿到了穿墙特批。
这类翻车,2026年一批主流视频生成模型几乎无一幸免。画面精美到能以假乱真,物理逻辑却连半秒都经不起推敲。
科技账号AI Frontliner把这段对比发到了X上,配文判断很直接:
"It looks perfect and the physics is nonsense."
「画面看起来完美,物理却完全离谱。」
刷到这条视频的普通网友,顶多把它当成一个"AI又犯傻了"的梗图,笑完就划走。可如果这套系统要指挥一只真正伸手去抓杯子的机械手,一个连水会不会穿墙都判断不出来的模型,后果就不只是好笑了。
蚂蚁集团旗下具身智能公司Robbyant(灵波),显然把这条吐槽当成了正经的技术命题。7月上旬,他们开源了一款叫LingBot-Video的视频基础模型,目标只有一条:视频模型不能只顾着好看,还得弄明白一个动作会怎样改变这个世界。
▲ AI Frontliner:让视频模型生成"倒水",水却穿透玻璃杯,「画面完美,物理离谱」
穿模在视频生成圈算不上新闻,是心照不宣的老毛病。这几年这类模型进步飞快,分辨率、时长、镜头可控性,几乎年年翻倍。但机器人实验室里的人反复撞见同一批失败:夹爪合拢了,物体却没跟着动;东西被遮挡一下,再露出来就换了个形状;细长的杆子插不进该插的孔。
病灶在打分表本身:从头到尾,没人要求模型对物理负责。
如果一个模型只被要求"好看"、"贴合提示词"、"运镜顺畅",它能找到的最优解,完全可以是一段视觉上无懈可击的假动作,水的反光调得很美,只是没人告诉它水不能穿墙。
alphaXiv的官方账号@askalphaxiv把这套逻辑压成一段短评,配上LingBot-Video的论文首页发到了X上:
"As most video models learn appearance, this paper LingBot-Video tries to learn action, motion, and physical cause-and-effect."
「大多数视频模型学的是外观,而这篇论文提出的LingBot-Video,试图学习动作、运动与物理因果。」
论文题目是《Scaling Mixture-of-Experts Video Pretraining for Embodied Intelligence》,编号arXiv:2607.07675。开篇就点破了行业的病灶:视频生成模型这些年一直在为内容创作服务,视觉保真和创造力优先,效率和物理真实从来排不上第一位。
▲ alphaXiv:「一个为机器人而生的视频模型」,配论文首页截图,4.5K次查看
LingBot-Video早已跳出论文阶段,是能下载、能跑起来的开源模型。官方账号@robbyant_brain的宣布推文里,把它拆成三条关键指标:
"30B params, only 3B active at inference. Augmented with 70K hours of embodied data on top of large-scale internet video pretraining. Already outperforming Wan2.6, Seedance 1.5 Pro, and Cosmos3 Super on RBench."
「总参数300亿,推理仅激活30亿;在大规模互联网视频预训练之上,再注入7万小时具身数据;已在RBench上超越Wan2.6、Seedance 1.5 Pro与Cosmos3 Super。」
这条推文采集时的浏览量已经冲到114.8万,点赞1.1K。对照最早带起这个话题的alphaXiv种子帖只有4.5K浏览,舆论真正的中心在官方账号本身,alphaXiv更像是把论文翻成大白话的那个转述者。
模型分两档:主力型号LingBot-Video-MoE(30B-A3B)配级联精修器,扛复杂任务;轻量款LingBot-Video-Dense(1.3B)给单卡用户当入门。代码用Apache-2.0协议全开源,GitHub、Hugging Face、ModelScope三线分发。
▲ Robbyant官方账号宣布开源LingBot-Video,采集时浏览量约114.8万,点赞1.1K
300亿参数只激活30亿,靠的是一套叫混合专家(MoE)的架构设计。
稠密模型处理每一帧画面,都要把整个巨型网络从头跑到尾,像是不管什么病人,全院医生都用同一套诊疗模板走一遍。LingBot-Video换了个方式:先设一个分诊台(router),把不同的计算需求送到对应的专科专家手上,同时留几个"全科医生"(共享专家)兜底通用的物理和空间常识。
视频这种数据格外需要这种分工。同一帧画面里,可能同时装着金属反光的材质计算、接触事件的时序对齐、文字实体的语义匹配,扩散过程里不同噪声阶段该关注的重点也完全不同,全塞进一套稠密网络,各个子任务会互相打架。
论文的消融实验显示,专家数量从64涨到128,效果提升明显;再往256涨,收益开始摊薄,团队最终把默认值定在128。专家切得越细,路由的组合空间越大,效果反而优于粗粒度切分。
效率账算下来:在百万token级别的长视频序列上,30B-A3B相对同等总参的稠密模型,推理速度差不多是3.18倍。这笔账的分量超过跑分游戏本身,机器人做规划要在"脑子里"反复预演很多遍,每预演一次都要真金白银烧算力,谁烧得起、烧得快,从根本上决定这套系统能不能塞进一个实时控制环里。
▲ Robbyant官方技术拆解图,采集时3.3K次查看:左图数据画像五维度,右图DiT+稀疏MoE架构示意
互联网上从不缺视频,缺的是动作改变世界的那一段。
网上能找到无数条"猫跳上桌子"的镜头,剪辑精美、角度多样,但没有一条会告诉你猫爪子踩下去那一刻桌布的摩擦力有多大。这类内容的基因是观赏,从来没打算教会谁怎么和世界互动。
LingBot-Video在互联网视频之外,额外注入了7万多小时的具身数据:机械臂和人形机器人执行抓取放置的操作视频(VLA)、移动视角里路径随场景变化的导航片段(VLN)、头戴或胸戴相机拍下的第一人称手部交互(egocentric)。这些数据教给它的,是"手伸过去,东西会怎么动",互联网视频教的,只是画面该长什么样。
数据处理上,团队搭了一套数据画像引擎,从结构、语义、运动、镜头语言、质量五个维度给每条素材打分,再配一张"世界知识拓扑图",按语义树和动作树统计训练损失,长尾难例被主动加权,已经喂饱的简单样本被主动降权。
训练走的是五阶段课程,像训练一名运动员:第一阶段先练基础体能(低分辨率图像质量过滤);第二阶段就加练最珍贵的专项,正是这一步,7万小时具身数据被正式请进训练场;第三阶段把训练场地标准拉高(480p更严过滤);第四阶段专攻薄弱项目,普通网络视频从严筛选,稀缺的具身数据反而放宽尺度;第五阶段冲刺细节,用1080p精品数据训练最后的精修模块。
如果打分的裁判只看"选手好不好看",选手学会的动作大概率是摆造型,完成动作本身反而顾不上。
过去的视频模型后训练,评分标准基本绕着美学、文本对齐、运动是否流畅转,说到底还是"好不好看"这一个维度的不同变体。LingBot-Video往裁判席上多请了几位评委:一位专门盯物理合理性:东西会不会凭空消失(物体恒存)、固体之间会不会互相穿透、液体会不会违反容器的边界;另一位专门看任务完不完成,不管镜头多顺滑,杯子没被抓稳就是没抓稳。
这套多维奖励,是这篇论文在训练目标层面最激进的一步。它相当于宣布:以后光靠好看拿不到满分了。
代理指标终归是代理指标,机器人学界的老问题在这里同样成立:模仿动作的外形,不保证目标真的达成了。如果任务向的奖励给得过重、物理向的给得太轻,模型完全可能学出"剪辑式完成"这种投机取巧的路数,物体瞬移到终点,糊弄过关。公开材料也反复强调需要人工抽检,不能把奖励模型打的分数当成终审。
数字最终要落到一张公开榜单上。RBench是官方给出的机器人相关生成能力评测,结果如下:
平均分反超三个对手,这在"开源打赢闭源"的话题上确实有杀伤力。但拆开分项看,Wan 2.6在空间关系判断、单双臂精细操作、推理类任务上仍然领先或者持平。平均分第一,不等于每一项都赢,四足行为生成上0.758的分数一骑绝尘,但要是任务是双臂精细空间操作,闭源方案眼下依然是一个诚实的选项。
▲ Robbyant官网项目页:LingBot-Video定位为「首个面向具身智能的开源MoE视频基础模型」
热闹背后,质疑一直没断。
有人对着"7万小时"这个数字皱眉。X用户Suresh的评论很不客气:
"70k hours of robot data, but half of it is just the same tabletop task filmed five ways."
「7万小时机器人数据,但一半可能只是同一种桌面任务拍了五种机位。」
时长堆得再高,如果场景高度重复,模型学到的多样性照样有限,这条怀疑目前停留在观点层面,没有实证,但足够刺耳。
另一类质疑瞄准了更根本的东西。用户Indo_Como等人提醒:像素层面的完美,换不来真实的力反馈和摩擦系数,不能指望靠看几段生成的片段,就学会一只手抓住湿滑的杯子该用多大力气。
语气相对温和的,是研究者elvis(@omarsar0):
"The use of MoE stands out to me. 3B active out of 30B is promising for long-context embodied workloads where inference cost is a real bottleneck. Curious how the physical-reasoning rewards hold up on downstream robotics tasks. Nice release."
「MoE的设计最打动我。300亿总参里只激活30亿,对长上下文的具身负载很有希望,推理成本确实是真实瓶颈。但我很好奇,物理推理奖励放到下游机器人任务里,到底能撑住多久。不错的发布。」
这条评论,大概率是整场讨论里最值得记住的一条,效率的账已经算清楚了,物理认知能不能扛住真实世界的检验,还没有答案。
▲ 研究者elvis(@omarsar0)评论,1.4K次查看:认可MoE效率设计,同时追问物理推理奖励能否扛住下游机器人任务
有一点容易被忽略:LingBot-Video吃的是文字、图像,外加动作序列做条件,吐出来的是视频。它并不输出关节角度,驱动不了一只机械手现在就去拧瓶盖。
同一周,Robbyant还在推自家的LingBot-VA,一套把"预测下一帧"和"解码具体动作"绑在同一个框架里的模型,主打控制闭环;以及更早开源的LingBot-World,偏向可交互的世界模拟沙盘。三者摆在一起看,更像一条产品阶梯:感知层的Vision/Depth负责看清世界,LingBot-Video负责理解"动作会怎样改变世界"这层动力学,VA/VLA系列才负责真正把这份理解变成一次抓取动作。
把LingBot-Video等同于"已经能控制真机的机器人大脑",是一种过度解读。它在整条具身智能技术栈里,更像是补上了一块可物理接地的视觉动力学底座。
视频生成模型正在经历一次身份转变,从服务短视频和广告片的内容工业引擎,变成机器人工业里的一块想象力模块。
LingBot-Video有没有真正治好视频模型的"物理幻觉",答案不会写在论文摘要里,得靠独立复现和真实机台上的长程任务去验证。但它至少把问题问得足够尖锐:如果打分表上只写着好不好看,模型就会学会体面地违反物理;如果喂给它的只有电影镜头,它就永远学不会一只夹爪该用多大力气。
开源300亿参数的模型权重,搭上7万小时具身数据的训练配方,这一步把行业从"再做一个更好看的视频模型"这道选择题,往前推到了"做一个更懂动作后果的视频模型"这一格。
下一步该往哪走,或许早就不再取决于哪个模型的平均分能再涨零点零几。真正的分数板,摆在实验室那些会打滑、会反光、会被夹爪遮住半边的杯子上。