上海AI团队发布SIM1仿真器,柔性物体零样本操控突破90%成功率
在机器人技术领域,教会机器处理柔软物品——例如折叠T恤或整理毛巾——始终是一项棘手挑战。相较于坚硬的刚体,可变形物体的形态会随动作而变化,接触关系异常复杂。尽管当前的视觉语言动作模型(VLA)已在刚性物体操作中表现出色,但面对“软物”挑战时,常因缺少优质训练数据而表现不佳。
近日,上海AI实验室联合复旦、上海交大及北大科研团队推出了一项创新研究:SIM1。研究人员的核心构想是:既然现实数据采集成本高昂且耗时漫长,不如在虚拟环境中“制造”数据。然而传统仿真往往脱离实际,甚至会出现衣物像橡皮筋般乱飞的现象。SIM1通过构建“现实到仿真再回归现实(R2S2R)”的闭环体系,将仿真器升级为高精度的“数据扩增器”。
在探讨SIM1之前,需先了解传统方法存在的瓶颈。
传统的仿真到现实(S2R)迁移在刚性物体上效果尚可,但面对布料时却面临三大“陷阱”:首先是几何偏差,仿真中的衣物模型通常随意创建,与真实尺寸、纹理不符;其次是动力学缺陷,物理引擎主要面向刚体优化,模拟布料时易产生过度拉伸、穿透或异常抖动;最后是动作单元过于简化,单纯的“抓取-放置”无法完成复杂折叠任务。
研究团队认为,仿真失效并非因其“虚假”,而是未能“扎根现实”。若仿真中的物理规律与现实不符,即便生成海量数据也只是“空中楼阁”。
为此,SIM1构建了严密的三部分架构:场景数字化(SIM1-Scene)、物理仿真对齐(SIM1-Sim)及结构化数据生成(SIM1-DataGen)。
首要步骤是解决“形似”问题。研究团队采用专业级3D扫描仪(EinScan Rigil Pro),将T恤悬挂于模特身上,通过激光扫描与RGB图像融合,重建出亚毫米精度的几何模型。经泊松重建等后处理,这些衣物在仿真中不仅尺寸精确,连细微褶皱与纹理都得以还原。
这可能是SIM1最关键的技术突破。为使仿真中的布料“触感”逼真,研究团队引入了增强顶点块下降(AVBD)解算器。
传统物理解算器在处理机器人抓取布料时,常出现局部过度拉伸。SIM1在解算中加入了显式应变约束。简言之,即为布料每条边设定“安全阈值”,若拉伸超出预设比例(论文设定为5%),系统将激活虚拟弹性约束力。
其数学形式为:
约束违例时将触发惩罚能量项:
该设计有效防止穿透与过度形变。随后,通过双向同步机制,让仿真机器人与真实机器人执行相同动作,借助视觉比对微调杨氏模量、摩擦力等物理参数,直至二者表现“完全一致”。
借助精准仿真器,SIM1-DataGen负责批量产出数据。其采用“结构化分解”策略:
最终,通过基于ResNet-18与Transformer的视频判别器筛除物理不合理的样本,并结合Blender进行视觉随机化渲染。
研究团队在ARX ACONE双臂机器人上展开测试,任务为长周期(超20秒)的T恤折叠。
实验结果:
现实采集单条轨迹成本约2.71美元,而SIM1仿真生成成本仅0.10美元,降幅高达27倍。
SIM1的成功传递了明确信号:在具身智能领域,数据的“量”固然重要,但“物理对齐”的“质”才是通往通用性的关键。
通过将复杂物理规律“嵌入”仿真器,研究团队为机器人打造了完美的“训练场”。这种R2S2R闭环思维,或将成为未来解决更多柔性物体操纵的标准范式。目前代码已在GitHub开源。