仅凭本体感知即可应对复杂地形：上海 AI Lab 推出全新四足机器人控制框架 HIM

全称：混合内模：利用仿真机器人响应学习敏捷的足式运动

作者：Junfeng Long1,∗Zirui Wang1,2∗, Quanyi Li1, Jiawei Gao1,3, Liu Cao1,3, Jiangmiao Pang1 1OpenRobotLab, Shanghai AI Laboratory, 2Zhejiang University, 3Tsinghua University

链接：https://doi.org/10.48550/arXiv.2312.11460

目前，基于深度强化学习的四足机器人操控已获显著成就，然而“仿真至现实（sim2real）”的隔阂仍是核心难题。真实机器人仅能获取带噪声的本体数据（如关节位置、速度、IMU 姿态），无法直接获知地形高程图、地面摩擦系数、恢复系数等关键外部状态。传统方案多采用“教师 - 学生”或“快速适应”的双阶段训练模式，即先训练可访问特权信息的教师网络，再通过模仿学习或网络适配让学生网络在无外部感知下运行。然而此类方法存在两大顽疾：

信息损耗：学生网络难以完美复刻教师行为，导致性能大幅下滑；

噪声过拟合：直接回归环境参数易受域随机化噪声干扰，引发表征崩溃。

HIM 的定位：它摒弃了“先学环境参数再适应”的固有思维，转而估算机器人在当前环境下的“响应”（涵盖显式的速度响应与隐式的稳定性响应），从而间接推导环境特性。该理念与经典控制中的内模控制（IMC）一脉相承，却在深度学习框架下实现了端到端的可训练部署。

HIM 将四足机器人运动控制建模为部分可观测的马尔可夫决策过程（POMDP）。所谓“部分可观测”，源于真实机器人无法直接获取地形摩擦系数、地面高度图、恢复系数等外部环境状态，而这些恰恰是运动控制的关键。

价值网络（Critic）在训练阶段可访问额外的“特权信息”（privileged information），以获取更精准的状态值估计。这些信息在现实世界中无法获得，仅存于仿真训练中：

文中明确列出了 Unitree 系列机器人的 PD 参数：

注意：这些是每个关节共用的全局增益值（即对角矩阵的对角线元素一致）。

经典控制理论的内模控制（IMC）原理表明：我们无需直接建模外部扰动，而是通过构建被控对象的内部模型来模拟系统响应，进而间接估算扰动，实现鲁棒控制。

将此思想迁移至四足机器人：外部环境（地形摩擦、高程、恢复系数等）即系统扰动，虽无法直接测量，但其效应完全体现于机器人运动响应中——即机器人“走得稳不稳”、“速度跟不跟得上”、“姿态歪不歪”。

因此，HIM 的核心在于构建历史编码器，从过往几步的本体感知序列中提取“当前环境的响应特征”。

换言之，策略网络同时接收“当前观测”与“从历史中提炼的环境响应特征”。这构成了闭环控制：历史 → 响应估算 → 动作输出 → 新历史 → 更新响应估算。

区别于传统“端到端 LSTM 记忆”，HIM 显式引入“环境响应”作为可解释的中间变量，使策略能更高效地利用历史信息。

直觉：同一地形下，相似的过去将导向相似的未来状态；不同地形下，即便过去相似，未来也会因地形差异而不同。

论文通过实验及 t-SNE 可视化证实，对比学习获得的隐式表征比纯回归方法更具区分度。其根本原因在于：

回归方法:

对比方法:

其核心优化目标为：

令同一轨迹中历史观测与未来观测的隐式响应在特征空间内靠近，令不同轨迹的隐式响应彼此远离。

为何该目标能产生清晰分离的聚类？

直观理解：对比学习宛如一位“考古学家”——它无需知晓每件文物的确切年代，只需通过比对不同文物的纹理、材质，便能将其划分为不同的文化层。且划分越清晰，越有助于理解整个遗址（= 控制任务）。

两者区别:

一个直观的类比：回归方法试图“记忆”每种地形对应的传感器读数，而对比学习方法试图“理解”不同地形下机器人响应的相对关系。后者显然具备更强的泛化能力。

首次将内模控制原理引入学习型足式运动：不直接估算外部环境，而是估算机器人自身响应，规避了复杂环境建模的难点。

以对比学习取代回归：利用批量级信息（不同地形的差异）学习隐式表示，对噪声更鲁棒，样本效率更高。

极简传感器配置：仅需关节编码器加 IMU，无需相机、激光雷达等外感知设备，通用性极强，可低成本部署于多种四足平台。

极速训练速度：1 小时训练即可部署，大幅缩短研发迭代周期。

惊人的泛化能力：即便面对训练中未见的组合地形（碎石加楼梯）、可变形软床、长距离楼梯等，HIM 依旧表现优异，展现出开放世界的适应性。

论文设计了极为严苛的实机测试，部分结果如下（数据由笔者整理，代表性能对比）：

在仿真消融实验中，HIM 的线性速度跟踪评分（NLTS）和角速度跟踪评分（NATS）均显著优于无 HIM 基线、纯回归方法及 RMA，且最接近“Oracle”（拥有全状态特权）的上限性能。

作者坦诚指出，当前方法完全依赖本体感知，缺乏视觉等外部感知，因此机器人尚不具备“看”的能力，无法应对需远距离规划的高层任务。未来，他们将把 HIM 与视觉感知结合，以攻克更具挑战性的环境和更复杂的运动技能。

HIM 凭借极简的传感器配置、极短的训练时间和极强的泛化能力，为四足机器人在真实世界中的鲁棒运动控制提供了全新思路。它不仅验证了“通过响应反推环境”这一内模控制思想在深度学习时代的生命力，也再次证明了对比学习在机器人表征学习中的巨大潜力。