由亚马逊FAR实验室与斯坦福大学等机构联合研发的ResMimic，是一套专为解决人形机器人全身行走-操作（loco-manipulation）问题设计的两阶段残差学习框架。该框架构建于经大规模人类运动数据预训练的通用运动跟踪（GMT）策略之上，通过轻量级残差策略的优化，精准嵌入物体交互逻辑——既延续了人类运动的自然表现力，又达成了高精度的物体操作效果，有效破解了“单纯运动跟踪缺乏物体意识、专用操作策略泛化能力弱”的核心痛点。目前，ResMimic已成功部署在Unitree G1机器人平台，可稳定完成跪姿拾物、背负重物、深蹲举箱等复杂全身协同任务。

项目地址：https://resmimic.github.io/

人形机器人的核心价值在于其类人形态带来的场景适配性，而实现 “行走（locomotion）” 与 “操作（manipulation）” 的协同（即 loco-manipulation），是其落地的关键前提。然而长期以来，这一目标面临三重核心挑战：

1. 数据稀缺性：全身移动操作需要同时兼顾平衡控制、物体交互、动作协调，高质量数据的采集成本极高，难以规模化获取；

2. 精度与泛化矛盾：专注单一任务的控制器（如仅负责行走或桌面操作）无法迁移到复杂场景，而追求通用性的方案又往往牺牲操作精度；

3. embodiment gap（具身差异）：直接将人类动作复现到机器人时，会出现接触点偏移、物体穿透或悬浮等问题，导致动作失效。

传统方法要么割裂行走与操作（如先站稳再动手），要么依赖高度定制化的任务设计，难以实现灵活、精准的全身协同。

人类的移动操作能力源于 “通用运动基础 + 任务特异性调整”—— 我们先掌握行走、平衡等通用技能，再针对搬东西、开门等任务优化细节。这一逻辑与 AI 领域成熟的 “预训练 - 微调” 范式不谋而合。ResMimic 正是基于这一洞察，试图通过 “通用运动先验 + 残差修正” 的框架，解决移动与操作的协同难题，同时规避数据稀缺和具身差异带来的问题。

ResMimic 的核心创新是两阶段分离式学习框架，通过 “通用运动打底 + 任务残差修正”，实现高效、精准的全身移动操作控制，每一步设计均严格对应论文验证的技术路径：

研究团队首先训练了一个任务无关的通用运动跟踪（GMT）政策，作为机器人的 “基础运动能力库”：

1. 数据支撑：采用 AMASS、OMOMO 等公开运动捕捉数据集，筛选后包含 15000 + 片段（约 42 小时）的纯人类运动数据，不含物体交互信息，避免数据污染；

2. 训练目标：让机器人能高保真复现人类的基础全身动作（如行走、跪姿、深蹲），核心指标是关节角度跟踪精度和身体平衡稳定性；

3. 关键设计：输入包含机器人本体感知（关节角度、角速度、动作历史）和未来 10 帧的参考运动，让政策具备动作预判能力，提升跟踪平滑度。

这一阶段的核心价值是构建 “通用运动先验”—— 机器人无需针对特定任务重新学习平衡、迈步等基础技能，为后续操作任务减负。

在 GMT 政策的基础上，训练一个轻量级残差策略（π_Res），专门解决 “物体交互” 的特异性问题：

1. 输入扩展：在 GMT 的输入基础上，新增物体状态（位置、姿态、速度）和物体参考轨迹，让政策具备 “物体意识”；

2. 动作生成：最终动作 = GMT 输出的基础动作 + 残差策略的修正动作（Δa_res），修正量聚焦于物体交互相关的精细调整（如手部握力、躯干姿态补偿）；

3. 训练效率：由于基础动作已由 GMT 保障，残差策略仅需优化局部细节，大幅降低训练数据量和迭代成本。

这种 “基础 + 修正” 的架构，既保留了 GMT 的类人运动优势，又解决了物体交互的精准性问题，完美规避了 “从头训练” 的低效陷阱。

为解决残差学习中的优化稳定性、交互精准性问题，ResMimic 设计了三项核心支撑技术，均经过仿真与实机验证：

传统物体跟踪奖励仅计算中心位置和姿态差异，容易忽略局部交互精度。ResMimic 通过在物体表面采样 N 个 3D 点，计算当前点云与参考点云的整体误差，自然融合平移和旋转信息，奖励函数更平滑，优化过程更稳定，避免局部最优解。

为鼓励机器人采用类人的全身接触策略（而非仅依赖手部），研究团队将机器人身体划分为躯干、髋部、手臂等关键链路，基于人类演示数据获取 “理想接触区域”，通过奖励函数引导机器人在正确区域与物体建立有效接触。这一设计让机器人能利用全身承重（如用躯干辅助托举），突破了单纯手部操作的负载限制。

针对训练初期的不稳定性（如物体被撞翻、动作穿透），ResMimic 引入虚拟力引导：通过 PD 控制器对物体施加虚拟力，初期强引导物体贴合参考轨迹，后期逐渐减弱引导，让政策自主掌握交互逻辑。这一课程式训练策略大幅降低了早期训练失败率，加速了收敛。

ResMimic 的有效性通过 “仿真对比 + 实机部署” 双重验证，测试平台为 Unitree G1 人形机器人（29 自由度，身高 1.3m），核心实验结论均来自论文公开数据：

在 MuJoCo 仿真环境中，针对四项核心任务（跪姿拾箱、背部运箱、深蹲拾箱、椅子搬运），ResMimic 与 “基础 GMT 政策”“从头训练”“GMT 微调” 三种基线对比，表现如下：

1. 任务成功率：ResMimic 平均达 92.5%，而基线最高仅为 10%（基础 GMT）；

2. 训练效率：收敛迭代次数平均仅 1300 次，远低于 “从头训练” 的 4500 次和 “GMT 微调” 的 2400 次；

3. 跟踪精度：物体跟踪误差（Eo）平均 0.12，运动跟踪误差（Em）平均 0.13，均显著低于所有基线。

值得注意的是，ResMimic 在 IsaacGym 中训练后，迁移到 MuJoCo（更贴近真实物理）时性能几乎无衰减，验证了其鲁棒性。

在 Unitree G1 上，ResMimic 成功演示了以下经论文验证的能力：

1. 重物搬运：通过全身接触，稳定搬运 4.5kg 物体（超过机器人手腕 2.5kg 的额定负载）；

2. 不规则物体适配：成功操作椅子等非规则形状物体，体现实例级泛化能力；

3. 全身协同动作：完成跪姿拾物、深蹲拾物、背部运箱等需要全身协调的动作；

4. 抗干扰能力：在外部轻微扰动下，仍能保持平衡和物体控制。

结合论文实机演示和技术特性，ResMimic 当前已具备落地潜力的场景包括：

1. 仓储轻量级搬运：针对规则 / 不规则中小型重物（≤4.5kg）的短距离移动搬运，如仓库零件转运、货架整理；

2. 实验室 / 特定环境操作：需要全身协同的重复性任务，如实验器材搬运、特定工位的物体转移；

3. 人机协作辅助：在受控环境下协助人类完成需全身发力的操作（如协助搬运轻度重物）。

需客观认识到，ResMimic 仍处于技术验证阶段，存在以下未突破的限制：

1. 负载上限：实机验证的最大负载为 5.5kg（椅子搬运），远未达到工业级重载需求；

2. 场景复杂度：当前演示均在结构化环境（无障碍物、物体初始位置已知）中完成，未验证动态障碍物规避；

3. 鲁棒性边界：对物体表面材质、环境光照的适应性尚未经过充分测试，极端条件下的稳定性未知。

ResMimic 的核心贡献并非单一技术突破，而是构建了一套 “通用运动预训练 + 任务残差微调” 的全身移动操作框架，其价值体现在：

1. 解决了数据效率问题：通过复用大规模纯人类运动数据，避免了移动操作任务的数据稀缺陷阱；

2. 平衡了通用与精准：GMT 保障类人运动的通用性，残差策略保障操作的精准性；

3. 具备实机落地能力：在 Unitree G1 上的验证证明了其从仿真到现实的迁移潜力。

作为首个将 “预训练 - 残差学习” 范式成功应用于人形机器人全身移动操作的框架，ResMimic 为后续研究提供了清晰的技术路径 —— 未来的人形机器人或许无需为每个任务 “从头学习”，而是像人类一样，在通用技能基础上快速适配各类场景。

论文已开源 GPU 加速仿真基础设施和运动数据集，感兴趣的读者可通过https://resmimic.github.io/查看完整实验视频和技术细节。