教人形机器人学动作,过去常像蒙着眼调姿势:让它反复尝试,再看奖励高不高。常用的 PPO 就是这类试错式算法。Weyl Lu 与 Yubei Chen 提出的 ∇Mimic,则让控制策略直接对仿真器“求导”:梯度——提示参数往哪里调能最快改善结果的一组数值——可以从模拟结果一路传回策略,减少盲试。
难点在脚落地的一瞬间。碰撞和摩擦会让运动规律突然变化,梯度可能猛然爆炸,拖垮训练。∇Mimic 在反向计算的每一步,按同批样本的中位水平裁掉少数极端梯度,再把剩余信号转成幅度受控的动作目标;配套的 NablaEngine 则为 Unitree G1 计算完整接触动力学及其梯度。
作者报告称,在一张 GPU 上用同一个策略追踪 LAFAN1 的全部 40 段动作时,系统用 20 分钟达到 0.82 分;此前基于学习所得“世界模型”的方法达到同分需 1.2 小时,而作为一阶基线的 SHAC 数分钟内便因梯度爆炸停止。这说明,可微仿真或许能把人形机器人训练从“多试几次”推进到“知道该往哪改”;不过这些结果目前来自论文作者的模拟实验。