辉达CMU新研究!机器人跳APT舞惊艳全网 “人形

楼主: EPika (精灵皮卡丘)   2025-02-05 20:39:24
标题:辉达CMU新研究!机器人跳APT舞惊艳全网 “人形机器人”奥运会2030年可期
原文内容:
机器人版的柯比布莱恩 (Kobe Bryant)、詹皇(LeBron James)、C 罗 Cristiano
Ronaldo 真的来了,而这一切全拜卡内基美隆大学(CMU) 和辉达(NVDA-US) 所提出的一个
real2sim2real 模型 Aligning Simulation and Real Physics(ASAP),ASAP 能让人形
机器人掌握非常流畅且动感的全身控制动作,就连跳时下最红的 APT 也相当流畅。
中国智能资讯社交平台《新智元》报导,市场可以期待在 2030 年看到人形机器人奥运会
盛宴,CMU 与辉达提出的 ASAP 专案包含预训练和后训练两大阶段。在第一个阶段中,透
过重定向的人体数据,在模拟环境中预训练运动追踪策略,第二阶段将这些策略部署到现
实世界,并收集真实数据来训练一个“残差”动作模型,用来弥补模型与真实世界物理动
态之间的差距。
然后,ASAP 把这个 delta 动作模型整合到模拟器中,对预训练策略进行微调,让它和现
实世界的动力学更匹配。具体步骤分为四步,分别是运动跟踪预训练与真实轨迹收集、差
异动作模型训练、策略微调以及真实世界部署。
研究人员在三个迁移场景中评估了 ASAP 的效果。从 IsaacGym 到 IsaacSim、从
IsaacGym 到 Genesis,以及从 IsaacGym 到真实世界,使用的机器人则是中国厂商宇树
的 G1 人形机器人。
最后,研究者借助 delta 动作模型对预训练的策略进行微调,使其能够更好地适应真实
世界的物理环境,从而实现更稳定、敏捷的运动控制。
sim2real 一直是实现空间与具身智慧的主要路径之一,被广泛应用在机器人模拟评估当
中,而 real2sim2real 直接打破了繁琐的动作微调的难题,弥合 sim2real 的差距,让
机器人能够模仿各种类人的动作。
辉达资深研究科学家 Jim Fan 兴奋地表示,透过 RL 让人形机器人成功模仿 C 罗、詹皇
和科比!
报导指出,CMU 跟辉达的研究有四大贡献。第一个是提出 ASAP 框架,运用强化学习和真
实世界的数据来训练 delta 动作模型,有效缩小了模拟与现实之间的差距。其次,成功
在真实环境部署全身控制策略,实现了不少以前人形机器人难以做到的动作。
第三大贡献则是 ASAP 能有效减少动力学不匹配问题,让机器人做出高度敏捷的动作,同
时显著降低运动跟踪误差。最后,研究者开发并开源了一个多模拟器训练与评估代码库,
以促进不同模拟器之间的平滑迁移,并加快后续研究。
这篇槽点太多了 不知道从何说起...

Links booklink

Contact Us: admin [ a t ] ucptt.com