楼主:
zxwxz (zxwxz)
2025-02-06 02:21:18这阶段是机器人的pre-training阶段，类似大语言模型要去网络爬虫把人类所有语言都爬进
来做预训练，老黄这招就是要把所有的人类动作影片全部映射会机器人身上，不然根本没啥
机器人的动作可当数据集，到时影片上所有人类可做的动作都会被所有机器人学起来，单一
指令到单一动作就可以串起来了，大概是走路，开门，握手，挥手，到非常基本的独立单一
动作，但光这件事就很重要，机器人要在预训练阶段就知道所有动作要如何保持身体平衡，
要如何避免碰撞，要如何做触碰反馈调整，就像成人走路不会需要思考怎样走才不会摔倒，
要学到肌肉记忆等级的基本行为技能，重点不是仿照动作而已，而是这些模仿的机器人不会
摔倒，有达到动态自主平衡机制
最终如果要叫机器人自己打扫房间，还是要非常强的推理大脑才有办法自主做事，但嫁接推
理模型上去应该不是太难的事，只是端侧算力还要好几个量级上去才行。
但今年机器人的发展，可能就有波小高潮，因为工厂打工的机器工人可以只做单一指令高重
复动作，就能上产线了，比家户使用情境会简单超多，只要能动态学习视觉到行为的复刻，
那上产线是很快的事
※ 引述 《LDPC (Channel Coding)》 之铭言：
: 标题: Re: [新闻] 辉达CMU新研究！机器人跳APT舞惊艳全网
: 时间: Thu Feb 6 01:19:38 2025
:
: https://hao.cnyes.com/post/133793
:
: 这机器人就是一个里程碑 (参照#1dZhKNT2 motion retarget和虚拟世界训练)
: (详细训练过程 参照上面连结Fig 2)
: 之前机器人各路玩家的梦想就是 把人类影片所有动作去教他给机器人
: 概念就是 把影片直接扔进去 受益于poset estimation 可以把人类动作拆解成
: 骨架 接者用motion retarget 在虚拟世界去做校正 最后部署到现实世界
:
: 这个最重要点就是 以后机器人看个影片 就可以学会人类动作 搭配LLM Gen AI之后更能
: 创造动作 我们家的多拉a梦快要出来了 @@/
:
: 股点? @n@ 就是老黄RRRRRRR
:
:
: ※ 引述《randy225 (资方打手)》之铭言：
: : 原文标题：辉达CMU新研究！机器人跳APT舞惊艳全网 “人形机器人”奥运会2030年可
期
: : ※请勿删减原文标题
: : 原文连结：https://news.cnyes.com/news/id/5851739
: : https://hao.cnyes.com/post/133793 (机器人动作)
: : ※网址超过一行过长请用缩网址工具
: : 发布时间：2025-02-05 17:30
: : ※请以原文网页/报纸之发布时间为准
: : 记者署名：钜亨网编译陈韦廷 综合报导
: : ※原文无记载者得留空
: : 原文内容：
: : 机器人版的柯比布莱恩 (Kobe Bryant)、詹皇(LeBron James)、C 罗 Cristiano
: : Ronaldo 真的来了，而这一切全拜卡内基美隆大学(CMU) 和辉达(NVDA-US) 所提出的一
个
: : real2sim2real 模型 Aligning Simulation and Real Physics(ASAP)，ASAP 能让人
形
: : 机器人掌握非常流畅且动感的全身控制动作，就连跳时下最红的 APT 也相当流畅。
: : 中国智能资讯社交平台《新智元》报导，市场可以期待在 2030 年看到人形机器人奥运
会
: : 盛宴，CMU 与辉达提出的 ASAP 专案包含预训练和后训练两大阶段。在第一个阶段中，
透
: : 过重定向的人体数据，在模拟环境中预训练运动追踪策略，第二阶段将这些策略部署到
现
: : 实世界，并收集真实数据来训练一个“残差”动作模型，用来弥补模型与真实世界物理
动
: : 态之间的差距。
: : 然后，ASAP 把这个 delta 动作模型整合到模拟器中，对预训练策略进行微调，让它和
现
: : 实世界的动力学更匹配。具体步骤分为四步，分别是运动跟踪预训练与真实轨迹收集、
差
: : 异动作模型训练、策略微调以及真实世界部署。
: : 研究人员在三个迁移场景中评估了 ASAP 的效果。从 IsaacGym 到 IsaacSim、从
: : IsaacGym 到 Genesis，以及从 IsaacGym 到真实世界，使用的机器人则是中国厂商宇
树
: : 的 G1 人形机器人。
: : 最后，研究者借助 delta 动作模型对预训练的策略进行微调，使其能够更好地适应真
实
: : 世界的物理环境，从而实现更稳定、敏捷的运动控制。
: : sim2real 一直是实现空间与具身智慧的主要路径之一，被广泛应用在机器人模拟评估
当
: : 中，而 real2sim2real 直接打破了繁琐的动作微调的难题，弥合 sim2real 的差距，
让
: : 机器人能够模仿各种类人的动作。
: : 辉达资深研究科学家 Jim Fan 兴奋地表示，透过 RL 让人形机器人成功模仿 C 罗、詹
皇
: : 和科比！
: : 报导指出，CMU 跟辉达的研究有四大贡献。第一个是提出 ASAP 框架，运用强化学习和
真
: : 实世界的数据来训练 delta 动作模型，有效缩小了模拟与现实之间的差距。其次，成
功
: : 在真实环境部署全身控制策略，实现了不少以前人形机器人难以做到的动作。
: : 第三大贡献则是 ASAP 能有效减少动力学不匹配问题，让机器人做出高度敏捷的动作，
同
: : 时显著降低运动跟踪误差。最后，研究者开发并开源了一个多模拟器训练与评估代码库
，
: : 以促进不同模拟器之间的平滑迁移，并加快后续研究。
: : 心得/评论：老黄在中国跳APT，而辉达与CMU开发的软件让机器人动作更灵活
: : 看完上面网址的影片，真的超惊叹，机器人的动作会进步到什么地步??
: : 动作逼真到很扯，未来机器人陪你运动XD
: : ※必需填写满30正体中文字，无意义者板规处分
:
: