楼主:
LDPC (Channel Coding)
2025-02-06 02:40:58zxwxz大大讲得很好 再讲细节之前 想像一下 人类要下个指令给机器人
比方说 请打开门 去客厅拿杯水 传统机器人是干不到的
因为机器人 不知道打开门这动作是啥 客厅在哪 拿杯水是啥动作 杯子是啥
所以唯一的办法就是 去产生数据集 训练动作 搭配这句指令 但缺点就是不scalable
就是如果人类指令不在数据里面 那机器人就不知道该怎样做
这篇最大意义就是 先把所有动作都学会透过影片 而影片跟文字的关系
在多模态LLM已经做完了 比方说clip 可以学到 请打开门这文字对应到影片的资讯
(text embedding & image embedding similiarity)
而该动作的影片的资讯 透过这篇 去调教机器人 机器人就会理解 打开门是怎样动做
而这篇也提到 机器人骨架 手指关节数量 长度 都跟人类不同 如何把一个2d影片动作
内化能学习投射到机器人再不用标签数据下(motion retargetin) 就能在现实姿态平衡
而不是鹦鹉一样学习动作 但却无法平衡物体 所以这篇里面有个delta校正
换言之 你家的机器人 以后随便讲一句话指令 他能自己理解 然后去产生动作
最大意义就是 将来 文字上的概念和机器人实体动作 可以无缝连起来 不用在透过传统
一个个数据和场景 手把手教 机器人能像LLM 产生动作 只要你给他一句话
这也可视为一种多模态(motion info /text data)产生的 结合 这是一个重大里程碑啊
=_= 这边越来越像ai版
※ 引述《zxwxz (zxwxz)》之铭言：
: 这阶段是机器人的pre-training阶段，类似大语言模型要去网络爬虫把人类所有语言都
爬
: 来做预训练，老黄这招就是要把所有的人类动作影片全部映射会机器人身上，不然根本
没
: 机器人的动作可当数据集，到时影片上所有人类可做的动作都会被所有机器人学起来，
单
: 指令到单一动作就可以串起来了，大概是走路，开门，握手，挥手，到非常基本的独立
单
: 动作，但光这件事就很重要，机器人要在预训练阶段就知道所有动作要如何保持身体平
衡
: 要如何避免碰撞，要如何做触碰反馈调整，就像成人走路不会需要思考怎样走才不会摔
倒
: 要学到肌肉记忆等级的基本行为技能，重点不是仿照动作而已，而是这些模仿的机器人
不
: 摔倒，有达到动态自主平衡机制
: 最终如果要叫机器人自己打扫房间，还是要非常强的推理大脑才有办法自主做事，但嫁
接
: 理模型上去应该不是太难的事，只是端侧算力还要好几个量级上去才行。
: 但今年机器人的发展，可能就有波小高潮，因为工厂打工的机器工人可以只做单一指令
高
: 复动作，就能上产线了，比家户使用情境会简单超多，只要能动态学习视觉到行为的复
刻
: 那上产线是很快的事
: ※ 引述 《LDPC (Channel Coding)》 之铭言：
: : 标题: Re: [新闻] 辉达CMU新研究！机器人跳APT舞惊艳全网
: : 时间: Thu Feb 6 01:19:38 2025
: :
: : https://hao.cnyes.com/post/133793
: :
: : 这机器人就是一个里程碑 (参照#1dZhKNT2 motion retarget和虚拟世界训练)
: : (详细训练过程 参照上面连结Fig 2)
: : 之前机器人各路玩家的梦想就是 把人类影片所有动作去教他给机器人
: : 概念就是 把影片直接扔进去 受益于poset estimation 可以把人类动作拆解成
: : 骨架 接者用motion retarget 在虚拟世界去做校正 最后部署到现实世界
: :
: : 这个最重要点就是 以后机器人看个影片 就可以学会人类动作 搭配LLM Gen AI之后
更?
: : 创造动作 我们家的多拉a梦快要出来了 @@/
: :
: : 股点? @n@ 就是老黄RRRRRRR
: :
: :
: : ※ 引述《randy225 (资方打手)》之铭言：
: : : 原文标题：辉达CMU新研究！机器人跳APT舞惊艳全网 “人形机器人”奥运会2030
年?
: 期
: : : ※请勿删减原文标题
: : : 原文连结：https://news.cnyes.com/news/id/5851739
: : : https://hao.cnyes.com/post/133793 (机器人动作)
: : : ※网址超过一行过长请用缩网址工具
: : : 发布时间：2025-02-05 17:30
: : : ※请以原文网页/报纸之发布时间为准
: : : 记者署名：钜亨网编译陈韦廷 综合报导
: : : ※原文无记载者得留空
: : : 原文内容：
: : : 机器人版的柯比布莱恩 (Kobe Bryant)、詹皇(LeBron James)、C 罗 Cristiano
: : : Ronaldo 真的来了，而这一切全拜卡内基美隆大学(CMU) 和辉达(NVDA-US) 所提出
的
: 个
: : : real2sim2real 模型 Aligning Simulation and Real Physics(ASAP)，ASAP 能
让?
: 形
: : : 机器人掌握非常流畅且动感的全身控制动作，就连跳时下最红的 APT 也相当流畅
。
: : : 中国智能资讯社交平台《新智元》报导，市场可以期待在 2030 年看到人形机器人
奥
: 会
: : : 盛宴，CMU 与辉达提出的 ASAP 专案包含预训练和后训练两大阶段。在第一个阶段
中
: 透
: : : 过重定向的人体数据，在模拟环境中预训练运动追踪策略，第二阶段将这些策略部
署
: 现
: : : 实世界，并收集真实数据来训练一个“残差”动作模型，用来弥补模型与真实世界
物
: 动
: : : 态之间的差距。
: : : 然后，ASAP 把这个 delta 动作模型整合到模拟器中，对预训练策略进行微调，让
它
: 现
: : : 实世界的动力学更匹配。具体步骤分为四步，分别是运动跟踪预训练与真实轨迹收
集
: 差
: : : 异动作模型训练、策略微调以及真实世界部署。
: : : 研究人员在三个迁移场景中评估了 ASAP 的效果。从 IsaacGym 到 IsaacSim、从
: : : IsaacGym 到 Genesis，以及从 IsaacGym 到真实世界，使用的机器人则是中国厂
商
: 树
: : : 的 G1 人形机器人。
: : : 最后，研究者借助 delta 动作模型对预训练的策略进行微调，使其能够更好地适
应?
: 实
: : : 世界的物理环境，从而实现更稳定、敏捷的运动控制。
: : : sim2real 一直是实现空间与具身智慧的主要路径之一，被广泛应用在机器人模拟
评?
: 当
: : : 中，而 real2sim2real 直接打破了繁琐的动作微调的难题，弥合 sim2real 的差
距?
: 让
: : : 机器人能够模仿各种类人的动作。
: : : 辉达资深研究科学家 Jim Fan 兴奋地表示，透过 RL 让人形机器人成功模仿 C 罗
、
: 皇
: : : 和科比！
: : : 报导指出，CMU 跟辉达的研究有四大贡献。第一个是提出 ASAP 框架，运用强化学
习
: 真
: : : 实世界的数据来训练 delta 动作模型，有效缩小了模拟与现实之间的差距。其次
，?
: 功
: : : 在真实环境部署全身控制策略，实现了不少以前人形机器人难以做到的动作。
: : : 第三大贡献则是 ASAP 能有效减少动力学不匹配问题，让机器人做出高度敏捷的动
作
: 同
: : : 时显著降低运动跟踪误差。最后，研究者开发并开源了一个多模拟器训练与评估代
码
: ，
: : : 以促进不同模拟器之间的平滑迁移，并加快后续研究。
: : : 心得/评论：老黄在中国跳APT，而辉达与CMU开发的软件让机器人动作更灵活
: : : 看完上面网址的影片，真的超惊叹，机器人的动作会进步到什么地步?
?
: : : 动作逼真到很扯，未来机器人陪你运动XD
: : : ※必需填写满30正体中文字，无意义者板规处分
: :
: :