[情报] Toyota正在研究基于视觉的Pseudo-Lidar

楼主: Scape (non)   2020-07-08 18:57:09
影片:
https://youtu.be/SLEK2vAgjOI
https://i.imgur.com/FyhcjVO.jpg
Toyota 研究院的一位资深研究科学家在去年10月份的Stanford Seminar 介绍
了他们的深度估算方法,该方法利用其深度学习从单颗镜头的未标记拍摄影片
中做到类似LiDAR 对于深度(距离)的测量。影片很长所以提供几个重点:
1. https://i.imgur.com/EOJq2ih.jpg
Toyota 每年售出1000万辆汽车,这可能可以提供很多影片数据(数十PB),相较
起来YT 影片数据量就只是个小泡泡。
2. https://i.imgur.com/TTuloRZ.jpg
以往的机器学习方式是(人工)标记资讯后的监督式学习(Supervised learning),
未来要扩展到加入自监督学习(Self-supervised Learning)。
3. https://i.imgur.com/3fUsRzM.jpg
为什么不用LiDAR 而要用Cameras + pseudo-LiDAR?简单来说LiDAR 太贵了,
而且Cameras 便宜且易于安装,不需要改变目前的车辆设计。
4.
他们认为他们自己的结果适用于白天和理想的天气条件,在雨中效果也很好。
,另外夜晚测试他们还未做过。
与其他人的比较:
https://i.imgur.com/dMlPQH0.jpg
真实视觉影像、他们的结果、与3D 点云的比较:
https://i.imgur.com/vk1t7Yh.jpg
影片从约14:00 开始:
https://youtu.be/SLEK2vAgjOI?t=839
5. 为何可以用单目摄影机就做到侦测深度?利用frame t 与frame t-1
双目摄影机的做法:
https://i.imgur.com/Sn6w8yV.jpg
单目摄影机的做法:
https://i.imgur.com/XsCmPdl.jpg
后面几乎都是在解释技术细节,有兴趣的人麻烦自己看就不节录了。他们的工
作已经在2019年5月写成论文发表,而这段在研讨会上的影片则是在10月份。他
们所做的事情几乎可以说跟Tesla 在做的事情十分的类似,在去年4月的Tesla
Autonomy Day 上,Autopilot 部门主管就曾经展示过类似的影片:
https://i.imgur.com/fmtBWFV.jpg
https://youtu.be/Ucp0TTmvqOE?t=8480
另外在今年二月份时,他也在Annual Scaled Machine Learning Conference
上展示了更详细的成果:
https://i.imgur.com/gqWQtD8.jpg
https://youtu.be/hx7BXih7zx8?t=1313
Self-supervised Learning 与泛称为pseudo-LiDAR 的技术其实有许多人在做,
其中有学者、有新创公司、当然也有车厂在做,其中最为人知的应该就是Tesla。
但是从这份资料中可以知道Toyota 这种老车厂其实也有在研究,而且据他们的
说法得到的结果很好可行性很高,所以用一般的摄影机来取代LiDAR 并不是不
可能的事情,当然还是有人认为要做到真正的无人驾驶非LiDAR 不可,到底结
果如何这就留待时间去证明,再过几年就会知道了。
作者: bluemkevin (WHO WHO)   2020-07-08 19:02:00
车用传感器从来就不是一般消费型的LiDAR 成本也可能越来越低
作者: demo68 (打爆章鱼哥)   2020-07-08 19:11:00
https://imgur.com/MCtVU2E.gif为了避免像特吹一样在路上睡觉碰碰吧
作者: highca0709   2020-07-08 21:00:00
再怎么低也不会比镜头低啦
作者: chewei55 (小黄)   2020-07-09 07:09:00
第一条怪怪的,它卖了1000万台,但是有网络能即时提供影像回传的又有多少
作者: PeriImg (帕里帕里)   2020-07-09 09:10:00
MonoDepth != Pseudo-LidarMonoDepth主要指在camera coorindate利用depth consistency来提供depth net损失信号Pseudo-lidar主要是在有了per-pixel depth情况下将pixel投射回camera or world coordinate 来当作semantic/densepoint-cloud处理

Links booklink

Contact Us: admin [ a t ] ucptt.com