Re: [闲聊] 日本模型展疑似出现3D扫描作品的小偷
楼主: yiefaung (艾克斯卡利伯) 2022-02-11 00:38:49
目前的工具精度可能的确不太够
但这个问题正在被以肉眼可见的速度被解决
最近有个新技术叫做神经辐射场 Neural Radiance Field 简称NeRF[1]
发表在ECCV 2020
可以透过若干张2D图像生成新视角跟3D建模
主要原理是给定座标和视角
预测空间中各个点的RGB跟密度(可以想成透明度)
最后再沿着新视角把各点的值累加
就是新视角看到的样子
拿个常见的demo来说
有大约100张不同视角的lego车图
https://i.imgur.com/UvNuoyp.png
最后可以得到各种视角 精度也相当不错
https://i.imgur.com/CP2dSUP.gif
那么在现实场景的表现如何呢
Google在CVPR 2021发表了NeRF in the wild[2]
搜集各个景点大家拍的照片去训练
解决一些遮挡 相机参数 光线不一致之类的问题
也做出不错的成果(以下影片)
https://storage.googleapis.com/nerf-w-public/videos/sacre/flythrough_v3.webm
那为什么这个工具还没普及呢
主要原因是要训练很久
原版的NeRF要训练好几个小时甚至好几天
不过好消息是这个问题在上个月被Nvidia解决了[3]
把训练时间压到几秒钟
没错就是几秒钟
连render都可以做到几10FPS
虽然说随便拍个照录个影片几秒钟得到3d模型还有待开发
但是可以预见这类型的应用即将走进移动端
在这个各大厂力压ARVR的时代
相信大家可以期待一下
Reference:
[1] Mildenhall, Ben, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, and Ren Ng. "Nerf: Representing scenes as neural radiance fields for view synthesis." In European conference on computer vision, pp. 405-421. Springer, Cham, 2020.
[2] Martin-Brualla, Ricardo, Noha Radwan, Mehdi SM Sajjadi, Jonathan T. Barron, Alexey Dosovitskiy, and Daniel Duckworth. "Nerf in the wild: Neural radiance fields for unconstrained photo collections." In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 7210-7219. 2021.
[3] Müller, Thomas, Alex Evans, Christoph Schied, and Alexander Keller. "Instant Neural Graphics Primitives with a Multiresolution Hash Encoding." arXiv preprint arXiv:2201.05989 (2022).
※ 引述《S890127 (丁读生)》之铭言：
: 日本海洋堂主办的 ワンフェス（Wonder Festival）
: 有参展人士在推特表示
: https://twitter.com/FLT44000/status/1490582145835798534
: 有拿着显示奇怪画面的智慧型手机的三人组（没有说日文）到我的展区来。
: 现在才懂他们在干嘛。
: 原来是深度传感（Depth Sensor）
: 原来是在用 LiDAR...
: 推主重现看到的手机画面
: https://pbs.twimg.com/media/FK_tfoVaMAAYazX.jpg
: 根据底下网友的判断，应该是被用手机扫描了展示品的 3D 模型
: 虽然不保证能复制到完全一样的精细度，但没付钱、未经许可
: 跑去扫描人家的商品模型，这算是犯罪了吧？
: 也许再过几年技术变得更精密，真的会有人拿手机去扫描模型来自制了？
但这个问题正在被以肉眼可见的速度被解决
最近有个新技术叫做神经辐射场 Neural Radiance Field 简称NeRF[1]
发表在ECCV 2020
可以透过若干张2D图像生成新视角跟3D建模
主要原理是给定座标和视角
预测空间中各个点的RGB跟密度(可以想成透明度)
最后再沿着新视角把各点的值累加
就是新视角看到的样子
拿个常见的demo来说
有大约100张不同视角的lego车图
https://i.imgur.com/UvNuoyp.png
最后可以得到各种视角 精度也相当不错
https://i.imgur.com/CP2dSUP.gif
那么在现实场景的表现如何呢
Google在CVPR 2021发表了NeRF in the wild[2]
搜集各个景点大家拍的照片去训练
解决一些遮挡 相机参数 光线不一致之类的问题
也做出不错的成果(以下影片)
https://storage.googleapis.com/nerf-w-public/videos/sacre/flythrough_v3.webm
那为什么这个工具还没普及呢
主要原因是要训练很久
原版的NeRF要训练好几个小时甚至好几天
不过好消息是这个问题在上个月被Nvidia解决了[3]
把训练时间压到几秒钟
没错就是几秒钟
连render都可以做到几10FPS
虽然说随便拍个照录个影片几秒钟得到3d模型还有待开发
但是可以预见这类型的应用即将走进移动端
在这个各大厂力压ARVR的时代
相信大家可以期待一下
Reference:
[1] Mildenhall, Ben, Pratul P. Srinivasan, Matthew Tancik, Jonathan T. Barron, Ravi Ramamoorthi, and Ren Ng. "Nerf: Representing scenes as neural radiance fields for view synthesis." In European conference on computer vision, pp. 405-421. Springer, Cham, 2020.
[2] Martin-Brualla, Ricardo, Noha Radwan, Mehdi SM Sajjadi, Jonathan T. Barron, Alexey Dosovitskiy, and Daniel Duckworth. "Nerf in the wild: Neural radiance fields for unconstrained photo collections." In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 7210-7219. 2021.
[3] Müller, Thomas, Alex Evans, Christoph Schied, and Alexander Keller. "Instant Neural Graphics Primitives with a Multiresolution Hash Encoding." arXiv preprint arXiv:2201.05989 (2022).
※ 引述《S890127 (丁读生)》之铭言：
: 日本海洋堂主办的 ワンフェス（Wonder Festival）
: 有参展人士在推特表示
: https://twitter.com/FLT44000/status/1490582145835798534
: 有拿着显示奇怪画面的智慧型手机的三人组（没有说日文）到我的展区来。
: 现在才懂他们在干嘛。
: 原来是深度传感（Depth Sensor）
: 原来是在用 LiDAR...
: 推主重现看到的手机画面
: https://pbs.twimg.com/media/FK_tfoVaMAAYazX.jpg
: 根据底下网友的判断，应该是被用手机扫描了展示品的 3D 模型
: 虽然不保证能复制到完全一样的精细度，但没付钱、未经许可
: 跑去扫描人家的商品模型，这算是犯罪了吧？
: 也许再过几年技术变得更精密，真的会有人拿手机去扫描模型来自制了？
作者: TED781120 (苍夜歌) 2022-02-11 00:40:00
这差蛮多的吧。
作者: csvt32745 (圆仔) 2022-02-11 00:41:00
帮补一下 最近的研究可以不用几分钟就好了https://nvlabs.github.io/instant-ngp/没看到有放XDD 抱歉
作者: johnny3 (キラ☆) 2022-02-11 00:42:00
其实不是很稀奇 几年前我就看过有拿几张照片生3d模的技术
作者: longlyeagle (长鹰宝宝实验室) 2022-02-11 00:42:00
身为一位职业机器学习工程师 训练跟辨识是完全不同的
作者: longlyeagle (长鹰宝宝实验室) 2022-02-11 00:43:00
nvidia压缩的是辨识时间 不是训练时间建议修改内文 不要提供错误资讯
楼主: yiefaung (艾克斯卡利伯) 2022-02-11 00:47:00
是训练喔 我已经reproduce在自己的dataset上过了
作者: csvt32745 (圆仔) 2022-02-11 00:49:00
单纯好奇辨识在这个task的意思是什么 0.0
作者: longlyeagle (长鹰宝宝实验室) 2022-02-11 00:50:00
看了论文 你是对的 我道歉3D建模领域用的字眼跟机器学习不同 是我错了这里居然不用inference 而是用NN的BP提供定位修正
作者: namirei (哎呀奈米光) 2022-02-11 01:38:00
好强
作者: lonelygroup (陆人甲) 2022-02-11 01:44:00
哇噻这篇好强 感谢分享
作者: bluejark (蓝夹克) 2022-02-11 02:32:00
这我就讲了啊这个模型只能看看生成的模组布组你给建模师看他会跳起来打人
作者: Mchord (Mchord) 2022-02-11 06:49:00
这个的产物是图而不是模型，实用性差远了Nerf不会给你3D模型，他只是把场景压缩到model里面而已该应用现在优势是它inference超拟真画面的能力，用GPU搭配各种normal, diffusion和specular map跟光追rendering也需要花不少时间得到拟真画面。简而言之Nerf不会给你模型，你没办法做到改颜色，剥掉衣服，丰胸提臀等3D模型才能搞的事情。
