Re: [闲聊] Google Pixel 3的Night Sight

楼主: lordcolus (God Save The Queen)   2018-10-12 10:46:22
※ 引述《double21 (我不是双二一)》之铭言:
: ※ 引述《talan (这个好吃吗)》之铭言:
: : 早上看报导,Google Pixel 3在发表会上秀出的Night Sight功能,
: : 能在暗夜拍出清晰的照片
: : 还秀了一张与iPhone Xs的对比照
: : https://i.imgur.com/zfJap0o.png
: : 把晚上拍成宛如白天
: : 完全就是黑科技的感觉
: : 不过去看发表会影片那段,有提了一下原理,感觉瞬间冷了下来,
: : 原来照片中宛如白天的色彩是利用机器学习用AI填上与加强的,
: : 但仔细想想,这是跟其他厂商完全不同的思维,
: : 其他人都先从感光元件、光圈或镜头等硬件上下功夫
: : 然后配合多祯合成与算法去加强照片
: : Google这种用机器学习把照片上色,可谓是另辟蹊径
: : 可能不是所有夜间情境都很合用,
: : 但应该有很多用处,就不知道大众接受度如何了
: 这边可能很多人没用过Pixel phone,之后台湾有了,大家用了之后就知道了
: 用过之后就相信佳评如潮不是假的,硬件明明没有突出,但是照片就是好看
: 这里的好看不是颜色,是整体的亮度和颜色的搭配
: 当然在这个相机的战国时代能不能高分是很难说,但是也不至于没竞争力就是
: 这边先跟大家讲解一下相机,我们平常看到的镜头,以及感光元件
: 都只是得到原始资讯,这些东西需要经过处理,才会变成人眼所见的影像
: 大家都知道感光元件基本上是RGB三色,但是人眼对于红蓝绿感光并不一致
: (像是绿色较为敏感)
: 所以其实最基本的你就要调整红蓝绿的比重,也就是hue
: 这些就是影像工程师的范围(Image Quality) 早期其实都是非常手动人工
: 大量的拍照,大量的调整,所以才会有A家比较暖,B家比较冷
: 也才会有 硬件sensor明明是自己开发市场上最好的
: 镜头也选大X光 明明强到顶天
: 但是拍起来却油画感十足or画质不知道哪里怪怪的 (S公司表示...)
: 在大部分人都选用高通+Sony sensor+大立光镜头这种组合
: 却还是会有高低
: 后处理占了非常大的部分
现在的马赛克 CMOS/CCD硬件上每一个像素点只能感应RGB其中一个颜色
所有画面不只颜色 连物体长什么形状都是算(合成)出来的
唯一的例外是 Sigma 的 Foveon X3
因为它跟底片一样每一个像素点可以同时感应到 RGB
Dpreview这篇对 Night sight 有比较详细的说明:
https://goo.gl/yWdZxY
它本质上是靠类似 HDR+ 连拍 (华为P20 Pro也一样)
把原本需要 4~5S 曝光的场景切分成最多 15 张照片 然后靠算法后制
另外不是说靠机器学习上色 (虽然某种程度上也对)
Dpreview 是说用 "learning-based AWB"
也就是最佳化 (补偿) 在低照度状况下的白平衡 (或者说色偏) 而不是"无中生有"
以这样来看的话 现有的 Pixel 2/2XL 应该也可以
但可能会因为硬件的限制没法叠那么多张就是 ...
作者: windsinsky29   2018-10-12 11:32:00
在前面那篇Dpreview 的影片中,google PM自己也是说用ML帮你还原颜色,所以说成ML帮你上色我觉得没什么问题耶。

Links booklink

Contact Us: admin [ a t ] ucptt.com