[新闻] 手机照片边缘变形有解!新功能竟是Google

楼主: lf5471 (lf)   2019-06-25 14:10:35
手机照片边缘变形有解!新功能竟是Google台湾工程师打造
https://udn.com/news/story/7098/3890834
先前由带领Google Camera功能研发的Marc Lavoy说明,Google如何在Pixel 3手机相机功
能实现极端夜间拍摄,以及透过单颗镜头达成高分辨率变焦效果之后,Google稍早更释出
预计在7月底于SIGGRAPH 2019具体说明的广角修正技术,借此说明如何让时下手机流行采
用广角镜头实现更好的边缘变形修正效果。
值得说明的是,此项技术是由三名台湾出身的工程师打造,分别是施易昌 (YiChang
Shih)、赖威升 (Wei-Sheng Lai),以及梁家恺 (Chia-Kai Liang),三人均从台湾大学毕
业,而施易昌更进一步在麻省理工学院获得硕士、博士学位,并且曾在Adobe、Google、
微软等公司实习,赖威升则分别在Adobe、NVIDIA与Google实习,目前在加州大学美熹德
分校进修博士学位,至于梁家恺与施易昌目前则是Google资深软件工程师。
依照三人提出论文内容,简略描述当前多数针对广角镜头进行修正的软件算法,主要是
以梯形修正为基础,针对边缘产生变形部分进行修正,在处理一般景象时候可能不会有太
大问题,但是如果用在人像拍摄 (例如多人合影、多人自拍)等情况,很可能就会面临人
脸变形部分被修正,背后影像却无法被正常修正,或是背景被正常修正,人脸却维持扭曲
情况。
因此在论文中提出技术便采用人工智能进行影像分析,借由将人脸,甚至身体涵盖部分自
影像中抽离,并且进梯度修正,相同情况也针对抽离人像之后的背景进行修正,后续再将
两组影像合并,成为背景歪曲被修正、人像部分也被修正的影像结果。
依照说明,这样的算法可以对应70°至120°广角范围内的影像拍摄修正,而对于手机
拍照使用广角设计,其实也已经相当足够。配合Pixel相机原本已经整合夜间拍摄、人脸
识别 (包含侧脸、长发遮蔽、配戴眼镜等情况),加上此项广角拍摄修正技术,预期将能
使手机拍摄功能更加“完美”。
不过,此项算法依然有其限制,就是目前修正范围依然是以脸部为主,身体部份仍有可
能受限算法,导致修正后变得“修长”,或是呈现些微扭曲,但预期日后加入更多演算
法修正,将能让广角拍摄应用更加完善。
除了应用在手机拍摄,此项技术预期也能应用在监控摄影机,或是自驾车、电脑视觉在内
的影像识别判断等领域,借此降低识别判断错误机率,另外也可能应用在Google Maps街
景、360度环景影像或VR全息影像拍摄,借此让影像呈现效果更加拟真。
而此项算法,日后应该将会陆续开放Pixel系列机种更新使用,预期也会应用在即将推
出的Pixel 4。
《原文刊登于合作媒体mashdigi,联合新闻网获授权转载。》
作者: j0958322080 (Tidus)   2019-06-25 14:21:00
这跟opencv里面修正distortion有什么不一样?
作者: pponywong (pony)   2019-06-25 14:30:00
内文有讲啦 就是梯度修正 不过有AI 影像识别的技术
作者: bluebluelan (新阴流大目录免许皆传)   2019-06-25 14:36:00
UCMerced那个台湾人教授实验室出来的吧
作者: DaveLu (Dave)   2019-06-25 14:43:00
不同物距几何失真不同,所以脸(近距)跟背景(远距)要分开修脸跟头发比较容易从影像抽出,但是衣服就难了
作者: Iamjkc (萬年死會)   2019-06-25 14:48:00
真强者 之前有在台湾找人 不晓得找满了没
作者: YandereLove (Rem)   2019-06-25 14:56:00
神歪
作者: ckvir (ckvir)   2019-06-25 15:21:00
这功能之前影像处理不就早有了
作者: deray (Deray)   2019-06-25 15:45:00
跟我想的一样 只是我太忙没时间实做
作者: misson (绿色九层)   2019-06-25 16:01:00
美图: 不是把皮肤变白,身体拉长就一堆瞎妹会来买了吗?
作者: ohohohya (安安你好我草泥马)   2019-06-25 16:55:00
这需要AI吗?记者是不是乱写影像中找出人当前景其他当背景 分别校正再重组影像 这到底哪里需要AI
作者: ziggyzzz (触手与萝莉阿斯)   2019-06-25 17:10:00
跟我想的一样
作者: kaltu (ka)   2019-06-25 17:12:00
Semantic Segmentation不用AI哪个技术够稳定?
作者: leoloveivy (cried)   2019-06-25 17:15:00
脸大可能是脸很大或很近 应该说没ai可能可以但有ai可以做的更好
作者: kaltu (ka)   2019-06-25 17:16:00
现在 state of the art 的 synthetic depth 都马是 CNN
作者: Lowpapa (崩到你叫妈妈)   2019-06-25 17:18:00
跟我想的一样
作者: followwar (嫌疑犯X的献身)   2019-06-25 18:17:00
就Network记住了脸的prior,硬尻还原
作者: utn875 (utn875)   2019-06-25 19:41:00
推一个
作者: ruthertw (小叶老大)   2019-06-25 20:16:00
阿不就好棒棒,名师出高徒咩~更!
作者: csgod1325 (alex)   2019-06-25 21:50:00
好猛 人体不变形达成超广角拍摄
作者: ruthertw (小叶老大)   2019-06-25 22:24:00
设备一跃进,这些都没用了
作者: getbacker (工作十年了啊.......)   2019-06-25 22:42:00
手机相机模组的物理限制就是摆在那边,硬件端能改善的空间越来越小,当然是走CI的路线来突破啊
作者: shadowppt (硬颈客家人)   2019-06-26 00:12:00
嘘的人真的很可怜
作者: s96387799 (Digo)   2019-06-26 01:56:00
嘘的人是不是只会代工?以为科技进步不用过程
作者: mike8469 (mike8469)   2019-06-26 02:26:00
作者: tinglottery (小权)   2019-06-26 03:44:00
Google是真强者
作者: ruthertw (小叶老大)   2019-06-26 08:34:00
硬件端能改善的空间越来越小?哈哈哈Google是真强者,但某师不是强者,沾光开心吗?
作者: Satansblessi (chaotic warrior)   2019-06-26 08:54:00
嘘的人真的有病,台湾之光推~
作者: fantasyhorse (水多多)   2019-06-26 10:18:00
看他ID不就知道
作者: ruthertw (小叶老大)   2019-06-26 10:50:00
说人有病的才是有病~
作者: andy7829 (罐头)   2019-06-26 11:24:00
某R有够可拨 只能耍嘴皮子了 真强者给推
作者: Tkuei (it's me)   2019-06-26 12:25:00
某r真能嘴,这么会嘴去做一个完全没有畸变的硬件模组来给大家开开眼界啊
作者: balius (爱喝鲜奶茶)   2019-06-26 13:33:00
梯形失真用移轴镜可以修正,看谁有办法做到手机镜头上
作者: zasxqw56 (宗宗)   2019-06-26 15:41:00
为什么要用“竟是”,瞧不起台湾吗...
作者: sonywei (sonywei)   2019-06-26 17:59:00
ZF6也有喔
作者: diabloiii (天才珈)   2019-06-27 10:16:00
文章看不出来有谁沾光啊

Links booklink

Contact Us: admin [ a t ] ucptt.com