手机照片边缘变形有解!新功能竟是Google台湾工程师打造
https://udn.com/news/story/7098/3890834
先前由带领Google Camera功能研发的Marc Lavoy说明,Google如何在Pixel 3手机相机功
能实现极端夜间拍摄,以及透过单颗镜头达成高分辨率变焦效果之后,Google稍早更释出
预计在7月底于SIGGRAPH 2019具体说明的广角修正技术,借此说明如何让时下手机流行采
用广角镜头实现更好的边缘变形修正效果。
值得说明的是,此项技术是由三名台湾出身的工程师打造,分别是施易昌 (YiChang
Shih)、赖威升 (Wei-Sheng Lai),以及梁家恺 (Chia-Kai Liang),三人均从台湾大学毕
业,而施易昌更进一步在麻省理工学院获得硕士、博士学位,并且曾在Adobe、Google、
微软等公司实习,赖威升则分别在Adobe、NVIDIA与Google实习,目前在加州大学美熹德
分校进修博士学位,至于梁家恺与施易昌目前则是Google资深软件工程师。
依照三人提出论文内容,简略描述当前多数针对广角镜头进行修正的软件算法,主要是
以梯形修正为基础,针对边缘产生变形部分进行修正,在处理一般景象时候可能不会有太
大问题,但是如果用在人像拍摄 (例如多人合影、多人自拍)等情况,很可能就会面临人
脸变形部分被修正,背后影像却无法被正常修正,或是背景被正常修正,人脸却维持扭曲
情况。
因此在论文中提出技术便采用人工智能进行影像分析,借由将人脸,甚至身体涵盖部分自
影像中抽离,并且进梯度修正,相同情况也针对抽离人像之后的背景进行修正,后续再将
两组影像合并,成为背景歪曲被修正、人像部分也被修正的影像结果。
依照说明,这样的算法可以对应70°至120°广角范围内的影像拍摄修正,而对于手机
拍照使用广角设计,其实也已经相当足够。配合Pixel相机原本已经整合夜间拍摄、人脸
识别 (包含侧脸、长发遮蔽、配戴眼镜等情况),加上此项广角拍摄修正技术,预期将能
使手机拍摄功能更加“完美”。
不过,此项算法依然有其限制,就是目前修正范围依然是以脸部为主,身体部份仍有可
能受限算法,导致修正后变得“修长”,或是呈现些微扭曲,但预期日后加入更多演算
法修正,将能让广角拍摄应用更加完善。
除了应用在手机拍摄,此项技术预期也能应用在监控摄影机,或是自驾车、电脑视觉在内
的影像识别判断等领域,借此降低识别判断错误机率,另外也可能应用在Google Maps街
景、360度环景影像或VR全息影像拍摄,借此让影像呈现效果更加拟真。
而此项算法,日后应该将会陆续开放Pixel系列机种更新使用,预期也会应用在即将推
出的Pixel 4。
《原文刊登于合作媒体mashdigi,联合新闻网获授权转载。》