解析Google Pixel相机原理 Pixel 3、Pixel 3a单镜头相机为什么这么强？
https://www.cool3c.com/article/144036
Google 的 Pixel 手机自进入 Pixel 2 世代后，以独特的 Visual Core 与 AI 技术颠覆单
相机镜头影像的极致，而后续的 Pixel 3 家族更在多镜头旗舰机强敌环伺下仍有出色的影
像表现，自然的低照度拍摄、单镜头散景即便面对有更复杂硬件的机种甚至更为杰出，最近
更以更平价的 Pixel 3a 家族以 AI 摄影技术使其足以以下犯上，挑战高阶机种。
软件定义为既有硬件带来创新与突破-
Google 台湾也请到拥有 Google 杰出工程师 Marc Levoy ，他拥有资深数位影像技术背景
、同时也是 VMWare 创办人暨史丹佛大学电脑科学荣誉退休教授，为台湾媒体解开 Pixel
相机能如此出色的关键，而他开宗明义的指出， Pixel 手机的影像技术是颠覆过往的硬件
定义相机，并转化至软件定义相机的科技结晶。
Pixel 手机的做法是打破过往靠固定功能硬件的作法，借由计算摄影与连拍，透过高效率的
机器学习技术取代传统算法，以 Google 的巨量资料作为基础，配合 Google 的机器学习
建立模型，在当代高性能的 Pixel 手机实现惊人的演算，同时 Google 也不藏私的将影像
技术对外分享，借此驱动创新与吸引更多人才。
Marc Levoy 指出，在手机上的相机应用程式需要符合几项基本原则：执行需要迅速，默认
模式不能失败，重现消费者在摄影遇到的特殊情况，与在特殊模式下可接受偶发的失败。在
即时速度的要求，即时监看的资讯需要高于 15fps ，快门延迟需要低于 150ms ，成像时间
需低于 5 秒内。
结合连拍与 AI 的先进 HDR+
在过往相机的 HDR 技术仰赖曝光定标试验做法，此技术是借由捕捉不同曝光程度影像，并
将多重影像加以叠合，实现从低光到高光皆清晰、细节清楚的影像，然而这项作法却因为需
要精确的影像叠合，在缺乏三脚架与手机晃动的情形难以成功拍出 HDR 影像。
而在 Pixel 3+ 的做法则是改变捕捉不同曝光的照片进行合成，以曝光不足、相同曝光的连
拍影像作为基础，如此一来影像更为相似也容易校准，并且能够具备更吃恶的信号噪声比(
SNR )与减少阴影的噪声，同时利用色调映射( Tonemap )强化阴影、降低亮处，虽会牺牲整
体色调与对比，但能保留局部对比。藉突破的概念，也让 Pixel 手机的 HDR+ 影像拍摄的
成功率与影像品质超越传统 HDR 模式。
结合机器学习与双像素技术的单镜头肖像模式
由于手机先天感光元件尺寸，若以硬件定义相机技术，难以拍出如专业相机的景深，而肖像
模式就是当代手机所使用的方式；在初期为了实现肖像模式，过往使用双镜头先在相似焦点
捕捉两个影像，透过立体匹配演算计算深度，接着选择一个平面作为保留锐利的基准，最终
模糊基准外的影像，不过如此一来会增加硬件复杂度，并且还需要处理双镜头的资讯。
然而仅有单镜头的 Pixel 手机则是透过机器学习作为基础，在主镜头结合双像素对焦元件
取得深度资讯，而前镜头则是透过机器学习而来的影像分析，仍可实现单镜头的肖像； Goo
gle 透过卷积神经网络预估图像中每个像素的人物，以超过百万张标签过的人物与配件进行
培训，使 AI 模型能够在影像中框出人像轮廓。
以 AI 技术实现出色的高解析变焦
过往手机由于仅有单焦点单镜头设计，故要拍摄远处的影像，只能透过数位变焦、也就是数
位裁切的方式，但如此一来等同只是对影像进行局部裁切，画质也会随之下降， Google 虽
未在 Pixel 的高解析变焦使用 AI 相关技术，然而借由高速连拍技术合成更高画素影像，
使其可媲美当前具备 2 倍镜头的机种。
其中的关键，就是当代数位相机元件所使用的拜耳阵列结构，透过矩阵中配置 R 、 G 与 B
画素组合构成影像，当手持进行高速连拍时，将原始、水平、垂直、与水平与垂直同时位
移的四张影像结合，可借由连拍之后将多张影像的颜色资讯相互填补，并透过颜色资讯重建
方式，提升高分辨率，若在完美不摇晃的环境，则反过来利用防手振技术制造手振使像素偏
移。
将黑暗化为白昼的夜视模式
Google 的夜视模式也仍是基于高速连拍的技术结晶，按下快门后，高速捕捉达 15 张的影
像，另外会根据手振程度与侦测画面中是否有动体评估拍摄时间，有晃动就会延长取景时间
，反之则缩短。而自 Pixel 3 则在此为基础之上，再导入高解析变焦功能的技术概念，最
终结合学习式白平衡调整色调。
夜视技术的出发点是为了实现在人眼难以辨识甚至不可见、但仍真实存在且具备色彩的夜间
景物， Google 透过古典画作的三大特征，以强化对比、将阴影投射为黑色与透过黑暗环绕
场景作为原则，并透过色调映射还原色彩，以古典画作为师呈现出色的夜视模式。
少了 VisualCore 的 Pixel 3a 与 Pixel 3 仅有速度差异
或许会有消费者认为在少了 VisualCore 后， Pixel 3a 的影像表现会有所差异，不过 Mar
c Levoy 拍胸挂保证，除了少了 VisualCore 带来的处理高效率外，由于相机相同， AI 模
型相同， Pixel 3a 系列仅有处理速度较慢，影像品质不会有差异。