Meta元宇宙中专利系列介绍（三）： 人类瞳孔转向搭配HMD/NED整合AR/VR专利
https://bit.ly/3unFb6L
从过去十年以来，AR（扩增实境）头戴式显示器(HMD: head-mounted display)之应用愈
来愈多，已渐成为现代生活的重要设备，由于小型化显示器、相机和感应器的进步，在显
示虚拟影像的同时保持透视能力，可将AR头戴式显示器、瞳孔追踪器(pupil trackers)、
空间光调制器(spatial-light-modulators)、电脑产生之全像(holography)、与HMD整合
成自适应性之光学(adaptive optics)，为视觉模拟提供了强大的技术，现已被广泛用于
从游戏、驾驶辅助到医疗培训等多种用途，因此AR大幅促进了使用者、数位内容和现实/
虚拟世界之间的互动。
而社群网络巨擘Meta当然也体认及此，并将其延伸至元宇宙中。而元宇宙本质上就是虚拟
世界，因此Meta拟于其中制作逼真的头像分身，收集各项人体生物特征资料，并计划透过
客制化的技术以追踪使用者脸部的一举一动来实现其目标，其中一种方式就是根据眼睛注
视的方向和瞳孔活动，来判断使用者可能隐含之兴趣并掌握情绪状态之资讯。例如，眼睛
流连在某张图片上即可能表明其喜好，Meta于是按图索骥开发这些用于追踪眼睛方面应用
之技术，如在头戴式耳机中透过微型摄像头或感应器，来收集眼球的运动，以回馈提供使
用者增强其在VR或AR上更沉浸式之体验。
虚拟实境需要从使用者收集精确的数据，以制作出完全沉浸式之体验。眼动追踪技术对沉
浸感和与虚拟环境之互动至关重要，如果感知之资讯输入不准确，它可能会让使用者迷失
方向，或让使用者感到恶心。Meta近年来为用于跟踪眼睛运动、监测使用者之眼球等创新
应用技术，已申请一系列的相关专利。以下仅选取二件相关专利，一窥Meta对未来元宇宙
的想像。
Meta于2018年12月申请“用于瞳孔转向之整合扩增实境头戴式显示器”(Integrated
Augmented Reality Head-Mounted Display for Pupil Steering)专利，并在2021年9月
获准案号为US11,112,613之美国专利（以下称’613专利），请参考以下图一。在’613专
利的摘要中，描述一种提供AR内容的头戴式显示装置（标号400），包括眼动仪(eye
tracker标号408)、投光器(light projector标号402)、光束转向器(beam steerer标号
404)和组合器(combiner标号410)。眼动仪用来确认佩戴者眼睛的瞳孔位置，投光器用来
投射光线并渲染图像的光，光束转向器根据瞳孔的位置改变投光器之光线的来向，组合器
则用来结合来自投光器的光线（标号414-1），以及来自头戴式显示装置外部的一部分光
线（标号416）透射组合器后，将两者不同的光线进行叠加，便可渲染图像并投影至眼睛
内。
https://imgur.com/a/kepE8L3
请再参考以下图二，头戴式显示装置中的眼动仪，被用来判断并追踪瞳孔的位置（如标号
418-1的箭头方向所示）。更进一步来说，眼动仪可透过追踪瞳孔内的影像、闪光侦测、
视网膜反射或是瞳孔表面的轮廓量测，以判断眼球的位置。
Meta所提出的’613专利之优点究竟为何？传统的头戴式显示装置，在投影影像映入使用
者的眼球时，为了提供使用者在所有的注视方向能有更宽广的视野，所投影出的影像就必
须涵盖在使用者眼睛周围的大区域上。然而，在大区域上所投射出的影像会导致影像的亮
度降低，而为了补偿降低的亮度，通常需要高强度的光源，惟高强度的光源装置不仅占据
大部分的头戴式显示装置的空间，而且还具有高功耗等缺点。相对于传统的头戴式显示装
置，’613专利可透过眼动仪追踪瞳孔，并将影像朝向瞳孔进行投影，如此一来就可减少
影像的投影区域，进而消除高强度光源的需求。
https://imgur.com/Mid0F1W
此外，再参考以下图三，是’613专利针对眼动仪的功能更进一步地揭露，眼动仪内设有
一或多个深度传感器，而这些深度传感器系用来测量深度传感器与眼睛间的距离，例如标
号1116-1、1116-2、1116-3分别代表不同的距离，透过这些微小的距离，可建构出眼睛的
表面轮廓。更甚者，眼动仪内的深度传感器可以对眼睛做深度扫描，计算出眼睛的表面轮
廓，并进而判断出眼睛注视哪一个方向。举例来说，若深度传感器测量出距离大于某一个
参考距离时，就表示眼睛正往下看；反之，若测量出距离小于某一个参考距离时，就表示
眼睛正往上看。简言之，透过眼动仪内部的深度传感器与眼睛之间的距离，可借此判断出
使用者眼睛当下正注视哪一个方向。
https://imgur.com/ZJn1Z48
另一件关于Meta之追踪眼球的专利，系于2018年10月申请“瞳孔转向头戴式显示器”
(Pupil Steering Head-Mounted Display)发明专利，并在2020年7月获准案号为
US10,712,576B1之美国专利（以下称’576专利）。请参考图四，其系为’576专利中的
NED近眼显示装置(near-eye display)的外观示意图，近眼显示装置可用来操控AR、VR或
MR。此外，显示元件（标号210）可为LCD显示面板、LED显示面板，或其他光学显示面板
（如光波导组合而成的面板）。近眼显示装置还包括高分辨率的摄影机（标号240），用
以捕捉现实世界中物体的影像，并经过处理器处理后的影像，可和虚拟物件一起呈现在使
用者眼前。
https://imgur.com/UvcujKP
’576专利明确指出，对于人工实境系统的使用者体验，可取决于以下几个光学特性：视
野(field of view, FOV)、影像品质、眼动范围(eye box)大小、影像显示之亮度等。一
般而言，FOV和眼动范围应尽可能的大，影像品质要好就是分辨率应尽可能的高，影像显
示之亮度也要足够明亮（尤其是光学透视AR系统），针对’576专利所揭露的技术来看，
其欲解决的问题正是眼动范围。
所谓的眼动范围，是指近眼显示系统与眼球之间，有一块成像最清晰的锥型区域，若使用
者的眼球超出该区域，则可能会看到影像扭曲、色彩失真，甚至无法显示内容的问题。举
例来说，有一种平视显示器(heads-up display, HUD)应用在飞机驾驶的挡风玻璃上，透
过仪表板的反射作用至挡风玻璃上，可显示飞行高度、瞬时速率、倾斜角度、经纬度位置
、油料等资讯，因此驾驶只需要平视眼前的飞行状况即可，而不用低头看相关飞行资讯。
然而，驾驶的视线一旦转移过大，则挡风玻璃上的资讯就会部分消失或全部不见。所以，
眼动范围越大，驾驶就可更灵活地移动，但是代价就是可能会导致系统更大、更重、更昂
贵且效能更低。在’576专利中也有强调传统的近眼显示系统，若要增加人工实境系统的
眼动范围，也将发生前述所提及的缺点，进而有损沈浸式的体验。
因此，’576专利为改善以上的缺点，特别提出此种近眼显示系统，如图五所示，其包含
几个主要光学元件：影像来源（标号1010）、透镜（标号1020、1040）、偏光镜（标号
1030、1050）以及组合器（标号1060）。影像来源可为LCD显示面板、LED显示面板、干涉
光源或是空间光调变元件等发光体，而影像来源结合透镜（标号1020）可形成一种投影装
置以便输出影像，并且依序经过（如图中粗黑实线之光学路径）偏光镜（标号1030）、透
镜（标号1040）、偏光镜（标号1050）、组合器（标号1060）后，影像最后经由出光瞳孔
（exit pupil标号1070）而映入使用者的眼睛（其位置位在标号1120处）。特别值得一提
的是，以上所有的偏光镜是采用微机电(MEMS)技术予以微缩，故近眼显示系统得以做到短
小轻薄。
本发明技术特色在于，当使用者的眼睛位在标号1120’处时，控制器就会自动地将偏光镜
（标号1030）旋转某个角度，使得输出影像可沿着粗黑虚线而抵达使用者的眼睛（其位置
位在标号1120’处）。如此一来，透过追踪使用者的眼睛位置而自动调整输出影像的光学
路径，不仅可解决眼动范围过小的问题，而且也不需要笨重的光学系统，针对眼动范围过
小去作任何的补偿。(2710字；图1)
https://imgur.com/N0tVzkC