Meta元宇宙中专利系列介绍（四）：基于雷达之人工实境追踪装置专利
https://bit.ly/3yQEDYk
Meta为打造其元宇宙(Metaverse)，开发新技术与各式感应设备，优化各类沉浸式头戴式
装置、创造逼真的头像化身、机器人皮肤，到抓紧人类视觉/听觉/触觉之深度探究，去追
踪监测玩家眼球视线、面部表情、头部运动、手势、身体姿态等一举一动，蒐集这些人体
生物特征资料，然后产生出与虚拟对象互动之回馈系统，让玩家能充分沉浸在数位世界中
的虚拟影像与场景环境，而为实现这一目标其已申请一系列的专利。
Meta于2020年9月获准美国专利“基于雷达之人工实境追踪装置、系统和方法”
(Devices, Systems and Methods for Radar-based Artificial Reality Tracking)，其
专利案号US 10,782,782，申请日为2019年7月18日，核准日为2020年9月22日（以下称本
专利），本专利的代表图如图一所示，揭露一种人工实境追踪系统，其包含头戴式装置（
图中标号520）以及固定在手套上的多个转发器（transponder图一标号506、508、510、
512与514），其中使用者穿上头戴式装置后，可看到虚拟实境内容的呈现，并与之互动。
https://imgur.com/TKmERdd
本专利的技术特征在于，透过头戴式装置上的雷达元件（图中标号516、518），与多个转
发器彼此间的无线电波调频（frequency-modulated）[1] 讯号来回传递之距离，可追踪
该使用者身体在实体环境中的各部位，并透过头戴式装置内中的处理器，计算出该使用者
身体的各部位之相对位置与运动的相对速度，然后再根据所计算出当下的相对位置与相对
速度，立刻对应地投射到头戴式装置的虚拟实境内容中，而这所有的发生过程都在极短时
间内完成。
根据本专利的内容，可尝试用一种较浅显易懂的方式，来重新诠释艰涩的专利说明书。举
例来说，当使用者在实体环境中向右摆动自己的头，同时右手由后向前用力一挥，做出如
网球运动员般的杀球动作，在做这一连串动作的极短时间内，转发器立即回传讯号至雷达
元件，告知头戴式装置内的处理器后，立即将使用者身体的各部位，在实体环境中运动的
相对位置和相对速度，投影在虚拟实境内容，而虚拟实境内容中的虚拟化身，也立即展现
杀球的姿势。此外，在这种发明概念下，手套上的转发器也可固定在其他形式如发箍、腰
带、手表、腕带等物体上，以便将转发器上的反射讯号传递至雷达元件，进而即时计算出
实体环境中使用者的整体姿势为何。
更有趣的是，本专利还提到透过头戴式装置所投影出的影像，当使用者去触摸该影像时，
使用者会产生一种手持物体的感知。而这样的感知是透过手套上的触觉装置（haptic
device如下图二的标号1304）内的机械传感器、压电传感器，或是流体传感器等传感元件
，而可精准地捕捉手腕、肌腱等肌肉活动，以便追踪身体的姿势与感知，让使用者置身在
VR环境中，犹如现实世界般拟真的沈浸式体验。
https://imgur.com/RVwEFd5
值得一提的是，关于前述提到的手套，其细部结构可参考图三，包含触觉装置（标号1210
与1220）、纺织材料（标号1230）、振动触觉元件（标号1240）、电源（标号1250）、处
理器（标号1260），以及通讯接口（标号1280），其中触觉装置被嵌入至手套内，用以捕
捉手腕、肌腱等肌肉活动；纺织材料具有弹性，可用以包覆手和手腕；振动触觉元件被设
置在纺织材料内，并且被用以定位在使用者的手指、拇指和手腕上，以对使用者提供触觉
反馈，而这样的触觉反馈，可包含动态地捕捉使用者的手指弯曲状态；电源是用以提供振
动触觉元件与处理器之电力，以启动振动触觉元件的运作；处理器系接受电源的启动后将
透过程式化控制所有的振动触觉元件的运作；通讯接口则用以接收来自处理器的讯号，并
且输出其对应的讯号，而可电性耦合到手套外的某一种装置或系统（标号1270），例如：
行动装置、游戏工作台（gaming console）、VR、AR、MR、个人电脑、平板电脑或路由器
之类的装置或系统。
https://imgur.com/Jq8HGA0
至于本专利中的另一个重点，如图四，其系一种代表可穿戴式装置的AR系统示意图。此AR
系统包含框架（标号902）、摄像机（标号904）、输出音讯转换器（audio transducer，
标号908(A)与908(B)），以及输入音讯转换器（标号910），其中摄像机用以收集真实环
境中的资讯，输入音讯转换器用以捕捉真实环境的声音，而输出音讯转换器根据输入音讯
转换器所捕捉到的声音，而可转换成音讯回馈/内容至使用者。
https://imgur.com/pb7Zv22
简言之，本专利的特点，就是透过一可追踪使用者头部运动之人工实境的头戴式装置，具
有内嵌多个转发器的手套，以及头带可追踪使用者的头部运动，并捕捉环境中声音之音频
转换器。此外，本专利透过雷达侦测到手套上所有的转发器，而该转发器还可精准地捕捉
手腕、肌腱等肌肉之活动，以追踪身体姿势并蒐集身体反应之生物数据。特别值得一提的
，这个专利申请，总共只花了一年多一点的时间就被核准，表示其技术内涵的确具有相当
高之含金量，因此才能在相对短的时间取得。
从本专利可大略一窥Meta对于未来产品的走向，企图想在虚拟世界中打造一种与现实世界
一模一样的触觉感知，好让使用者戴上手套后，不论是进入AR、VR或是MR等虚拟世界，透
过手指或手掌去触摸虚拟世界的一个虚拟物体时，使用者仿佛如真实世界碰触真实物体一
般，手套上的触觉装置会突然产生一种阻力感，让现实中的使用者发生一种触碰感或按压
感等方面之感知。
虚拟世界中的触觉感知科技其实才刚起步，也许对某些“一级玩家”而言，已等不及想要
体验这种神奇的感受，但可能对另外一群“一级玩家”来说，要戴上布满上百个电子元
件 [2] 这么厚重闷热的手套来进行游戏，是否真的能达到完美的沈浸式体验？这可能还
需要观察市场的接受度才知道。
在“五感”之中，即听觉、视觉、触觉、嗅觉以及味觉，目前，听觉应该算是相对成熟的
技术，即便在虚拟世界要听3D立体环绕音效，让使用者有空间感、方向感也不是难事；视
觉在虚拟世界的进展目前算是尚可，但要达到3D全像影像（holography）[3] 却还有很长
一段路要走；触觉正值起步阶段；至于嗅觉与味觉现今来看就更是遥不可及了。
倘若要在元宇宙达到如真正实体世界的感受，让使用者能够达到近乎100%的沈浸式体验，
势必需要完美整合多种的感知。我们试着想像，当未来电影院不再流行时下的2D或3D电影
时，取而代之的是观众买了一张“侏罗纪公园”的电影票进入戏院后，观众就仿佛置身在
1.4亿年前的侏罗纪时代，完美体验恐龙的嘶吼声（听觉）、巨大貌（视觉）、厚实感（
触觉）、掠食者气味（嗅觉）等多重感知，营造一种穿越时空之气氛。不过，要达到这样
的元宇宙，势必还有一段很长的路要走，而其中产业的背后，最不可或缺的可能还是半导
体技术与高算力的处理器。