Meta元宇宙中专利系列介绍（一）： 头像化身保真度和个性化专利
https://bit.ly/3tT8iyy
在未来的元宇宙中，绝对少不了的元素之一，就是在虚拟世界代表个人身份的头像化身或
数位分身（digital avatars/twin或称数位双生，即俗称阿凡达），因为元宇宙中仍需要
“以人为本”，只是，这个人已变成“虚拟人”(virtual humans)。目前现有头像化身之
形成，是依赖系统在萤幕上所提供的多种类型供使用者选择，然后再手动进行个人化制作
，然而这样的系统不仅操作起来很耗时，而且通常完成后的头像化身也不像使用者本人，
很难展现出其具有专属之“个性化”。再者，即便现在有专业的3D建模设计师，可手动绘
制创造出使用者的外貌特征与轮廓，但仍需相当长时间来修改。
有鉴于以上的缺点，Meta于2019年10月提出一件改善的方法与系统，并在2022年初就获准
美国发明专利案号US11,217,036B1“头像化身保真度和个性化”（Avatar Fidelity and
Personalization，其申请日为2019/10/07，核准日为2022/01/04，预计到期日为
2039/10/07，以下称本专利），本专利显示一项头像化身之个性化引擎(avatar
personalization engine)，使用所谓的皮肤复制器(skin replicator)工具，根据使用者
的照片创造出栩栩如生之3D头像，再增添与使用者匹配之附加特征如发型、眉毛形状、面
部毛发、眼镜等，使头像化身模型进一步得以显现出个性化；目的在拟创造人物之3D复制
，具超现实性以至于与真实无从区分 [注1]。
本专利最大的贡献，在于将头像化身予以个性化的形成方法，而非在装置或系统。具体而
言，其揭露一种自动生成个人化的头像化身，请参考图一，系从使用者图像到形成个人化
的头像化身的自动生成示意图。
https://imgur.com/jB4JGrB
本专利揭露电脑执行一连串的图像辨识与生成的算法（当然也包含一种机器学习）。首
先，执行步骤702，透过围绕在使用者周围的多个摄像装置，撷取一或多个使用者图像，
而使用者图像又对应许多生物特征数据；然后进入步骤704，透过基于使用者图像创造3D
使用者模型，其中3D使用者模型可和一般人模型比较，以确认使用者与一般人模型之间的
增量(delta)，如图二所示：
https://imgur.com/awFxUE6
所谓的增量就是执行步骤706，分析使用者脸部的表面纹理和个性化特征，例如面部特征
的曲率和大小的差异之计算：中前额804和854、右脸颊810和860、左脸颊812和862、鼻子
（在尖端）820和870、上唇816和866，下唇818和868和下巴线814和864。此外，针对面部
特征进行长度差异之计算：例如眼睛806和856之间的距离以及耳朵808和858的长度。
接着，执行步骤708，将步骤706已完成分析的确认之表面纹理和个性化特征套入到步骤
704的3D模型中。然后，执行步骤710，将使用者与一般人模型之间的增量套用到一3D通用
模型(generic avatar model)，如图三所示。也就是说，将增量（图中标号880）套用到
3D通用模型902，以形成个人化头像分身。最后，执行步骤712，将添加额外符合使用者的
特征（如发型、眉毛几何形状、面部毛发、眼镜等），即完成整个个人化头像分身的自动
生成过程。
https://imgur.com/VV4cyJj
Meta对本专利揭露的方法所带来的优点在于，自动产生个性化之头像分身，完全依赖电脑
系统的分析与建模，而非凭借目前使用者手动或3D建模设计师的“感觉”所绘制，因此本
专利宣称所有的过程，可在很短的时间内完成且成本更低。
其实，Avatars并非新颖的概念，因许多年来游戏玩家一直在用，例如Super Mario或超现
实之死亡搁浅(Death Stranding)，然而，一旦要将它用来表彰真实人类的你我，则无论
是在技术或心理上，皆需要相当之突破与调适；Meta念兹在兹想开创出真人版本，早于
2019年初即利用高质量之3D扫描，推出具卡通风格之虚拟化身，拟取代目前使用之视频会
议，但该种卡通动漫并非Mark Zuckerberg之终极目标，他要的是具有与真人属性几无区
别的avatars。企图透过轻量级耳机，使用头戴式捕获系统(Head Mounted Capture
systems)原型，配备摄像头、加速计、陀螺仪(gyroscopes)、磁力计(magnetometers)、
红外线(infrared lighting)和麦克风，以捕获全方位之人的表达。
Meta乃从使用者佩戴VR装置，并收集包括眼球、嘴部运动和面部细致的表情等数据，再透
过机器学习而即时产生真实的化身。但头像化身绝非仅只于脸眼头部而已，而必须要及于
全身，故Meta延续其2019年雏型，于眼睛与脸部活动外，再扩及到人体全身的元数据
(meta data)之追踪、蒐集处理，并透过运行效能更快、耗能更低之AI算法和神经网络
技术等特殊应用芯片（俗称ASIC），来改进生成更逼真之头像化身。
Meta去年底公布，其开发用于XR之高保真3D逼真头像化身系统，系在Quest 2上运作最新
版本的“Codec Avatars 2.0”，再创出一“全身编转码器头像化身”(Full-body Codec
Avatars)，该渲染的虚拟分身，可模拟眼睛上下左右的运动、表情，甚至是全身姿态的跟
踪；而在VR中还可从多角度观看此动态3D图像，不仅可渲染出更接近真人的逼真外观，在
不同的动态光线条件与环境下，可细到头发和皮肤等细节之真实渲染，都有很大突破，甚
至还可显示出人脸的每个毛孔。
Meta的目的是想让使用者可快速容易的建构其在元宇宙之头像化身，于AR/VR中动态渲染
出逼真之头发、眉毛、皮肤、胡须等五官，进而支援眼部运动、面部表情、四肢与身体姿
态等特征，发展出全躯体逼真的的虚拟化身(photorealistic avatars)。此外，为了进一
步提升Avatar的真实感，Meta也开发出模拟布料的物理特性，在VR中触摸裙子时，其可模
拟出裙子的皱褶波动，甚至还可看到布料的拉扯。
Meta之高保真3D场景渲染效果，特点是支持即时动态渲染，可模拟真实场景变化，未来有
助于增强VR社交体验感。对Meta来说，该高保真3D动态仿真(high-fidelity 3D dynamic
simulation)技术，是实现Metaverse之必要突破。不过，它当然还需再改进触摸、手部与
眼睛跟踪和电脑视觉等项目，其刻正加紧研发全身之动态虚拟系统。
依以上所揭露之本专利，仅只着重于头与脸部之“头像”而已，尚未及于身体，Meta之
Full-body Codec Avatars理论上，想必其早已在布局相关之专利，值得后续关注。总之
，Meta在元宇宙暂已有所斩获，放眼未来虽仍有很长的路，但至少已跨出了重要的一步。
(2653字；图1)
注1：专利摘要指可透过基于使用者之一个或多个图像创造3D使用者模型，为使用者产生
个性化之化身。该头像化身之个性化引擎，能计算3D使用者模型和一个普通人模型之间的
增量(delta)，该模型基于多数人的平均测量值创立的模型。然后头像化身之个性化引擎
，依增量中确认之对应特征指定的量，透过改变通用化身模型之特定特征的测量，可将增
量应用于通用之化身模型，再将通用化身模型予以个性化来模仿使用者，可增添与使用者
特征匹配之附加特征，例如发型、眉毛几何形状、面部毛发、眼镜等，使头像化身模型得
进一步予以个性化。