来源:https://mp.weixin.qq.com/s/G6IQn31SfLyBh5lQHcw99g
初见鹿鸣，不觉眼前一亮，“小姐姐”外表清新脱俗，神态举止俏皮可人，不由让人心中
升起种恬淡悠然之感。不久后在2020虚幻引擎开放日上，米哈游总裁大伟哥的演讲首次揭
秘了鹿鸣项目的幕后故事。方知鹿鸣项目的与众不同，她并非一个“功利”的商业项目，
而是米哈游内部第一个虚幻引擎技术验证项目，立项初衷是受虚幻引擎GDC演示项目Siren
启发，尝试将米哈游擅长的二次元赛璐珞风与虚幻引擎擅长的PBR写实风相结合，以求寻
得一个平衡点，也就是如今大家见到的鹿鸣独有的渲染风格。
https://youtu.be/zcRGPmEawmk
熬过疫情，鹿鸣在春节前成功完成了最新一期的直播。“呦呦鹿鸣，食野之苹”，恰逢大
地迎春之际，让我们再一次探访鹿鸣，了解下她从“深闺”到台前的“成长”之路。
首先在项目的第一阶段，团队唯一的目标就是将渲染品质提高，以求做到对标影视级别，
这可以说是一个纯LookDev阶段，所以不会过分纠结于一时的渲染及模拟效率。作为米哈
游第一个虚幻引擎项目，团队许多人对虚幻引擎并不了解，不免担心影响工作进度。所幸
虚幻提供的可视化编程功能——蓝图，对于新手十分友善，尤其对有其他引擎使用经验的
团队来说，更是很快上手。这使得团队能够快速搭建场景或实现各种功能原型，并快速迭
代来找到最佳方案。
而最受美术同学欢迎的要属Layered Material功能。有了它，美术可以方便地从材质库引
入材质作为子层，将材质由shader蓝图的编辑变成了类似传统美术软件对层进行操作的逻
辑，更符合美术的直觉，使得美术同学能很快学会在引擎中如何进行材质构建。而其每个
层相对独立的特点，也使得材质的维护修改变得方便快捷。
而为了追求影视级品质，这一阶段的作品都是通过虚幻引擎的影片渲染队列（Movie
Render Queue）功能进行离线生成的，所以生产管线也就类似传统离线CG的管线，而
Python作为传统管线软件都支持的脚本语言，对于整个管线的自动化效率至关重要，虚幻
引擎对Python的支持，使得引擎与传统CG流程管理软件、制作软件可以轻松衔接，大大方
便了资产管理以及批量化资产导入导出。
https://i.imgur.com/dR2xUv6.png
一言以蔽之，彼时团队就是将虚幻引擎作为一个所见即所得的LookDev编辑器+离线渲染器
来使用。
这一阶段直到UOD2020结束大半年后，团队确认了最终想要的风格以及品质标准后而告一
段落。第二阶段的工作重点自然是大伟哥在虚幻开放日分享结尾立的flag——做直播！
直播意味着是整个流程从离线到实时的颠覆，从后期配音到实时语音合成，从表演捕捉后
再将数据交给动画师精修变成实时的表演捕捉，从离线在其他DCC中进行布料、肌肉模拟
解算再将结果导入引擎到全实时解算，从原先几分钟甚至十几分钟一帧的画面到1秒30帧
，而这一切都还有一个大前提——必须保持离线的品质！
于是简单的两个字，团队走了近两年，在去年七月终于完成了鹿鸣的直播首秀，在保证了
品质的同时，验证了整个实时处理流程框架；更在第二次直播时，根据粉丝的反馈，优化
了管线、表情、物理模拟，使品质再上层楼。
要将虚幻实时渲染的品质达到MRQ离线渲染品质，难度不言而喻。所幸鹿鸣背后有着数以
百计的算法科学家与软硬件工程师为其攻克道道难关。
第一道难关是动作捕捉中的重定向。由于动捕演员的身形各异并且动作风格不完全可控，
想要鹿鸣有自然的表现，存在诸多的挑战。由于虚幻引擎4 官方还没有加入IK Rig
Retargeting功能，团队自己实现了一个IK Solver，以使在重定向过程中避免穿模的同时
，还能保证动作的稳定与自然。
而表情捕捉就更绝了，原以为鹿鸣这样的卡通角色，由于渲染上模型或材质上的细节不多
，表情上稍微有点差别，画面上可能看不出什么区别，可以更容易地避免恐怖谷现象。然
而理想很丰满，现实总是很骨感，正因为没有了模型上材质上的一些细节，表情的自然与
否反而变得更加重要。为了能够获得更好的细节表现，米哈游需要获取面捕过程中的底层
数据做定制优化，而不仅仅是商业方案解算后提供的默认的BlendShape组的权重值，于是
索性从头开始，“软硬兼顾“地做了一套完整方案。
https://i.imgur.com/CH18tAP.gif
表情捕捉效果
说完表演捕捉，再聊聊鹿鸣飘逸的秀发。为了提高头发的细节表现，米哈游并不满足于虚
幻引擎Groom默认的为了兼顾性能而偏线性的Strand插值算法，这可能使头发会被一些本
不该对其产生影响的Guide Line所影响而产生“炸开”的情况，而Maya XGen的插值允许
使用美术自定义的规则，从而满足特定美术效果需求。于是团队使用Maya XGen生成的数
据作为Ground Truth的数据集，通过机器学习实现了一套Strand插值算法以模拟Maya中的
插值效果，这才让鹿鸣的毛发变得丝丝顺滑～
https://i.imgur.com/D35HplI.gif
头发动态效果
同样使用了机器学习的还有肌肉模拟，尽管鹿鸣是个姑娘家细胳膊细腿，直觉上肌肉模拟
的效果差别远不如肌肉男来的明显，但和微表情的捕捉一样，正确的肌肉模拟带来的细微
形变显著提高了数字人的生动性与可信度。传统的有限元算法性能不足以实时解算，于是
团队将机器学习与传统的有限元算法相结合，通过机器学习来加速有限元算法的求解以达
到实时模拟。
https://i.imgur.com/Rbfptvw.gif
肌肉模拟效果
最后不得不提的是布料模拟，这也是米哈游这几年一直在不断改进积累的领域，为了能做
到实时解算并对标Houdini Vellum的效果，团队用CUDA实现布料与毛发的Solver，并能支
持多GPU加速，大幅提高了解算速度，最终达到了30FPS的要求。
https://i.imgur.com/qTEMspI.gif
实时布料解算效果
交流时和团队天南地北地聊了许多相关技术，由于受篇幅限制，这里能列出的不过是米哈
游通过鹿鸣项目积累的技术宝库的冰山一角，还有不少重磅功能以及实现细节需要等时机
成熟后由米哈游鹿鸣团队来揭晓。
而当被问及未来，团队认为升级虚幻引擎5会是今年一个重要的目标，尤其对虚幻引擎5中
的Lumen、Substrate（即5.1的Strata）、Neural Network Interface等功能充满期待。
交流会后回到家，想到会上浓郁的技术氛围，想到讨论技术时团队成员放光的眼神，不免
令人感慨，世人都羡慕米哈游至今每一款作品都能获得成功，我也不能免俗。但如今当我
见识了这风光背后米哈游团队数年如一日，持之以恒，专注于技术，对技术不计成本的投
入，耐心打磨每一个产品细节的付出后，倒也释然了。
最后，感谢鹿鸣团队的新老小伙伴们，期待将来米哈游的技术宅们用虚幻引擎5为世界带
来更大的惊喜。
=============================================================
今天终于知道米忽悠对这项目的定位了←_←
非功利性的UE引擎技术验证项目
还改了好几套渲染跟算法，没想到这玩意投入了数以百计的人
真有钱Orz 这普通公司确实玩不起