AI生成可即时编辑的真实3D场景
https://bit.ly/3OXcBB0
未来，AI模型很快就能在笔记型电脑上让人们可以即时创建或是编辑近乎真实感的3D场景
，有望帮助艺术家在从事游戏或是电影中电脑产出影像(CGI)的工作，或是创建出超现实
的虚拟化身。
过去AI生成逼真的2D图像已经有一段时间了，但3D的场景因需要更强大运算能力，因此更
棘手。加州史丹佛大学的研究人员开发的AI模型─EG3D，可以快速生成高分辨率且以几何
图型结构为基础的人脸或是其他物体的随机图像，并且在笔记型电脑上即时运行。
这是第一批能够实现接近“照相写实主义 (photorealism)”渲染品质的3D模型。EG3D透
过使用了一种称为“生成对抗网络(generative adversarial network，GAN)”的机器学
习技术来生成图像。该系统将两个神经网络相互对抗，使用了其中一个神经网络来产生图
像，而另一个神经网络则用来判断它们的准确性，并多次重复这个过程，最终呈现出非常
真实的结果。
研究团队使用现有高分辨率的2D GANs的特点，并添加了另一个零件将这些图像转换成3D
的图型。一次解决了运计算效率及现有架构向下相容性(backward compatibility)的问题
。虽然目前EG3D的模型可以生成近乎照片写实主义的3D图像，但较难在设计软件中进行编
辑，且GAN是如何生成逼真的3D图像还是个谜。
威斯康辛大学麦迪逊分校的研究人员开发了一个称为GiraffeHD的机器学习模型，该模型
提取可以操纵3D图像的特征，并提供EG3D模型修正的协助。透过GiraffeHD模型可以控制
想像的类型样式来生成想要的图像。目前该模型在数百万个特定类型的图像上进行训练，
并找出图像中与各类别对应的隐藏特征，包含物品的形状、颜色或是照相机的角度等潜在
的因素。
这些可控制的特征最终可以用于编辑3D生成的图像，让使用者可以在想要的场景自行编辑
精确的特征。目前该两种技术在更广泛的应用及算法偏差方面年还有需要加强的问题。
该研究发表在Computer Vision and Pattern Recognition研讨会。