https://gnn.gamer.com.tw/detail.php?sn=249233
NVIDIA 绘图研究推动生成式 AI 前瞻发展 预定八月在电脑绘图大会 SIGGRAPH 发表相关
论文
（GNN 记者 纸箱 报导） 2023-05-03 18:21:50
#3d
#NVIDIA
#人工智能
　　NVIDIA 宣布，他们推出一波前瞻人工智能研究，希望使开发人员和艺术家能够将他
们的想法变为真实。官方释出相关研究论文重点内容，并预告这些与美国、欧洲和以色列
十几所大学合作的 20 篇推动生成式 AI 和神经图形的 NVIDIA Research 研究论文，将
于 8 月 6 日至 10 日在美国洛杉矶举行的电脑绘图专业盛会 SIGGRAPH 2023 上发表。
https://i.imgur.com/X3X7vRB.png
【以下内容为厂商提供资料原文】
　　NVIDIA 今天推出一波前瞻的人工智能研究，使开发人员和艺术家能够将他们的想法
变为真实 — 无论是静止的还是移动的、2D 或 3D 的、超现实主义的还是奇幻的。
　　透过与美国、欧洲和以色列十几所大学合作的 20 篇推动生成式 AI 和神经图形的
NVIDIA Research 研究论文将于 8 月 6 日至 10 日在美国洛杉矶举行的电脑绘图专业盛
会 SIGGRAPH 2023 上发表。
　　这些论文包括将文字转换为个性化图像的生成式人工智能模型、将静止图像转换为
3D 物件的逆向渲染工具、使用 AI 以惊人的真实感模拟复杂 3D 元素的神经物理模型、
和可解锁生成实时、AI 驱动的视觉细节的神经渲染模型。
　　NVIDIA 研究人员的创新定期在 GitHub 上与开发人员分享，并整合到产品中，包括
用于构建和操作元宇宙应用程式的 NVIDIA Omniverse 平台和 近日发表用于视觉设计的
定制生成式 AI 模型代工厂 NVIDIA Picasso。 NVIDIA 多年的绘图形研究帮助将电影风
格的渲染带入游戏，例如最近推出的《电驭叛客 2077》“光线追踪：Overdrive 模式”
，这是世界上第一款路径追踪的 AAA 游戏。
　　今年在 SIGGRAPH 上展示的研究进展将帮助开发人员和企业快速生成合成资料，以填
充用于机器人和自动驾驶车辆培训的虚拟世界。它们还可以让艺术、建筑、平面设计、游
戏开发和电影创作人更快地制作出用于分镜、预视和甚至影片制作的高品质视觉效果。
具有个人风格的 AI：定制的文字到图像模型
　　将文字转换为图像的生成式 AI 模型是创造概念艺术和对于电影、游戏和 3D 虚拟世
界制作分镜表的强大工具。文字到图像的 AI 工具可以将像是“儿童玩具”之类的提示变
成几乎无限的视觉效果，创作者可以从中获得灵感 — 产生绒毛动物玩具、积木或拼图的
图像。
　　然而，艺术家可能有一个特定的主题。 例如，某玩具品牌创意总监可能正在围绕一
只新款泰迪熊策划一项广告活动，并希望在不同情况下形象化该玩具，例如泰迪熊茶会。
为了在生成式 AI 模型的输出中实现这种级别的特异性，特拉维夫大学和 NVIDIA 的研究
人员撰写了两篇 SIGGRAPH 论文，让使用者能够提供让模型可以快速学习的图像范例。
　　一篇论文描述了一种需要单一个示例图像来自定义其输出技术，在单个 NVIDIA
A100 Tensor Core GPU 上将个性化过程从几分钟加速到大约 11 秒，比以前的个性化方
法快 60 倍以上。
　　第二篇论文介绍了一种名为 Perfusion 的高度紧凑模型，它采用少量概念图像，允
许用户将多个个性化元素（例如特定的泰迪熊和茶壶）组合成一个人工智能生成的视觉效
果：
https://i.imgur.com/iI57DQk.png
提供 3D 世界内的服务：逆向渲染和角色创建的进展
　　一旦创作者构思出虚拟世界的概念艺术，下一步就是渲染环境并使用 3D 物体和角色
进行填充。NVIDIA Research 正在发明人工智能技术，透过自动将 2D 图像和影像转换
为 3D 来加速这个耗时的过程，让创作者可以将其导入绘图应用程式进一步编辑。
　　与加州大学圣地亚哥分校的研究人员共同创作的第三篇论文，讨论了可以基于单张
2D 肖像进而生成和渲染出逼真的 3D 头肩模型的技术，这是一个重大突破，可以让使用
AI 进行 3D 头像创建和 3D 视讯会议变得更加容易。 该方法在消费者电脑桌面上实时运
行，并且可以仅使用传统的网络摄影机或智慧手机摄影功能就生成逼真的或风格化的 3D
遥现（Telepresence）远端临场）。
　　第四个专案是与史丹佛大学合作，为 3D 角色带来逼真的动作。研究人员建立了一
个 AI 系统，该系统能够从真正的网球比赛的 2D 影片记录中学习一系列网球技巧，并将
动作应用于 3D 角色。模拟的网球选手可以精确地将球打到虚拟球场上的目标位置，甚至
可以与其他角色进行长时间的回合比赛。
　　除了网球的测试案例外，这篇 SIGGRAPH 文章还探讨了如何在不使用昂贵的运动捕捉
资料的情况下，创造出具有多种技能、并能进行真实运动的 3D 角色。
不失一根头发：神经物理学实现逼真的模拟
　　当 3D 角色生成后，艺术家可以增加像是头发这样逼真的细节，这对动画师来说是一
个复杂且需要大量运算的挑战。
　　人类平均有 100,000 根头发，每一根都会随着个人动作和周围环境而动态变化。传
统上，创作者使用物理公式来计算头发的运动，根据可用资源来简化或近似头发的运动。
这就是为什么大制作电影中的虚拟角色拥有比即时游戏中的角色更仔细的头发细节。
　　第五篇论文展示了一种使用神经物理学的方法，可以高分辨率模拟数万根头发。神经
物理学是一种人工智能技术，它教导神经网络预测物体在现实世界中的运动方式。
　　该团队为实现完整规模头发的准确模拟提出了一种新颖的方法，专门针对现代 GPU
进行最佳化。与最先进基于 CPU 的解算器相比，它提供了显著的效能提升，将模拟时间
从多天减少到仅需几小时，同时提高了即时的头发模拟品质。这种技术终于实现了物理精
确与互动的头发造型。
神经渲染为实时绘图带来电影品质的细节
　　当一个虚拟环境被填充了动画 3D 物体和角色后，实时渲染会模拟光线通过虚拟场景
反射的物理过程。NVIDIA 最近的研究显示，纹理、材料和体积的 AI 模型可以在实时渲
染中提供电影等级的逼真视觉效果，可用于游戏和数位孪生。
　　NVIDIA 二十年前就发明了可程式化的着色技术，使开发人员可以自定义绘图管道。
在这些最新的神经渲染发明中，研究人员透过运行在 NVIDIA 实时绘图管道内的 AI 模型
来扩展可程式化着色代码。
　　在第六篇 SIGGRAPH 论文中，NVIDIA 将呈现神经纹理压缩，在不占用额外 GPU 记忆
体的情况下，提供高达 16 倍的纹理细节。神经纹理压缩可以大幅提升 3D 场景的真实感
，如下图所示，这说明神经压缩纹理（右）如何捕捉比先前格式更清晰的细节，在先前格
式中文本保持模糊（居中）。
https://i.imgur.com/dRbNUEg.png
神经压缩纹理（右）在不占用额外 GPU 内存的情况下，提供高达 16 倍的纹理细
节
　　第七篇论文介绍的是 NeuralVDB，这是一种 AI 驱动的资料压缩技术，可使表示烟、
火、云和水等体积资料所需的内存减少 100 倍。
　　NVIDIA 今天还发布了关于更多神经材料细节的研究，这些细节在最新的 NVIDIA
GTC 主题演讲中已展示。该研究描述了一个 AI 系统，它学习光如何从真实的多层材料反
射，将这些资产的复杂性降低到实时运行的小型神经网络，使阴影处理速度提高 10 倍。
　　从这个神经网络渲染的茶壶中可以看出其逼真度，它准确地呈现了陶瓷、不完美的清
釉、指纹、污迹甚至灰尘。
https://i.imgur.com/qE5rQKZ.png
此神经网络模型学习光如何从真实的多层材料反射
更多生成式 AI 与绘图研究
　　以上只是其中的重要亮点，请阅读更多关于 SIGGRAPH 上所有 20 份 NVIDIA 论文的
内容。NVIDIA 还将在大会中提供 6 门课程、4 场讲座和 2 场新兴技术演示，主题包括
路径追踪、遥现和生成式 AI 的扩散模型。
　　NVIDIA Research 在全球拥有数百名科学家和工程师，其团队专注于人工智能、电脑
绘图、电脑视觉、自动驾驶汽车和机器人等主题。
============
图像生成AI的研究上面 NV真的好强
20篇顶会论文批发啊

5090上看10万

神经压缩纹理，又有新的黑科技技术了

感觉不用动补就能让真人套3D皮唱跳的时代快到了