电脑也会手绘,美研究生开源AI模型“PaintsUndo”重现彩图创作历程
https://www.4gamers.com.tw/news/detail/65845
美国史丹佛大学研究生 Lvmin Zhang(lllyasviel)7 月 9 日在 Github 发表 AI 模型“P
aintsUndo”,使用者只要导入 2D 静态图像就会展开“逆向工程”,从白纸草稿、上色、
阴影到作品完工,电脑自动深度伪造一整段创作过程并完整输出成影片。
PaintsUndo 在 Github 页面刊载多个使用实例,该模型看似能将“任何平面彩图”的创作
历程输出成缩时影片,除了模仿动漫角色的 AI 插画,最底下有用照片或真人图像的案例,
就算本来不是插图,也能掰出画图的每个步骤。
PaintsUndo 操作步骤有三,首先是把图片上传并生成提示,电脑会试图理解原图的风格,
并模仿出人类绘画行为的画格(Key Frames),就像画画过程的分镜一样,使用者能调整种
子画面与其他参数,最后再输出缩影。
PaintsUndo 处理一张图的时间取决于使用者设定的每秒影格数(FPS)与分辨率,时长 25
秒、FPS 4、分辨率约 512x320、448x384 的影片,需要时间大约 5 到 10 分钟。
由于 AI 创作算法的训练数据多取自网络而时常陷入智财争议,今年 4 月新北私立复兴
商工就爆出校庆师生美展首奖作品“大闹龙宫”是用 AI 合成绘图,当时校方请该名学生还
原绘图过程,才发现他用 AI 拼贴图像、或到网络取图来“重塑”制画。
批评者常指责 AI 作画“没有灵魂”,争议点就是创作过程,因为作品是电脑生的,人类只
要下指令而非真正的手绘;但 PaintsUndo 不只能够重现构图历程,甚至可以将真实照片重
新构思成画作,仿佛把真人电绘的过程录下来。
PaintsUndo 的开发者 lllyasviel 专门研究电脑视觉领域(Computer vision),过去曾推
出影像生成模型 Fooocus、AI 光照布局 IC-Light、素描风格绘画模型 Style2Paints 和 C
ontrolNet 等数款免费模型,让使用者能轻松生成高品质彩图。
其中 ControlNet 获得领域盛事 ICCV 2023 最佳论文奖,该模型作为 Stable Diffusion
扩展套件,可以提取原图人物的动作与线条,来输出不同绘画风格且精准再现原图相应姿势
与轮廓的图像
https://x.com/kiyoshi_shin/status/1810554894581207380
https://x.com/milbon_/status/1810933092645011923
PaintsUndo 这样效仿人类作画的 AI,是否会沦为骗人的手段?
lllyasviel 在 Github 解释说该专案的目的是开发人类电绘行为的基本模型,协助未来的
AI 更能满足人类艺术家的创作需求,“Paints-Undo 名称启发自 AI 输出的过程类似人们
在电绘软件中多次按下‘复原’键(通常是 Ctrl+Z)。”
“使用者可以自由地使用这个工具来创作内容,但必须遵守当地法律,并负责任地使用。使
用者不得透过这个工具制造假资讯或煽动冲突。开发者对用户的滥用不承担任何责任。”