Re: [闲聊] AI画图是不是大数据拼图?

楼主: newwu (frankwu)   2022-10-06 13:30:15
我尝试来简单图解一下 AI生成图的概念
因为 1. 想要简单解释 2. 我不是本科生
请板上各位高手不吝指教 不过别太严格
见图一
首先,我想要从向量空间开始讲起
假设你有一张图 只有两个像素 1 x 2
那你可以把第一个像素当成 x 第二个当成 y
这图就是一个(x,y)向量 (见下图)
假如有 3个像素 1 x 3 就是(x,y,z)三维向量
同理,
nx x ny 像素的图 就是一个nx x ny 维度的向量
https://i.imgur.com/5QxQiV2.jpg
图一
见图二
理解这个想法后
我们把图像的高维空间画成二维方便表示
以ACG图为例
那被人类接受的ACG图就是一个高维空间中的分布
简单理解就是一个范围内的图,会被视为可接受的ACG图
在那个范围外的空间包含相片 噪声 古典艺术 支离破碎的图
生成模型的目的,就是从范围内的样本(下图红点)建立一个模型
这个模型学习到这个范围,而模型可以生成也只会生成在范围内的点
https://i.imgur.com/NfUyIAg.jpg
图二
这里有两点值得注意
1. 模型并没有储存红色样本点的资讯,而是学到让点落在那个范围内的方法
2. 虽然理想上是要学习被人类接受的ACG图的范围,但是能学到的范围受到样本的限制
例如:未来会出现的画风照道理说也在范围内,但是没有样本,理论上学不到
又或者你的样本内没有一张图出现耳机,模型就生不出戴耳机的妹子
基本上这机器学习的概念和人类有像,就是看很多存在的图理解什么算ACG图
怎样画才是合格的ACG图
但是
1.模型缺乏人类的先验知识,例如我们知道耳机长怎样,即使没看过耳机的ACG图
2.缺乏人类的创造力,因为人所能接受的ACG图范围一定比现在大得多,
缺乏人类的经验知识或本能,以现在的做法机器无法拓展新的创作范围
接下来简单讲一下,我所理解的主流生成模型
1. 生成对抗网络
这是两个模型 一个机器评鉴家 和一个机器创作者
机器评鉴家不断的学习分辨真正的人类创造 和 机器创作者造出的膺品
机器创作者则是不断学着越画越像人 骗过评鉴家
一个模型学习界定范围
另一个学习让生成的点在范围内
2. Diffusion model (见图三)
这个东西就是现在主流的这些动漫图生成器的原理
这东西比较不直观 数学也很复杂
简单来说,
在训练这模型时,先让原本那些样本点随机扩散
最后变成一个高斯分布 (ACG图退化成噪声)
同时纪录扩散过程
之后再训练一个模型学习逆扩散,把高斯分布还原回ACG图范围
之后你高斯分布取一点(丢一张噪声给模型)
模型就会自动把你的图推回去那范围(变成ACG图了)
https://i.imgur.com/zdnQPmj.jpg
这样大致解释一下,你觉得是拼贴吗
楼主: newwu (frankwu)   2022-10-06 13:32:00
哭啊 打到一半就有人解释了 我在干嘛…
作者: lsd25968 (cookie)   2022-10-06 13:33:00
没事 有手绘解说给你推QQ
作者: smart0eddie (smart0eddie)   2022-10-06 13:33:00
训练学到的convolution filter 会像是小块pattern根据activation 强度会在输出图上出现相应的pattern一层一层叠起来硬要凹是拼贴也没说错
作者: guogu   2022-10-06 13:34:00
图文并茂 很棒啊
作者: mic73528 (jazzy)   2022-10-06 13:35:00
你讲那么多文组哪懂,看起来像就说拼贴阿
作者: oasis404 (绿洲404)   2022-10-06 13:35:00
没关系,你讲的比较简单好懂一点
作者: andy0481 (想吃比叡的咖哩)   2022-10-06 13:35:00
透过运算把图拆解 然后透过运算把图产出来 算拼贴吗
作者: Koyomiiii (Koyomi)   2022-10-06 13:35:00
手绘的 你的分数更高啦
作者: emptie ([ ])   2022-10-06 13:37:00
你的图说蛮清楚的耶
作者: cybermeow (我有一只猫)   2022-10-06 13:37:00
我那篇只是复制贴上啦ww
作者: naya7415963 (稻草鱼)   2022-10-06 13:37:00
推推 你的说明也很棒
作者: Splatoon   2022-10-06 13:37:00
文组继续说拼贴抄袭
作者: BwDragonfly   2022-10-06 13:38:00
写得很清楚
作者: qd6590 (说好吃)   2022-10-06 13:39:00
其实我觉得这篇没有比上一篇好懂 不过推用心
楼主: newwu (frankwu)   2022-10-06 13:39:00
我只是想有人解释就懒得解释了
作者: cornsoup (清凉莲子绿豆汤)   2022-10-06 13:41:00
手绘赢了
作者: yiwangneko (为什么猫都叫不来?)   2022-10-06 13:41:00
我懂ㄌ 谢了
作者: wei115 (ㄎㄎ)   2022-10-06 13:41:00
有没有专门用来解释AI的AI
作者: asdfg0612 (青蛙)   2022-10-06 13:43:00
这问题就在把东西推到不同维度去做拼贴叫不叫拼贴
作者: miyazakisun2 (hidetaka)   2022-10-06 13:43:00
数学我头好痛= =
作者: inte629l   2022-10-06 13:43:00
推解说很好奇扩散手法的发想w 无奈数学不够好
作者: starsheep013 (星绒绵羊)   2022-10-06 13:45:00
图解w
作者: guogu   2022-10-06 13:48:00
他没有储存原始资料能算拼贴吗?
作者: Vulpix (Sebastian)   2022-10-06 13:48:00
Diffusion的概念就是拓朴啊。感觉应该要建立距离概念,那就应该是赋距的拓朴。有一点类似这样:给全世界所有人都打上一个等级,数字越接近零的才是你的朋友。数字很大的那些可能因为社经或物理上距离你遥远而数字太大。
作者: BwDragonfly   2022-10-06 13:52:00
他把"图转成噪声又把噪声还原成图"的参数记下把那个参数用在全新的噪声图上就是拼贴的时机
作者: asdfg0612 (青蛙)   2022-10-06 13:55:00
而且那种瞎鸡巴大的模型随便train一下就overfitting了
作者: vios10009 (vios10009)   2022-10-06 13:58:00
如果这样还硬要说是拼贴的话,那人在构思图案的动作在他们的思考逻辑上也是拼贴了
作者: DeeperOcean (越深海)   2022-10-06 14:01:00
人的作画又难以一概而论了,很多人在动笔画画的当下脑里是没有画面的,只有想画的题材,看到自己画出的线条或颜色之后才有接下来的想法,至少跟AI的过程完全不同
作者: BwDragonfly   2022-10-06 14:01:00
没说人类不是拼贴,人类就是站在巨人的肩膀上就如你所说,人类有其他经验,可以在图画上混合
作者: jimmyVanClef (兄弟会将获得胜利)   2022-10-06 14:02:00
不管啦像素级的拼贴还是拼贴啦都是抄袭啦抄像素也是抄袭啦不管啦干
作者: BwDragonfly   2022-10-06 14:02:00
人可以做到 其他事物混图,但是AI只有 图混图
作者: andy0481 (想吃比叡的咖哩)   2022-10-06 14:02:00
达文西学人体画法是自己去解剖学来的 哪边学其他人图实际上就是 目前的AI拆解半天 还是只有拆解别人的图
作者: BwDragonfly   2022-10-06 14:03:00
人类就可以把现实实景混上前辈的画法但AI只有 前辈的画法混前辈的画法
作者: andy0481 (想吃比叡的咖哩)   2022-10-06 14:04:00
现在问题就是 AI从A画家得到的A算式 B画家得到的B算式这些算式能说是AI自产的吗
作者: BwDragonfly   2022-10-06 14:06:00
人类混太多前辈的画法 混到不能分辨时一样是侵权啦
作者: guogu   2022-10-06 14:06:00
谁说的 那是novelai只用图片 一堆其他的照片之类的都丢进去
作者: asdfg0612 (青蛙)   2022-10-06 14:08:00
丢一堆进去 学的方法跟学到的概念也没变啊
楼主: newwu (frankwu)   2022-10-06 14:10:00
真的那你训练AI时多加几张自己拍的照片进去 这样就不算拼图了吗倒头来是哲学问题嘛
作者: asdfg0612 (青蛙)   2022-10-06 14:11:00
那只是拼图能拼的材料变多
作者: undeadmask (臭起司)   2022-10-06 14:11:00
看起来就是在从样本分析出来的模型范围内,慢慢把符合条件的像素填进去,我玩拼图也是这样玩的。
作者: vios10009 (vios10009)   2022-10-06 14:12:00
除非你是盲人画师,不然只要有眼睛看的到在那些人的逻辑眼中就是抄袭了。
楼主: newwu (frankwu)   2022-10-06 14:12:00
在电脑上架个摄影机 影响直通模型追加训练 这还不够仿人类吗人类不也是揉合前辈和个人经验来创造
作者: guogu   2022-10-06 14:12:00
我记得很像有漫画家说过类似人只画的出看过的东西这种话
作者: andy0481 (想吃比叡的咖哩)   2022-10-06 14:13:00
别再跟人类一样了 人类还有自我感知跟想像的功能 ==
作者: guogu   2022-10-06 14:13:00
ai:我也会加噪点阿==
作者: andy0481 (想吃比叡的咖哩)   2022-10-06 14:14:00
你给AI看再多 不给他看雷太的画 不给他看妖精 他是无法凭空创造出一个噪点跟公式画出源赖光或长耳朵妖精
楼主: newwu (frankwu)   2022-10-06 14:14:00
电脑有随机数!
作者: kinghamb (劍聖)   2022-10-06 14:14:00
那就只是AI看得还不够多阿
作者: andy0481 (想吃比叡的咖哩)   2022-10-06 14:15:00
但人类可以 而今天这个看雷太画产的公式 雷太有著作权吗目前的随机数要用人为操控去调整给权重阿 离产图还远的
作者: acininder (InInder)   2022-10-06 14:16:00
人类没看过也画不出雷太画风啊 你想说啥
作者: andy0481 (想吃比叡的咖哩)   2022-10-06 14:16:00
不是看不够多的问题 你给他看再多三次元都产不出长耳朵
作者: asdfg0612 (青蛙)   2022-10-06 14:16:00
你回去看看你的随机噪点是怎么被转成图片的
作者: guogu   2022-10-06 14:16:00
你人类没看过人没看过比较长的耳朵就画的出妖精?
作者: vios10009 (vios10009)   2022-10-06 14:16:00
你大概忘了有一大部份被人类嫌弃淘汰的AI图都是AI自己算出来的,这些图却不被归类为AI自己想像的
作者: BwDragonfly   2022-10-06 14:17:00
确实 看得够多的话就能降低和特定画家相似的可能性就变成抓不到
作者: andy0481 (想吃比叡的咖哩)   2022-10-06 14:18:00
我知道AI会算出人为淘汰的图阿 所以你还是要用人为去调教成人类想要的东西 这过程是有价值的没错
作者: undeadmask (臭起司)   2022-10-06 14:18:00
不是吧,印象派你还可以说是画家近视太深,看起来都糊糊的,但野兽派、立体派的画风在被创造出来以前要
楼主: newwu (frankwu)   2022-10-06 14:18:00
我就觉得这是哲学问题 才以问句做结 模型再强也会被这样质
作者: acininder (InInder)   2022-10-06 14:18:00
有个有趣的事情大家可以想想 danbooru2021 dataset 接近5TB 而diffusion model则只有4GB
作者: andy0481 (想吃比叡的咖哩)   2022-10-06 14:19:00
今天问题是喂他吃A画家的图得到A画家公式 用A画家当tag
作者: vios10009 (vios10009)   2022-10-06 14:19:00
一直在不断告知AI该怎么画的过程,难道就不是教吗?
作者: acininder (InInder)   2022-10-06 14:19:00
什么是学会 就是很哲学的东西了
作者: asdfg0612 (青蛙)   2022-10-06 14:20:00
对啊 就像有人可以靠背考高分 有人靠理解原理跟逻辑
作者: undeadmask (臭起司)   2022-10-06 14:20:00
因为AI没有自我意识能够定义出风格,不管是被人为选中和淘汰的,对它来说都是符合条件的图
作者: andy0481 (想吃比叡的咖哩)   2022-10-06 14:21:00
人类的学会很哲学 但AI的学会还是一串串的公式代码
作者: BwDragonfly   2022-10-06 14:21:00
告知AI这件事,准确说是调整机器达到预期的目标
作者: guogu   2022-10-06 14:22:00
novelai不能用绘师当关键字就是了
作者: BwDragonfly   2022-10-06 14:22:00
所以才把硬教人类学习的行为,形容成机器人例如考试机器人
作者: vios10009 (vios10009)   2022-10-06 14:23:00
人们在模仿赛璐璐画风的同时,不也是以此为目标吗?
作者: asdfg0612 (青蛙)   2022-10-06 14:23:00
还有对绘画的认知跟对AI数学概念 实际运作的认知也很影响这个问题的结论
作者: guogu   2022-10-06 14:23:00
我觉得ai不是不能产生风格 而是审美的是人它的风格你可能只会觉得这个ai练坏了
作者: opppoo123 (little_dd)   2022-10-06 14:29:00
感谢讲解,diffusion 原来是这个意思
作者: vios10009 (vios10009)   2022-10-06 14:29:00
把赛璐璐画风当作围棋来看待,人类能走过的棋,AI肯定也会走过来甚至超越,现在还只是AlphaGO,等到变成AlphaZero那样,那就没有任何绘师能超越AI的画风了,因为它能无中生有产出比目前画风更引人注目的画风
楼主: newwu (frankwu)   2022-10-06 14:30:00
当然 难的是产生人可以接受的新风格
作者: andy0481 (想吃比叡的咖哩)   2022-10-06 14:30:00
现在问题就是 产生对于AI来说早就不难了 但AI没办法靠自己明白画的是不是人要的东西
楼主: newwu (frankwu)   2022-10-06 14:32:00
还是跟强化学习不同围棋有规则有明确可定义的目标,可是产图要懂的是人心
作者: likeyousmile   2022-10-06 14:36:00
作者: vios10009 (vios10009)   2022-10-06 14:37:00
目前最大的区别是人类的审美观其实已经锁定AI画图的局限性,所以在怎么强化也还是AlphaGO等级,要跳到AlphaZero然后人类还能接受的画风还有一段路要走一个目标是赢,另一个的目标是讨好人类的审美观画的很厉害很复杂没有画师能办到,人类不喜欢也没有用
作者: undeadmask (臭起司)   2022-10-06 14:39:00
今天如果把一些被淘汰奇形怪状的图捡起来说你看这些都是AI画的,可能会很新奇没错,但实际上却也是经过人为主观判断挑选后出来的图,你以为的AI风格其实还是人为定义的。让不同的人来选结果可能都不会一样
作者: vios10009 (vios10009)   2022-10-06 14:41:00
我可以说绘师不会完全被取代,但不该因此排挤AI,就像你不会因为照相机会取代画肖像画的人就不用相机一样相机的诞生在两百年前也是颠覆当时的美术,但事实上两边都能够共存到现在
作者: gintom7835 (gintom)   2022-10-06 14:47:00
人画不出没看过的东西?那那些奇幻故事的各种种族是怎么来的?
作者: jimmyVanClef (兄弟会将获得胜利)   2022-10-06 14:47:00
ai靠一串串公式跟代码,人类也一样啊用语言文字教你公式教你怎么做公式的部分自不必说,代码就只是机器语言,沟通用的东西而已
作者: andy0481 (想吃比叡的咖哩)   2022-10-06 14:49:00
但是有个差距 你脑内的东西是你的这在法律跟道德上没问
作者: undeadmask (臭起司)   2022-10-06 14:49:00
相机的冲击,促使人类的绘画创作脱离了早期注重光影写实比例的刻画,朝向新的方向去发展,这说明了人类的审美观并不是固定的,除非AI有意识,能为自己的风格定义出标准,不然终究还是只能作为工具,依附在人类的喜好之下
作者: andy0481 (想吃比叡的咖哩)   2022-10-06 14:50:00
题 但AI的公式代码如果是靠别人的图来的 请问这些东西能算是AI拥有者拥有的吗
作者: SALEENS7LM (我爱我婆,更爱你的)   2022-10-06 14:53:00
人类最主要的差异就是自我意识吧,就算学习也是自我去思考见解取舍吸收融合之后依照自己的想法去画出想画的东西,用手画出脑内的想法或创意,就是这样才有很多现实不存在的奇幻生物之类的被创作出来
作者: vios10009 (vios10009)   2022-10-06 14:54:00
那样的话有问题的也是那些拿盗图来喂的人,不是AI
作者: naya7415963 (稻草鱼)   2022-10-06 14:59:00
现实不存在的奇幻生物的概念也是从现实动物而来的啊人类的思想仍然无法超脱自身所生存的世界概念,所谓的创意仍然是从生命经验而来。而为了特定目的训练的AI都喂同类型的图,自然也只能制造出范围内的图,甚至超出范围会被人类判定为不合格
作者: vios10009 (vios10009)   2022-10-06 15:00:00
NovelAI如果是盗图,那应该谴责他们,但AI是无辜的,不能一竿子打翻一船AI,其他拿公开无版权图案练习的AI不该因此被推上处刑台
作者: BwDragonfly   2022-10-06 15:03:00
有问题一直都是盗图的人,如果是自己画图喂给AI,哪有问题
作者: SALEENS7LM (我爱我婆,更爱你的)   2022-10-06 15:04:00
人类懂得把现实被认知到的概念用思想去融合或以此为底魔改成一种新的本身就是在用自我意识去创造了啊
作者: TSMKDAsa (非韩第一JG)   2022-10-06 15:06:00
为什么一直有人谴责NovelAi用盗版网站资料 但是却没见过几个人去谴责danbooru本身啊 它才是万恶根源不是ㄇ
作者: Koyomiiii (Koyomi)   2022-10-06 15:07:00
因为嘴danbooru高机率像上面那篇被晒www
作者: guogu   2022-10-06 15:07:00
ai也很会融阿 安价串不就融出一堆鬼东西
作者: naya7415963 (稻草鱼)   2022-10-06 15:09:00
那像之前有人发文眼睛长奶子的难道就不算创造吗?我觉得前提是观看者知道作者是人类或AI,才因此产生出观感差异
作者: undeadmask (臭起司)   2022-10-06 15:10:00
问题就在人类创意由来的生命经验不光来自外在形象的临摹而已
作者: jay920314 (Jay_9696)   2022-10-06 15:16:00
推 好多熟悉的名词,但我没学好都看无
作者: SALEENS7LM (我爱我婆,更爱你的)   2022-10-06 15:21:00
那是它经过思考理解之后想像得出的东西吗?
作者: naya7415963 (稻草鱼)   2022-10-06 15:21:00
楼上上说的能否举例呢?有点抽象不太理解你的意思对,我觉得重点在“作者的思考与理解”,人类绘师的价值就在于.....他是人类。因为我们是群居动物,天生有交流的需求,所以能够理解绘师思想的画作比起AI随机产图还要有价值(不过价值可能因人而异就是了)并不是“因为是人类才能画的出这样的图”,而是“因为是人类画出这样的图才有意义”依照图本身的用途不同,有些不需要作者这层意义的就会被AI取代
作者: undeadmask (臭起司)   2022-10-06 15:39:00
现在的AI算图的局限在于你的取材样本终究来自于分析其他人已经创作出的图像作品,但是人类的创作灵感有时候不单单来自于眼睛所见到的事物,梦境、记忆、感情、经验,甚至味觉嗅觉等等都能成为题材养分,透过人的主观意识形塑成作品,甚至在不同的精神情绪状态也会有不一样的结果。
作者: qwerasd158 (死皮)   2022-10-06 15:41:00
专业推
作者: undeadmask (臭起司)   2022-10-06 15:43:00
当然用AI学习运算可以在视觉结果上无限的接近,但我认为过程还是有不小的差异
作者: Mike821018 (麦克ㄦ~(<ゝ∀・))   2022-10-06 17:35:00
所以简单说就是AI先看一幅画怎么被揉成垃圾再尝试把另一坨垃圾摊开变成一幅画

Links booklink

Contact Us: admin [ a t ] ucptt.com