[瑟瑟] 看色图不求人Part2 AI生成色图全教学
楼主: cybermeow (我有一只猫) 2022-09-20 09:37:20
古拉镇楼 (从Discord搬运 非本人生成)
https://i.imgur.com/HWRVeJW.png
Part 1 在这 https://www.pttweb.cc/bbs/C_Chat/M.1662444496.A.2E6
不重要 过时了 这篇将包含所有你生成色图需要的资讯
1. 使用者界面 Stable Diffusion Webui
天天更新官方的在这里
https://github.com/sd-webui/stable-diffusion-webui
但个别版本一堆主流好像是用1111的 个人也是用这个
https://github.com/AUTOMATIC1111/stable-diffusion-webui
跑起来大概长这样
https://i.imgur.com/JmYKTSv.png
安装方式按照每个网站说的 像是官方的写这样
windows
https://github.com/sd-webui/stable-diffusion-webui/blob/master/docs/1.installati
on.md
linux
https://github.com/sd-webui/stable-diffusion-webui/blob/master/docs/1.linux-inst
allation.md
1111的Nvidia卡写这样
https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Install-and-Run-o
n-NVidia-GPUs
个人linux就是clone回来
开conda环境
跑python launch.py
有dependency问题就修 然后就好了
另外也有用Google Colab的选择 只想测试没有要瑟瑟的人可以用
使用上就像上面那张 可以选择 postive 跟 negative prompt
https://i.imgur.com/JmYKTSv.png
(negative prompt 貌似只有 1111 的有支援)
positive个人一般放 artwork of ... 之类的
negative很迷 可以放一些感觉负面的东西 (如图中所示)
也可以试着避开一些结果例如把opened mouth放过去让嘴巴闭起来之类的
到底怎么找到合适的prompt蛮不直觉的
而且很浪费时间 毕竟这个东西一个月后大概就长不一样了
所以下面会介绍其他方式来生成想要图片
2.模型
有了使用者界面最重要的当然是模型本身
幸运的是现在很多人在训练 从一般的到动画到瑟瑟到pony到furry都有
这里整理了一些
https://rentry.org/yrpvv
一般ACG用Waifu Diffusion 这周末会释出v1.3
要瑟瑟用Lewd Diffusion 不太好控目前只是beta beta beta版本
大老们还持续在蒐集资料跟训练中
载下来后传到webui资料夹里面models的资料夹就可以用了
理论上用哪个模型现在可以直接在Settings换就可以
不过目前似乎有bug所以behavior有点迷 有时候直接整个关掉重开比较方便
另外因为是开一个port 可以在服务器开外部ssh进去
也有支援直接public开给人用等等
3.图片生成: 学习概念篇
如上所说 要用prompt生成想要的图片实在不易
所以个人推荐自己跑一个 textual inversion 学习你想要的概念的embedding
之前已经发了好几篇实作案例
https://www.pttweb.cc/bbs/C_Chat/M.1662622748.A.4E6
https://www.pttweb.cc/bbs/C_Chat/M.1662808060.A.746
https://www.pttweb.cc/bbs/C_Chat/M.1662880538.A.386
这一次拿来测彩奈
https://i.imgur.com/H7XS3YX.png
头发遮眼睛真的学不起来 发饰则微妙
要学这个embedding个人测试过两个 分别是
以stable diffusion原本repo为基础的
https://github.com/lstein/stable-diffusion/blob/main/docs/features/TEXTUAL_INVER
SION.md
和diffuser的
https://github.com/huggingface/diffusers/tree/main/examples/textual_inversion
学这个12GB Vram的话图片大小用448x448才不会内存容量不足
Vram更多直接用原本的512x512就可以
个人觉得diffuser的操作起来比较容易但每次重新复制整个模型很迷
如果用diffuser的话产生的东西里面会有会有一个.bin的档案就是学到的embedding
至于用第一个好处是可以用tensorboard看当下进度
而其中目前生成的图片会存在log/..../images/train面
可以大概判断一下目前学的如何 觉得ok的时候停掉
跑的过程会直接产生一推.pt的档案在checkpoints里面
之后就在webui开一个embeddings的资料夹
把想要的.pt放进去 如果没意外你可以选最后一个 (embeddings.pt)
改一下名称 像是arona.pt 之后prompt直接输入arona拿学到的embedding
如一开始的图所示 (这里用arona0)
https://i.imgur.com/JmYKTSv.png
至于diffuser生成的.bin档案把结尾改成.pt一样同一个方法用
textual inversion因为不调模型只学embedding所以受限于模型参数本身
没办法完全重现想要的结果
想要更符合的图片的话 除了直接finetune还可以用dreambooth
https://github.com/XavierXiao/dreambooth-stable-diffusion
比起finetune只需要少量图片
跑起来比textual inversion还快 (不到一小时)
缺点是训练出来的模型没有相容性 一个观念就一个模型
而且因为调整个模型需要30G Vram 现阶段几乎只能用云端服务租A6000
不过很便宜 举例来说 一个人训练的古拉模型花才几百台币
可以得到以下成果
https://i.imgur.com/jYQA6gC.png
比起个人之前的文章很明显更好的学到了特征
只是dreambooth学到的东西也不好控制
常常prompt给错就整个崩掉
相较之下textual inversion得到的结果虽然比较差但坏掉时也是渐进式的
下面的古拉自拍系列prompt也调很久
https://i.imgur.com/69dRvb7.png
开头那张也是这个模型生的
4.图片生成: 以其他图片做基底篇 Image to Image
webui功能一大堆天天更新有兴趣的可以自己看
这里再介绍一个image2image用图片当输入作为参考
就某个角度来说它这个implementation是用个很简单的算法
效果差强人意
但拿来做风格微调或者当作图片构图基底还算能用
界面长这样
https://i.imgur.com/fczYbl2.png
使用范例 拿来把恋X或女X3dX的图2d化
像这张 (取自https://www.pixiv.net/artworks/85531604)
https://i.imgur.com/47jljPp.png
https://i.imgur.com/XOA8Q5k.jpg
或是 (目前的模型仍然有生成四肢障碍
https://i.imgur.com/x7WxXHa.jpg
https://i.imgur.com/eMC89Qs.jpg
Denoising越大会离远本图片越远 因为会先加一堆噪音开始重新绘图
(图片生成原理细节: https://www.pttweb.cc/bbs/C_Chat/M.1661681711.A.DE3
再贴几个 (右3d 左2d化
https://i.imgur.com/dRBO1Qp.png
https://i.imgur.com/8Dvl4rZ.png
https://i.imgur.com/ReJK5Az.png
source:
https://www.pixiv.net/artworks/87009158
https://www.pixiv.net/artworks/85178188
https://www.pixiv.net/artworks/85443189
当然像是lyroris那篇把2d真人化也可以
当输入是就是真实系3d cg
只能说效果很可怕 基本上就是deepfake
然后目前虽然有支援inpainting也就是把缺失部分补足的功能
但个人发现diffuser跟stable diffusion原本repo的算法不一样
webui应该是用后者
然后两个算法感觉都没到很好
所以有兴趣的人应该可以借此水一篇paper (虽然应该一堆人会去水了
5.色图
上面那套用正确的模型下去做基本上可以生成各种色图
不过目前主要受限于资料品质以及clip embedding相关知识不足
当姿势或视角跑掉太多基本上几乎生不出来
日本的马赛克规定也变相增加训练难度 使得关键部份常常效果不佳
但各种调整还是可以有不错的结果
有兴趣可以去 4chan h/hdg 看 (不过那里也混了各种真实系的
以下示意图应该不会被桶吧?
https://i.imgur.com/hcC4K9n.png
https://i.imgur.com/FCUWKY2.png
置底贴个彩奈换装系列 效果依旧差强人意
https://i.imgur.com/a8gffeN.jpg
更多资讯可以参考
https://wiki.installgentoo.com/wiki/Stable_Diffusion#Waifu_Diffusion
网络上有几个discord也都可以加 (应该都是英文的
https://i.imgur.com/HWRVeJW.png
Part 1 在这 https://www.pttweb.cc/bbs/C_Chat/M.1662444496.A.2E6
不重要 过时了 这篇将包含所有你生成色图需要的资讯
1. 使用者界面 Stable Diffusion Webui
天天更新官方的在这里
https://github.com/sd-webui/stable-diffusion-webui
但个别版本一堆主流好像是用1111的 个人也是用这个
https://github.com/AUTOMATIC1111/stable-diffusion-webui
跑起来大概长这样
https://i.imgur.com/JmYKTSv.png
安装方式按照每个网站说的 像是官方的写这样
windows
https://github.com/sd-webui/stable-diffusion-webui/blob/master/docs/1.installati
on.md
linux
https://github.com/sd-webui/stable-diffusion-webui/blob/master/docs/1.linux-inst
allation.md
1111的Nvidia卡写这样
https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Install-and-Run-o
n-NVidia-GPUs
个人linux就是clone回来
开conda环境
跑python launch.py
有dependency问题就修 然后就好了
另外也有用Google Colab的选择 只想测试没有要瑟瑟的人可以用
使用上就像上面那张 可以选择 postive 跟 negative prompt
https://i.imgur.com/JmYKTSv.png
(negative prompt 貌似只有 1111 的有支援)
positive个人一般放 artwork of ... 之类的
negative很迷 可以放一些感觉负面的东西 (如图中所示)
也可以试着避开一些结果例如把opened mouth放过去让嘴巴闭起来之类的
到底怎么找到合适的prompt蛮不直觉的
而且很浪费时间 毕竟这个东西一个月后大概就长不一样了
所以下面会介绍其他方式来生成想要图片
2.模型
有了使用者界面最重要的当然是模型本身
幸运的是现在很多人在训练 从一般的到动画到瑟瑟到pony到furry都有
这里整理了一些
https://rentry.org/yrpvv
一般ACG用Waifu Diffusion 这周末会释出v1.3
要瑟瑟用Lewd Diffusion 不太好控目前只是beta beta beta版本
大老们还持续在蒐集资料跟训练中
载下来后传到webui资料夹里面models的资料夹就可以用了
理论上用哪个模型现在可以直接在Settings换就可以
不过目前似乎有bug所以behavior有点迷 有时候直接整个关掉重开比较方便
另外因为是开一个port 可以在服务器开外部ssh进去
也有支援直接public开给人用等等
3.图片生成: 学习概念篇
如上所说 要用prompt生成想要的图片实在不易
所以个人推荐自己跑一个 textual inversion 学习你想要的概念的embedding
之前已经发了好几篇实作案例
https://www.pttweb.cc/bbs/C_Chat/M.1662622748.A.4E6
https://www.pttweb.cc/bbs/C_Chat/M.1662808060.A.746
https://www.pttweb.cc/bbs/C_Chat/M.1662880538.A.386
这一次拿来测彩奈
https://i.imgur.com/H7XS3YX.png
头发遮眼睛真的学不起来 发饰则微妙
要学这个embedding个人测试过两个 分别是
以stable diffusion原本repo为基础的
https://github.com/lstein/stable-diffusion/blob/main/docs/features/TEXTUAL_INVER
SION.md
和diffuser的
https://github.com/huggingface/diffusers/tree/main/examples/textual_inversion
学这个12GB Vram的话图片大小用448x448才不会内存容量不足
Vram更多直接用原本的512x512就可以
个人觉得diffuser的操作起来比较容易但每次重新复制整个模型很迷
如果用diffuser的话产生的东西里面会有会有一个.bin的档案就是学到的embedding
至于用第一个好处是可以用tensorboard看当下进度
而其中目前生成的图片会存在log/..../images/train面
可以大概判断一下目前学的如何 觉得ok的时候停掉
跑的过程会直接产生一推.pt的档案在checkpoints里面
之后就在webui开一个embeddings的资料夹
把想要的.pt放进去 如果没意外你可以选最后一个 (embeddings.pt)
改一下名称 像是arona.pt 之后prompt直接输入arona拿学到的embedding
如一开始的图所示 (这里用arona0)
https://i.imgur.com/JmYKTSv.png
至于diffuser生成的.bin档案把结尾改成.pt一样同一个方法用
textual inversion因为不调模型只学embedding所以受限于模型参数本身
没办法完全重现想要的结果
想要更符合的图片的话 除了直接finetune还可以用dreambooth
https://github.com/XavierXiao/dreambooth-stable-diffusion
比起finetune只需要少量图片
跑起来比textual inversion还快 (不到一小时)
缺点是训练出来的模型没有相容性 一个观念就一个模型
而且因为调整个模型需要30G Vram 现阶段几乎只能用云端服务租A6000
不过很便宜 举例来说 一个人训练的古拉模型花才几百台币
可以得到以下成果
https://i.imgur.com/jYQA6gC.png
比起个人之前的文章很明显更好的学到了特征
只是dreambooth学到的东西也不好控制
常常prompt给错就整个崩掉
相较之下textual inversion得到的结果虽然比较差但坏掉时也是渐进式的
下面的古拉自拍系列prompt也调很久
https://i.imgur.com/69dRvb7.png
开头那张也是这个模型生的
4.图片生成: 以其他图片做基底篇 Image to Image
webui功能一大堆天天更新有兴趣的可以自己看
这里再介绍一个image2image用图片当输入作为参考
就某个角度来说它这个implementation是用个很简单的算法
效果差强人意
但拿来做风格微调或者当作图片构图基底还算能用
界面长这样
https://i.imgur.com/fczYbl2.png
使用范例 拿来把恋X或女X3dX的图2d化
像这张 (取自https://www.pixiv.net/artworks/85531604)
https://i.imgur.com/47jljPp.png
https://i.imgur.com/XOA8Q5k.jpg
或是 (目前的模型仍然有生成四肢障碍
https://i.imgur.com/x7WxXHa.jpg
https://i.imgur.com/eMC89Qs.jpg
Denoising越大会离远本图片越远 因为会先加一堆噪音开始重新绘图
(图片生成原理细节: https://www.pttweb.cc/bbs/C_Chat/M.1661681711.A.DE3
再贴几个 (右3d 左2d化
https://i.imgur.com/dRBO1Qp.png
https://i.imgur.com/8Dvl4rZ.png
https://i.imgur.com/ReJK5Az.png
source:
https://www.pixiv.net/artworks/87009158
https://www.pixiv.net/artworks/85178188
https://www.pixiv.net/artworks/85443189
当然像是lyroris那篇把2d真人化也可以
当输入是就是真实系3d cg
只能说效果很可怕 基本上就是deepfake
然后目前虽然有支援inpainting也就是把缺失部分补足的功能
但个人发现diffuser跟stable diffusion原本repo的算法不一样
webui应该是用后者
然后两个算法感觉都没到很好
所以有兴趣的人应该可以借此水一篇paper (虽然应该一堆人会去水了
5.色图
上面那套用正确的模型下去做基本上可以生成各种色图
不过目前主要受限于资料品质以及clip embedding相关知识不足
当姿势或视角跑掉太多基本上几乎生不出来
日本的马赛克规定也变相增加训练难度 使得关键部份常常效果不佳
但各种调整还是可以有不错的结果
有兴趣可以去 4chan h/hdg 看 (不过那里也混了各种真实系的
以下示意图应该不会被桶吧?
https://i.imgur.com/hcC4K9n.png
https://i.imgur.com/FCUWKY2.png
置底贴个彩奈换装系列 效果依旧差强人意
https://i.imgur.com/a8gffeN.jpg
更多资讯可以参考
https://wiki.installgentoo.com/wiki/Stable_Diffusion#Waifu_Diffusion
网络上有几个discord也都可以加 (应该都是英文的
作者: LeeXX (理性 但不一定中立) 2022-09-20 09:39:00
推
作者: smart0eddie (smart0eddie) 2022-09-20 09:39:00
色色
作者: bamama56 (bamama) 2022-09-20 09:40:00
瑟瑟教学
作者: ataky (七元) 2022-09-20 09:40:00
爆赞
作者: Aka2306012 2022-09-20 09:40:00
推
作者: hh123yaya (KID) 2022-09-20 09:41:00
最正确的使用方法
作者: Political 2022-09-20 09:43:00
推
作者: billy791122 (jj) 2022-09-20 09:47:00
所以这可以训练r18图吗
作者: REDF (RED) 2022-09-20 09:48:00
推 科技进步完成这些的人应该领诺贝尔和平奖
作者: f1731025 2022-09-20 09:49:00
色图永动机要研发成功了吗
作者: MonDaNai (冲锋战神) 2022-09-20 09:51:00
学术研究
作者: Koyomiiii (Koyomi) 2022-09-20 09:51:00
学...学术研究（鼻血
作者: kkoejeo 2022-09-20 09:57:00
谢囉
作者: goldfishert 2022-09-20 09:57:00
会不会以后有人用僵尸电脑来画色图上传牟利啊?
作者: roribuster (幼女☆爆杀) 2022-09-20 09:59:00
画图ai最终都会被人类训练成只会画色图
作者: SetsunaOgiso (小木曽雪菜) 2022-09-20 10:00:00
杠 文组看不懂啦
作者: aiglas0209 (aiglas) 2022-09-20 10:05:00
浪漫 优质
作者: DarkyIsCat (黑肉猫娘赞) 2022-09-20 10:05:00
AI:人类就是色色
作者: js850604 (jack0604) 2022-09-20 10:05:00
还好AI不看迷因，不然画一画都变阿姆斯壮
作者: iwinlottery (我民乐透头彩) 2022-09-20 10:05:00
以后不用去理洽请神了
作者: HDDY (浩) 2022-09-20 10:09:00
这篇有点猛
作者: ARCHER2234 (土波) 2022-09-20 10:10:00
电脑白痴的我已经过载了有没有一键生成涩图的啊？
作者: SunnyBrian (人気薄二冠马) 2022-09-20 10:11:00
看不懂也要先推
作者: AdmiralAdudu (嘟嘟噜都大都督) 2022-09-20 10:14:00
太爽辣 色图自给自足
作者: ImCasual (七星破军干你娘) 2022-09-20 10:16:00
爆生时间
作者: herbleng (herb) 2022-09-20 10:17:00
推
作者: CYL009 (MK) 2022-09-20 10:22:00
以后色图自己产
作者: Tsozuo 2022-09-20 10:23:00
为什么觉得AI瑟瑟比手绘色色还复杂.....
作者: uohZemllac (甘草精华雄没醉) 2022-09-20 10:29:00
推
作者: ryo1008 (Yu_BeeR) 2022-09-20 10:30:00
画图学不好，电脑又学不好，我还有什么用QQ
作者: newcsie68 (幻风之月) 2022-09-20 10:30:00
推 有空也想来研究一下
作者: likeyousmile 2022-09-20 10:33:00
太强了
作者: frankfipgd (琉璃) 2022-09-20 10:39:00
推一个w
作者: AlianF (左手常驻模式) 2022-09-20 10:40:00
太苦了 我只是想要瑟瑟
作者: ARCHER2234 (土波) 2022-09-20 10:41:00
了解，我需要找电脑工程师表妹帮我装好这样会社死吗？
楼主: cybermeow (我有一只猫) 2022-09-20 10:47:00
跟她说要用人工智能进行艺术创作 听起来就很潮
作者: nyanpasu (nyanpasu) 2022-09-20 11:13:00
一天10次有材料啦
作者: qxpbyd (qxpbyd) 2022-09-20 11:24:00
好奇你两个upscaler的来源是哪里? Reddit的unstablediffusion被BAN了 NovelAI也有自己做了anime和furry model
作者: tamynumber1 (Bob) 2022-09-20 11:26:00
等到AI理解人类性癖的时候，就是决定要毁灭人类的时刻了
作者: longkiss0618 (剑舞北极) 2022-09-20 11:37:00
感受到时代的进步
作者: Koyomiiii (Koyomi) 2022-09-20 11:37:00
我比较怕以后有人大量生产157
作者: qxpbyd (qxpbyd) 2022-09-20 11:48:00
没事Google到了 NovelAI至少他DC现在是可以免费产图我不确他之后是走midjourney模式还是会开源 不过SD一开始在DC也是会用SFW filter 帮助他们产生SFW版本走商业模式是没办法 只能说SD创办人太有钱 目光也很远
作者: nicehuman (nicehuman) 2022-09-20 12:48:00
推
作者: fmp1234 (刁民H) 2022-09-20 12:51:00
色色
作者: harryzx0 (DMD_LIFE) 2022-09-20 13:11:00
太棒了 但是看不懂
作者: attacksoil (击壤) 2022-09-20 13:24:00
哇靠 我好像玩得起来 来试试
