[闲聊] AI绘图脸部控制 - 一键表情差分快了?

楼主: ZMTL (夜风/潇湘 VR板已经开板!)   2023-04-03 21:25:55
刚好看到两个做法在做同一件事情
1.
https://www.reddit.com/r/StableDiffusion/comments/1281iva/
https://images.plurk.com/15XbmRqM0HXs5DEK4isMET.jpg
2.
https://huggingface.co/georgefen/Face-Landmark-ControlNet/
https://images.plurk.com/489zPo82N6AMor6RNUaPyJ.jpg
理所当然的都是ContolNet的变体,果然是SD最重要的推手。
现在AI绘图做差分是用inpaint一直局部重画脸部,
但我觉得可以预期最后会变成这样一键差分了。
https://images.plurk.com/7pVJMEmVuZzvuJfiHR3EGe.png
-
顺便附录一下,
恋活 x Stable Diffusoin摆拍插件,不过恋活本来好像就已经是3D场景引擎了XD
https://www.bilibili.com/video/BV19g4y1u7Nb/
看到一起丢,四月SD模型推荐合集
https://www.bilibili.com/video/BV1em4y1z7Dg/
韩文的动漫风模型整理文
https://arca.live/w/aiart/%EB%AA%A8%EB%8D%B8
Lora模型训练教学
http://b23.tv/GhcSJ75
作者: vios10009 (vios10009)   2023-04-03 21:29:00
ContolNet真的神
作者: jabari (Still不敢开枪的娘娘腔)   2023-04-03 21:30:00
一键啊嘿+嘴边毛+爱心眼
作者: arrenwu (键盘的战鬼)   2023-04-03 21:31:00
差分看起来要的是相反的行为?"inpaint一直局部重画脸部"的脚本?
楼主: ZMTL (夜风/潇湘 VR板已经开板!)   2023-04-03 21:32:00
我的想法是可能会变成一张ControlNet模板上面有喜怒哀乐各种表情的脸部特征图,然后直接出一套(像底下多视角图一样)
作者: bluejark (蓝夹克)   2023-04-03 21:34:00
不用这个也有人做啊就直接用文字改表情的的
作者: jeff0811 (jeff)   2023-04-03 21:35:00
AI做动画的时代快到了
楼主: ZMTL (夜风/潇湘 VR板已经开板!)   2023-04-03 21:36:00
因为下面就是用一张由3D模型做成的环绕像模板,一次出同样衣装构图的角色的方法,那把各种常见表情做成模板应该有机会
作者: arrenwu (键盘的战鬼)   2023-04-03 21:37:00
看起来是“局部”修改的部分比较不一样动画那边好像暂时没看到相关的什么进展XD明明动画那边我觉得需求还满强的说
作者: reader2714 (无毁的湖光)   2023-04-03 21:38:00
contolNet算是大跃进的推手了吧
作者: bluejark (蓝夹克)   2023-04-03 21:40:00
动画的问题就是他每格画的都会因为画的有问题
楼主: ZMTL (夜风/潇湘 VR板已经开板!)   2023-04-03 21:41:00
动画之前听人演讲有提到,现在问题在v2v(逐祯i2i)的过程,你去压随机性就会转了等于没转,但释放随机性就是不连贯闪烁
作者: bluejark (蓝夹克)   2023-04-03 21:41:00
图片很多都生一堆图选好的贴出来就行了
楼主: ZMTL (夜风/潇湘 VR板已经开板!)   2023-04-03 21:42:00
动画要突破要一个能在整套图片中固定随机性的算法之类
作者: bluejark (蓝夹克)   2023-04-03 21:42:00
连起来动起来你就看衣服差异就很明显
楼主: ZMTL (夜风/潇湘 VR板已经开板!)   2023-04-03 21:44:00
看专门弄动画的Runway能不能克服技术吧https://research.runwayml.com/gen2
作者: bluejark (蓝夹克)   2023-04-03 21:45:00
我想到一件事 现在有辨法指定色码吗
楼主: ZMTL (夜风/潇湘 VR板已经开板!)   2023-04-03 21:46:00
我还没听过,有机会再注意XD
作者: bluejark (蓝夹克)   2023-04-03 21:46:00
现在用文字指定颜色其实也会有色差
作者: arrenwu (键盘的战鬼)   2023-04-03 21:46:00
就...前期概念我觉得还不错用啦直接拿出来那应该是不行的
作者: v86861062 (数字人:3)   2023-04-03 21:49:00
推推
作者: SALEENS7LM (我爱我婆,更爱你的)   2023-04-03 21:50:00
如果只是拿来协助一些初期参考资料可能有点帮助吧大概,但也就这样了
楼主: ZMTL (夜风/潇湘 VR板已经开板!)   2023-04-03 21:51:00
结果目前动画我看到完成度最高的除了剪刀石头布外大概还是https://www.facebook.com/watch/?v=549123813859075这间台湾公司的尝试作品,不知道未来会不会有后续(这影片已经是两个月前了)哦对了,这间是台湾的动画公司,算业界吧XD
作者: allanbrook (翔)   2023-04-03 21:52:00
我还是觉得目前这种滤镜似的东西冠上AI动画很骗人
作者: arrenwu (键盘的战鬼)   2023-04-03 21:53:00
那个完成度不高吧 只是问题没有那么明显而已本质上的问题是一样的
楼主: ZMTL (夜风/潇湘 VR板已经开板!)   2023-04-03 21:55:00
我只是说这是完成度最高的,但整体完成度还是...XD还是先看绘图应用吧,一件差分能出来对于RM系游戏应该很能用
作者: allanbrook (翔)   2023-04-03 21:55:00
基本上现在效果看起来越好 就只表示他们的原始素材本身就已经很好了
楼主: ZMTL (夜风/潇湘 VR板已经开板!)   2023-04-03 21:56:00
至少我对AI动画没太多期待,AI 3D模型还比较有盼头
作者: arrenwu (键盘的战鬼)   2023-04-03 21:56:00
应该说,那个跟上面妳贴的KPOP 动画MV我觉得是差不多的不知道有没有什么方向是可以加速原画的这个如果能加速 会直接帮助到现行的动画产业
作者: bluejark (蓝夹克)   2023-04-03 22:07:00
像上面提的能指定色的话那AI上色理论就能自动化了
作者: x2159679 ((● ω ●))   2023-04-03 22:08:00
不过有一个问题是指定上色使用者上的色会比ai好看吗ai可以说已经是把上色能力练到极致了像一堆图ai都已经自己默认做好冷暖对比了
作者: bluejark (蓝夹克)   2023-04-03 22:10:00
像我们看的动画都有指定色票啊才不会每个人上得不一样
作者: allanbrook (翔)   2023-04-03 22:12:00
讲速度还可以 讲好看你太小看人类了吧
作者: arrenwu (键盘的战鬼)   2023-04-03 22:13:00
上色这个比较没有绝对的好看指标就是了
作者: momoden   2023-04-03 22:16:00
每次都说大概只能这样 然后它就进化了
作者: showwhat2 (华仔)   2023-04-03 22:20:00
上色指标请找色彩学,现在AI的上色能力取决于模组和滤镜,现在不知道有没有上色插件可以用。
作者: bluejark (蓝夹克)   2023-04-03 22:21:00
观众还是人啊不然AI动画有那种像是有嗑药的那种
作者: HotDogCC (0.38别骗)   2023-04-03 22:21:00
有没有人用DLSS3搭配model来生动画,蛮想看的
作者: cybermeow (我有一只猫)   2023-04-03 22:59:00
我还在等哪个图片平台会先把ai差分接上去文字的像是notion都接了 图片的目前感觉还是分成两块
作者: SALEENS7LM (我爱我婆,更爱你的)   2023-04-03 23:17:00
上色跟其他绘画成份一样,没有绝对,我纯手工派当然最喜欢也只能接受人亲自去上色,尤其是米山舞、MikaPikazo或LAM的,超赞der

Links booklink

Contact Us: admin [ a t ] ucptt.com