楼主:
ZMTL (夜风/潇湘 VR板已经开板!)
2023-04-21 12:14:47看了板上的一些AI组机文，实在有点话想拿出来聊聊。
比较常提到的绘图大家应该都知道，现在建议就是3060 12G，VRAM称王，
其他选择就是4070(Ti) 12G / 3090 24G / 4090 24G，4080 16G CP值太差...之类。
不过我真的强烈建议还弄的到二手3090就去弄、预算有个80K拿4090比较不会后悔。
为什么呢？
不知道板上关注生成式语言模型(ex:ChatGPT)的人多不多，
GPT现在没有开源，使用文字生成来做应用(串API)是逐字计费，
所以目前有一些仿GPT、甚至借助GPT训练的开源语言模型正在发展中。
参考这几天很红的
GPT-4识图功能不开放，MiniGPT-4抢先开放试用！OpenAI有的它都有
https://www.techbang.com/posts/105663
"并且团队正在准备一个更羽量级的版本，部署起来只需要23GB的VRAM。 也就是消费级显
示卡中拥有24GB VRAM的3090或4090就可以在本地端执行了。 "
Stable Diffusion团队刚发布的StableLM
https://github.com/Stability-AI/StableLM/issues/17
以及其他语言模型
https://zhuanlan.zhihu.com/p/615199206
至少在这部分24G VRAM很可能会是标配。
一点浅见，感谢电虾板在我要组跑AI用的电脑时给了很多建议，拿出来分享一下。
也留篇文让人有机会爬。
作者:
oopFoo (3d)
2023-04-21 12:20:00ARC a770(16GB)入门好选择，越来越多的支援。如果你会玩
ARC也支援了OpenACC想跑气候分析的也可以玩玩看
作者:
kamir (小K)
2023-04-21 12:42:00哦，我用练好的就好了
作者:
pp520 (异理啊议!!!)
2023-04-21 12:43:00的确!你说的没错，VRAM 就跟入场券一样
作者:
pp520 (异理啊议!!!)
2023-04-21 12:44:00stable Diffusion 越做越复杂，后面 8G VRAM快撑不住了，外挂太多好用的功能
作者:
pp520 (异理啊议!!!)
2023-04-21 12:46:00VRAM不足，速度再快也是无用武之地连打开城市的资格都没有程式
作者:
uemo610 (球球)
2023-04-21 13:04:00AI绘图=盗图
作者:
bettle1461 (Stupid_penguin)
2023-04-21 13:18:00一个大VRAM且相对新卡便宜的选择是 3090 Ti，3090 跑diffusion 超烫
3090Ti量太少了，不然的确是比3090好很多的选择
作者:
oppoR20 (R20)
2023-04-21 13:24:003090是真的烫 可以煮饭的那种
作者:
bettle1461 (Stupid_penguin)
2023-04-21 13:31:00不过 4090 真的很强，用3090 Ti 70% 的功耗还加速 1.6倍以上，本人亲测，根本北极熊救星
作者:
Sartanis (Sartanis)
2023-04-21 13:37:00学对岸魔改2080Ti 22GB好了XD
作者:
odanaga (PixiyON)
2023-04-21 13:38:00vram大 就是王
作者:
et1783 (yen)
2023-04-21 13:57:00还可以研究看看webllm，为A卡打开一扇窗
作者:
soulgem (あたしって、ほんとバカ)
2023-04-21 14:29:0023G VRAM... 好吧, 对于 GPU 程式好像没有 12+12 当 24..其实不喜欢模型越搞越大变成计算军备竞赛的趋势...(还是会用绘图卡, 虽然慢, 但是可以在相对价格搞到 VRAM)
楼主:
ZMTL (夜风/潇湘 VR板已经开板!)
2023-04-21 14:56:00能放到家用电脑跑的，目前已经都是“缩小”的模型了(文字部份啦
作者:
soulgem (あたしって、ほんとバカ)
2023-04-21 15:04:0024G VRAM 绘图卡就对不到价了, 这就没办法 XD
作者: vsbrm (vsbrm) 2023-04-21 15:19:00
跑stable diffusion ,so-vits-svc 这些，选4090还是很有优势，如果只是玩看看，8G VRAM的显卡慢慢跑就好了，不用特地去换
作者:
creepy (左招财 右纳福)
2023-04-21 15:23:00HF也有GPT-2的模型 预训练好的model应该都不用太多vram
作者:
creepy (左招财 右纳福)
2023-04-21 15:29:00没有持续一直跑 限缩瓦数上限 可以不用
作者:
ZEYU (屏东三重刘德华)
2023-04-21 15:46:00A卡是不是完全不用考虑阿
作者:
Aeryzephyr (IN JP SYS.no chinese)
2023-04-21 16:13:004090只怕线烧毁...目前我还是用2070s的8g在算图，8g是一个底限实际玩起来还行，只是放大不方便用内建的高解析修正..只是算图实在觉得慢，过阵子还是会购入4090
目前都在N卡上发展，不过微软前几天丢出新闻说他们有打算自制AI专用芯片去应付更大的需求。Project Athena 从2019开始应该要端出什么东西来了
作者:
trywish (一一二)
2023-04-21 18:37:00A卡能跑AI，我跳的时候，要训练lora还做不到。至于速度？rx5700也不算慢了，但因为vram不足，所以压低效能就慢到哭。真的要玩的确N卡比较好，但A卡还是可以玩，只是真的vram要12G以上。lora现在那么容易抓，其实也没必要自己去练。主玩游戏，偶尔跑AI，A卡就够了。两者并重，N卡较佳想跑训练，vram 24G比较好。另外预算也不用80k，4090才56K，折价下来都剩51左右，挂个power 3~5K。CPU在玩游戏才会出现瓶颈。单论跑AI还好。所以大概55K~60K就能搞定。
webllm有没有中文不错的...之前测一个opt-13b感觉还不太能用... 搞半天玩没几下就关了XD 感觉还有段路要走
楼主:
ZMTL (夜风/潇湘 VR板已经开板!)
2023-04-22 01:03:00听说，听说，Colab要开始限制跑SD又没付钱买pro的了Reddit上正在讨论
作者:
suitup (hey Suit Up!)
2023-04-22 11:33:00一楼马上两个跑出来推770是怎样
作者:
ronald279 (ronald279)
2023-04-22 11:48:00推a770跟a卡没办法吧 好狠
作者:
Aeryzephyr (IN JP SYS.no chinese)
2023-04-22 12:20:00千万不要买N卡以外的显卡，除非你非常想除错练经验值
作者:
soulgem (あたしって、ほんとバカ)
2023-04-22 16:42:00stablelm 可以 12+16 > 24... 感恩, torch 基础可能可以.语言模型+torch 基础的感觉高机率可以两三张抵一张...