[闲聊] 组装Chat-LLaMA主机的规格

楼主: oopFoo (3d)   2023-03-17 13:35:11
自从Meta 的 LLaMA被流出版后,进展真的飞速。
现在可以自搞Alpaca了。原Stanford的Alpaca因为版权问题,不能外放。现在应该会有一堆流出版。
https://replicate.com/blog/replicate-alpaca
已经有人开发出Mac的Chat-LLaMA版了。
https://github.com/antimatter15/alpaca.cpp
Windows版,应该近日可期。
如果在自己的机器玩Chat-LLaMA,大概需要什么样的规格?(Training当然是另外一种规格)
以下是讲4 bit quantized的需求,很粗略的估算
7B模型需要约8GB(4GB+4GB)
13B模型约16GB
30B模型约40GB
64B模型约85GB
现在听说13B的性能与表现最能接受,但看发展速度,30B应该会是PC的应用主流。
所以现在组电脑,ddr5的32GB x 2条,应该是基础,预算是先抓容量再抓速度。
DDR5在这里的应用对DDR4会有优势,目前价差应该是可接受,但预算太紧那还是选DDR4因为容量优先。
CPU就越多核越好,框框越多越好,小核在这超好用。
显卡GPU因为内存少,所以不如CPU好用,然后买CPU一定要有内显的,做保险。如果内显加速版出来了,也许就不需要多核CPU了,目前难判断就是。
所以喜欢买AMD的粉丝们,请多多考虑AM5,然后x3d应该是没有优势。
Chat-LLaMA实在发展太快,半年内应该会有各种应用出现,就像Stable Diffusion促进显卡的需求。
下半年,多种应用出现(Ai助理),可能又会有一波PC升级潮,这次内存需求应该会很旺盛。
作者: soulgem (あたしって、ほんとバカ)   2023-03-17 15:39:00
看来这局势将对等等党极度不利呢...
作者: Chilloutt (Robust)   2023-03-17 18:10:00
好险已经买了,除了lora,还可以玩别的了
作者: Shigeru777 (茂茂)   2023-03-17 18:26:00
还好已经装满128G了
作者: dos01 (朵斯01)   2023-03-17 19:59:00
想太多了 不会每个人都想自己产色图来给自己SAN值检验正常显卡的大宗用户还是游戏玩家
作者: gw00086   2023-03-17 20:26:00
美光库存200天 应该够卖吧 ㄏ
楼主: oopFoo (3d)   2023-03-18 09:56:00
记忆需求x2,库存变100天,机器增加,供不应求。这ai助手功能使需求大爆发是很有可能的。现在PC的内存都配太少了。
作者: pichubaby (Pichu)   2023-03-19 22:42:00
如果要高内存要找HEDT,但是你要CPU算,可能要高L1

Links booklink

Contact Us: admin [ a t ] ucptt.com