自从Meta 的 LLaMA被流出版后,进展真的飞速。
现在可以自搞Alpaca了。原Stanford的Alpaca因为版权问题,不能外放。现在应该会有一堆流出版。
https://replicate.com/blog/replicate-alpaca
已经有人开发出Mac的Chat-LLaMA版了。
https://github.com/antimatter15/alpaca.cpp
Windows版,应该近日可期。
如果在自己的机器玩Chat-LLaMA,大概需要什么样的规格?(Training当然是另外一种规格)
以下是讲4 bit quantized的需求,很粗略的估算
7B模型需要约8GB(4GB+4GB)
13B模型约16GB
30B模型约40GB
64B模型约85GB
现在听说13B的性能与表现最能接受,但看发展速度,30B应该会是PC的应用主流。
所以现在组电脑,ddr5的32GB x 2条,应该是基础,预算是先抓容量再抓速度。
DDR5在这里的应用对DDR4会有优势,目前价差应该是可接受,但预算太紧那还是选DDR4因为容量优先。
CPU就越多核越好,框框越多越好,小核在这超好用。
显卡GPU因为内存少,所以不如CPU好用,然后买CPU一定要有内显的,做保险。如果内显加速版出来了,也许就不需要多核CPU了,目前难判断就是。
所以喜欢买AMD的粉丝们,请多多考虑AM5,然后x3d应该是没有优势。
Chat-LLaMA实在发展太快,半年内应该会有各种应用出现,就像Stable Diffusion促进显卡的需求。
下半年,多种应用出现(Ai助理),可能又会有一波PC升级潮,这次内存需求应该会很旺盛。