祖克伯的Meta公司今年2月公开的“LLaMA”是体积比较小的大型语言模型(LLM)。
LLaMA依照训练参数数量分为7B、13B、30B、65B。训练数量虽比不上OpenAI的ChatGPT，但
是硬件需求大大降低，是个人电脑甚至旗舰手机都跑得动的程度。
根据他们paper的说法，LLaMA 13B的模型性能比GPT-3模型要好，可以作到基本对答。
一些LLaMA可以达成的任务
这边的截图是来自Dalai LLaMA，它只是一个LLaMA的网页前端。
目前LLaMA只支援英文，未来应该会有中文模型。
1. 帮我把这句话翻译成中文：Taiwan is a country.
https://i.imgur.com/G4o7TYs.png
2. 解释Skinner行为主义心理学理论的优缺点，并举出五个例子
https://i.imgur.com/MtYgomt.png
3. 写个Python程式，寻找一个字串中出现最多次的字符
https://i.imgur.com/3OKMDun.png
4. 帮我想五个新文章标题候选：使用Linux当主力系统的好处
https://i.imgur.com/jjx5prE.png
5. 段落抓重点：请抓出以下有关普遍文法 (Universal Grammar) 段落的重点，并用十句
话解释何为普遍文法。
https://i.imgur.com/6DccCwW.png
在Android手机跑LLaMA
除了LLaMA以外，还有Alpaca模型，这是史丹佛大学微调后的版本。同样的资源耗用较小，
且有人制作了纯CPU运算的版本llama.cpp，不用依赖显示卡。
因此除了在个人电脑跑，也可以跑在Android手机上。
最小的LLaMA 7B至少需要4GB RAM，保险起见手机最好有8GB RAM才不会跑到一半手机自动
重开。
简单的办法就是装Termux，解开signal9的错误
然后设定Proot Debian，把模型下载下来，alpaca.cpp编译一下就可以开始聊天了。
https://i.imgur.com/M24wDqr.png
详细安装方法：https://reurl.cc/OVDRVg
手机RAM低于8GB的也不用灰心，你可以root后，设定chroot Ubuntu，挂载SWAP强行增大
虚拟内存。
手机与电脑速度比较
问一个10个字的问句
纯CPU运算下，LLaMA在Intel Core i5-7400的CPU约10秒就会开始作答，写完回答约1分钟
。
高通s845处理器要等30秒才会开始回答，并且写完整个回答2分钟。
如果使用GPU加速，速度应该会快许多，要用GPU加速可尝试Text Generation WebUI。
LLaMA的回答品质不可能像ChatGPT那么神，胡言乱语机率更高
但好处是没有任何道德限制～想聊什么就聊什么～
随着这类模型的开源，大型语言模型可能会走向Stable Diffusion那样的发展路径。
(虽说LLaMA一开始是提前外泄才为人所知的)

两年前在实验室就用开源框架把GPT2放到手机上试过了只是没必要 毕竟网络发达 中心运算就好

推，技术力真强

认真说 我觉得他们应该去跟line合作 去帮我打字的句子找出对应的贴图

https://bit.ly/3zAGaCR 要用 NPU 加速比较有效率在 Pixel 6 可以跑出 5 token / sec

太酷了

@@

不错xd

能不用网络也是有很多用处，例如语音助理

用Android NDK打包llama.cpp不知道会不会比较快

推

好厉害

推，我连docker都还没改kernel…太有行动力了

问一个白痴问题 chatgpt不是手机上就可以跑了吗？ 就一个网页不是？我觉得AI还是交给网络别人算就好 几秒钟才回答==手机有网络chatgpt一两秒就回答了

不是每个国家都吃到饱

欧@@

这个有点厉害

你好厉害

如果chatGPT可以离线不知道模型库会多大？我猜跟Stable Diffusion,不会差太多？大概加一加30~50GB?