[讨论] LLM即将像Stable Diffusion普及

楼主: oopFoo (3d)   2023-03-15 12:56:02
https://simonwillison.net/2023/Mar/11/llama/
https://simonwillison.net/2023/Mar/13/alpaca/
Simon Willison提到,很快大家都会有自己的ai助手。
看时间轴:
24th February 2023: LLaMA is announced, starts being shared with academic partners:
https://research.facebook.com/publications/llama-open-and-efficient-foundation-language-models/
2nd March: Someone posts a PR with a BitTorrent link to the models:
https://github.com/facebookresearch/llama/pull/73
10th March: First commit to llama.cpp by Georgi Gerganov:
https://github.com/ggerganov/llama.cpp
11th March: llama.cpp now runs the 7B model on a 4GB RaspberryPi:
https://twitter.com/miolini/status/1634982361757790209
12th March: npx dalai llama: https://cocktailpeanut.github.io/dalai/
13th March (today): llama.cpp on a Pixel 6 phone:
https://twitter.com/thiteanish/status/1635188333705043969
And now, Alpaca.
https://crfm.stanford.edu/2023/03/13/alpaca.html
作者: create8 (念数学)   2023-03-15 17:38:00
作者: superpandal   2023-03-15 18:09:00
看过 没试过 不过可以看别人的感想ffmpeg参数... 你还是要仔细看文档
作者: ptta (ptta)   2023-03-15 18:46:00
这真的很神,从此regexp都给它写
作者: hizuki (ayaka)   2023-03-15 18:49:00
看看它能不能正确处理GNU make和旧Android Make的差异make出问题,很多时候其实和shell环境有关,比如突然csh
作者: superpandal   2023-03-15 18:50:00
写regex会是不错应用 但指令说实话一堆文档没有的文档没有的 你也不知道可以这样用makefile要分析整个专案了makefile可定义选项
作者: Hsins (翔)   2023-03-15 19:40:00
而且有人用 4GB RAM 的树莓派就跑起来了
作者: superpandal   2023-03-15 19:55:00
观望中 听说效能不好
楼主: oopFoo (3d)   2023-03-15 20:22:00
pc的效能不错。RPI是10秒一个token,pc是秒内几个tokendeclarative的程式,LLM比较会处理。只要补喂正确的资料,android/gnu make都可以分析。最近看好多应用都蛮有趣的当然没有的功能,问LLM,它会幻想给你,但这是小问题
作者: superpandal   2023-03-15 20:39:00
测了一下web demo时间很久又答非所问还会error...
作者: v86861062 (数字人:3)   2023-03-15 22:33:00
推推
作者: CoNsTaR ((const *))   2023-03-16 04:17:00
有没有哪个 ai 是会分清楚什么时候该幻想什么时候不该幻想的
作者: AzureRW (AZ)   2023-03-16 07:36:00
做比较重要的东西时要叫他给出处 多方比较后才采用我想这也是为毛该禁止ai写stack overflow跟wiki或技术文章 未来整个池子被污染之后可能会根本不知道哪里是ai自己乱唬烂的
作者: wsad50232 (阿丰)   2023-03-16 08:28:00
原Po是Google派来的吗?
作者: ouskit (ouskit)   2023-03-16 14:02:00
可以跑跟跑的好是两回事
楼主: oopFoo (3d)   2023-03-16 15:35:00
Meta说LLaMA-13B可比GPT3的175B。目前都是最简单的CPU优化。刚开始Pixel6需要26秒/token前几天已经5token/秒。各家版本飞速进步中。LLMs的"幻想"是内建,目前没办法,只能后续查证。
作者: lastpost (坚持)   2023-03-17 17:56:00
这些直接问chatGPT就好了,为何要自己弄?
作者: Hsins (翔)   2023-03-17 18:13:00
差别在一个是在大公司商用服务器上,一个则是可以自己用消费型主机搭建。当初 Hadoop 的兴盛也是因为可以使用消费型主机作为运算丛集,真的能发展起来的话是很有价值的
作者: jay123peter (萧瑟风雅)   2023-03-17 22:36:00
楼主: oopFoo (3d)   2023-03-18 10:16:00
chatGPT是通用的chat,但自己的,如Alpaca你可以训练特化的instruction tuning。更适合自己的用途。

Links booklink

Contact Us: admin [ a t ] ucptt.com