Re: [闲聊] Deepseek加Project Digi=AI的大海贼时代?
楼主: arrenwu (键盘的战鬼) 2025-01-28 12:29:50
※ 引述《litsix (Altwort)》之铭言：
: 回头看看老黄在CES端出来的Project Digi，你要说他事前没收到Deepseek的相关消
: 息，我是不信的。
: 这次的Deepseek事件不亚于当年NovelAI v1流出，个体户或中小型公司也有机会拿到
: 门票了，AI的大海贼时代来临啦!!
: 谁会先找到大秘宝呢，有洽否?
我看板上的讨论，好像对于“免费爽用的模型”非常的惊喜！？
那我分享一下好了
网络上有不少有名的软件都可以免费使用开源的语言模型
Ollama 应该是最自由的，
不过我目前觉得第一次使用的话，LM Studio 比较容易。
步骤非常简单：
1. 到 https://lmstudio.ai/ 下载 LM Studio，然后安装
2. 安装完之后点开程式，他会引导你下载一个比较阳春的语言模型，
把语言模型加载之后，就可以开始玩了
https://i.imgur.com/nrg2nZx.jpg
3. 如果对于阳春的模型不喜欢，
还有一堆语言模型可以随意下载使用 https://lmstudio.ai/models
VRAM 12GB 的话大概可以用到 14B 的模型
就算没有GPU也可以跑啦，就只是出结果的速度会比较慢而已
: 回头看看老黄在CES端出来的Project Digi，你要说他事前没收到Deepseek的相关消
: 息，我是不信的。
: 这次的Deepseek事件不亚于当年NovelAI v1流出，个体户或中小型公司也有机会拿到
: 门票了，AI的大海贼时代来临啦!!
: 谁会先找到大秘宝呢，有洽否?
我看板上的讨论，好像对于“免费爽用的模型”非常的惊喜！？
那我分享一下好了
网络上有不少有名的软件都可以免费使用开源的语言模型
Ollama 应该是最自由的，
不过我目前觉得第一次使用的话，LM Studio 比较容易。
步骤非常简单：
1. 到 https://lmstudio.ai/ 下载 LM Studio，然后安装
2. 安装完之后点开程式，他会引导你下载一个比较阳春的语言模型，
把语言模型加载之后，就可以开始玩了
https://i.imgur.com/nrg2nZx.jpg
3. 如果对于阳春的模型不喜欢，
还有一堆语言模型可以随意下载使用 https://lmstudio.ai/models
VRAM 12GB 的话大概可以用到 14B 的模型
就算没有GPU也可以跑啦，就只是出结果的速度会比较慢而已
作者: gino0717 (gino0717) 2025-01-28 12:31:00
ollama要设定安装路径竟然是打指令的 他那个gui做好看的
作者: guogu 2025-01-28 12:37:00
ollama没有gui吧 就是纯文字 只是加载有点麻烦...
作者: kaj1983 2025-01-28 12:38:00
又鬼转绵芽
作者: guogu 2025-01-28 12:40:00
lmstudio能用A卡加速吗? GPT4ALL可以但只有官方处理过的模型可以 但后来它都没更新新的模型ollama目前只支援6800以上 可是我用的是6600XT阿
作者: h0103661 (路人喵) 2025-01-28 12:42:00
ollama是工具不是模型
作者: purplvampire (阿修雷) 2025-01-28 12:42:00
Ollama有chrome外挂
作者: guogu 2025-01-28 12:46:00
然后不要期待本地模型的效果 应该说一般家用电脑能跑的
作者: jacky40383 (AMD香死了) 2025-01-28 12:47:00
网页版还是适合大众使用 电脑小白不会用就是不会用
作者: guogu 2025-01-28 12:47:00
像是7B 14B这种等级 基本上都蛮蠢的 除了限制少完全被线上的吊起来打 除非有特殊需求不然用线上的就好https://i.imgur.com/iaaXCny.png要免钱 不用登入的可以去鸭鸭走玩我有色情相关内容要翻译都是去找鸭鸭走
作者: btfghai 2025-01-28 12:54:00
也是找鸭鸭+1
作者: asdfg0612 (青蛙) 2025-01-28 13:08:00
7B 14B这种就相关行业会玩的在特定情境下好用
作者: htps0763 (Fish~月~) 2025-01-28 13:13:00
Ollama 是用来读取模型的吧，本地小模型目前好像没什么能让人惊艳的应用吧，除了拿来跑翻译跟聊天之类的
作者: guogu 2025-01-28 13:22:00
嗯 像是聊天AI那种基本都是7B 8B左右
作者: spfy (spfy) 2025-01-28 14:05:00
现在AMD的AI MAX 也搞统一内存了 最大可以吃到96G 已经可以跑70B了 #相信AMD
作者: guogu 2025-01-28 14:10:00
老黄不是要推一个AI盒子 #相信老黄
作者: spfy (spfy) 2025-01-28 14:12:00
Project Digits要3000美金起 MAX395+128G的ROG Z13 2025也才不到台币8万 对预算比较拮据的人还是有差
作者: guogu 2025-01-28 14:47:00
自问自答 lmstudio应该是可以用A卡加速跑7B模型大概是27token/sec
作者: qxpbyd (qxpbyd) 2025-01-28 15:48:00
local模型都不怎么样 除非自架R1 不然还是线上的好用纯GUI我是用Cherry Studio
