[请益] 买Nvdia 50系列显卡跑大模型?

楼主: chanjungwu (chanjung)   2025-01-27 22:11:42
近期想更换显卡(仅考虑,非必要),
近期AI越来越强大,
时常我会用到deepseek或其他ai来写写程式,
想说未来可能如果自己有一个AI在家里跑,
若考虑到耗电量
翻译或是写程式不晓得会不会划算?
也不晓得跑不跑得动(没这方面经验)
可能偶而用于生成图片报告或ppt等,
想请教这边是否有大大有经验,
考虑入手50系列最低阶的试试看,跑得动吗?
作者: spfy (spfy)   2025-01-27 22:59:00
跑不动 不用想太多
作者: foodre   2025-01-28 13:02:00
能跑得动的状置,普通家用插头都供不了电。
作者: shihkai (加油吧~)   2025-01-28 17:01:00
要自己训练模型就别想了,现在终端能跑的都是拿别人训练好的模型来做推论
作者: boringuy (不看不听不想)   2025-01-28 22:34:00
他只是想跑模型吧,谁会想自己训练模型去安装ollama后自己跑模型试试就知道了我的感觉还是花点钱线上跑比较实际
作者: Dcpp2015 (DC)   2025-01-29 02:49:00
跑AI那就是5090了。
作者: yocpswang (伊果)   2025-01-29 14:05:00
不用想,已经买不到了
作者: bioleon (死在巨蟹女)   2025-01-29 15:53:00
只能买3090 4090 5090
作者: lordmi (星宿喵)   2025-01-29 19:10:00
目前用3060 12G跑语言小模型,能用。不过未来模型应该是最低16起跳
作者: fuyofuyo (K.E)   2025-01-30 09:25:00
除非要做规定外功能,写程式订阅比较实在
作者: cp296633 (Joey)   2025-01-30 17:17:00
https://ollama.com/library/deepseek-r1/tags4070跑14b(q4_K_M)模型大小9GB 显存占用也差不多8.9GB独显VRAM>6G都能先跑来玩看看啊 ..扣掉下载模型档案时间RUN起来不用5分钟..教学水管零度有
作者: likeapig (想换电脑)   2025-01-31 13:46:00
为什么不是ChatGPT?
作者: jhjhs33504 ( )   2025-02-01 20:26:00
你想到的 老黄都想过了 等机器人的大脑出货就知道了
作者: WhitePope (白教皇)   2025-02-04 15:10:00
个人跑的模型顶多十亿资料等级与完整模型数千亿级的相差甚远玩玩可以,不用抱太大期待连翻译都翻得文不对题
作者: csgod1325 (alex)   2025-02-05 13:35:00
会跑模型可以直接买张H100来玩架服务器
作者: arrenwu (键盘的战鬼)   2025-02-06 12:51:00
我觉得你不妨等到你真的有需求的时候在想这件事情?
作者: gainsborough (风尘)   2025-02-13 18:20:00
感想就是普通人买个M4 mini PRO 64G,虽然慢,但起码价格负担的起,阉割版模型也能跑比较大的,不然你就算买张5090(如果能买到的话),32G还是很不够用我自己跑14b的deepseek实在很难用
作者: doom3 (ⓓⓞⓞⓜ③ )   2025-02-24 00:33:00
等老黄的Project Digits
作者: roea68roea68 (なんもかんも政治が悪い)   2025-02-27 09:27:00
14b基本是智障 用网页或api吧 本地对我来说最大用处是sakuraLLM+LunaTranslator即时翻译黄油
作者: a779471530 (回不去的体重...OnZ)   2025-03-09 23:34:00
要跑AI 就是要VRAM 跟CUDE 最大为主 只有90系列目前最香的是 4090 又省电毕竟5090价格已经炒到 15-20万8万内买到4090 都是赚 可以够你战很久的游戏跟AI
作者: youtrue (youtrue)   2025-03-10 13:57:00
别闹了 还是订阅线上完全体吧
作者: shokotan (しょこたん)   2025-03-31 22:38:00
Intel A770可以多张跑大模型

Links booklink

Contact Us: admin [ a t ] ucptt.com