※ 引述《museangel (敲敲)》之铭言:
: https://www.reddit.com/r/LocalLLaMA/comments/1ke3heg/how_is_your_experience_with
: _qwen3_so_far/
: 我看到reddit的上面这篇文,想借这串原文问个问题,
: 这几天开源的llm qwen3-235b-a22b,
: 是不是真的也可以靠cpu跟128gb的ram跑起来,而且速度不算慢、效果也还不错了?
: 一般这种上百b等级的llm,用一般消费级gpu就算5090也装不下。如果用cpu跟ram,成本倒
: 是可以压低得多,而且还有比较大的沿用性,不会像gpu每两年换代折旧不少。
: 我平常只用gpu跑,没试过cpu+ram,有没有前辈有相关经验,文章里说到的这种cpu+ram的
: 跑法有没有什么地雷?
https://www.youtube.com/watch?v=1N6a46QqdhI
斯波图最新影片有测试过了,用的是AMD AI MAX+ 395 的小型桌面机
相当的不错,等于是建构了一个本地AI,有着无限TOKEN。
他把QWEN3的80G模型直接丢给主机的NPU+RAM去跑 全本地的运算
也不影响日常的工作,还能够分派多重脚色给AI去帮忙执行计画
https://www.gmktec.cn/product/5656/
最高可以运算96G的模型,主机最高125G 有着约90%左右的9950X性能
价格就超出预算,14999RMB,包含128G+2T SSD,比一张5090便宜就是。
https://www.youtube.com/watch?v=-1kuUqp1X2I
其他也有类似的产品 这台便宜些。
感觉工作上有大量需求+建构本地AI 需要隐私不连网的
这个应该是目前不买老黄显卡的最优解了