楼主:
zzahoward (Cheshire Cat)
2025-02-06 10:24:38关于AMD呢，在老黄GPU又贵产量又少的状态下
目前已经不少人找方法剔除不用GPU的方式去建立Local LLaMA了
在R1横空出世后的一个多月内，大量公司/个人小型workstation已经开发出一些东西
之后系统商和模型/权重持续最佳化状态下，应该能有更好的产出
简单来说，这套系统最重要的就是RAM频宽和大小
所以使用EPYC MZ73板子，可以有24个DDR5通道
全部插满32GB ram，启动时有足够的SSD空间把R1丢到RAM里面就好
这样的设定可以在Q8状态下去跑完整模型，而不是蒸馏过的
当然，这样的配置不会有700GB VRAM的机器还快
但你有700GB VRAM的设备大概要12万USD左右
以目前这套大概不到6000 USD就可以组出来的设备，产出约在6~8tok/s左右
但要是AMD和系统厂能够合作推出更专业的产品
R1目前的开源以及社群的热络，可以让老黄的GPU变成CP值超低的奢侈品
而目前EPYC这样的配置，已经足够多数中小型企业/软件公司使用
甚至比你去租赁算力还便宜
AMD就算GPU在搞笑，但AI的部分绝对不会缺席
只要老黄故意把VRAM卡在那边拿翘
拿时间换钱的企业和个人使用者不需要那么快的生成
AMD和系统厂包装一下大有搞头好吗
BTW，因为主要瓶颈是RAM频宽和大小，所以CPU本身也不用太高阶的，够算就好了
就算用9115或是9015也不会损失太多
能耗部分也很省，上面那组系统耗电量大概就是在400W左右
想想你跟老黄买到700GB的Vram去布署，要花多少电XDDD