楼主:
chin2049 (YesOrNo)
2025-01-17 14:12:33目前用macbook air m1
想说用这么久了想换16"用看看
用途是利用空暇时间
写macOS iOS程式 或是 网页
或许还会跑AI试试
电商16"m2 pro目前的价格在6万内
跟16"m4 pro 官网版本差距有快三万(84,900)
想问一下旧版跟新版差距大不大
不知道该不该直上m4 pro
想请教版友
作者:
Rougun (Rougun)
2025-01-17 15:43:00想玩 Ollama 的话看你偏好玩小模型还是大模型也想玩ram 就愈大愈好啦，小模型且只是写程式应该是没差多少啦
作者:
doubi (我会飞)
2025-01-17 16:47:00M2 跟 M4 速度体感差很多, 尤其是多开应用的时候我现在就是同时 M2 + M4 在用 XDM2 是公司发的, 很容易让我等待
差距蛮大的 但还是要看你的使用状况我想ram大小还是优先
作者:
joumi (揪咪^.<)
2025-01-17 17:44:00直上
作者:
KINGWAP (阿姆斯撞)
2025-01-17 19:22:00可以去虾皮找找看有没有保内的M2 max 64G玩AI推理64G是很基本的
作者:
yhubi (B)
2025-01-17 22:03:00$77,300 原价 $84,900 :: 16 吋 MacBook Pro M4 Pro 可参考
作者:
Bambe (起笑的我们:P)
2025-01-18 00:13:00给你参考一下，我之前用 Mac Mini M2 Pro 32G Ram 跑 70b模型，大概十分钟跑不到十个字...
作者:
autopass (how to give name)
2025-01-18 00:32:0070b 45Gb左右，没64g ram真的玩不起直接串API吧，公司真机密资料看老板要不要赞助
作者:
Bambe (起笑的我们:P)
2025-01-18 00:37:00不过刚测试 32b(19GB) 的速度还算可接受
作者:
Bambe (起笑的我们:P)
2025-01-18 02:19:00刚测试了跑个 40b(23GB) 的就有点喘了，需要重开机才能跑
楼主:
chin2049 (YesOrNo)
2025-01-18 09:34:00好的 参考一下
有钱想玩就直上，要不然不如不买，买一半那种最浪费花了一笔钱，然后又得不到想要的效果，白花
作者: FishYui (FishYui) 2025-01-19 00:24:00
推楼上，之前就是买了一个不上不下的规格用的很有疙瘩
好奇，就算ram满足读取大模型的需求，不过回应速度能够满足即时性吗？感觉每秒token数会很低
作者: Louis430 (Louis) 2025-01-19 18:02:00
推 jacklin2002
目前影响模型性能的应该都是内存频宽问题 尤其是不够用然后用到swap的时候纯推理时的计算性能应该都够用了
Mac跑模型就是用时间来换内存容量，要快要打只有老黄啊，之前看评测M4 Pro 回应token每秒就11-13左右
作者: jhjhs33504 ( ) 2025-01-21 14:40:00
量化的模型在不同VRAM大小占用GPU/CPU的资源天差地远
Jh大可以解释一下，我不太懂为什么相同量化模型在不同的vram下，CPU/GPU会有不同吗？
作者:
kt56 2025-01-26 03:26:0016 吋 MacBook Pro M1 Pro 全新未拆47000
作者: jhjhs33504 ( ) 2025-01-27 21:04:00
那种压缩方式并不是无损的 损失部分有不可控的副作用同一个量化模型用CPU或用GPU执行的指令集与精度不一样排列组合产出的结果品质就是天差地远当然其中差距就是需要相当的背景知识去调整执行程序甚至是调整训练方法可能要查一下训练模型的机房规模有多大心里才会有概念