自己的文章自己回
两个月过去了 Strix Halo 迎来了春天
halogen与后来的 pwilkin llama分支
都能轻轻松松的跑 125B模型
速度直逼 M5 Max
https://i.imgur.com/y80j1B7.jpeg
https://i.imgur.com/FCQgLBK.jpeg
https://i.imgur.com/HI6Inmu.jpeg
这时候就不得不复习一下 2025年的那位苦主
开发了一个 llama.cpp 分支让 AMD大幅提速
兴高采烈的的想加入主干 为开源社群出一份力
结果被卢洨拒绝
当时大家只觉得 llama.cpp还在开发初期
或许GG有自己的苦衷 怕污染CUDA
但没过多久 Huggingface收购了llama.cpp
然后内存狂欢了几个月
直到上周老黄花了 129.3亿美元收购了 Huggingface
那位老兄现在应该想明白了吧
https://i.imgur.com/fsRDBjq.jpeg
https://i.imgur.com/FsQDQ1w.jpeg
https://i.imgur.com/ysP7qED.jpeg
https://i.imgur.com/EfrsFLH.jpeg
求偶原文
https://github.com/ggml-org/llama.cpp/pull/16827
※ 引述《Mapodoufu (当归)》之铭言：
: https://i.imgur.com/xO6ZZbe.jpeg
: 我也不知道发这篇有什么意义
: 闲来无事提供给手边有买StrixHalo的人参考
: 有打算在高点出手的可以再停看听一下
: 各位就当看笑话即可
: 旧物新卖还涨价的识趣哈喽开卖了
: 长年躲在 DGX Spark 的影子下
: 每天看着绿色伙伴用NVFP4 飙速
: 自己却只在厕所默默啜泣
: 最近的ROCm假FP4 pp也没啥屁速提升
: 不过AMD战的一直都是未来
: 最新版 ROCm 7.13 预览版
: pp终于获得了明显的提升
: ROCm 7 每次更新
: 对LLM使用者都是一次次的失望
: 感觉都是针对 生图生片那块更新的
: 但这次不一样了 经过实测
: 平常使用 122B-A10B Q4 这种夭寿大模型
: 基本上都是在磨练耐心 可以去泡茶、上厕所
: 身体都健康了不少
: 因为pp等待时间都是以分钟为单位
: 这次初始速度竟冲破1000t/s
: 以下是我的测试结果
: (第一段是自动生成对话主题可以忽略)
: 第二段的 prompt processing 才是重点
: 总共给了GPU 123GB
: https://i.imgur.com/igb9H3f.png
: ROCm 7.13 (1129 t/s > 547 t/s)
: https://i.imgur.com/1PNzIGA.png
: 以下是稳定版速度
: ROCm 7.2.4 (820 t/s > 426 t/s)
: https://i.imgur.com/Z3GnudA.png
: ROCm 6.4.4 (720 t/s > 435 t/s)
: https://i.imgur.com/jm9RB4N.png