AMD的GPU行销真的是笨死了。每个人都拜托他们出24GB或48GB的卡,这么简单就大卖的方法不作。还在搞FSR,难道不知道现在是大AI时代吗?
7800xtx 24GB,549镁,还不卖爆。
79x0xtx 48GB,1200镁,还不抢光。
现在一堆AI inference的需求,欠缺在ram不够。Training也许还是不行,但inference社群作一堆了,就等你出卡而已。结果你出16GB???
例如最近mlc-llm测试7900xtx 推理可达4090的80%。
https://blog.mlc.ai/2023/08/09/Making-AMD-GPUs-competitive-for-LLM-inference
原作者的中文版
https://zhuanlan.zhihu.com/p/649088095
因为在推理(inference)上gpu的效能已经够了,是卡在记忆频宽,所以4090/3090ti/7900xtx效能是大同小异。
https://github.com/ggerganov/llama.cpp
现在4bit 30B模型需要19.5GB内存,这个模型好又刚好主流24GB卡可跑,3090二手卡抢爆
4bit 65B模型需要38.5 GB,没有主流卡可跑,只能用CPU慢慢的推动,等于不能用。
7800xtx 24GB,79x0xtx 48GB。AI社群抢爆,程式帮你写好。不用在那搞没用的FSR,没用的FSR,没用的FSR<<很重要讲三遍
https://i.imgur.com/LeYPRd4.jpg