因为最近有再跑llama sakura翻译
目前都是用日常用机的7900XTX来跑
想要多买一张卡放在另一台电脑跑
目前使用的模型是
sakura-14b-qwen2beta-v0.9.2-iq4xs
7900XTX速度是63 t/s
https://i.imgur.com/xKmQ5N3.png
目前在2张卡中选择
4060ti 16G
7800XT 16G
以AI泛用性来讲可能是N卡
但是目前来看ROCM的版本速度也不输N卡
以跑llama的情况下是否7800XT略胜一筹?