※ 引述《pchooooome (千石ユノ的胎盘)》之铭言：
: 挖草
: 肥肥电脑可以跑出30+ tokens/s欸
: strata这专案好猛殴:OOO
: 肥肥128G DRAM还好早买 赚烂了
: 跑IQ3_XXS版
挖草
最新v0.1.31版
单卡2080ti 22G
改跑iq3_s
prefill 650-800t/s
decode 35-50t/s
这狗屎配置真的可以用捏
这专案好恶心喔喔喔喔喔
Context 256k
KV cache 8-bit
MTP drafts up to 3 tokens
Images off