※ 引述《zenice (阿排)》之铭言：
: https://imgur.com/Xw6Xh5h
: 速度还不错 每秒有70token
: 我顺便看了一下占用 100%跑在GPU上面
: 显存大概吃了11G
姆咪
果然32b直接炸了==
5080不调参的话基本跑不了
每秒6.6个token太难受了
在可用边缘 我还是回去用14b好了==
他怎么就不能出个20b之类的版本
刚好跑满15 16g的显存
https://imgur.com/ZgULjMZ
https://imgur.com/LsOFriq