姆咪
当初原本有想要搞
但是那时候没显卡搞不了
现在换5080
今天有空就部属一下
先装的是14b的版本
32b的还在下载
只是我感觉5080应该是跑不太动 32b ==
要是我那张3090ti没换5080 应该是跑得动的
晚点运动回来 32b的模型应该就装好了
再测测看token还有显卡占用
14b的话
反正我平常都马问code
就随便叫他写了一个纯C的链看看
https://imgur.com/Xw6Xh5h
速度还不错 每秒有70token
我顺便看了一下占用 100%跑在GPU上面
现存大概吃了11G
阿Code我是没看有没有bug 写个link总不可能会有错吧==
我看他结构体有写对就没管了
晚点研究一下怎么把本地模型引入到vscode里面