llamacpp修了一周才跑的起来，不然原本bug超多
这个权重大小主要跟Qwen3.5比较
优点
- 文笔很好，有claude sonnet等级，特别是成人场景
- 无审查，虽然说明档花了1/3篇幅在吹它的安全设施，但实际运行根本没在挡
缺点
- 上下文占的内存太多，不确定是不是llamacpp的bug
- 逻辑能力确实不如qwen3.5
我没试写程式，但非sota模型根本不用试这块
想用来瑟瑟的话蛮推荐的
另外还有个不知道该放在优点还是缺点的内容：
https://i.meee.com.tw/pc0XTEd.png
https://i.meee.com.tw/2scO5NI.png
https://i.meee.com.tw/vWj9mqO.png
好好笑 口烂欸

gemini不是差不多口ㄇ

就是要这样

是用多少B的model?我电脑只跑得动E4B

我用26b-a4b，我的显卡也装不下，我是offload到cpu，也就是用ram装模型，跑Q4量化只要16GB的ram，MOE架构很适合这样跑，速度大约~40tps。