[问题] safetensors 转gguf后 答非所问

楼主: gostjoke (鬼笑话)   2024-09-11 10:02:11
不好意思 版上有人遇到这个问题吗?
我之前准备了一个测试训练 强化某问题(instruction)
模型是 Chinese llama 1.3B
然后再FT 后可以回答出该问题
但用llama.cpp转gguf后答案整个歪掉 此外原本的许多问题都答不出来或答非所问
有人遇到这个问题吗?
作者: DaOppaiLoli (大欧派萝莉)   2024-09-12 07:32:00
你要不要附上指令参数,可能跟 prompt format 有关

Links booklink

Contact Us: admin [ a t ] ucptt.com