※ 引述《sxy67230 (charlesgg)》之铭言：
→ kuma0326: 中国在生成式语言AI研究上最大的麻烦是223.138.120.220 06/03 12:39
→ kuma0326: 需避免出现敏感词、思想不正确的内容223.138.120.220 06/03 12:39
今天刚好处理新的研究项目忙到没时间回复，这边说一下，其实当前生成式语言模型避免
出现敏感词或思想不正确不止是中国，包含Meta、Google很多研究员都在研究如何让模型
可控（包含关注我们想关注的内容并且可以给予模型个性设定并且避免遗忘性格设定诸如
此类）。
不过语言模型其实比很多人想像的更难控制，原因就出在于训练数据的天然分布跟下一个
词预测的熵累加，这会导致最终损失跟不确定性被放大，当前还是一个待解决如何让AI学
习人类大脑的双系统模式（快思-系统1，慢想-系统2）。像最近gpt4o就有prompt注入风
险，骇客可以直接透过注入特殊格式的prompt开启上帝模式，若是有厂商拿4o进行具体商
业利用可能还会有严重的损失，这也是为什么可控、安全的AI模型是这几年来从业研究员
在呼吁连署的。
差不多4酱，因为话题刚好涉及最近正在研究的东西所以就有点杂念随笔谈一下。