提供一个有趣的观点
在 堆叠溢出 的网站有关于一则公告内容是禁止 chatgpt 回文。
底下有一个 AI 研究员的论点很有趣。
https://meta.stackoverflow.com/questions/421831/
temporary-policy-chatgpt-is-banned?cb=1
有意愿看英文详细的可以直接搜寻TL;DR,第三个就是了。
我这边简单叙述大意
stackoverflow 应该禁止所有 AI 回文,因为 chatgpt 是基于 stackoverflow 上
训练的,如果 stackoverflow 不禁止会导致无法训练 2022 年以后的 AI,
因为 AI 无法分辨训练资料这是 AI 回文还是人类回文,会导致 Circular reasoning。
这意味着 AI 还是是需要真正人类的资料去训练,如果不训练就无法进步。
除非你的公司有 FAANG 一样大,不然我不认为可以训练出足够强大的 offline
chatgpt。
我觉得这个论点很有趣的地方在于,实务上你是无法禁止AI回文的,也就是说 AI 训练
会出现一个死胡同,越强的语言模型会被滥用的越严重,最终会有一个上限。
我大概可以猜测为何使用 stackoverflow 训练,因为有问题有答案,答案还
大部分都有标准解答,跟 chatgpt 与你聊天的模式有点像。
简单来说你想用 chatgpt 解决工程师就会有鸡生蛋,蛋生鸡的问题。
你开除工程师,就没训练资料可用,没训练资料可用的 chatgpt 就不能产生 code
最终还是要请工程师开发。