楼主:
IBIZA (温一壶月光作酒)
2025-01-29 23:20:33※ 引述《mangle (mangle123)》之铭言：
: 比较好奇这段：
: 尽管蒸馏是AI业界常见做法，但DeepSeek若利用蒸馏技术来打造自家模型，并与OpenAI竞 争，将违反OpenAI服务条款，因此产生疑虑。
: OpenAI的服务，或是“利用输出结果，来开发与OpenAI竞争的模型”。
: 各个ai 大语言模型不是都会互相参照比较和训练吗？ 我以为这是业界常识…
: 不过要怎么定义“与openai 竞争的模型”？ 因为deepseek 也没盈利而且也开源学习，他也承认他不只从chatgpt训练也参照不少，deep seek 也认为自己是chatgpt
: 所以是真有盗窃疑虑，还是业界常识的互相学习使用？ 如何定义这部分
各家互相参考, 指的是训练方法还有训练的文本挑选, 蒸馏不太一样
AI = 模型的程式码+训练
能开源的部分只有程式码, 训练是看各自调教
模型的能力够, 差不多的调教方式就会得到差不多的结果
训练方法更好, 或是文本品质越高、越多样、量越多, 模型就越强
自从OpenAI爆红以来, 大公司的LLM模型都是遵循OpenAI的训练方法
预先训练: 拿大量文本让AI模型学习基本语言能力、基本知识
监督微调: 有了基本能力之后, 模型开始有推理能力
这时候由人类介入, 告诉模型怎么想是对的, 怎么想是错的
之前所谓的贴标签, 就是这个阶段
奖励建模: 把对错的判断建立模型, AI想对了, 这个模型就奖励他
强化学习: AI自己跟自己练习
不管是meta还是google, 之前都是照OpenAI这个成功模式做
所以这些公司能做的就是拼算力, 透过更大量的训练, 希望最终可以暴力超车
但蒸馏就不同, 蒸馏是直接拿另一个模型的推理结果, 让另一个模型照着得到同样结果
譬如我要我刚刚问ChatGPT, 要他给举例说明什么是拟人法
他的回答是这样
https://i.imgur.com/ey5mX61.png
ChatGPT要回答这个问题, 中间要经过很多推理, 譬如他要先理解我的问题
这里面就牵涉到, 他要理解我讲的拟人法是修辞当中的拟人法
然后再从这一个理解, 去思考拟人法的意思是什么, 最后再想出一个符合范例
蒸馏的话, 就是学生模型已经预先知道这个问题的答案是什么
有头有尾, 要生出中间的推理就会比较容易
但这里有个问题
你要用蒸馏让一个模型得到另一个模型类似的能力
通常就是需要老师模型产生极大量的练习后结果
才能传授毕生功力给学生模型
如果ChatGPT是开源模型, 可以自己部署在自己平台上
要做这样大规模训练是有可能
但ChatGPT无法部署在自己平台
(刚刚有人说ChatGPT 2可以, 但蒸馏顶多只能逼近老师, 用ChatGPT 2只能蒸出垃圾)
所以要做蒸馏只能透过API, 而要透过API做几千万甚至几亿规模的蒸馏训练
这难度极高啊....
(ChatGPT刚刚教我另一个方法
就是拿一个原本就有ChatGPT4能力的模型
这样只要少量训练, 就能超越ChatGPT 4
但原本就有ChatGPT 4能力的新模型难道自己会生出来吗XD
你还是得先得到这个模型啊...就是V3
那V3怎么来?)