OpenAI 最近推出了 GPT-o1，但很多人可能还没意识到这件事的严重性。事实上，OpenAI
已经找到了一条通往 AGI（通用人工智能）的阶梯！这个新模型的关键在于，它已经整合了
ToT（思维树）和 RL（强化学习），在大型语言模型（LLM）领域达到了类似 AlphaGo Zer
o 的水准。
很多人以为 LLM 就是个“刷题机器”，记住了大量的资料，所以我们在人类记忆力上输了
。但这种想法只能说对一半。之前的 LLM 确实是从大量资料中，透过模式相似性来猜测答
案。模型够大，猜得也够准，但一旦遇到需要推理和逻辑的超长尾问题，就挂了。没有连贯
的推理能力，肯定解不出来。
然而，o1 模型的训练方式完全不同。它花了大量时间在模型微调上，让模型针对已知的问
答，把所有的思考过程（CoT）都想出来。网络上很多资料只有问题和答案，中间的推理过
程要嘛没有，要嘛只提重点。这些都是靠强化学习逼出来的。
如果有兴趣，建议大家读一下 OpenAI 官网的技术报告和论文：
https://openai.com/index/weak-to-strong-generalization/
。重点在这句：“当我们用这种方法，用 GPT-2 级别的模型来监督 GPT-4 在 NLP 任务上
的表现，结果模型的性能通常介于 GPT-3 和 GPT-3.5 之间。”
在这种新机制下，OpenAI 已经不需要再从网络抓资料了。他们可以透过 LLM 之间的互动，
产生问题和答案，进行更广泛、更完整的训练。而且这种训练方式相当于，你虽然只学过小
学数学，但经过长时间的策略搜索和 ToT 机制，类似于 System 2 的思考，你可以解出国
中数学题。
当这些能力达到单一模型的算力极限时，可以透过扩大模型，把新知识装载进更大的模型，
透过 Transformer 达成 System 1 思考的嵌入。这就像学好国中数学的新模型，开始挑战
高中数学。提升智力的方式是无限的，只受限于你的 GPU 算力。
你知道吗，OpenAI 在解决 AIME 2024 的最新题目时，没有任何过去的考古题可参考，里面
的推导公式连他们的员工都看不懂。难道还有人以为 AI 是靠背题目来解答的吗？
※ 引述 《wsad50232 (GGYY)》 之铭言：
: 标题: Re: [讨论] OpenAI GPT o1模型
: 时间: Tue Sep 17 12:46:33 2024
:
:
: 不就是语言模型+题库
:
: 题库1000题不够，那就10000题
: 一万题不够，那就10万题
: 看你人的脑袋能装多少题库 拼的过吗？
:
: 但是对那些非一般性的
: 面向多的，没有标准答案的
: 个别性强，特殊场合，网上找不到答案的
: 资料不足，不完善的
:
: AI 就嗝了
:
: 某小气公司 难得花了大钱 买了Licence
: 打算明年缩减一半的人力来完成更多的工作
:
: 只能说这些早就不碰技术的高层
: 异想天开 脑袋装屎
:
: AI 能解的问题 人工早就解了
: 人工不能解的 AI 也不能解
: 但是AI会唬烂很多行不通的答案
: 来浪费人工去验证
:
: