看完文章后我有跟我的chatgpt , claude聊一下
大家记得几20几年前 裘德洛?演的电影 AI 人工智能那时候有发布一个聊天网页
那时候就觉得很新奇 但那是人工写死的规则库,再怎么升级也就是规则多一点
但现在这个LLM 是喂了足够多资料之后 自己长出了设计者没写进去的能力
AI comment:
1:GPU 不是为 AI 发明的。 它本来是图形运算，后来大家发现大量平行乘加运算刚好
非常适合神经网络。
2:Transformer／LLM 也不是原本只想做假聊天机器人。 到 GPT 时代，研究者本来就希望
language model 能学到一般性的语言与知识能力。
3:真正超乎很多研究者预期的，是：同一套“预测下一个 token”的训练目标，
在模型、资料、算力一直 scaling 之后，竟然长出了 coding、数学、工具使用、
跨领域推理、agent 规划，甚至协助 AI 研究本身的能力。
科学家知道它“怎么算”——矩阵乘法、attention、gradient descent、weight
都清楚
但科学家还不能完整回答：“为什么几兆个参数经过这种训练后，
内部会自发组织出这些高阶能力？”更做不到对每个复杂行为都精确预测。
这是 **mechanistic interpretability（机制可解释性）**仍然没有完全解决的问题。
而现在更恐怖的是，
AI 又开始拿来帮忙写 code、做研究、开发下一代 AI。
所以简单来讲
人类不是意外发明了自己完全不懂的黑魔法，而是发明了一套数学与训练方法，底层每一
步都懂；
但把它 scale 到今天这个程度后，系统整体呈现出的高阶能力、泛化能力和自
主行为，超出了早期很多人的预期，而且我们对其内部形成机制的理解，
已经落后于它的能力增长速度。