※ 引述《paulcaptain (我不会写程式)》之铭言：
阿肥外商码农阿肥啦！
刚好看到这篇文章就回复一下，这次大型语言模型(LLM)表现出来的是语言模型的涌现能
力，我其实不赞同LeCun说的LLM是歪路，毕竟虽然我们可以直觉知道加大网络连接数可能
是实践人类大脑的一个重要步骤(毕竟人脑的连结数量跟复杂性在生物医学上都有验证)，
但科学上不去验证你没办法证明某些事情的。
我这边科普一下涌现(Emergent)能力是啥好了，所谓的涌现源自于生物学就是指当生物
系统够复杂的时候，就会表现出他群集本来不具备的功能，像人类社会就是这样的。而套
用到LM上就发现到这种状况普遍存在大型语言模型，像LaMDA、GPT-3、Gopher这些LLM都
表现出跟人类一样出色的类比、归纳能力甚至更出色，甚至不需要做任何直接训练很多实
验中都验证只要只要够大，自然就有涌现能力，这也验证了为啥prompt tuning在LLM上面
才可行，因为你够大就可以用prompt 刺激他某些激活神经元，出现本来不具备的能力(有
兴趣知道prompt tuning可以去看一下chain of thought 那篇论文)。而正经瞎掰有时候
正是人类文明的特色，自然界很多物种其实是不会虚构事实跟类比的。
回到为啥他数学不好的点上，这边其实蛮多针对chatGPT跟大型LLM的论文或是博客研究都
发现到当前LLM对于归纳推理、因果推论、空间推理都是表现蛮差的，而且大小模型也不
会因为增加参数规模而获得更好的结果，这正好是由于其实模型现在的理解力是基于横向
水平的，而数学、因果推论其实是空间物理树状的，举例来说，你做加法或乘法的时候其
实是先去检索过往有没有背过相似的模板然后在去想像空间树状垂直相乘或相加(我自己
脑袋是比较差的，但是之前讨论过大部分跟我智力水平差不多应该都是这样，也许有人可
以趴一下横向思考脑袋就出现计算结果，但当前不讨论)，这点是当前LLM不具备的，毕竟
当前基于的模型结构都是基于横向语言优化的，也没有物理规则的概念，所以也验证了当
前LLM的侷限性。
至于程式语言为啥chatGPT表现优异我觉得主要还是在于，其实现代的程式语言都是封闭
自洽的，而且说其实我们人类在看程式码是垂直树状布局的，但其实思维上依然是横向布
局，而这种模式是跟LLM天然相似的，所以你要他实作一个功能真的相对单纯，不过人类
有空间布局的概念也看出来为啥LLM还做不到系统级的设计，你只能一个一个把他原子化
成横向思考再来问他实作功能才是最好的。
其实我更倾向把这次LLM的实验当作是AI/DL领域对于复杂系统的文艺复兴，有了这次的实
验后该思考的是如何解构大脑思维与神经元之间的关联，让机器去真正理解物理世界的规
则、建构树状空间的复杂语言模型，坦白说，这只是通用人工智能(AGI)的一个开端，打
开这个复杂的盒子后才是黑暗大陆的探索。
剩下的因为太过学术的东西就不再这个版上讨论了，有兴趣未来可以聊，差不多先酱