※ 引述《soulmola (绝顶优文大师)》之铭言：
: 认真问
: 现在欧美亚全力投入人工智能领域
: AI我10几年前就听过了
: 炒了一阵子吹出一堆科系然后就没然后惹= =
: 时间来到2023年
: 人工智能再度跃上版面
: 这次连产生意识人类灭亡这种事都担心起来了
: 到底是豪洨还是真的？
: 我不是这个领域的专家不太懂
: 有没有高手出来说明一下？
: 对惹GPT4 好猛….
: 八卦否？
阿肥外商码农阿肥啦！
这波人工神经网络浪潮其实得力于两三年前Lecun跟Hinton等等大神推广的自监督的概念
。自监督其实就是用一种更有效的方法来学习网络或是数据库长久以来建立的有效自然对
数据，透过自然对来做前训练期望机器能够自我学习到自然数据的相对关系。
这其实我们的大脑可能也存在相似的功能，这几年随着脑科学的研究其实有一种比较新颖
的想法就是我们的新皮质柱可能不如我们之前设想的有功能上的区分，甚至有可能他其实
都是同一种新皮质细胞(也就是语言、数理能力包含视觉其实都是同一种细胞)，唯一的差
异只有输入不同才导致他功能不同，而这些新皮质柱其实都存在一种世界模型(world mod
el)，透过世界模型来预测建立参考框架(reference frame)来修正自己大脑的模型，像是
我们触摸杯子大脑会事先预测杯子的几何构造，杯身跟杯耳之间的相对关系，当我们大脑
发现存在差异时就会即时修正这个关联跟更新世界模型。
这边也可以看出自监督学习会成功的原因是因为他建构的高维空间座标模式其实是跟大脑
有相似之处的，但是也存在不同的地方。
过往采用监督训练其实在五六年前在封闭工业环境已经成功了，但是其实在工业环境对于
非在这个领域的业界跟学界其实还是太遥远了，而这次自监督模式反而因为跟大脑模式相
似所以才会有让大众有一种AGI即将诞生的错觉。
其实整个框架我们也可以发现他跟大脑架构的不同之处，大脑的新皮质通用学习算法其实
是比当前的GPT-4还要强的，大脑的通用算法可以在不到几毫秒就更新，而且他也会去检
查世界模型的冲突决定学习率，而当前的GPT模型并没有这种功能，甚至他的世界模型我
们也很难确定他是否掌握了什么样的归纳偏置，近几个月的研究是有发现GPT-4确实学习
了某种类似真实世界低复杂度高结构化数据的能力，只是更多研究还要再累积一些。
最后，一个比较有趣的问题就是今年2023的新paper阿肥有阅读到一篇其实是让模型了解
物理规则概念的，结果研究人员发现模型你先喂他物理因果关联的数据做预训练还不如先
给他隐蔽位移(就是给他遮盖物体的影像)来得好，这就有点有趣了，这似乎某种程度上间
接证明了当前基于神经网络的模型他确实学习到了某种表征表示，但是他确实无法学会人
类的隐式逻辑概念，这也证明了模型终究还是基于某种类贝叶斯归纳原则的。
剩下还有蛮多有趣的问题也是发现到基于梯度方法的神经网络有其侷限性，像是下面这张
图我之前在科技版有说明过在这边就懒得细说了，下面那张图显示的是神经网络当前的泛
化难题，也就是我们的数据若是不存在0.8,0.8这种蓝色位置可以让梯度下降到共同的min
imum位置而是柱形的低点，由于每次我们模型初始差异很有可能走到某个位置虽然都是相
同精度但是激活的神经元功能完全不同，这在当前依旧是一个很大的难题，因为模型没有
像人脑的世界模型，我们很难让他有基础的学习，这也是当前为什么很多学者不认为GPT
是真正的AGI，因为他离人脑的关系还是差异太大，不过即使如此GPT-4依旧展现给我们大
力真的能出奇蹟的涌现能力，这种能力用不同于人类的方式正在改变世界的认知。
https://i.imgur.com/745mSVG.jpg