自从 Hinton 提出反向传播算法以来，人工智能领域在过去几十年来并没有出现真正意义上的突破。目前的进展主要集中在透过收集更多训练资料和建立更大的神经网络来提高模型效能。然而，这种粗放的做法并没有触及问题的核心，只是不断填满内核空间，并没有带来算法层面的革新。
虽然像 CNN 和 Transformer 这样的架构看似新颖，但实际上，如果运算能力够强大，这些技巧也并非必要。理论上，一个两层的无限宽神经网络就足以拟合任何复杂边界，并且拥有无限大的模型容量。
真正的突破需要在算法层面实现创新，而计算力只是次要因素。目前，
整个人工智能框架都建立在统计机器学习的基础上，这限制了我们的思维和探索。
我们局限于inference 要嘛 Frequentist ，不然就 Bayesian inference，
导致陷入暴力求解的困境，并寄望于Scaling Law带来的救赎。
一些研究者开始尝试从 Information Theory、Causality Entropy 切入，这可能会带来新的希望。
※ 引述《sxy67230 (charlesgg)》之铭言：
: ※ 引述《seraphimm ()》之铭言：
: : https://i.imgur.com/pydjqnE.jpeg
: : https://i.imgur.com/vf98RM8.jpeg
: : 很多年前光日本对于机器人早就开始
: : 2024还在炒机器人
: : 大家都需要机车汽车但不一定需要飞机
: : 所以好的道具不是人人用的著
: : 无法普遍与量化
: : 只能够在特定的人与行业企业使用
: : 这种只变成危害大于进步的独大炒作
: : 面对全球广泛性
: : 战争风险，气候变迁，资源匮乏，能源危机
: : AI这烂炒作根本就是加速人类世界的崩坏
: : 科科科
: 认真说，股价会不会出现泡沫我感觉很难说，不过过往经验是2000年Internet的出现，曾
: 经带动美国股价暴冲但又马上泡沫暴跌，虽然股价泡沫了但Internet却已经变成人类最基
: 本的权利之一了。
: 我自己本身是业内人，当前AI也差不多是这种状态，基本上技术、理论都已经是实打实可
: 以被验证了，套一句Yoshua Bengio最新论文的耸动标题：“当前AI还不具备意识，但根
: 据技术理论我们人类是有能力赋予他意识的。”
: AI革命这几年也带起来一系列脑科学的研究，有兴趣可以翻一下最新的研究几乎所有研究
: 人员都认同人脑就是一个巨大的表征向量机，就像苹果跟香蕉其实有他对应的表征空间关
: 联性。可能的猜测意识就是向量之间符号的交互作用下产生的，所以如果能破解基本上就
: 是下一个世代的工业革命，我们现在只是在革命浪潮前而已。
: 然后我认为当前不管是GPU或是CPU、TPU、NPU都不太可能是未来符合AI的芯片架构，因为
: 人脑根本就不是冯诺伊曼架构的。给一点干货，当前美国、中国学界对于存算一体的芯片
: 都有一些进展，我认为存算一体才是未来，毕竟人脑也没有一个叫做Memory跟ALU的器
: 官，整块大脑其实神经科学的研究下发现整个大脑神经都是皮质柱根本不存在差异，存算
: 一体的架构几乎可以
: 确定解决储存、功耗瓶颈了。
: 大概随便聊聊聊到这边，不然小粉绿看不懂又说我夸对岸要爆气，毕竟我可不想被砍。
: 嘻嘻