其实小弟对这次物理奖最大的疑问 并不是在于"够不够物理"
而是...单就物理而言 到底够不够原创性或有影响力
早期的机器学习 其实分很多种不同的路线
其中有些路线是受到物理和大脑神经科学研究的直接影响
试图由真实的神经科学出发 建立物理模型 来理解和重现大脑真正的认知过程
有很多物理学家或受物理训练的人投入其中
包含费曼在内 一些物理学家其实也对机器学习很感兴趣
甚至Hinton本人也算是受过物理训练的
他和上帝粒子的Higgs的指导教授是同个人
在这种早期受物理和大脑神经科学直接启发的路线中
Hopfield的模型可以说是最大突破
虽然Hinton是现在知名度更高的那位
但Hopfield的工作才是诺奖委员们 用来把这次物理奖颁给机器学习的切入点(借口)
Hinton得奖的"官方"理由 是他接续在Hopfield模型后的一些工作
(然而 另一方面 我认为Hinton终究才是诺贝尔奖委员们这次真正想给奖的那位)
那么就稍微简单介绍一下Hopfield的模型: Hopfield network
这应该可以说是在模拟记忆的机制上 最早的数学可解物理模型
但这个工作 在我看来 不能完全说是Hopfield自己独立创立
大致上建立在两个前人的工作上
1. 赫布学习理论
赫布是个神经科学家 在1949年就认为
记忆由是大脑中两个单独的邻近神经元之间的状态所储存和决定的
套用现在流行的深度神经网络的语言的话
在赫布理论中 两个神经元之间的权重是由彼此各自状态所决定的
2. 自旋玻璃
自旋玻璃是种磁性模型 可以看做是很多个小磁矩形成的系统
而磁矩之间的交互作用是随机的
自旋玻璃在2021年其实就拿过诺贝尔物理奖了
在这里没法简单科普 只需要提及
在自旋玻璃里 系统的整体能量状态 就像是复杂的山丘山谷地形一样 有非常多的局部极小质
这导致自旋玻璃有很多奇特的性质
Hopfield的工作 就是他从赫布的理论出发
建立了一套模拟记忆的神经元网络数学可解模型
这个网络数学上也看成是一个自旋玻璃的模型 而神经元就对映着磁矩
在这模型里 记忆是由神经元的状态所决定
而整个network的能量状态 和自旋玻璃的能量是完全对应的
所以和自旋玻璃一样 就像是复杂的山丘山谷地形
随着时间 整个network状态 会根据能量而演化成能量的局部极小值
而这个动力学过程 就好像是大脑将外界的输入 和储存的记忆作比对的过程
这就是Hopfield network的物理意义
受限于篇幅和记忆 部分重要概念可能有点忽略
毕竟小弟学习Hopfield模型是刚进PhD的时候 在一门生物物理的Lecture上学的
当时深度学习还没有出圈 那时也没想到这个工作最后拿了诺贝尔物理奖
其实 Hopfield的模型虽然很有趣 但生物物理中 类似的"拟"物理模型是非常多的
特别跟Hopfield模型一样 受到自旋玻璃的研究启发 用来解释生物物理现象的有很多
其中有些工作的重要性 单从物理和解释现象的角度来看
价值和影响力恐怕都未必亚于Hopfield newtork
毕竟 说到底这终究只是"模拟"记忆机制的模型
Hopfield虽然是很伟大的物理学家
但这次之所以可以得奖 难免还是跟深度学习的火红脱离不了关系
而另一方面 现在的机器学习 除非是真的想要认识更多早期的发展脉络
不然很少会特别提到Hopfield的工作 这也不是没有原因的
毕竟现在广泛使用的深度神经网络
其结构跟学习机制 跟Hopfield network已经不完全一样了
随着GPU的快速发展 简单粗暴的深度神经网络 直接和样本作比对
搭配反向传播 寻找损失函数(而非网络系统的能量)的极小值 来求解权重
比起Hopfield network的机制更加直接和有效
其中学习的过程跟物理或者真实大脑机制的关系 相较之下没有那么清晰的联系
这也是我上面说的 虽然Hinton的工作和物理比较没有直接相关
然而 如果不是因为他(和黄仁勋) 那么深度学习必然不会像今天那么火红
所以诺奖委员还是特别用他早年延续Hopfield network的工作
Boltzman machine 来当作给奖理由
小弟只能说...从小弟看来 诺奖委员们这次是铁了心非得给机器学习一个物理奖
然后再从里面找出个最可以跟物理扯关联的工作