说神经网络学习应该算资工的
其实是眼光只放在现今人为分科 忽视整个领域发展脉络的浅薄评语
实际上在机器学习火热前 资工系根本不需要懂什么微积分、线性代数
(虽然台湾的大学大都还是规定必修)
这就说明 AI 以资工来讲本身就是满"另类"的子领域
稍微了解过神经网络发展史的都知道
Hopfield, Hinton 这些人提出神经网络模型 其后有数十年
这个领域比较像是三不管地带 没什么传统科系真正认为属于它
大概 2010 年代开始才大举进驻资工系
另外有兴趣的可以爬梳一下 Hopfield, Hinton 等等甚至迟至 Andrew Ng 的师承
就会发现他们及他们指导老师的背景五花八门
物理、生物、心理、统计、电机都有可能
回过头来看神经网络到底"物理"在哪
其实诺贝尔奖主文就已经写得很清楚了
这边再补充几点
神经网络最初源头确实是由神经元电生理模型组建起的
Hopfield network 的原始论文就是发表在 PNAS 的生物物理分区中
https://doi.org/10.1073/pnas.79.8.2554
如果神经元数量太多 全部神经元的耦合微分方程跑下去运算量太大
则可以把一堆神经元统合成一个建模单位来进行化简 就是所谓 neural mass model
那如果再进一步做一点线性近似
就变成大家今天熟悉的 weighted sum + activation function 模样了
简单的说大家今天熟知的神经网络就是 Hopfield 等人搞的简化再简化的版本
想知道详细的话
我推这个免费线上教材 相关的推导都有在里面
https://neuronaldynamics.epfl.ch/online/index.html
※ 引述《jackliao1990 (j)》之铭言：
: https://www.nobelprize.org/prizes/physics/2024/popular-information/
: 瑞典皇家科学院决定将2024年诺贝尔物理学奖授予John J.field和Geoffrey E. Hinton
: ，以表彰其“通过人工神经网络实现的基础性发现与发明”。
: 约翰‧J‧霍普菲尔德 (John J. Hopfield) 1933 年出生于美国伊利诺州芝加哥。1958
: 年获得美国纽约州伊萨卡康乃尔大学博士学位。美国新泽西州普林斯顿大学教授。
: Geoffrey E. Hinton，1947年出生于英国伦敦。1978年获英国爱丁堡大学博士学位。加
: 拿大多伦多大学教授。
: 今年的诺贝尔奖得主使用了物理学的工具来构建方法，帮助奠定了当今强大机器学习的基
: 础。约翰·霍普菲尔德创建了一种可以储存和重建信息的结构。杰弗里·辛顿则发明了一
: 种可以自主发现数据属性的方式，这在当今使用的大型人工神经网络中变得至关重要。
: 他们利用物理学来发现信息中的模式
: 霍普菲尔德此前利用他在物理学的背景来探讨分子生物学的理论问题。当他受邀参加一个
: 关于神经科学的会议时，他接触到了对大脑结构的研究。他对所学的内容着迷，开始思考
: 简单神经网络的动态。当神经元一起活动时，它们能产生新的强大特征，而仅仅观察网络
: 的单个组成部分并不能发现这些特征。
: 然而，他并没有放弃他在物理学中的基础知识，这些知识为他理解由许多小组件一起工作
: 的系统如何产生新的现象提供了灵感。他尤其受益于他学到的关于具有原子自旋的磁性材
: 料的知识——这种性质使得每个原子都成为一个微小的磁铁。相邻原子的自旋相互影响，
: 这可以使具有相同方向自旋的区域形成。他利用这些物理知识，创建了一个具有节点和连
: 接的模型网络。
: 网络在一个景观中保存图像
: 霍普菲尔德构建的网络具有相互联系的节点，每个节点可以储存一个值——在霍普菲尔德
: 的初步研究中，这个值可以是0或1，就像黑白图像中的像素。
: 霍普菲尔德用一个与物理学中自旋系统能量等价的属性来描述网络的总体状态；这个能量
: 是通过一个公式计算的，该公式使用了所有节点的值以及它们之间所有连接的强度。通过
: 将图像输入节点来编程网络，节点被赋予黑色(0)或白色(1)的值。然后，通过能量公式调
: 整网络的连接，使得保存的图像能量变得更低。当另一个模式输入网络时，会有一个规则
: 依次检查节点，看看如果改变该节点的值，网络的能量是否会降低。如果发现将一个黑色
: 像素改为白色会降低能量，那么颜色就会改变。这个过程会一直持续，直到无法找到任何
: 进一步的改进。当达到这个点时，网络通常已经重现了最初训练的图像。
: 如果你只保存一个模式，这可能看起来不太显眼。你可能会疑惑为什么不直接保存图像本
: 身，并与测试图像进行比较。然而，霍普菲尔德的方法的特别之处在于，可以同时保存多
: 张图像，并且网络通常能够区分它们。
: 霍普菲尔德将在网络中搜索已保存状态比作将一个球滚过高峰和谷地的景观，并且有摩擦
: 减缓其移动。如果将球放在某个位置，它会滚入最近的谷地并停在那里。同样，当网络被
: 给予一个接近已保存模式的模式时，它会继续向前移动，直到最终到达能量景观的谷底，
: 从而找到其记忆中最接近的模式。
: 霍普菲尔德网络可以用来重建包含噪音或部分擦除的数据。
: 随着时间的推移，霍普菲尔德和其他人不断改进该网络的功能，包括允许节点储存任何值
: ，而不仅仅是零或一。如果将节点视为图像中的像素，它们可以具有不同的颜色，而不仅
: 仅是黑白。改进的方法使得可以保存更多图片，即使它们相当相似，也能区分它们。
: 使用十九世纪物理学进行分类
: 当霍普菲尔德发表他关于联想记忆的文章时，杰弗里·辛顿正在美国匹兹堡的卡内基梅隆
: 大学工作。他此前在英格兰和苏格兰学习了实验心理学和人工智能，并思考机器是否能像
: 人类一样学会处理模式，自行发现分类方法来整理和解释信息。与他的同事特伦斯·塞诺
: 斯基一起，辛顿从霍普菲尔德网络出发，并用统计物理学的概念将其扩展为一种新型结构
: 。
: 统计物理学描述了由许多相似元素组成的系统，例如气体中的分子。跟踪气体中所有单独
: 的分子是非常困难或不可能的，但可以通过集体考虑来确定气体的整体属性，如压力或温
: 度。虽然气体分子可以以多种方式在其体积内分布并保持不同的个别速度，但仍会得出相
: 同的集体属性。
: 统计物理学可以用来分析各组件共同存在的状态，并计算其出现的概率。某些状态比其他
: 状态更有可能发生，这取决于可用的能量。这些能量是根据十九世纪物理学家路德维希·
: 玻尔兹曼的方程描述的。辛顿的网络利用了这个方程，并于1985年以“玻尔兹曼机”这个
: 引人注目的名称发表了这个方法。
: 辨认同类型的新范例
: 玻尔兹曼机通常使用两种不同类型的节点。信息首先传递到称为“可见节点”的一组节点
: ，另一组节点则构成了一个隐藏层。隐藏节点的值和连接也影响整个网络的能量。
: 这台机器的运行规则是一次更新一个节点的值。最终，机器会进入一种节点模式可以改变
: ，但整个网络的属性保持不变的状态。每个可能的模式都会根据玻尔兹曼方程确定一个特
: 定的概率。当机器停止运行时，它创造出了一个新模式，这使得玻尔兹曼机成为早期的生
: 成模型之一。尽管电脑无法思考，但现在机器可以模仿记忆和学习的功能。今年的诺贝尔
: 物理学奖得主帮助实现了这一点。他们使用物理学的基本概念和方法，开发了用网络结构
: 来处理信息的技术。
: 机器学习与传统软件不同，传统软件像一种食谱，软件接收数据，然后按照明确的说明进
: 行处理，最终产生结果，就像按照食谱收集食材并制作蛋糕一样。与此不同的是，在机器
: 学习中，电脑通过范例学习，从而能够解决那些过于模糊和复杂，无法用一步一步的指示
: 来处理的问题。比如说，识别图像中的物体就是一个例子。
: 模仿大脑
: 人工神经网络使用整个网络结构来处理信息。这种灵感最初来自于理解大脑如何工作的需
: 求。早在1940年代，研究人员就开始推理大脑神经元和突触网络背后的数学原理。另一块
: 拼图来自心理学，神经科学家唐纳德·赫布提出的假设表明，当神经元一起工作时，连接
: 会被增强，从而促进学习的发生。
: 后来，这些思想促使人们试图模拟大脑的网络功能，通过构建人工神经网络的电脑模拟。
: 在这些网络中，大脑的神经元被模仿为具有不同值的节点，而突触则被表示为节点之间可
: 以加强或削弱的连接。唐纳德·赫布的假设至今仍然被用作更新人工网络的基本规则之一
: ，这个过程被称为训练。
: 玻尔兹曼机可以通过范例进行学习——不是通过指令，而是通过给定的范例模式进行更新
: 网络连接中的值，这样当机器运行时，训练时输入到可见节点的范例模式就具有最高的发
: 生概率。如果在训练中多次重复相同的模式，那么这个模式出现的概率会更高。训练还会
: 影响输出类似于训练范例的全新模式的概率。
: 训练过的玻尔兹曼机能够在其未曾见过的信息中识别出熟悉的特征。想像一下，遇见一位
: 朋友的兄弟姐妹，你可以立即看出他们之间的亲属关系。玻尔兹曼机也能辨认出完全新的
: 范例，只要它属于训练材料中的一个类别，并能将其与不相似的材料区分开来。
: 玻尔兹曼机的原始形式运行效率较低，寻找解决方案需要很长时间。然而，当它通过各种
: 方式进行改进时，事情变得更有趣了，这也是辛顿继续探索的领域。后来的版本通过去除
: 某些单元之间的连接，实现了“稀疏化”。事实证明，这反而让机器变得更高效。
: 机器学习——今天与明天
: 我们如今目睹的这一发展得益于大量可用的数据以及计算能力的巨大增长。今天的人工神
: 经网络往往非常庞大，并由多个层级组成。这些被称为“深度神经网络”，它们的训练方
: 式被称为“深度学习”。
: 目前，许多研究人员正在拓展机器学习的应用领域。哪些应用将成为最具可行性的还有待
: 观察，与此同时，关于这项技术发展和使用的伦理问题的讨论也在广泛进行。
: 由于物理学为机器学习的发展提供了工具，看到物理学作为研究领域也从人工神经网络中
: 受益，这也是一件有趣的事。机器学习早已应用于我们从过去的诺贝尔物理学奖中熟悉的
: 领域。例如，机器学习被用来筛选并处理大量数据，这对于发现希格斯粒子至关重要。其
: 他应用还包括减少黑洞碰撞引起的引力波测量中的噪音，或者搜寻系外行星。
: 近年来，这项技术还开始应用于分子和材料性质的计算和预测——例如计算蛋白质分子的
: 结构，这决定了它们的功能，或是研究哪种新材料具有最佳性质，可用于更高效的太阳能
: 电池。
: ※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 111.82.233.52 (台湾)
: ※ 文章网址: https://www.ptt.cc/bbs/Gossiping/M.1728381058.A.892.html
: 推 TexasFlood: 干被抢先一步，我准备要发表的 133.46.150.220 10/08 17:51
: → vowpool: 阿不就AI 125.227.40.62 10/08 17:52
: 推 s72005ming: AI 114.32.250.98 10/08 17:53
: 推 Panasonic: 为什么拿物理奖不是去拿图灵？？ 114.137.133.220 10/08 17:53
: 推 gino0717: 物理奖怎么颁给做ai的 114.36.8.65 10/08 17:54
: → jjlee: 不然诺贝尔有什么奖合适？ 1.163.211.117 10/08 17:54
: 推 S0323109: 恭喜 176.1.18.78 10/08 17:54
: 推 woulin: 这跟物理没关系吧 114.137.186.120 10/08 17:55
: 推 asosan: 应该给图灵 39.9.135.5 10/08 17:55
: → amaqua: 是人工神经元 59.127.98.131 10/08 17:55
: → woulin: 资讯科技拿物理奖 114.137.186.120 10/08 17:55
: 推 veryGY: 代表物理界这几年没啥进展都在原地踏步阿 114.45.217.27 10/08 17:56
: 推 tim32142000: 恭喜 59.115.172.179 10/08 17:56
: → bradyhau106: 怎么怪怪的 114.32.3.97 10/08 17:56
: 嘘 NARUTO: 这是电脑科学的范围吧？ 61.70.163.104 10/08 17:56
: → woulin: 那以后一堆搞软件的都可以得诺贝尔奖 114.137.186.120 10/08 17:56
: → godofaluba: 嗯.........果然和我想的一样 111.242.191.19 10/08 17:56
: → PtT0615s: 抓来充数的 惨 61.216.99.139 10/08 17:57
: 推 deltarobot: 可怜哪 理论物理学家都在混 49.217.120.241 10/08 17:57
: → q123212: 这家伙我认识啊 当年在学校也是普普而已 110.28.2.30 10/08 17:59
: 推 Forcast: 研究线虫也能医学奖 114.25.151.59 10/08 17:59
: 推 geminitea: 理论物理是不是走到极限了== 101.9.103.40 10/08 17:59
: → Eriri: 早期的机器学习模型本来就是物理学家背景 99.229.221.178 10/08 18:00
: → Eriri: 的人在研究 Hinton本人的PhD指导教授甚至 99.229.221.178 10/08 18:00
: 推 veryGY: 为了颁给ai 硬拉了一个作物理的给奖 114.45.217.27 10/08 18:00
: → Eriri: 跟上帝粒子的Higgs是同一位 99.229.221.178 10/08 18:00
: 推 Forcast: 类神经网络 114.25.151.59 10/08 18:00
: 推 woulin: 21世纪物理两大乌云，暗物质暗能量 无人 114.137.186.120 10/08 18:00
: → woulin: 能解 114.137.186.120 10/08 18:00
: → Eriri: 只是这个给奖的确挺烂的就是了 99.229.221.178 10/08 18:01
: → vking223: 遇事不决，量子力学 61.223.95.226 10/08 18:02
: 嘘 dklash: 物理奖 颁这个... 诺贝尔地下有知... 111.241.171.206 10/08 18:02
: 推 woulin: 开了先例，以后搞软件的也可得物理奖 114.137.186.120 10/08 18:03
: 推 piolet: 从缺也行呗 理论物里大概几百年才小突破 36.233.109.210 10/08 18:03
: → nakayamayyt: 这算物理学喔 1.171.109.67 10/08 18:04
: → freertos: