Re: [爆卦] 2024诺贝尔物理奖

楼主: sxy67230 (charlesgg)   2024-10-09 18:15:01
※ 引述 《Eriri》 之铭言:
: 其实小弟对这次物理奖最大的疑问 并不是在于"够不够物理"
阿肥外商码农阿肥啦!
快下班才看到这篇,写得太好了。就补充几个点,当前深度学习很少会去提Hopfield Netwo
rk甚至Boltzmann machine真正的原因就是当前的模型架构早就脱离全连结的架构了。
不知道全连结可以看看这张我从微软官方找到的两层RBM图:
https://i.imgur.com/IsU2Adg.png
如果像这种全连结做深做复杂以后,由于两两神经节点会相互更新,得到新的权重会还会在
反复叠代到取得动力平衡为止。所以计算复杂度就会很高,加上不管是Hopfield或是Botzma
nn machine都不像是监督式NN或自监督NN有真实的标签可以对照,这种仿生Cognitive mode
l最初就是想模拟生物脑,所以效果都没办法做大做深,更不用论现实可用程度。
所以当前流行的就是非全连结的NN再暴力用反向传播,直接用微积分的chain rule去偏导求
整个模型的梯度再一次性更新,这样非常简单也非常暴力,做深以后可以拟合任何非线性函
数,连随便一个AutoEncoder模型都辗压Hopfield,暴力计算下证明了机械脑根本不需要真
的模仿生物脑也可以成功。
补充差不多这样

Links booklink

Contact Us: admin [ a t ] ucptt.com