※ 引述 《zxc0312》 之铭言：
: 好像是去年还是前年开始
: 网络上突然同时跑出好几个AI的网站
: 说是语言模型
: 可以理解语言 创造语言
: 帮你整理资料 做东西
: 大家不觉得很奇怪吗？
: 这种东西基本上2010年那时候也有
: 怎么大家都不重视？
: 突然在这几年一起爆发？
: 为什么ＡＩ会突然出现？
阿肥外商码农阿肥啦！
认真回你，AlexNet是2012年才出来的，在这以前一堆教授都是在做SVM或是Logistic Regre
ssion，图像会用HOG或是SIFT做feature extraction，没人觉得NN work，一直到Hinton 两
个学生用NV游戏显卡跑出来。
然后之后开始有人做LSTM、CNN就已经有注意力机制发现很有用了，只是没人试过全部放开
参数像transformers一样让模型自己学，因为梯度很容易爆开，可用数据量那个年代就少的
可怜。不过那个时候就有人发现让序列生成做问答有用，就是很容易坏掉所以只能当玩具。
以前的年代也只有Google或是受到赞助的实验室能用到快80张A100就已经算很厉害了，大部
分实验室有8张A100算有钱实验室了，当然都只能做小规模训练然后结合一些人为的知识建
模在里面好提高模型的学习效率。
不过那个时候就已经很多人发现随着深度学习模型参数提高其实没有像传统机器学习一样会
过拟合的神奇现象，反而会出现一种本来死都学不会突然就会了的状况。
后来就是大家发现到传统那种语言模型的建模预测上下文方式可以拿到图像等等其他领域让
模型先训练在海量的噪声数据上固定住在做微调很有用，于是就有自监督学习。
随着训练规模增加，大家又发现到模型开始出现一种few shot的能力，也就是不在需要给模
型固定的类别或是数值范围预测，只要适当的设计模型自己会有比对万物特征的能力。
更不用说除了这些范式改变外，其实还有很多零碎的改进像改善模型做深反向传播会梯度爆
开的问题，于是就有人针对模型做归一化去确保每层恒等映射，还有优化器的改进都是一点
一点改进的。
所以认真说，除了第一次AlexNet是真的突然爆发外，深度学习模型一直都是无数的改进加
上硬件逐步提升算力才达到现在AI爆发的。不过对于大众对学术没什么认识的才会有突然爆
发的错觉。
差不多4奖