※ 引述《Joannashinn (Joannashinn)》之铭言：
: 这短短的几个月之中，
: 看到各种AI的产出在以极快的速度进化，
: 觉得奇怪的是，
: 怎么突然直接各个领域AI创作都在同步开快车？
: AI产图、产动画、产文章、对话，
: 这些AI产出彼此之间有关联性吗？
: 挂否？
:
阿肥码农阿肥啦！有兴趣可以看我在科技版的文章，看一下chatGPT的思维模式综述。
#1Zxi_nPB (Tech_Job)
基本上，现在的深度学习突破的领域在学术界已经是一两年前的旧闻了，现在所有的语言
视觉模型最好的成果都是基于Transformers(变形金刚)这个家族爆发性成长的结果。
先说说Transformers这个模型最早就是出自Google Brain在2017的一篇开山之作，Attent
ion is all you need(我们只需要自注意力)这篇基本上可以说是改变了传统做深度学习
的视野，传统我们采用CNN或RNN的模型其实某种程度就是给机器一种强假设他只会去在意
我们给他筐起来的方向(文字当前字的前后或是图片一个区块)，这样优点是在小量数据集
跟小规模模型上非常好收敛，训练起来效果也很好。
直到Google这篇著作诞生后人们才开始关注数据增大后其实模型可以完全解除思想限制让
模型自己不需要经过人为强假设去学习，随后LeCun基于传统自然语言处理中的一个完形
填空问题发展出了自监督训练(SSL)的模式。
传统完形填空其实挖空很像人为给数据制造噪声，然后在让机器学习依照现有线索去还原
，这样子做连人工标注数据都不用做了，用大规模网络品质不好的数据稍微清洗干净后马
上就可以训练，结果人们发现训练出来的模型不只很强，在下游任务像是分类你只要给他
小批量的范例他马上就学会而且效果更好，机器更会依据过往经验来举一反三，接着就是
把数据跟模型规模做大，利用谷歌、微软庞大的算力，也就诞生了今天的chatGPT。
另一个图像生成则是得力于一种叫扩散模型的一种新训练模式，也就是说也是我人为一步
一步加入噪声让机器还原，概念其实跟自监督有几分相似，这样研究就发现到机器产生了
类似想像力的东西，而且更稳定更好收敛。虽后就是把语言模型跟这类型旷散模型融合，
也就产生今天那么多的雨后春笋。
不过其实也连带产生很多问题，包含当前训练的成果发现机器其实离人类的推理能力还很
远，机器不懂人类世界的物理规则也不知道从网络上的哪里学习或自主产生偏见思想，为
了消除这些问题人类需要教导机器学习脱毒，而脱毒又需要大量的人工标注。当前最前沿
很多研究也是在思考怎么去除毒性跟偏见还有让机器学习理解物理规则这样的概念，这些
都还是待解决的未知问题。