Re: [问卦] 为什么AI 这2-3年进步这么神速?

楼主: DarkerDuck (達克鴨)   2024-02-17 17:19:33
我刚好研究所读资工领域的。
你应该知道在这次AI大模型震撼世人之前,电脑科学界在炒啥吗??
就是Big Data,大数据,资料探勘。
但是因为"算力"不足,所以在十年前,几乎都是关注于储存与基础处理而已。
譬如NoSQL数据库与一些简单的资料探勘,那个时候SVM分析归类资料可红的。
就是用一些通用数学算法把资料分群分类,但也就这样。
并不能"生成"。
这个时候Deep learning的基础原理其实十年前就已经有了,说到更早的多层神经网络,
其实甚至是50年前的事情,那为什么现在才爆发,其实也就是硬件总算跟上了。
量变产生质变,大力出奇蹟,自我加速迭代改进。
你看一下他们的参数是如何巨量成长的:
GPT-1:
发布于2018年,约有1.17亿个参数。
GPT-2:
发布于2019年,提供了不同版本的模型,其中最大的版本有15亿个参数。
GPT-3:
发布于2020年,具有1750亿个参数,是当时最大的语言模型之一。
ChatGPT:
发布于2022年,将GPT语言模型用强化学习回馈训练成人类喜好的聊天机器人。
GPT-4:
发布于2023年,据说有1.8兆个参数。
这就是量变产生质变,大力出奇蹟的威力。
也要归功于老黄的GPU才能让"大数据"变成"AI大模型"
这次的sora其实也差不多,用的是Diffusion Model为基础,去年也都有网站公开展示了。
http://tinyurl.com/78tezvev
但OpenAI啥没有,算力最多,我用更大的算力去处理数据,
OpenAI还有什么?GPT-4,我用GPT-4把影像的tag的训练集,
"生成"能更仔细描述影片的长文,甚至用生成的影片再训练。
这也就是AI的自我加速迭代改进,也就是一些AI加速主义者,奇点的成因。
所以现在能够抵挡AI指数成长的限制器大概就剩下GPU与能源了。
大家好自为之。
====
反观区块链的Blockstream不用GPU与能源,自己用blocksize把自己限制住。
真是干他妈的。

Links booklink

Contact Us: admin [ a t ] ucptt.com