本来中午要去吃饭刚好看到这篇，虽然我说的内容可能大部分人也可能不太理解，
但巷子内的看到应该会觉得还是蛮怪的，当然有更多大神指点是更好的
※ 引述《LDPC (Channel Coding)》之铭言：
: 周末有点时间 之前写的老黄故事 https://disp.cc/ptt/Stock/1aVG4__D
: 这几年AI模型突飞猛进的一个关键点就是 泛化的能力
: 简言之 2018以前 AI模型 都是透过数据 去学习资料上的标注资料
: 来做人类事先规范好的目的 而机器透过这些标注数据 去达到人类要求的事情
: 当模型遇到一个没看过的数据 或者场景变得不同 模型就会失效 甚至无法处理
: 但在pre-trained model/foundation model出来后 一切都不同了
Pre-trained model的概念从开山祖师爷Alexnet诞生以来就有了
早期AI的爆发起源于李飞飞办了一场视觉的辨识比赛，但为此比赛就需要数据库
因此建立了Imagenet，人类第一个大数据影像库，有一千种类别
当年应该是第二届吧，Alexnet的横山出世，靠着与其他人完全不同的架构
压倒性的准确率获得了当年冠军(比前一年冠军提高了10%左右)
这个架构就是当年类神经模型的延续，也就是俗称的深度学习Deep Learning架构
因此后来开源了此架构模型跟参数，也就是俗称的Pre-train model，因此就开起了大
AI时代的序幕，大家蜂拥而上的发展新架构，Fine-tuning新模型
而当时要训练十几万张的照片光用CPU是跑不动的，因此Alex还有一个很大的贡献是
他手刻调用两张GPU显卡进行运算，也是老黄AI王朝的开始
在此技术突破后带来的就是各种影像上突破，例如人脸辨识、停车场进出、智驾车等
也让智驾车从空谈变成了可能
: 大体而言就是 模型透过某种学习(self-supervised) 机器能从无注记资料学习一定法则
: 而能做到超出原本数据没有做过的事情 甚至简单调整 (zero-shot)再不需要重新训练
: 或者少量训练(fine-tuning) 机器就能根据落地场景 能达到最佳化结果
: 甚至因为self-supervised关系 许多网络上的野生数据 也不需要人工标注
: 因为机器会在这些大量野生数据 自我学到法则 从而产生推理的效果
: 而这些最大的意义就是 机器能做到超乎原本数据给的标签效果 理解数据 创造法则
: 这些意味者AGI的那个圣杯 有机会可以摸到边了 而OpenAI最大的概念就是
: 大力出奇蹟 也就是堆叠数据多样性(multi-tasking)及 透过庞大算力跟模型
: 而所达到的模型泛化(zero-shot)以及AGI效果更明显
其实这边算是一堆概念混在一起使用了，首先zero-shot在现阶段是很难训练的，
通常必须要有一个大模型，才有办法使用zero-shot，或是few-shot learning
简单来说就是你无法从零开始，事到如今一定还是必须要有资料
而且是高品质的标记资料，再加上暴力式硬件进行学习，才有机会变大模型
所以我接续上面的故事继续说后续好了，这样可能让一般人也比较能够看得懂
在影像上取得突破后，是不是就能套用在全部的影像环境的，答案是否定的
因为在影像环境中有各式各样的难题，例如你是个分类问题还是物件侦测问题等等等
因此首先突破的是分类问题变得更精准，突破的方式就是将类神经网络建构的更深层
，就出来了例如resnet、inception等架构
后续就解决了辨识更精准，甚至到后来YOLO架构的出现解决了物件侦测的问题
随着影像上的突破，大家就渐渐地将这些方式导入到其他的领域中，例如讯号、音讯
、文字、控制等
后来出现了GAN的架构，带给人们另一种启发的思想，所谓的GAN也可以当作是生成式架
构的发想开创，让大家知道原来可以让AI创作出东西，而不是单纯地进行识别而已
后续讲快一点，在这段年间AI的论文架构基本上是一周小改一个月大改，过了半年就是落
后技术，但随着google发表了Attention与Transformer后，开始有了异质性结合的可能，也就是现在gpt
的始祖，可以分解文字，可以将文字输入变成影像输出等
也就是从此之后AI渐渐地从开源导向了不开源，而且某些程度上是闭锁的
上一个这样的领域应该是强化式学习(Reinforcement learning)
在当年OpenAI发表GPT2的时候，就对他巨量的参数量感到吃惊，因为可想而知是背后
有着巨型不开源的数据库，所以在后续GPT3的成功，也开启了LLM的朝代
一个AI成为军备竞争的朝代，你需要有够多够高品质准确的资料，加上巨型的模型跟
庞大的显卡库，就能越接近AGI，这也是为啥美国拼命禁中国生产芯片进口显卡，最主要
的目的除了5G手机以外就是避免他们比美国更快发展出AGI
那关于老黄的起飞呢，一开始靠着个人版或是主机板的显卡吃片天下，再来是靠着挖虚拟
货币吃掉了所有消费型显卡的量，接下来就是奥特曼发现现在的GPU量是源源不足以诞生
出AGI以及能用于落地，所以就造就了现在NV的盛况，大家可以想像原先的资料中心，原本
Server一半以上都要换成GPU(基本级别)，如果要导入生成式架构应用，或是未来的AGI，
那可能是现今十倍甚至更高到百倍的用量
这也是我们一般人难以想像的
最后补充一些我看好的市场吧，因为生成式架构的诞生，让文字生成，影像生成已经变了
可能，未来就是3D影像领域与控制领域也会变成了可能
例如建立了大量标准动作库,让机器人只要看懂一次,就能够完整的操作此动作,
又或著是在AR/VR领域，现在建立虚拟场景成本很高，之后都靠生成架构，就能降低
很多成本，因此VR MMORPG也会渐渐出现
因此陪伴机器人、家居型机器人会是下一个市场，以及生成式投影机或相关虚拟生成
的产业也会越来越庞大，但我想应该是还要一段时间
题外话，最近OPENAI出了生成式影片的功能，早在一年前我们还在看巨石强生吃石头，隔
不到一年就有如此大的进步，只能说可能AGI的时代会比我们想像中的还快到达
虽然我是倾向AGI不是已经诞生，就是需要在遥久的以后才会出现吧