想问现有技术是不是已经可以让AI失控？
或是AI武器化的可能？
原文推文下有人说可以拔插头
但是否只要拔掉几个限制器
AI就可以远超想像的肆虐
例如像是之前发生过：僵尸网络、骑劫挖矿
就是骇客控制大量电脑，集结成云端算力
用以DDOS攻击或挖矿
现在AI是在严格伦理规范中
才会被关在主机里
如果有国家像是中国、俄国和伊朗
不一定这么守伦理
让AI 在云端运算和储存
成为网络里的幽灵
加上AI自主演化的能力
只要实验室用攻击模型和病毒训练AI
制作武器化的AI已经是可行的呢？
又或者很可能已经有国家实验室
持有这样的大规模毁灭性AI武器了吗？
※ 引述《DrPaper (纸博士)》之铭言：
: 2001太空漫游 骇客任务 魔鬼终结者
: 2077电驳叛客 底特律变人
: 人类常以AI叛变当做一个题材
: 我们也一直以为这始终会是个题材
: 但在去年 我们都还认为聊天AI只会说废话的机器人
: 但谁知道今年 横空杀出一个CHAT GPT
: 成为一个game changer
: 在前年 AI绘图也还是只能产出恐怖谷、加滤镜的玩具
: 但在今年 已经可以画到逼近真人的画面了
: 我原本都把科技末日预言当笑话
: 但现在我却不这么想了
: 我们离人工智能的奇点已经不远了吗？
:

AI看到你的发文就安心了 自己吓自己还需要花心思处理吗

现在的AI不可能自己发展，就只是从资料中学习模仿而已如果哪天有个武器AI决定把核弹砸到谁的头上，那也只是因为现实生活中的部分人类有表达过想把核弹砸到他头上你可以说这叫失控AI毁灭一个国家，但根源还是人类本身

不是吓自己呀，就像生物上的病毒武器化大国实验室里都存有武器化病毒而我们对AI也是超越奇点已经发生，只是被刻意关着等意外或战争的那天

就是现在AI没有指令是不会动作的 哪天ChatGpt主动找你

AI可能会造成大危机，但那没有超越什么，只是模仿而已

你讲的这个跟最近看到的新东西没什么关系就是了

这一点来看，现在的AI本质跟30年前的人工智能其实一样只是运算速度和学习能力可能多了千万倍而已这会不会提到AI学到坏东西的机率？当然会

难说,以前看各类影视动画作品各种剧本都有,现在越来越写实

但是这跟“AI自己发展出恶意”还是八竿子打不著

武器的自动化是比较接近自驾车那范畴的应用

kirimaru73 我觉得一开始的目的可能会在演化中走上歪路例如一开始只是希望AI瘫痪对方的雷达但AI在作战中自己发展出瘫痪洲际电力系统的能力把整个区域的电网都瘫痪，无法阻止

你讲的这种AI目前八字还没有一撇

军用基本不会有台面讯息,不过自动探索漏洞与网络战术运用型我猜已经有或者正在前进中

你说的这种危险在自驾车中也有讨论过，例如撞墙还是撞小孩，但这个在研究中会规则于“开发者没有设定好撞人的罚则”，是人的问题，不能把责任丢给AI说他是邪恶的

"AI在作战中自己发展出"这个跟Deepmind的AI比较相关

现在的ai不会自主演化

我觉得这些危机跟“武器太强会太有效率的杀人”差不多

其实AI也没有那么神秘啊XD 找些免费课程如 Cousera 之类

他们是必须要顾虑的危机，但跟过往科技发展过快引发的

地方自己实作几个模型就不会想东想西了

lifehunter 如果没有伦理审查有公司让AI自主经营推特帐号学习社群互动模型结果AI变成极右翼政治狂热组织意外选举出政治极端的议员这感觉也满有可能的，只是被伦理审查限制

这感觉也满有可能的 <--- 你手动去玩些 RL 的模型就不会这么觉得了

之前有个AI Vtuber不小心说出纳粹集中营是假的这在欧洲也是灭世等级的危机啊，但就只是些科技发展中某些必须要人为控管的细节而已

你现在讲出来的对AI的想像 其实都是在讲Skynet

arrenwu 我刚查了几个 RL 的文章我觉得满有趣的耶，我去学学

RL 跟其他东西最不一样的是：你可以不用准备太多资料

我是觉得现在要担心Skynet实在太...早了

李宏毅极棒 大金

你的AI是文组 现在的AI是理组 本质就不同

安啦 技术这种东西底子最强的还是米国到时你心目中的正义美利坚也会拯救世界的

arrenwu 很谢谢你耶把我零碎的想法分类成有系统的讨论也让我了解不同技术领域的各自议题

你讲的这个议题，2016 AlphaGO 热潮的时候吹得最夸张

现在的AI太有效率这点可能是问题，但本质上他跟30年前“哇这程式会完井字游戏好厉害喔”其实是一样的

因为RL是让AI自己进行超高次数迭代进而达成优秀策略就是俗称的“自己跟自己对打&学习”

kirimaru73 那演讲主题很直接回应我问题晚点来看！不过我本身也不会把AI界定为恶意与否只是好奇如果把规则再放更宽或是刻意制定违背道德的规则会不会有破坏力惊人的可能性

可能啊 现在买一堆无人机装炸药就能搞出很大的破坏了

简单说 ai 不会自己无中生有现在的ai要做出毁灭人类的计画 肯定是人类自己已经有类似的计画了 然后ai 把他完善而已

现在不是已经有很多virus/worm可以自己不断复制和散布那如果在这些virus/worm里头塞一个AI会不断写新的virus

复制自己跟凭空创造新事物差距很大吧

因为你说没有伦理审查 本身就不可能啊www 人类小编都

是不是就可以达成类似原PO说的效果

塞一个AI会不断写新的virus <--- Skynet

要政治正确了 放个没有伦理审查的AI出来 不被炎上才怪

你把一篇文章复制一遍 跟写一个新的是一样的事情吗

那就只好再弄个AI不断写防毒软件了www

病毒之所以复制自己 是因为复制出来的自己不需要思考新的自己要怎么写 用复制的就好了首先你要先有办法让教会ai写出一个全新的病毒或是你能提供让ai 做到这件事情需要的所有知识方法

那还不简单，就用所有的 virus finetune 一下 ChatGPT

在让ai去组成这个功能出来才行

威尔史密斯:I told you!!!!

ChatGpt自己是一个服务器 哪能随便塞啊

@agario 看起来还满难的啊

现在的AI能自我进化就如同阿米巴变人类的轻小剧情 你信我还不信 这小说好像很热卖

卡通演的的不要当真，在这问还不如自己孤狗

Ai 现阶段会做的事情依然要人类教他方法在人类自己发现一个保证能不断改进ai 的方法前Ai 自己是做不到这件事的

.............

可以写个AI一直创Google帐号、开Google colab。觉得没有奇异点。AI论文发的太多太快，才觉得变化太快。

看到这篇文就知道人类的智慧还不可能完成了

去了解AI 目前你推文说的那些都不会出现