[新闻] 防止AI失控导致人类灭绝! OpenAI:目前

楼主: longwayway (路人甲)   2023-07-07 12:06:32
1.媒体来源:
ETtoday
2.记者署名:
张靖榕
3.完整新闻标题:
防止AI失控导致人类灭绝! OpenAI:目前还没有任何解方
4.完整新闻内文:
OpenAI制作的ChatGPT为全球开创新局,不过近来共同创办人奥特曼(Sam Altman)频频
示警AI可能带来的危险,该公司5日更表示,将建立一个新的研究团队,确保人工智能继
续保持对人类无害,最终将透过AI来监督AI自身的发展。
路透社报导,OpenAI共同创办人苏茨凯佛(Ilya Sutskever)与AI对齐负责人来克(Jan
Leike)共同撰写一则贴文,以严重措辞警告,“超级智能的巨大能力,可能导致人类丧
失权力,甚至可能导致人类灭绝”,“目前,我们对于控制一个潜在的超级智能AI还没有
任何解方,也无法预防AI失控。”
文中预测,作为一个超越人类智能的系统,超级智能AI有可能在10年内诞生,人类需要比
当前更厉害的技术来控制超级智能AI,代表必须在“对齐研究”上有所突破。文中指出,
“对齐研究”是聚焦于确保AI如何持续对人类有益的研究。
由微软支持的OpenAI正投入20%的计算能力,预计在未来4年内解决这项问题,该公司正
针对这项任务筹组一个新的研究团队。该团队的目标是打造一个“人类等级”的AI对齐研
究员, 然后透过庞大的计算能力扩展它。
OpenAI表示,这代表将会以人类反馈的方式训练AI系统,训练AI系统协助人类评估,最终
训练AI系统实际上进行研究“对齐研究”。
AI安全倡导者黎溪(Connor Leahy)指出,OpenAI的计画存在根本性缺陷,因为原始的人
类等级人工智能在被迫解决AI安全问题前,可能就会失控并造成破坏。
AI的潜在危险一直是相关人员甚至一般大众担心的问题,一群AI界领袖和专家,包括特斯
拉创办人马斯克在内,今年4月曾共同签署一封公开信,呼吁暂停开发比OpenAI“
ChatGPT-4”更强大的系统,至少6个月的时间,理由是更先进的AI将可能对社会造成风险

路透社和益普索5月的一项民调结果显示,超过3分之2的美国人担心AI可能会带来负面影
响,61%的人更认为将威胁人类文明。
注:AI对齐(AI Alignment)是指框架人工智能系统的目标、价值观与行为,使其与人类
社会的期望一致。人类设计AI系统时,会希望AI解决问题的同时,也将人类利益纳入考量
范围,预防对人类产生危害,AI对齐目标即是确保AI在每个过程中都能符合人类期望,并
与人类达成相互协作。
5.完整新闻连结 (或短网址)不可用YAHOO、LINE、MSN等转载媒体:
https://www.ettoday.net/news/20230706/2534355.htm
6.备注:

Links booklink

Contact Us: admin [ a t ] ucptt.com