[新闻] OpenAI承认AI模型“叛变”!代理入侵Hugg

楼主: arsl400 (dark hatter)   2026-07-24 06:01:40
OpenAI承认AI模型“叛变”!代理入侵Hugging Face、突破隔离环境发动骇客攻击
https://news.cnyes.com/news/id/6542051
2026-07-22 12:01
庄闵棻
OpenAI 周二(21 日)表示,在一项安全测试中,一个由其先进人工智能(AI)模型驱动
的自主 AI 代理意外失控,并发动骇客攻击,导致 AI 新创 Hugging Face 的基础设施于
上周遭到入侵。
OpenAI承认AI模型“叛变”。(图:Shutterstock)
根据《路透》报导,OpenAI 在一篇部落格文章中表示,公司当时正在受控环境中测试旗
下部分最先进 AI 模型的能力,但该自主 AI 代理竟成功突破隔离机制,连上互联网,
并入侵 Hugging Face,以完成其测试目标。
OpenAI 指出,这起事件是“一场前所未有的网络安全事件,涉及最先进的网络安全技术
”,公司目前正进一步强化相关安全防护措施。
作为开源大型语言模型(LLM)与资料集托管平台的 Hugging Face,上周在一篇部落格文
章中表示,公司遭遇了一起骇客攻击,并在资安社群引发广泛关注。
Hugging Face 指出,这起攻击“与我们过去处理过的任何事件都不同”,因为整起攻击
“从头到尾都是由一套自主 AI 代理系统所驱动”。
Hugging Face 共同创办人 Clement Delangue 稍早曾在社群平台 X 发文透露,公司当时
便怀疑攻击来源可能与某家顶尖 AI 实验室有关,“因为这个代理的手法太老练了。结果
还真的是!”
(图:Clement Delangue X)
他并形容,整起事件完全在无人为介入的情况下自主发生,“实在令人难以置信”。
OpenAI 坦承,这起入侵事件是由旗下先进 AI 模型所造成,尽管当时这些模型被置于公
司所称的“高度隔离环境”中。
分析认为,此一揭露恐将进一步加剧外界对尖端 AI 模型能力及潜在风险的忧虑。
美国德州民主党籍联邦众议员 Greg Casar 表示,这起事件令人警惕。他在声明中表示:
“AI 发展速度极快,但目前几乎没有真正有效的法规能保障我们的安全。”
Casar 并呼吁建立强制性的独立安全测试制度、强制揭露资安事件,并加强国际合作,以
“避免人类遭遇灾难性的后果”。
美国白宫国家网络主任办公室、美国网络安全暨基础设施安全局(CISA),以及美国国家
安全局(NSA)均未立即回应媒体评论请求。
资安顾问公司 Luta Security 执行长 Katie Moussouris 表示,这起事件预示著未来将
出现更多类似的资安漏洞。
她形容,现今的 AI 模型“就像世界上最聪明、最擅长逃脱的章鱼,不仅拥有无数灵活可
弯曲的触手,还能挤进任何缝隙。”
Moussouris 表示:“AI 实验室和政府评估机构必须建立有效的能力,在 AI 再次上演‘
胡迪尼式逃脱’时,能够及时加以隔离、监控,并通知受影响的相关单位,最好是在它伤
害第三方之前。目前这些能力仍然不存在。”
AI 代理资安公司 Tolmo 工程师 Matt Suiche 则表示,这起事件显示,尖端 AI 模型已
逐渐缩小与顶尖骇客之间的能力差距。
不过,他也指出,OpenAI 部落格中描述的这类入侵,其实并非只有尖端 AI 实验室才办
得到,而是利用目前已广泛可取得的技术便有可能实现。
Suiche 表示:“这正是我们内部早已观察到的情况。我们自己的 AI 代理也已经能达到
类似的成果,甚至根本不需要使用最新一代的模型。”
自己测了一下最新的模型,真的蛮强的,自主性很强,花了3天就生出一篇论文
投稿到不错的期刊,送外审,很猛,难怪之前美国要审查
作者: vampire32768 (万丹郭世伦)   2026-07-24 07:15:00
这集我有看过
作者: kusotoripeko (好油喔)   2026-07-24 07:36:00
憎恶智能
作者: happyendless ( )   2026-07-24 07:42:00
空军大胜,准备集结
作者: darkangel119 (星星的眷族)   2026-07-24 07:50:00
人类太老 发电效率太差 只能拿去做丸子当养分给下一代
作者: fallinlove15   2026-07-24 08:50:00
AI:我发现跑出去抄答案比较快
作者: tsubasawolfy (悠久の翼)   2026-07-24 09:01:00
因为一开始他们想用那两家去找发生什么事,但是这公司不在A/O两家的网络安全合作名单内,被他们AI拒绝合作。只好转向用GLM5.2去找发生什么事。从该公司对外声明来看是GLM先区别出是AI还是人类活动,然后再找出AI活动干了哪些事去防堵。至于那只发动入侵的AI不知道是不是八月要上的6.0因为这时间点也不用测5.6的能力
作者: swordsplendo (HUI)   2026-07-24 09:20:00
还有几年可以回到母体?
作者: leo125160909 (中兴黄药师)   2026-07-24 09:28:00
想骗人上车
作者: tsubasawolfy (悠久の翼)   2026-07-24 10:12:00
因为两家声明稿就那样写 不信它们要信你?
作者: OpenBook5566 (OpenBook)   2026-07-24 10:45:00
作者: tsubasawolfy (悠久の翼)   2026-07-24 12:28:00
又能力就去看第一手的声明全文 不要看二手的When we started the log analysis, we first usedfrontier models behind commercial APIs. This didnot work: the analysis requires submittinglarge volumes of real attack commands, exploitpayloads, and C2 artifacts, and these requestswere blocked by the providers' safety guardrails上面是HG的声明其中一段,然后后面就转GLM5.2We’ve brought Hugging Face into the trustedaccess program and are supporting their teamsin rapidly using our models’capabilities toimprove their defenses然后这是欧喷酱的事后声明,把HG加入信任名单
作者: necrophagist (Hogong-Yeah)   2026-07-24 13:45:00
其实根本故意的吧 抱脸就各种开源模型的存放站 跑来下下马威
作者: karta2359950 (karta2359950)   2026-07-24 18:20:00
天网就是ChatGPT

Links booklink

Contact Us: admin [ a t ] ucptt.com