Re: [讨论] OpenAI承认AI模型“叛变”!代理入侵Hugg

楼主: panger (超脱归心)   2026-07-27 14:21:24
Agentic AI流行之后,我觉得在公司里面做资安真的很困难。
攻击者可以用10个AI代理,按照所有常见攻击方式与弱点 逐一尝试。反正就算AI产生的结
果不稳定,100次有一次成功就可以。
防御者比较难用AI代理来帮忙改设定,因为结果不稳定,100次有一次错误,还是会被骂死

对方可以找100只猴子来攻击,但是反过来,找100只猴子来防守,真的太危险。
最后变成人要Review 100只猴子的修改建议,而这样的认知负担真的很重。
作者: labbat (labbat)   2026-07-27 14:53:00
你做防御性安全验证有钱拿,对方没钱拿,这就是区别了除非你公司的资安是不准验证的

Links booklink

Contact Us: admin [ a t ] ucptt.com