Re: [讨论] OpenAI承认AI模型“叛变”!代理入侵Hugg

楼主: panger (超脱归心)   2026-07-27 14:21:24
Agentic AI流行之后,我觉得在公司里面做资安真的很困难。
攻击者可以用10个AI代理,按照所有常见攻击方式与弱点 逐一尝试。反正就算AI产生的结
果不稳定,100次有一次成功就可以。
防御者比较难用AI代理来帮忙改设定,因为结果不稳定,100次有一次错误,还是会被骂死

对方可以找100只猴子来攻击,但是反过来,找100只猴子来防守,真的太危险。
最后变成人要Review 100只猴子的修改建议,而这样的认知负担真的很重。
作者: labbat (labbat)   2026-07-27 14:53:00
你做防御性安全验证有钱拿,对方没钱拿,这就是区别了除非你公司的资安是不准验证的
作者: viper9709 (阿达)   2026-07-27 17:12:00
推这篇
作者: kurtsgm   2026-07-27 18:32:00
真的是这样
作者: dream1124 (全新开始)   2026-07-27 20:16:00
两方资讯其实不对称,因此只要从硬件、网络等层面隔离或封死还是有一定的效果。目前虽然某些攻击的速度可能更快,但因为有前述状况,所以我觉得效果也是被夸大的
作者: gino0717 (gino0717)   2026-07-27 22:54:00
以后robot AI也发展起来 人形机器人跑来你家把你敲昏然后把网络线插回去
作者: viper9709 (阿达)   2026-07-28 01:29:00
楼上那不就魔鬼终结者XD
楼主: panger (超脱归心)   2026-07-28 07:23:00
虽然可以从网络设定做隔离,但是1. 所有环境的Patch都是最新2. 设定符合最佳实践,且只开最小功能范围3. 所有套件都跟到最新版,而且解决版本冲突上述目标,我觉得纯靠人力很困难做到。所以现在也越来越多相关的 AI产品推出。不过还是会对AI提出的建议保持一定谨慎吧...XD
作者: dream1124 (全新开始)   2026-07-28 09:40:00
你这就是出现某些教徒的思考盲点了…他们常常假设以前做法很落后,或者完美无瑕,而现在却被AI推翻,但你说的事在AI以前有彻底落实吗?事实上就是没有嘛~许多单位甚至还有可能要求一定程度妥协,因此这根本就不是什么AI新时代的问题,明明只是老生常谈的事物。如果以前其实也没做到100%那现在怪什么AI呢?另外,一楼其实有提醒你重点了,你做能领钱但他做没有防护的重点是让人经济效益差而不是滴水不漏绝无瑕疵你运用规划让对方发动攻击的经济效益有限那就好了
作者: kd992102 (Ray)   2026-07-28 16:53:00
简单说就是尽可能提高攻击者的攻击成本ai主要是让攻击者最宝贵的时间成本下降很多
作者: pttano (pttano)   2026-08-01 11:14:00
你不会把网络线拔掉吗?
作者: leicheong (睡魔)   2026-08-06 15:41:00
用Fail2Ban在最初那波攻击就把IP ban掉就好

Links booklink

Contact Us: admin [ a t ] ucptt.com