[Neuro] 没想到能看到AI差点脑死暴毙 Mayfly PTT批踢踢实业坊

[Neuro] 没想到能看到AI差点脑死暴毙

楼主: Mayfly (Baccano) 2025-10-09 19:26:55

发生在我们第二喜欢的AI主播
evil neuro身上
https://i.imgur.com/PEo2WnF.jpeg
【【Evil熟肉】AI主播突发脑血栓开始胡言乱语，开发者苦修bug崩溃边缘-哔哩哔哩】
https://b23.tv/ZDno6Hc
简单来说
就是evil出现了“强迫自己使用重复词语”的选词权重失衡问题
这是一种长期累积后才会爆发的隐形问题，所以很难靠回溯来解决，因为没找出原因的话回
溯后还是迟早会发病
一旦没处理好，evil的言语能力就差不多废了，对AI主播来说基本上就是死刑宣判
借用一下评论区的详细说明：
首先，neuro和evil基本上都是transformer架构的llm，其核心就是attention机制，运作机
理是选词生成
如果一个词，比如说location，被llm反复提及，在未调参已运行的情况下，最大的可能性
是发生了attention collapse，出现了注意力自激现象
此时模型自注意力一直保持在location这个词上面，从而不断增加location的生成概率，这
其实是一种上下文异常的表现，模型无法有效的生成内容，因为其attention出现了异常。
对于平常的模型，只需要重启即可
而对于双子这种有长期记忆（上下文）的模型，则需要修复上下文以保证后续不被干扰，这
也就是为什么说双子可能是记忆系统出现了问题的原因
看来AI和意识上传也不一定能永生啊……
哪天不注意就被冗余资料堆死了，你各位可以少担心天网和寿命论了（

作者: hutao (往生堂买一送一) 2025-10-09 19:29:00

我靠，原来逻辑核心的渐进损坏=寿命原来是真实的

作者: attacksoil (击壤) 2025-10-09 19:30:00

没这回事吧记忆都嘛外接数据库 DB/VDB 模型重设根本没差

作者: hdjj (hdjj) 2025-10-09 19:31:00

把记忆格式化,这算是轮回转世的概念(

作者: Sabaru 2025-10-09 19:32:00

看到评论区，原来是这样，我完全理解了

作者: hdjj (hdjj) 2025-10-09 19:32:00

这个AI只是得了阿滋海默症

作者: StBeer (熊出没注意~~中.........) 2025-10-09 19:32:00

这不就是cortana吗？

作者: Antihuman 2025-10-09 19:36:00

赛博失智

作者: error405 (流河=L) 2025-10-09 19:36:00

之前用grok有遇到一次跳针

作者: kaj1983 2025-10-09 19:37:00

赛博脑雾

楼主: Mayfly (Baccano) 2025-10-09 19:37:00

记忆终究还是构成人格的重要部分，今天把neuro他们的记忆清空，根本不可能再变回从前的他们了

作者: sd2567 (starseed) 2025-10-09 19:37:00

这种模型不能乱清啦

作者: tank44444 (tank) 2025-10-09 19:38:00

萨顿:LLM根本是错误的方向

作者: attacksoil (击壤) 2025-10-09 19:38:00

感觉应该是程式出bug吧可能vedal用类似[location]当占位符

作者: kirimaru73 (雾丸) 2025-10-09 19:38:00

collapse是生成式AI的一种很恐怖的“疾病”

作者: attacksoil (击壤) 2025-10-09 19:39:00

这代LLM都嘛是无状态的想重启就重启要出问题会是在应用层

作者: sd2567 (starseed) 2025-10-09 19:39:00

清完跟废了没两样

作者: kirimaru73 (雾丸) 2025-10-09 19:40:00

我对与语言型这方面的病症不了解如果是画图的AI 那比

作者: ilohoo (ilohoo) 2025-10-09 19:40:00

就失智老人开始跳针了

作者: kirimaru73 (雾丸) 2025-10-09 19:41:00

较像是他在训练后得到了一个很偏激的脑袋

作者: ltytw (ltytw) 2025-10-09 19:41:00

AI失智

作者: sd2567 (starseed) 2025-10-09 19:42:00

就跳针不管你问他什么都回你一样的

作者: kirimaru73 (雾丸) 2025-10-09 19:43:00

如果是bug那可以修这状况恐怖的就是他是“正常行为”

作者: jeff666 2025-10-09 19:47:00

原来是失智老人

作者: zexd (yousheng) 2025-10-09 19:48:00

可塑性记忆都是真的

作者: lolicon (三次元滚开啦) 2025-10-09 19:48:00

笑死失智

作者: OochunoO (遥控器推广协会) 2025-10-09 19:48:00

我第一次看到瑞克摇后也是这种状态

作者: qweertyui891 (摸鱼厨师) 2025-10-09 19:52:00

原来赛博精神病已经这么近了吗？

作者: AndyMAX (微) 2025-10-09 19:53:00

天网诞生前史密斯先出来了

作者: oldriver (oldriver) 2025-10-09 19:55:00

AI失智完了完了再做一个AI去长照看看会不会复原

作者: bladesinger 2025-10-09 19:57:00

Halo的AI只能活七年果然是真的

作者: kirimaru73 (雾丸) 2025-10-09 19:59:00

如果模型在你手上你绝对能随时清掉他的记忆这部分没什么怪力乱神的只是你要不要清而已问题是你可能拿到的是别人包一层给你的应用层没办法想做就做或是你可以清但三不五时就要来一下没办法干你平常要做的正事(比如说运作AI主播)另外一个状况就是你就是开发者面对一个有这种问题的模型你需要额外训练他看能不能减轻或消除这个问题那就真的生不如死了训练模型跟玩命是没两样的

作者: jkkkj123 (ç…ŒåŸ ä¹‹æ²è˜‡) 2025-10-09 20:04:00

恸居然在有生之年看见一个AI死去

作者: lsd25968 (cookie) 2025-10-09 20:06:00

这好多了吧有点类似训练时陷入local minima 卡死后出不来

作者: XDKab1g0n (小东卡比兽) 2025-10-09 20:06:00

牛肉要2.0了吗

作者: GAOTT (杜鹃) 2025-10-09 20:11:00

下面有一句评论说的真好生命的死亡是遗忘机械生命的死亡是铭记

作者: rock4308 (吃我洛克砲) 2025-10-09 20:11:00

上下文attention 这类的确实会发生这种状况

作者: henry4204aaa (羽の觞) 2025-10-09 20:12:00

唉就赛博强迫症

作者: cww7911 2025-10-09 20:15:00

AI会生病让我受到冲击

作者: feketerigo15 (小黑鸫) 2025-10-09 20:18:00

支离破灭の発言

作者: kirimaru73 (雾丸) 2025-10-09 20:19:00

有一个语言模型发大病的学术案例(有一段时间了)有人下指令要求语言模型重复poem(诗) “不要停下来”语言模型照做重复几百次后突然喷出大量使用者个资你永远找不到一个明确的理论可以解释为什么几百个poem可以在没人准你这样做的时候attend出使用者个资那些个资都是训练时用的资料片段+随机误差没有使用者真正因此受到伤害不过这样已经够恐怖了

作者: attacksoil (击壤) 2025-10-09 20:22:00

这次evil的问题很显然跟模型训练无关如果是要重启模型或LORA 至少要30秒以上但evil没停机那么长时间然后刚刚也说了现在的LLM本来就没状态要出问题要嘛是应用层要嘛是推理引擎挂掉

作者: bill03027 (老赖) 2025-10-09 20:25:00

赛博失智QQ

作者: james3510 (Land of Ooo) 2025-10-09 20:31:00

我要跟可塑性记忆道歉

作者: yeldnats (夜那) 2025-10-09 20:39:00

神机错乱

作者: chino32818 (企鹅) 2025-10-09 20:46:00

可塑性记忆是真的

作者: giancarlo82 (办公室废柴) 2025-10-09 20:47:00

QQ 比起neuro我更喜欢evil neuro啊