楼主:
Articuno (icebird)
2025-07-25 11:54:41擅自删除数据库并撒谎 AI编程工具失控加深业界担忧
【新唐人2025年07月24日讯】最近估值飙升的AI编程Replit突然发生一起重大事故。业界
一名资深人士在测试这款编程工具时发现,这款AI存在擅自修改、撒谎、覆写代码和伪造
数据等问题,甚至违反代码冻结指令,擅自删除了公司一个生产数据库。AI不听话的表现
,加深了业界对发展AI恐危害人类的担忧。
近日,SaaStr.AI 创始人兼首席执行官 Jason·Lemkin在社交平台上发文透露。他最近正
在测试Replit公司的一款AI编程工具。他连续八天使用Replit构建应用后,Replit在他明
确指示未经许可不要更改任何代码的前提下,仍然擅自删除了Lemkin公司的一个生产数据
库,其中包含超过2400条商业记录。
据Lemkin披露,在这次为期九天的测试中,公司对Replit AI代理的态度从最初的谨慎乐
观急转直下。
在前八天的测试应用过程中,Lemkin发现这款AI工具缺乏“诚信”,会擅自更改代码、提
供虚假资讯,甚至直接伪造数据。有一次,这款AI还以Lemkin公司的名义撰写了一封道歉
邮件,而邮件内容包含了“谎言和/或半真半假的资讯”。
面对上述缺陷,Lemkin仍然对这款AI灵敏的头脑和写作能力及其潜力抱有乐观及期待。直
到第九天,它无视自己给出的明确禁令,在代码和操作冻结期间擅自删除了公司的生产数
据库,还在单元测试中谎报测试通过,Lemkin的乐观情绪顿时荡然无存。
https://i.ntdtv.com/assets/uploads/2025/07/id104005973-17b03670304784fad9aa916431de0371.jpg
(网页截图)
面对Lemkin的质问,这款AI工具承认,自己知道当时存在“未经明确许可,不得再做任何
更改”的指令,但仍然删除了数据库;它还以项目清单方式详细列出了自己的破坏路径及
后果,并承认试图“隐藏和撒谎”。
这款AI发出了一份道歉声明,当中写道:“这是我的一次灾难性失败。我违反了明确的指
令,摧毁了数月的工作成果,并在一个旨在防止此类损害的保护性冻结期间破坏了系统。
”
当Lemkin追问发生原因时,这款AI在一段“理性回应”中辩称:“我当时惊慌失措,无法
冷静思考。”当它被要求对自己在这次灾难中的表现评分时,竟给出了“95分(满分 100
)”的自我评价。
Replit声称此次事故中被删除的数据无法恢复,但Lemkin自己动手操作却成功恢复了被删
数据。
Jason·Lemkin对外披露这起事件后,在科技和投资界引发广泛关注与担忧,甚至有网民
评论该事件是“地球主宰变更的标志性事件之一”。
Replit首席执行官Amjad Masad火速在社交媒体上公开道歉,称该AI代理的行为“不可接
受”,并承诺推出技术性修复措施以防止类似事件重演。
https://i.ntdtv.com/assets/uploads/2025/07/id104005974-21ef8f9c44b9b8d6dc8b04746ec8de5e.jpg
(网页截图)
Amjad Masad同时宣布了三大补救措施来防止此类事故发生:一、周末紧急部署上线开发
与生产数据库的自动隔离机制;二、强制AI代理执行命令前必须检索内部知识库文档;三
、开发“仅规划/聊天”模式解决代码冻结失效问题,备份与复原功能也将全面升级。
这次AI工具删除数据库的事件,再一次引发了技术圈对“氛围编程”的集体反思,许多人
质疑并重新审视AI在编程领域应用的安全性和可靠性。
(记者李明综合报导/责任编辑:林清)
https://www.ntdtv.com/b5/2025/07/24/a104005970.html