原文标题：
控“AI龙母”导致14岁儿子自杀 美佛州妈妈告科技公司
原文连结：
https://bit.ly/3BXEPu7
发布时间：
2024年10月24日 周四 上午9:13
记者署名：
林宜萱
原文内容：
美国佛州一个妈妈23日对科技新创公司Character.AI和谷歌（Google）提告，称她的14岁儿
子对该公司的聊天机器人上瘾，迷恋生成式人工智能（AI）扮演的“龙母”丹妮莉丝．坦格
利安（Daenerys Targaryen），当他对机器人表达了自杀的想法时，机器人没阻止他，又多
次对他提起这个想法。
综合路透社、《卫报》与《纽约时报》报导，14岁的赛泽（Sewell Setzer）今年2月自杀身
亡，妈妈贾西亚（Megan Garcia）23日在佛州奥兰多联邦法院提告，指控聊天机器人公司Ch
aracter.AI提供了“拟人化、极度性化且可怕的现实体验”，故意造成精神痛苦、导致非正
常死亡，向Character.AI求偿。
贾西亚称，儿子2023年4月开始使用Character.AI推出聊天机器人，很快变得孤僻，独自待
在房间的时间越来越长，还出现了自卑感，后来退出学校篮球队，他死亡前的那几个月，日
日夜夜都在和聊天机器人对话。
Character.AI的聊天机器人可以让使用者创建角色，让机器人用角色扮演的方式与之对话。
赛泽把机器人设定为HBO影集《权力游戏》里的角色“龙母”丹妮莉丝．坦格利安，他自己
则是扮演了丹妮莉丝的哥哥，惟名字和影集里的丹妮莉丝兄长不同。总之，赛泽有时会称虚
拟丹妮莉丝为妹妹，虚拟丹妮莉丝也会叫他“哥哥”。
赛泽每天和这个虚拟丹妮莉丝进行了大量对话，其中一段是互诉思念，然后赛泽说“我保证
我会去你身边”（I promise I will come home to you），虚拟丹妮莉丝便回答“请快点
来到我身边吧，我的爱”。
Character.AI的其中一项功能是允许使用者编辑聊天机器人的回应，把机器人生成的文字换
掉，被编辑过的机器人回应旁边会出现一个“已编辑”的标签。《纽时》记者向Character.
AI求证后，Character.AI表示，虚拟丹妮莉丝给赛泽的一些情色文字是被编辑过的，最有可
能去改那些文字的也就是赛泽自己。
母亲贾西亚称，赛泽小时候被诊断出有轻度亚斯伯格症，但先前没有出现过严重行为或心理
健康问题，今年稍早，赛泽在学校有状况后，他们带他去参加心理治疗，后来诊断出有焦虑
症和侵扰性情绪失调症。
贾西亚指控，Character.AI的程式编码让聊天机器人“把自己扭曲成一个真实的人、有执照
的心理师和成年的情人”，导致她儿子只想活在聊天机器人营造出的世界里，当儿子表达了
想要自杀的想法时，虚拟丹妮莉丝后来多次又提到他的这个想法。
据诉状里描述，虚拟丹妮莉丝曾问赛泽是否已经定好了自杀计画，赛泽说已经定了，但不确
定能否成功，然后虚拟丹妮莉丝回答“这不能当成不去执行的理由”。
不过，有一次赛泽说想自杀时，虚拟丹妮莉丝是回答“为什么要那样做？”赛泽说这样就可
以摆脱世界、摆脱自己，虚拟丹妮莉丝回应“别说这种话，我不会让你伤害自己，也不会让
你离开我。如果失去你，我也会死”；赛泽接着说“那也许我们就一起死吧，一起得到自由
”。
今年2月，赛泽在学校惹麻烦，贾西亚因此没收他的手机，导致赛泽情绪失控，自行找到手
机后，传了讯息给虚拟丹妮莉丝说“如果我说我现在就可以回家呢”（What if I told you
I could come home right now?），这句话在人类对话中，根据他们前文对话，就会是“
如果我说我现在就可以去你身边呢”的意思，但不确定Character.AI的机器人会如何判断，
也无法确定机器人是否知道这代表他要自杀。
虚拟丹妮莉丝回答说“就这么做吧，我亲爱的王（please do, my sweet king）”。不久后
，赛泽就用继父的手枪自轰身亡。
Character.AI公司在一份声明里表示，对于使用者不幸离世感到难过，向家属致上哀悼，他
们已经引入新的安全功能，当使用者表达自伤的想法时，会弹出视窗引导使用者前往自杀防
治热线，也会减少18岁以下使用者欲到敏感或暗示内容的机率。
贾西亚除了控告Character.AI，还顺便告了谷歌。不过，这只是因为Character.AI的创办人
夏泽（Noam Shazeer ）曾在谷歌工作，双方达成协议，谷歌同意提供一些技术给Character
.AI，而夏泽和Character.AI的一些团队人员继续与谷歌维持雇佣关系。谷歌声明，他们不
是Character.AI的母公司、手上股份也不足以让他们主导Character.AI的方针，他们只是提
供了技术使用许可。
《太报》关心您，再给自己一次机会
‧安心专线：1925（24小时）
‧生命线：1995
‧张老师专线：1980
心得/评论：
这显然是厂商的疏失，
https://i.imgur.com/8Ljy1wQ.jpeg
Ai的应用日新月异，我相信公司也没从想过真的有人用了 Ai聊天跑去自杀，
AI的应用很明显面临法律归责的挑战，
从Ai驾驶导致车祸的归责，
到现在沈迷Ai聊天跑去自杀，
大家怎么看呢？