公开信的原文：
https://futureoflife.org/open-letter/pause-giant-ai-experiments/
它里面提到4个自我省思，其中第1点：假讯息
是曾经/正在发生，而且造成实质损失
人类判读讯息真实性时，经验/直觉可以在新证据 (假设是新闻、讯息) 不多、不强
或物理上不可能时，达到足够的判断效果
而证据的重要组成：影像、声音、来源数
目前生成式模型已经可以很有力的产生人类无法轻易辨识的资料
以前人工时代较容易有破绽，数量也不够多
现在就是看谁算力够，就有机会产生足量且高品质的假资料
做为其恶性地宣传地证据
如果时间够长，平均来说还是可以判断真假
然而对于反应时间短，有机会造成损失预期的假证据
平均来说不会完全相信，但会进行某种程度的防御措施，避免损害
特别是做了也无损失的情况
例如2018年的卫生纸事件
看到新闻的人想着下班先买个卫生纸放著
然后看见彼此购买的行为又强化了缺少的感觉
最后就可以成真到某个时间点
而当生成式AI足够优秀的时候 (也许future of life预期可能是近年)
具有足够算力的组织或人
可以大量、多样化的高品质假证据时
就可以透过网络媒体 (传统媒体为了避免落后也会尽快跟上)
快速地传给许多人
再透过经实验确认过的真实帐号之反应状况
来评估滚雪球的状态
并早一步布局较有可能的成真的项目，从中获利
假想某个上市公司A的赚钱方式是用卫生纸做莲花来卖
然后有个邪恶组织有规划的短时间发布 多张不同超市 缺卫生纸的照片
搭配一些小短片 透过合成人脸和声音 告诉你真的缺卫生纸啦
因为卫生纸遭到大量抢购 (缺原料)
上市公司A就没莲花卫生纸可卖，邪恶组织就空爆他
或是趁他紧张 (时间压力) 高价卖他卫生纸
整个过程就像高级的诈骗短信一样
只是诈骗短信是广发后，属于易受骗的族群 (假设2.5%) 会中招
现在因为假证据升级了
邪恶组织可以透过"平均来说"的反应 进行后续规划
当然邪恶组织也有可能因为人类的非线性反应受损
比如说卫生纸都被囤光了 他因为知道这是假消息 所以没有多买
结果这组织就买不到 只好拿钱擦屁股 或去买更贵的卫生纸
另外是法律面
它也比诈骗短信更高级了
因为你不是造成收讯者的损失
是造成收讯者反应后 某个倒楣鬼的损失
你也没有直接从倒楣鬼那边偷抢拐骗钱
而是依据他损失的反应而正当获利
这直觉很难...从法律去有效的制裁
承上，Future of Life Institute提出的应对方向是什么呢？
生产设备可追朔：...oversight and tracking of highly capable AI systems and
large pools of computational capability...
AI浮水印(类似基改标签)：...provenance and watermarking systems to help
distinguish real from synthetic and to track model leaks
AI伤害的责任归属 (法律)...liability for AI-caused harm...
金援确保AI安全的研究...robust public funding for technical AI safety
research...
建构应对AI危害的组织 (AI管理局？) ...well-resourced institutions for
coping with the dramatic economic and political disruptions
(especially to democracy) that AI will cause...
一直以来都有针对生成式模型的辨识模型研究
但短期应该打不赢，因为生成式AI才吸睛又吸金
用AI去辨识谁是AI，避免灾害，比较像公共安全
而且技术上应该也很难 如果这样防卫模型是可买到的
就可以用它加入生成模型的训练
当然这样也可以增加生成式AI的成本就是
至于他们提到的6个月，感觉有点谜
股点...
如果有在开发浮水印类技术或符合前述目标的公司
应该可以投资看看 至少符合他们明面上的目标吧

说到假讯息，如果是挤兑的假讯息，会不会造成恐慌？毕竟现在把钱赚走也是在手机动动手指就能完成的事*转

事实 但不需要停下来

用Ai对付ai孤狗口罩的布来源 几秒钟就破解留言了 问题就是没查证的习惯硬要短时间冲来冲去搞高风险 然后怪环境 怪科技

Deep fake 的危险性吧，我觉得确实有必要先考量