[讨论] OpenAI安全专家纷纷辞职 Altman将回应

楼主: jackliao1990 (jack)   2024-05-18 23:49:37
https://x.com/janleike/status/1791498185627865147
OpenAI安全团队负责人Jan Leike也宣布辞职了:
"在过去的几个月里,我的团队一直在逆风航行。有时我们在计算方面遇到困难,完成这
项重要的研究变得越来越困难。(这是指高层不给足够算力吗??)
建造比人类更聪明的机器本质上是一项危险的工作。
OpenAI 代表全人类承担著巨大的责任。
但在过去的几年里,安全文化和流程已经让位给闪亮的产品。
我们早就该认真看待通用人工智能的影响了。
我们必须优先考虑尽可能为它们做好准备。
这样,我们才能确保AGI造福全人类。
OpenAI 必须成为一家安全第一的 AGI 公司。
我想对所有OpenAI员工说:
学会感受 AGI。
采取适合您正在建立的内容的严肃态度。
我相信你可以“传递”所需的文化变革。
我指望你了。
世界指望着你。
openai-爱心:"
过去几年,OpenAI安全团队和Altman因为理念不合(防止AI害人 V.S. 商业营利)不断内斗:
2021年 - GPT-3 团队领导者因安全问题辞职
Dario 和 Daniela Amodei 离开 OpenAI,创办了 Anthropic,理由是在优先考虑安全研
究方面存在分歧。 达里奥受访时表示,他的P(doom)是10-25%。
2021年 - RLHF 安全研究主管辞职
RLHF 的发明者 Paul Christiano 博士从 OpenAI 的安全团队辞职,创办了独立的非营利
组织 Alignment Research Center。 克里斯蒂安诺在接受采访时表示,他的P(doom)是
50%。
2023年 - OpenAI 董事会解雇执行长 Sam Altman
共同创办人 Ilya Sutskever 站在 OpenAI 董事会的一边,投票决定终止 Sam Altman 的
领导职务。 该非营利委员会的使命是确保安全有益的 AGI。
2024年 - OpenAI 解雇了两位安全研究人员
利奥波德·阿申布伦纳 (Leopold Aschenbrenner) 和帕维尔·伊兹梅洛夫 (Pavel
Izmailov) 因涉嫌泄露信息而被解雇。 阿申布伦纳被视为一颗冉冉升起的新星,也是伊
利亚·苏茨克韦尔的亲密盟友。
2024年 - 关心安全的研究员辞职
Daniel Kokotajlo 辞职的原因是“对 OpenAI 在 AGI 时代负责任地行事失去了信心”
。 他表示他的 P(doom) 是 70%。
2024年 - 首席科学家 Ilya Sutskever 辞职
Sutskever 之前曾说:"无论如何,人工智能的未来将会是美好的。 如果它对人类也有
好处,那就太好了。 "
2024年 - 超级对齐负责人 Jan Leike 辞职
与 Ilya Sutskever 共同领导 Superalignment 团队的 Jan Leike 也辞职了。 雷克先
前在接受采访时表示,他的P(doom)是10-90%。
由于OpenAI离职员工都要签协议保证不对外说OpenAI坏话(否则拿不到公司股份),外界常
常对离职员工的影射推文感到困惑。为此Altman决定做出回应:
https://x.com/sama/status/1791543264090472660
"我非常感谢@janleike对 openai 的对齐研究和安全文化所做的贡献,我为他的离开感到
非常难过。他是对的,我们还有很多事情要做;我们致力于这样做。在接下来的几天里我
将发表一篇更长的文章。"
希望不是官腔式废话回应啊!

Links booklink

Contact Us: admin [ a t ] ucptt.com