原文标题：
Ilya离开OpenAI内部曝光：奥特曼砍他团队算力，优先搞产品赚钱
原文连结：
https://www.qbitai.com/2024/05/143688.html
发布时间：
2024-05-18 13:11:58
记者署名：
衡宇白交
原文内容：
连发13条推文！
OpenAI超级对齐负责人 Jan Leike ，也就是刚刚追随Ilya离开公司的那位，自曝离职的
真正原因，以及更多内幕。
一来算力不够用 ，承诺给超级对齐团队的20%缺斤少两，导致团队逆流而行，但也越来越
困难。
二来安全不重视 ，对AGI的安全治理问题，优先级不如推出“闪亮的产品”。
紧接着，更多的八卦被其他人挖出来。
例如OpenAI离职成员都要签一份协议， 保证离职后不在外说OpenAI坏话 ，不签的话视为
自动放弃公司股份。
但仍有拒不签署的硬骨头出来放猛料（笑死），说核心领导阶层对安全问题优先级的分
歧由来已久。
去年宫斗至今，两派的观念冲突到达了临界点，这才看上去颇为体面地崩了。
因此，尽管奥特曼已经派了共同创办人来接手超级对齐团队，但仍旧不被外界看好。
冲在最一线的推特网友们感谢Jan有勇气说出这个惊人大瓜，并感叹：
我勒个去，看来OpenAI真的不太注重这个安全性！
不过回过头来，如今执掌OpenAI的奥特曼这边，暂时还坐得住。
他站出来感谢了Jan对OpenAI超级对齐和安全方面的贡献，表示Jan离开，他其实很难过、
很舍不得。
当然了，重点其实是这句话：
等著，过两天我会发一篇比这更长的推文 。
承诺的20%算力居然有画大饼成分
从去年OpenAI宫斗到现在，灵魂人物、前首席科学家Ilya几乎不再公开露面、公开发声。
在他公开宣称离职前，就已经众说纷纭。 很多人认为Ilya看到了一些可怕的事情，例如
可能毁灭人类的AI系统啥的。
△网友：我每天醒来第一件事就是想Ilya看到了啥
这次Jan算是摊开了说，核心原因是技术派和市场派对安全的优先等级产生了不同看法。
分歧很严重，目前后果嘛……大家也都看到了。
根据Vox报道，熟悉OpenAI的消息人士透露， 更注重安全的员工已经对奥特曼失去了信
心 ，“这是一个信任一点一点崩溃的过程”。
但如你所见，在公开平台和场合，没有太多离职员工愿意公开谈论此事。
一部分原因是OpenAI一直以来，都有 让员工签署带有非贬低协议的离职协议的传统。 如
果拒绝签署，就等于放弃了先前拿到的OpenAI的选择权， 这意味着出来说话的员工可能
会损失一笔巨款。
然而，多米诺骨牌还是一张接一张的倒下了——
Ilya的辞职加剧了OpenAI近期的离职潮。
紧接着宣布离职的，除了超级对齐团队负责人Jan以外，目前有至少五个安全团队成员离
职。
其中还有个没签署非贬低协议的硬骨头，Daniel Kokotajlo（以下简称DK哥）。
△去年DK哥写道，他认为AI发生生存灾难的可能性为70%
DK哥在2022年加入OpenAI，在治理团队工作，主要工作内容是引导OpenAI安全部署AI。
但他也在近期辞职了，并且对外接受了采访：
OpenAI正在训练更强大的AI系统，目标是最终全面超越人类智慧。
这可能是人类有史以来发生过的最好的事情，但如果我们不小心行事，也可能是最糟
糕的事情。
DK哥阐述，当年，他加入OpenAI，满怀对安全治理的报复与希望，期望OpenAI越靠近AGI
能越负责任。 但团队中 许多人 慢慢意识到，OpenAI不会这样了。
“逐渐对OpenAO领导层以及他们负责地处理AGI的能力失去了信心”，这就是DK哥辞职的
原因。
对未来AGI安全工作的失望，是Ilya加剧的离职潮中众人离开的一部分原因。
还有一部分原因，是 超级对齐团队，恐怕没有外界想像的那样能资源充沛地进行研究。
即便超级对齐团队满载工作，团队也只能获得OpenAI承诺的20%的算力。
而且团队的一些请求经常被拒绝。
当然是因为算力资源对AI公司来说重要至极，每一点都要合理分配；也因为超级对齐团队
的工作是“解决如果公司成功建构AGI，实际上会出现不同类型的安全问题”。
换句话说，超级对齐团队对应的是OpenAI需要面对的未来的安全问题——划重点，是未来
的、不知是否会出现的。
截至发稿，奥特曼还没有发出他那篇“（比Jan爆料内幕的）更长的推文”。
但他简单提到，Jan对安全问题的担忧是对的， “我们还有很多事情要做；我们也致力于
这样做。”
就这一点，大伙儿可以先办个小板凳等等，到时候咱一起第一时间吃瓜。
综上，现在超级对齐团队走了好些人，尤其是Ilya和Jan的离职，让这个风雨中的团队面
临群龙无首的窘况。
后续安排，是 共同创办人John Schulma来接手 ，但不再有专门的团队。
新的超级对齐团队将是联系更松散的小组，成员分布在整个公司的各个部门，OpenAI发言
人将其描述为“更深入地整合”。
这一点也为外界所质疑，因为 John的原本全职工作是确保目前的OpenAI产品的安全问题
。
不知道突然多了份责任后，John能不能忙得过来，好好领导关注现在和关注未来安全问题
的两个团队？
Ilya-Altman之争
如果把时间阵线拉长， 其实今天的分崩离析是OpenAI“宫斗”Ilya-Altman之争的续集。
时间回溯到去年11月，当时Ilya还在，他与OpenAI董事会合作试图解雇掉奥特曼。
当时给的理由是，他在沟通上不够真诚。 换言之，我们不信任他。
但最终结果显而易见，奥特曼带着他的“盟友”威胁加入微软，结果董事会屈服，罢免行
动失败。 Ilya离开董事会。 而奥特曼这边，选择了对他更有利的成员加入董事会。
在这之后，Ilya就再也社交平台上消失了，直到前几天官宣离职。 而且据说，已经大约6
个月没有出现在OpenAI办公室了。
当时他还留下一则耐人寻味的推文，但很快就删除了。
在过去的一个月里，我学到了许多教训。 其中一个教训是，“在士气提高之前，殴
打会一直持续下去”这句话比它应有的含义更经常适用。
但据内部人士透露， Ilya一直远端共同领导超级对齐团队 。
而在奥特曼这边，员工们对他最大的指控就是言行不一，例如他声称自己想优先考虑安全
，但他的行为却很矛盾。
除了原本承诺的运算资源没有给到外。 还有像前阵子找沙特阿拉伯等募款来造芯。
那些注重安全的员工懵了。
如果他真的关心以尽可能安全的方式建构和部署人工智能，那么就不会这么疯狂地累积晶
片，来加速技术的发展？
更早之前，OpenAI也从一家奥特曼投资的一家新创公司订购芯片。 金额高达5,100万美元
（约3.6亿元）。
而当时宫斗那几天OpenAI前员工的检举信中，对于奥特曼的描述似乎也再一次印证。
https://tinyurl.com/2s4b42rm
也正因这样 从头到尾“言行不一” 的操作，让员工们逐渐对OpenAI以及奥特曼失去信心
。
Ilya是这样，Jan Laike是这样，超级对齐团队也是这样。
有贴心的网友整理出这几年年间，发生的相关事情的重要节点－先来个贴心提示，下文提
到的 P（doom） ，指“AI引发世界末日场景的可能性”。
2021年，GPT-3团队负责人因“安全”问题离开OpenAI，创立Anthropic；其中一位认
为P（doom）为10-25%；
2021年，RLHF安全研究负责人离职，P（doom）为50%；
2023年，OpenAI董事会解雇奥特曼；
2024年，OpenAI解雇两位安全研究员；
2024年，一位特别关注安全的OpenAI研究员离职，他认为P（doom）已经在70%。
2024 年，伊利亚和简·莱克退休。
https://tinyurl.com/vcw877d3
技术派还是市场派？
大模型发展至今，“如何实现AGI？”其实可归结为两条路线。
技术学派 希望技术成熟可控再应用； 市场派 则认为边开放边应用“渐进式”走到终点
。
这也是Ilya-Altman之争的根本分歧，即OpenAI的使命：
是专注于AGI和超对齐，还是专注于扩展ChatGPT服务？
ChatGPT服务规模越大，代表所需的计算量越大；这也会占用AGI安全研究的时间。
如果OpenAI是个致力于研究的非营利组织，他们应该将更多时间花在超级对齐上。
而从OpenAI对外的一些措施来看，结果显然不是， 他们只是想要在大模型这个竞争中拔
得头筹，为企业和消费者提供更多的服务 。
这在Ilya看来，这是件非常危险的事。 即便我们不清楚随着规模的扩大会发生什么，但
在Ilya看来，最好的办法就是安全第一 。
开放和透明，这样我们人类才能确保安全地建构AGI，而不是以某种隐密的方式。
但在奥特曼带领之下OpenAI，似乎既不追求开源，也不追求超级对齐。 相反，它一
心只想朝着AGI 的方向狂奔，同时试图建立一条护城河。
那么最后AI科学家Ilya的选择正确，还是硅谷商人奥特曼能走到最后呢？
现在还无从得知。 但至少OpenAI现在面临关键抉择。
有业内人士总结了两个关键讯号，
一个 是ChatGPT是OpenAI主要收入，如果没有更好的模型支撑，就不会免费向所有人提供
GPT-4；
另一个 则是如果离职的团队成员（Jan、Ilya 等）不担心很快会有更强大的功能，他们
就不会关心对齐的问题……如果AI停留在这个水平上，基本上也无所谓。
但OpenAI的根本矛盾没有解决，一边是盗火一样的AI科学家对负责任发展AGI的忧虑，另
一边则是硅谷市场派对于用商业化方式推动技术可持续的急迫。
双方已经不可调和，科学派正在完全出局OpenAI，而外界至今也不知道，GPT究竟到哪一
步了？
迫切想要知道这个问题答案的吃瓜群众都有点累了。
一种无力感涌上心头，就像Ilya的老师、图灵奖三巨头之一Hinton说的：
我老了，我担忧，但我无能为力了。
参考连结：
[1]https://www.vox.com/future-perfect/2024/5/17/24158403/openai-resignations-ai-safety-ilya-sutskever-jan-leike-artificial-intelligence
[2]https://x.com/janleike/status/1791498174659715494
[3]https://twitter.com/sama/status/1791543264090472660
心得/评论：
奥特曼违背防止人工智能威胁人类的承诺 这导致安全团队一直有人辞职
OpenAI会重蹈微软和谷歌的覆辙 走向没落吗??