李飞飞亲自撰文，数十名科学家签署联名信，反对加州AI限制法案
https://www.jiqizhixin.com/articles/2024-08-07-4
机器之心
AI真的已经危险到要如此监管的地步了吗？
在创新的热土硅谷， 李飞飞 、 吴恩达 等AI 科学家正在与监管部门展开一场关于安全
与创新的拉锯战。
这场拉锯战的核心是一个名叫SB-1047 的法案。 该法案的全名为“Safe and Secure
Innovation for Frontier Artificial Intelligence Act（《前沿 人工智能 模型安全
创新法案》），试图为高风险的AI 模型建立明确的安全标准，以防止其被滥用或引发灾
难性后果。
该法案于今年2 月在参议院被提出，随后引起了很大的争议。 许多科学家认为，法案的
条款过于不合理，将对科技创新造成毁灭性的影响。
法案连结：
https://leginfo.legislature.ca.gov/faces/billTextClient.xhtml?bill_id=202320240SB1047
具体来说，该法案旨在从模型层面对 人工智能 进行监管，适用于在特定计算和成本阈值
之上训练的模型。
模型覆蓋范围如下：
1.使用超过10^26 次整数或浮点运算的计算能力进行训练的 人工智能 模型，其成本超过
一亿美元（100,000,000 美元），该成本是根据开发者合理评估的训练开始时 云端运算
的平均市场价格计算得出的。
2.利用等于或大于10^25 次整数或浮点运算三倍的运算能力，对范围内的模型进行微调而
创建的 人工智能 模型。
这个范围基本上涵盖了现在市面上所有主流的大型模型。 如果法案通过，这些模型都将
被定义为存在“潜在危险”或需要额外监督。
法案还要求模型开发者对其模型的下游使用或修改承担法律责任。 在训练开始之前，开
发人员需要证明他们的模型不会启用或提供“危险功能”，并实施一系列保护措施来防止
此类使用。 这将阻碍开源社群的发展。
监督新法律执行的将是一个“前沿模型部门（frontier model division）”，这是一个
新成立的监督和监管机构。 该机构将制定安全标准并就 人工智能 法律提供建议，向该
机构歪曲模型的功能可能会使开发人员因伪证而入狱。
法案中还加入了吹哨人保护条款，保护和鼓励AI 开发实体内部的举报者，确保员工可以
在不受报复的情况下报告企业的不合规情况。
如果法案获得通过，州长Gavin Newsom 的一个签名就可以将其纳入加州法律。 a16z 普
通合伙人Anjney Midha 表示，如果这项法案在加州获得通过，将为其他州树立先例，并
在美国国内外产生连锁反应—— 本质上对创新状况带来巨大的蝴蝶效应。
在太平洋夏令时间8 月7 日早晨，相关部门将举行关于该法案的听证会。 留给科学家的
抗议时间已经不多了。 因此， 李飞飞 亲自撰文，陈明法案利害。 还有一些科学家正在
签署一封联名信，以阻止法案通过。
李飞飞 撰文抨击SB-1047
李飞飞 在文章中表示：“加州的SB-1047 将产生重大而意想不到的后果。如果通过成为
法律，SB-1047 将损害正在萌芽的 人工智能 生态系。 SB-1047 将不必要地惩罚开发人
员，扼杀开源社区，并阻碍 人工智能 学术研究，同时无法解决其旨在解决的真正问题
。 ”
她写道：
首先，SB-1047 将过度惩罚开发者并扼杀创新。 如果 人工智能 模型被滥用，SB-1047
要求责任方和该模型的原始开发者承担责任。 每个 人工智能 开发人员（尤其是崭露头
角的程式设计师和企业家）不可能预测到其模型的每种可能用途。 SB-1047 将迫使开发
人员退步并采取防御行动— 这正是我们试图避免的。
其次，SB-1047 将束缚开源开发。 SB-1047 要求所有超过特定阈值的模型都包含“终止
开关”，这是一种可以随时关闭程序的机制。 如果开发人员担心他们下载和建置的程式
会被删除，他们在编写程式码和协作方面就会更加犹豫。 这个终止开关将摧毁开源社区
，这是无数创新的来源。 其影响不限于 人工智能 领域，而是在从GPS 到MRI 到网络本
身的各个领域。
第三，SB-1047 将削弱公共部门和学术 人工智能 研究。 开源开发对于私营部门很重要
，但对学术界也至关重要。 如果没有协作和对模型数据的访问，学术界就无法进步。 如
果我们的机构无法获得适当的模型和数据，我们将如何培训下一代 人工智能 领导者？
终止开关甚至会进一步削弱学生和研究人员的努力，与大型科技公司相比，他们在数据和
计算方面已经处于劣势。 当我们应该加倍加大公共部门 人工智能 投资时，SB-1047 将
为学术 人工智能 敲响丧钟。
最令人担忧的是，该法案并未解决 人工智能 进步的潜在危害，包括偏见和深度伪造（
deepfake）等等。 相反，SB-1047 设定了一个任意阈值，调节使用一定运算能力或花费
1 亿美元训练的模型。 这项措施远非提供保障，只会限制包括学术界在内的跨部门创新
。 如今，学术 人工智能 模型低于这个门槛，但如果我们要重新平衡私营和公共部门 人
工智慧 的投资，学术界将受到SB-1047 的监管。 我们的 人工智能 生态系统将会因此而
变得更糟。
SB-1047 的限制过于武断，我们必须采取相反的做法。
我并不反对 人工智能 治理。 立法对于 人工智能 的安全有效发展至关重要。 但 人工
智慧 政策必须赋能开源开发，提出统一且合理的规则，并建立消费者信心。 SB-1047 未
达到这些标准。
数十位科学家联名反对
针对SB-1047，除了 李飞飞 ，由加州大学7 个校区的师生以及来自其他20 多个机构的研
究人员组成的团体也在积极行动。 他们共同起草并签署了一封反对SB-1047 的公开信，
从研究者的角度出发，陈述该法案对加州 人工智能 研究和教育目标的损害。
联名信从以下几个方面展开论述SB-1047 的不合理性：
1.法案会为开源模型的发布带来“寒蝉效应”，进而损害研究
法案中要求对“前沿模型”进行“安全审核”和具备“完全关闭”能力，可能会严重阻碍
开源和开放 权重 模型的发布。 这些严格的规定对于私有实体控制的专有模式来说可能
更容易实现，而对于非营利组织或大学联盟所使用的开放模式则较为困难。 法案中关于
安全展示和审核的条款表述不够具体，依赖可能尚未存在且可能缺乏科学严谨性的测试
。 这种审计的潜在成本对于有获利产品的商业实体来说可能容易承担，但对于像Meta 的
LLaMA 系列这样的商业实体的科学性开放发布，或是由非营利组织或大学联盟训练的开放
模型，情况可能并非如此。
由于这些繁琐的限制，开源模型的开发者可能会选择在加州或美国以外建立系统，并在避
免责任的前提下发布其模型。 在这种情况下，不顾合规的私人行为者可能会秘密使用这
些模型，而受到公共工作性质约束的学术研究人员将被排除在外，这促使他们更改研究主
题或转移到不侵犯其学术自由的司法管辖区。 开源模型的可获取性对于现代学术AI 研究
至关重要，因为它们使学术界能够探索模型的工作原理、训练过程中的能力提升以及如何
进行改进和破解。
2、 人工智能 风险预测与“能力”评估存在不科学性
作为 人工智能 、 机器学习 和 自然语言处理 领域的专家，这些研究者强调：SB-1047
中提到的评估模型风险的建议方法非常值得怀疑。 科学界就 语言模型 或其他前沿 人工
智慧 系统是否以及如何对公众构成威胁尚未达成共识。
3.对开源模型的保护不足
尽管法案提到未来可能对开源模型提供特例，但由于 参数 数量的快速增长和计算成本的
降低，现有的保护措施可能难以持续。 在没有强有力的保护措施的情况下，这些模型面
临的后果可能很快就会显现出来。 此外，性能相当的小型模型相比大型模型需要更高的
计算成本。 因此，法案中的修正案预计无法缓解对开源模型发布的负面影响，而严格的
报告和审核要求也将不必要地影响研究活动。
4.对学生的就业安置和职业成就的担忧
SB-1047 未来可能会阻碍对 人工智能 有兴趣的学生进一步学习相关知识，甚至可能会阻
止新人才进入电脑科学等关键领域。 此外，随着科技业从大公司向新创公司的转变，额
外的监管障碍可能会透过支持更大、更好的企业来削弱新兴创新者。 这种转变可能会缩
窄学生的职业道路。
除了公开信，还有一些研究者选择在社群媒体上发声。 其中，一位系统生物学家指出，
SB-1047 就像在我们还不知道病原体是什么、何时会感染我们以及感染会发生在哪里之前
就激活了发炎反应。
此前， 吴恩达 也多次就此事发声。 他认为，监管机构应该监管应用而不是技术。 例如
，电动机就是一项技术。 当我们将其放入搅拌机、电动车、透析机或导引炸弹中时，它
就成为了一种应用。 想像一下，如果法律规定，当任何人以有害的方式使用马达时，马
达制造商都要承担责任。 那个马达制造商要么停产，要么将马达制造得非常小，以至于
对大多数应用来说毫无用处。 如果我们通过这样的法律，可能会阻止人们制造炸弹，但
我们也会失去搅拌机、电动车和透析机。 相反，如果我们专注于特定的应用，就可以更
合理地评估风险并判断如何确保它们的安全，甚至禁止某些类型的应用。
AI 真的已经危险到要如此监管的地步了吗？ 对此，你怎么看？
参考连结：https://a16z.com/sb-1047-what-you-need-to-know-with-anjney-midha/
https://drive.google.com/file/d/1E2yDGXryPhhlwS4OdkzMpNeaG5r6_Jxa/view
https://fortune.com/2024/08/06/godmother-of-ai-says-californias-ai-bill-will-harm-us-ecosystem-tech-politics/?abc123