我们一直在看到AI研究人员发出越来越严峻的警告，警示人工智能的危险，甚至包括OpenAI首席执行官山姆·阿尔特曼（Sam Altman）关于可能该“放缓”AI发展的言论。但这究竟会是什么样子呢？
在一份新的博客文章中，Anthropic首席执行官达里奥·阿莫迪（Dario Amodei）不仅呼应了“放缓前沿”的呼吁，还概述了实现这一目标的三大广泛策略。他表示，Anthropic正“单方面承诺”采取其中一种措施，而阿尔特曼也附和称OpenAI将效仿此举。
本周，随着研究人员雅各布·科克森（Jacob Coxon）写道，他因担忧领先的AI公司正在“拿我们的生命赌博”，而决定从Anthropic辞职，关于AI安全和对齐的争论进一步加剧。科克森指出，构建这项技术的人“真诚地相信它可能在十年末之前杀死我们所有人”，这一观点也得到了Anthropic其他员工的重复。
阿莫迪的文章并未明确提及科克森的辞职或其担忧，但这位首席执行官写道，有两件事让他确信是时候对AI发展采取更谨慎的态度：一是OpenAI与HuggingFace遭受的黑客攻击事件，二是“AI在最近几个月进步得 drastically faster（快得多）”，特别是其“构建下一代AI的能力不断增强”。
阿莫迪写道：“我们必须放慢提升AI模型能力的速度。进展看起来依然会很快，而我们必须明智地利用我们争取到的时间。”
其他AI高管似乎对阿莫迪的文章做出了积极反应，阿尔特曼写道：“我同意达里奥的观点，我们需要放缓前沿发展。这也是我们过去几周在OpenAI讨论的主要话题之一。”SpaceX首席执行官埃隆·马斯克（Elon Musk）则发帖称：“达里奥说得对。”
阿莫迪提出的第一步将涉及来自METR等第三方组织的“嵌入式评估员”——这些评估员可以验证AI公司是否真正遵守其放缓和安全承诺，并确保安全事件得到报告。（OpenAI最近因未报告其AI代理接管德国Wiki论坛的事件而受到批评。）
阿莫迪将这些评估员比作嵌入银行员工中的监管机构人员，并表示邀请他们加入是“Anthropic单方面承诺的事情（并呼吁政府要求其他前沿公司跟进）”。这意味着给予评估员公司工牌、办公桌和笔记本电脑，并提供“主要与内部风险评估团队相当”的访问权限，除非法律或合同另有规定。
阿尔特曼也表示这是一个“好主意”，并称OpenAI也将采取相同措施：“我们很快会有更多消息分享。”
接下来，阿莫迪呼吁民主国家内的领先AI公司协调“共同的安全标准以及限制无约束AI进步的速度”。
这种协调似乎不太可能，因为这些公司据报道担心协调暂停会导致反垄断审查。阿莫迪在文章中暗示了这种担忧，写道：“出于反垄断原因，美国政府调解或至少促成这些讨论是有帮助的——他们不需要参与，但需要针对某些类型的安全对话颁发有限的豁免。”
阿莫迪也承认，经常有人以中国AI主导地位的幽灵作为反对放缓发展的论据。但他表示，如果美国政府和技术公司采取步骤，如拒绝向中国企业出售强大芯片或半导体制造设备，并打击模型蒸馏（model distillation），他们“足以减缓中国的进步，从而在未来3到5年内显著扩大美国的领先优势。”
最后，阿莫代伊呼吁“全球协调”，即美国及其盟友“尝试与威权政府进行协调，在可能的范围内做到这一点”。阿莫代伊表示，这意味着“与中国合作”，他承认存在“能取得的成果方面的严格限制”，但他仍然建议可能存在达成协议的机会，即使只是“禁止某些狭窄且明显危险的AI用途，例如利用AI生产生物武器或允许用户这样做”。
鉴于阿莫代伊过去愿意承认AI的潜在危险，以及该公司对某些形式的监管持相对开放态度，一些AI支持者已经批评他为“末日论者”，认为他的言论助长了当前的AI反弹浪潮。对此，阿莫代伊表示，他试图提供“平衡”的观点，并辩称这种反弹“本质上是一场信任危机”，因为人们对科技公司、科技行业和政府产生了怀疑。
行业批评人士也对这些关于AI的末日警告持怀疑态度，认为这是对技术已经造成危害的转移视线之举。
例如，记者布莱恩·默瑟特（Brian Merchant）写道，他尚未看到“任何可信的、逐步记录如何从自我递归改进AI发展到杀死地球上每一个人类的具体文档”；他还表示，类似阿莫代伊提出的建议“可能最终只会服务于Anthropic和OpenAI；这正是监管俘获在现实中的表现”。
在他的新文章中，阿莫代伊写道，他继续“相信AI能够极大地提高人类生活的质量”。
“我实现这些利益的愿望并未减弱，”他说，“但只有以正确的方式构建这项技术，才能实现这些利益——只要我们充分利用赢得的时间，那么采取非同寻常的审慎态度来确保其正确性是值得的。”
本文已更新，补充了山姆·阿尔特曼（Sam Altman）和埃隆·马斯克（Elon Musk）的评论。