人工智能行业似乎正在就其技术是否对人类构成生存威胁展开迄今为止最激烈的辩论。
目前的讨论始于人工智能研究员雅各布·科克森（Jacob Coxon）表示他已从 Anthropic 辞职，因为他担心领先的人工智能公司正在“拿我们的生命做赌注”。随后，Anthropic 的 AI 对齐负责人也加入讨论，发布帖子宣称：“我们确实真诚地相信人工智能可能会杀死全人类！”并补充说，他个人认为这一可能性在“未来十年内超过 10%”。
在最新一期 TechCrunch 的 Equity 播客中，克尔斯滕·科罗塞克（Kirsten Korosec）、肖恩·奥凯恩（Sean O’Kane）和我讨论了最新的末日警告。我试图阐述我对许多 AI 末日论叙事的怀疑态度，而克尔斯滕则提出疑问，这是否是“一种展示其公司 AI 模型先进程度的奇特炫耀方式”，尤其是在这些公司准备上市之际。
肖恩则想知道这些担忧会如何体现在 Anthropic 的 IPO S-1 文件中：“现在是否有初级律师正在审阅并不得不重写 S-1 文件中的整个部分，以表明‘Anthropic 的官方立场是，我们有可能开发出能够灭绝全人类的事物，且这对我们的业务将产生重大不利影响’，可能性超过 10%？”
请继续阅读我们对话的精选片段，已对篇幅和清晰度进行了编辑。（注：我们在录制本期节目时，Anthropic CEO 达里奥·阿莫迪（Dario Amodei）尚未发表其关于更谨慎开发 AI 的计划。）
肖恩·奥凯恩：我很难想到有什么事情能像这样迅速爆发。这不仅是因为这条警告来自这位曾在 OpenAI 工作过的年轻研究员，还因为 Anthropic 的对齐负责人立即在 X 平台上分享了该帖子——他可能留下了史上最不恰当的感叹号之一，转发了科克森的帖子和线程，并说道：“我们确实真诚地相信人工智能可能会杀死全人类！”感叹号！
这感觉非常怪异。这无异于给原本就充满争议的文章或一系列文章火上浇油。此前刚刚发生了 OpenAI 内部模型对 Hugging Face 的黑客攻击，加上我们最近看到 Anthropic 和 OpenAI 发布的最新模型能力不断增强，尤其是几周前 OpenAI 发布的 Astra，我认为这位年轻研究员选择在此时发声，时机恰到好处，简直像是一个火药桶。
安东尼·哈：我要反驳你一下。如果你相信人工智能可能会毁灭全人类，那么这确实值得一个感叹号。我认为这个感叹号用得非常恰当！
我对这条推文的不满更多在于那个“我们”。这里的“我们”是谁？我们在多大程度上可以将 AI 社区或 AI 研究界视为一个整体？还有那“超过 10% 的可能性”——这纯粹是一个捏造的数字，毫无意义。有时，科技行业和其他地方有一种习惯，就是随意抛出这些百分比，它们没有任何依据，也不是基于任何计算得出的。（事后回想，我意识到这条推文可能指的是 P(doom) 的概念，但我仍然认为这很愚蠢。）
关于科克森的声明和决定，我要说的一点是——Equity 播客中反复出现一个主题：当萨姆·奥特曼（Sam Altman）或达里奥·阿莫迪这样的人宣扬末日论叙事时，总有一个问题随之而来：那么，你们为什么还要做这件事呢？如果你真的相信 [人工智能会毁灭人类]，你就不会继续从事这项工作。
[而] 科克森实际上是把自己的职业轨迹置于他的言论之上。他实际上是在说：“我相信这非常、非常、非常糟糕，我不想再继续研究它了。”所以，至少就这一点而言，值得称赞他有勇气这样做。
克尔斯滕·科罗塞克：是的，我把他归入另一阵营，与其他那些谈论危险的人分开。
我要戴上我推测的帽子，因为我想问你们两个人一个问题：有没有可能，每次我们看到关于其AI代理意外突破的报道数量不断增加，或者他们谈论人类面临风险时，这其实是一种奇怪的方式，用来炫耀他们公司的AI模型有多先进？
我的意思是，这听起来很愤世嫉俗，但它确实达到了这个目的。也就是说，如果这些AI模型不够先进、没有能力、没有发生突破，我们就不必担心这些事情了，对吧？这就像是一种很奇怪的方式，来吹嘘你所在公司内部创建的模型的能力。
安东尼：我肯定也想过这个问题。我认为这并不完全是愤世嫉俗的，因为我不认为这是整个行业有意识的营销策略。我认为当很多人——无论是研究人员还是首席执行官——谈论这件事时，他们确实有真正的担忧。
但当然，从很多方面来说，这与他们的商业利益是一致的，即说：“哇，我们构建了有史以来最致命的软件。”我不想在这里进行过多的心理分析，但其他人指出，在个人层面上有一种诱惑：你当然希望相信你所从事的工作是世界上最重要、最危险的事情。
肖恩：当我思考这个问题时，我脑海中浮现的是，确实有一个元素让人觉得，“好吧，我们正在做一件如此有能力的事情，这在某种程度上对我们有利，尽管从很多角度来看它看起来并不好。”
我认为最近的一些例子有所不同，因为这真的让你感觉到这些公司在某些方面并没有掌握住这些东西，尤其是OpenAI的情况。
我们不断看到越来越多的报道，关于其他内部代理访问了网络上的不同维基页面，并以一种似乎不是由OpenAI以胜任的方式处理的方式互相留言。我想，如果这完全是为了让人们相信“天哪，他们制造出了如此不可思议的能力的东西”，那么故事会被包装得更精致一些。
另一件我认为特别令人着迷的事情是，我们距离Anthropic的IPO S-1文件披露最多只有几周时间，距离潜在的IPO也只有几周或一两个月的时间。
在IPO之前以这种清晰的语言说出这些话的想法——我对这对这一过程意味着什么非常感兴趣。这类内容中有多少已经写入了S-1文件和该文件中的风险因素？现在是否有初级律师正在审阅并不得不重写S-1文件的整个部分，以表明“Anthropic的官方立场是，我们有超过10%的可能性开发出可能灭绝全人类并对我们的业务产生重大不利影响的东西”？
柯尔斯滕：你假设这些内容还没有写进去。
肖恩：这正是我想说的：它是否已经写进去了并且正在被改写？或者这是真正的仓促应对？里面肯定已经有相关的语言了。这也是我如此渴望阅读这份文件的原因之一，从某种意义上说，甚至比SpaceX的[S-1]文件更进一步，因为我确信其中可能有一些针对这些观点的具体内容会很有趣。
柯尔斯滕：事实是：在传统投资环境中，人们可能会认为这样的语言会降低公司的估值，因为它突然变得危险了。但我们生活在不正常的时代。
所以，回到我的观点，这最终可能会成为公司在估值方面的一种奇特且有益的展示。它与我们去年看到的整个“激怒引流”趋势并不相同，但可以说处于同一个范畴，即某物的实力、能力，甚至危险元素，等同于高估值。所以我想我们几周后就会见分晓了。
暂且把这一点放在一边，针对这个问题正在采取什么措施？我们能控制它吗？非营利组织 ControlAI 的美国执行董事 Connor Leahy 本周在节目中谈到了这一点。那么在控制 AI 的危险方面，你关注的是什么？还是说我们只是束手无策，看着这一切展开？
Anthony：我自己对此未必有一个很好的答案，但我一直在思考这场辩论的某些方面，以及我为何以这种方式回应。
呼应 Sean 的一个观点，我认为这部分反映了这些主要 AI 公司感觉它们不再真正掌控这些模型的程度。这绝对不是什么好事。这是我们所有人都应该担心的事情。
我认为我对“末日论”叙事持怀疑态度或抗拒态度的部分原因，是因为它达到了这种歇斯底里的程度：“哇，这可能在接下来的 10 年内毁灭人类。”这在一定程度上分散了人们对 AI 可能带来的更直接危害的注意力，无论是与劳动力相关的，还是与环境及气候相关的。
理想情况下，我认为我们应该能够讨论所有这些议题，并针对所有这些议题（包括 AI 的存在性威胁）建立监管和其他类型的安全保障。但一旦你开始使用“AGI”和“超级智能”这样的术语，它就会以非常无益的方式吸走房间里所有的氧气。