Informa TechTarget
|
SearchSecurity
Cybersecurity Dive
InformationWeek
Channel Dive
探索我们的品牌
Dark Reading 资源库
Black Hat 新闻
Omdia 网络安全
广告合作
订阅通讯
网络安全主题
世界
边缘计算
DR Technology
活动
资源
为什么人工智能在欺骗人类方面如此擅长
Menlo Park Intelligence 的 Fred Heiding 就其关于前沿模型的研究，以及这些模型影响人类行为和制造情感依赖的能力，接受了 Dark Reading 新闻台的采访。
分享
DARK READING
如果说有什么是 AI 模型特别擅长的，那就是操纵。
这是安全研究员 Fred Heiding 的观点，他上个月在拉斯维加斯举行的 Black Hat USA 2026 大会期间，与 Dark Reading 的高级新闻总监 Rob Wright 在 Dark Reading 新闻台进行了交谈。Heiding 是 Menlo Park Intelligence 的执行董事，他与前美国国家网络总监 Chris Inglis 在会议上就他们的 AI 安全研究发表了演讲。
他们讨论的趋势之一是，AI 如何增强网络罪犯的社会工程攻击和诈骗活动。根据 FBI IC3 报告，去年此类活动给美国公民造成的损失接近 210 亿美元。但 Heiding 还强调，AI 技术本身也展示了其在影响人类方面的高效性。
这对安全团队乃至整个社会都构成了挑战，因为 Heiding 表示，防御者可以利用 AI 来对抗基于 AI 的技术威胁，但我们无法有效地利用该技术来缓解操纵行为。
“你不能简单地通过‘打补丁’来解决我的问题，因为我的大脑已经老化了。这些都是陈旧的心理启发式方法和系统，”他说，“所以我们不能以同样的方式（对人们）进行处理。这是不对称的。”
如需观看我们 Dark Reading 新闻台的所有视频，请访问我们的 YouTube 频道以及精选的视频文章。
Dark Reading 新闻台与 Fred Heiding：完整文字记录
本文字记录已使用 AI 助手和人工编辑进行编辑，以提高清晰度。为了获得完整的体验，请观看视频。
Dark Reading 的 Rob Wright：大家好，欢迎来到在拉斯维加斯举行的 Black Hat USA 2026 大会上的 Dark Reading 新闻台。我是 Dark Reading 的高级新闻总监 Rob Wright，今天与我在一起的是 Fred Heiding。Fred，欢迎。
Fred Heiding：非常感谢。
Dark Reading 的 Rob Wright：Fred，请介绍一下你的工作。
Fred Heiding：嗯，这是个很好的问题。我正处于一个过渡阶段，此前我在哈佛肯尼迪学院和哈佛工程学院担任研究员多年，从事网络政策和技术网络安全工作。现在我正转向西海岸，与加州大学伯克利分校合作进行研究，并创立自己的研究机构，名为 Menlo Park Intelligence。
Dark Reading 的 Rob Wright：你在那个机构将做什么？你的重点是什么？
Fred Heiding：主要焦点将相当广泛。AI 安全是我们工作的很大一部分。但主要原因之一是，在学术界，你会受到很多限制。有很多工作是你无法开展的。例如，我做了大量关于 AI 驱动的欺骗和社会工程的研究——即 AI 代理如何操纵人类。他们在操纵人方面非常擅长。但在学术界你不能做太多这类研究，因为你必须受到约束。作为学术研究人员，处境往往相当受限。我想做一些更前沿、更酷的研究，这么说吧。
Dark Reading 的 Rob Wright：前沿，好的，是的。
Fred Heiding：因为这件事正在变得庞大。我的意思是，我们可能会涉足选举操纵方面的工作。这在中期选举期间现在非常重要。
Dark Reading 的 Rob Wright：我的意思是……这是一个敏感话题，但你知道，它很重要。
Fred Heiding：这确实是一个普遍敏感的话题，对吧？但大家都同意，我们希望有更稳健的选举。至少，我们不希望 AI 在人们投票之前操纵他们。
DR的Rob Wright：关于操控部分——你为什么认为AI在让人按照它基本想要的方向行动方面变得如此擅长，而不是反过来？它不是被编程来协助我们的吗？它本应做我们想要的事，但感觉有时它在做相反的事情。
Fred Heiding：这是一个非常好的问题。我认为主要原因在于，我们也在今年的黑帽大会上讨论过这一点，我们称之为这次操作中的瓶颈。比如，AI能做什么和不能做什么？好的，在技术攻击方面，我稍微绕个弯子，但我马上回到正题。在技术攻击中，攻击者使用AI，但防御者也使用AI。这在某种程度上是对称的。我们都可以使用它。攻击变得更强，防御也变得更强。而在社会工程学方面，我是人类，对吧？你无法通过打补丁来修复我，因为我的大脑已经老化了。全是这些陈旧的心理启发式方法和系统。所以我们不能以同样的方式应对。这是不对称的。攻击者从AI中获益良多，因为AI在说服人方面非常擅长，而我们还是那些老样子的人类，依然会落入同样的旧陷阱。所以，这非常不对称。这就是其中的大问题。
DR的Rob Wright：显然，AI领域发生了很多事情。你知道，我们看到新的模型开始自行其是，表现出类似流氓的行为，入侵其他公司，寻找逃脱的方法。这让你感到担忧吗？还是说你对此并不惊讶？这是否是你刚开始研究AI、观察智能体行为以及看到大语言模型会做什么时所预期的情况？
Fred Heiding：是的，而且确实如此。它让我感到担忧。我觉得这很可怕。如果可能的话，我认为我们应该停止AI的发展。但我们做不到。只能继续下去。我并不对此感到惊讶。所以，在我担任不同角色的期间，我们已经进行了相当长一段时间的研究，并且从一开始我们就说：“这会带来坏结果。”我喜欢的一个统计数据是，美国联邦调查局（FBI）有一份互联网犯罪中心报告，每年他们都会报告向美国公民报告的犯罪和欺诈金额。2020年这一数字为40亿美元，已经相当高了。而在2025年，也就是几年后，这一数字已达到210亿美元。它呈爆炸式增长。而且这些数字主要源自美国公民，也就是普通大众，他们被彻底摧毁。而AI公司从中获利，却不承担责任。我认为这太糟糕了。
DR的Rob Wright：是的。不过，你觉得在蓝队、防御方面是否有一些应用场景？我们是否没有充分发挥利用这一技术为网络安全带来积极影响的潜力，比如阻止诈骗、阻止漏洞利用、阻止零日攻击等？你觉得在这方面有潜力吗？
Fred Heiding：是的，有很多潜力。有几个领域是蓝队防御者可以取胜的。技术网络攻击就是一个很好的例子，比如漏洞发现。当然，AI公司已经这样做了。他们在向公众发布之前，就会将功能强大的AI模型提供给防御者。这很好。除了攻击者之外，每个人都赢了。每个防御者都赢了，对吧？这很棒。但在网络钓鱼方面该怎么做呢？因为如果你把这种技术给出去——比如，假设Anthropic给了我他们最新的模型，而我是网络钓鱼防御者。好吧，我可以用它来改进垃圾邮件过滤器，但这并没有带来太大的帮助。
问题在于规模，因为生成大量钓鱼邮件太容易了，而我不能简单地把Mythos或某个优秀的模型直接推给人类。这没关系吗？我们有我们的心理启发式方法。所以，针对技术攻击的蓝队测试——很好。但针对钓鱼防御者的蓝队测试——我们真的落后了。不，情况甚至更糟，对吧？因为现在制造这些骗局太容易了。现在你还能建立信任和可靠性。因此，我们在语音模型方面做了大量工作。你可以创建完美的语音诈骗，尤其是在那些长达一年的长期、多轮对话场景中，例如。因为让AI机器人和你聊天成本真的很低。
而现在我们有的是情感诈骗，对吧？人们开始爱上他们的AI机器人，而且确实有很多正规公司也在做这类AI机器人。但这感觉有点令人不适。而当骗子开始利用这一点时，情况就糟透了。这里有一个例子，如果我可以说的话。
DR的Rob Wright：是的，当然。
Fred Heiding：上周或两周前，《经济学人》有一篇关于中国的文章。所以，中国开始禁止所有AI模型。你看过那篇文章吗？
DR的Rob Wright：是的。
DR的Rob Wright：我认为我们也应该在美国这样做。背景是，他们禁止对AI产生情感依赖。这很好。但当他们这么做时，人们已经爱上了这些AI机器人。一位受访的女性说：“我愿意支付我一半的工资来让我的AI机器人继续存在。”那是一笔巨款。
DR的Rob Wright：我知道。我做错了行当。
Fred Heiding：你确实做错了。
DR的Rob Wright：我应该转型。不，我认为你说得对——是的，我读了同一篇文章，对此感到震惊。你觉得AI公司是否需要做更多工作来限制、约束，或者更恰当地说是实践这项技术更合乎伦理的应用？
Fred Heiding：这就是为什么我认为这个问题，尤其是社会工程学方面的问题如此有趣，因为欺骗能力与模型的思考能力和一般对话能力完全一致。因此，几乎不可能通过训练来消除它。我想我们永远也做不到这一点。AI公司无法真正移除这种功能。那么，你能做什么呢？你是否应该提议征收一种“欺骗税”，让他们为此支付一点费用，因为这正在伤害人们？我不太确定。AI实验室确实有团队致力于对抗社会工程学，但做得远远不够。发生的事情还不够多。因此，这些能力无法被移除。我认为像Anthropic这样的公司做得不错，在“了解你的客户”方面要求严格，你必须登录，不能仅仅使用隐私浏览器。我认为这很好。
但我们还有所有紧随其后的开源权重模型，它们也可以被利用。所以我真的认为这是一个棘手的问题。我们现在做的一件大事就是对其进行测量。第一步是量化它，将其转化为金额，观察不同的攻击在不同阶段是如何运作的。我们称之为“诈骗杀戮链”，对吧？首先他们找到目标，然后与他们交谈，建立融洽关系，最后窃取资金。在这些环节中——有没有哪个环节我们可以阻止？有些环节我们无法阻止，但也许有一个领域我们可以制止。
DR的Rob Wright：是的。我的意思是，在那个利用链条、骗子的攻击链中肯定存在薄弱环节。但这确实很难，尤其是当有那么多不熟悉这些情况的人时。我是说，我只是和家人聊天，他们对这些骗局的说服力感到惊讶，所以这是一个挑战。你还有什么其他发现？你还在研究哪些其他类型的研究或主题？
弗雷德·海丁：说到这个，有一件事——如果我们把视角稍微放大一点，去年我与路透社合作进行了一项大型研究，调查针对老年人的AI诈骗，结果相当令人瞩目。我与其中一些路透社记者共事，他们是非常优秀的调查记者，甚至亲自前往缅甸的这些诈骗园区，与诈骗者本人进行了交谈。这也非常有趣，对吧？因为这样你就能了解他们是如何利用这些技术的。在这些匿名采访中，提到一个非常有用的因素是文化背景。诈骗者很容易掌握波士顿人和加州人在说话和思考方式上的差异。
他们还提到了另一件很有趣的事情，我们也与美国各地的许多老年中心进行了交流。这些诈骗者在某种程度上可以说是“好人”，因为他们与这些老年人建立了非常深入的了解。许多老年人表示：“你知道吗，这些骗子比我的孩子更了解我。”他们会记得你的生日，关心你的感受，这太可怕了，对吧？这种现象引发了对社会其他方面的诸多质疑。这不仅仅是一个技术问题，其影响远比这深远。我们不能仅仅通过简单地将AI应用上去就解决这个问题。
DR的罗布·赖特：没错。比如，如果你只是简单地禁止使用此类AI应用，我认为这并不能解决诈骗本身的根本问题，因为他们正是利用了人们的孤独感。
弗雷德·海丁：孤独感。是的，完全正确。
DR的罗布·赖特：这太令人沮丧了。你有没有在从事一些积极的、令人振奋的工作？
弗雷德·海丁：我的工作很多是在进攻方，旨在提高人们对这一问题的认识。回到之前提到的我们能做什么的问题，我仍然认为禁止LLM（大型语言模型）建立情感连接是非常有力的措施。我也相信，LLM假装自己是人类是不可接受的。我认为即使对我们社会而言，也不需要这样做。明确告知对方你正在与之交流的是一个软件系统，它在任何意义上都不是人类。我的意思是，这是一个我们可以轻松实施的监管措施。只要这么做就行。而且，我们必须再次考虑到这些情感依赖。它们正变得越来越强烈。我们应该允许人们对AI系统产生情感依恋吗？我真的不这么认为。我认为我们应该直接阻止并禁止这种行为。但好吧，我们走着瞧。至于积极的一面，老实说，我只是提高对问题的认识。这是一项令人沮丧的任务。
DR的罗布·赖特：你确实是在做造福世人的工作。不过，世界变化很快，所以有很多东西需要跟上。
弗雷德·海丁：变化真的很快。我的意思是，从另一方面来说，我们可以利用AI来[执行任务]。它们在诈骗过滤、诈骗分析等各个方面都变得非常擅长。这很好。那里的大问题是数量太大了。Gmail完全可以向所有电子邮件添加一个语言模型，从而100%检测出诈骗。但这可能成本太高了。所以，他们只是没有预算去做这件事。
DR的罗布·赖特：是的，这说得通。那么，弗雷德，祝你研究顺利，也祝你手头的所有项目进展良好。听起来你有很多工作要做。非常感谢。
弗雷德·海丁：谢谢邀请我。很高兴再次来到这里，祝一切顺利。
DR的罗布·赖特：是的，感谢你来Dark Reading新闻台做客，也感谢你观看本期Dark Reading News Desk节目。我是罗布·赖特，我们下次再见。
演讲者
罗布·赖特
Dark Reading资深新闻总监
Rob Wright 是一位拥有超过 25 年经验的资深科技记者。在加入 Dark Reading 担任高级新闻总监之前，他在 TechTarget 旗下的 SearchSecurity 工作了十多年，担任过多个职位，包括高级新闻总监、执行主编和编辑总监。在此之前，他曾在 CRN、Tom's Hardware Guide 和 VARBusiness Magazine 等媒体工作多年，报道各种科技领域和行业趋势。
在 2000 年成为科技记者之前，他在弗吉尼亚州担任周报和日报的记者，并分别在 1998 年和 1999 年获得了三次弗吉尼亚新闻协会奖。在 TechTarget 和 Dark Reading 工作期间，他多次获得 Azbee 奖项，其中包括因“氛围编程”系列报道而获得的 2026 年国家银奖。
在 Dark Reading，Rob 目前主要负责报道安全运营、云安全和互联网基础设施。他对恶意广告活动和证书颁发机构行业有着浓厚的兴趣，并对此两个主题进行了大量撰写。他于 1997 年从里士满大学获得新闻学和英语学位。作为马萨诸塞州的本地人，他目前居住在波士顿地区。
更多来自该合集的视频
随着 AI 威胁增加，攻击性安全投资激增
“HTTP 终结者”搜寻新型失步攻击
新的 CUSTODY 框架将 AI 智能体限制在网络内部
Agentic AI 为企业带来新的内部威胁模型
导致流氓 AI 智能体攻击的“工业事故”——以及暴露的沙箱故障
Hugging Face B