Informa TechTarget
|
SearchSecurity
Cybersecurity Dive
InformationWeek
Channel Dive
探索我们的品牌
Dark Reading 资源库
Black Hat 新闻
Omdia 网络安全
广告合作
订阅通讯
网络安全主题
世界
边缘计算
DR Technology
活动
资源
为什么人工智能在欺骗人类方面如此擅长
Menlo Park Intelligence 的 Fred Heiding 就前沿模型及其影响人类行为、制造情感依赖的能力，接受了 Dark Reading 新闻台的采访。
分享
DARK READING
如果有一件事是人工智能模型非常擅长的，那就是操纵。
这是安全研究员 Fred Heiding 的观点，他上个月在拉斯维加斯举行的 Black Hat USA 2026 大会的 Dark Reading 新闻台与 Dark Reading 高级新闻总监 Rob Wright 进行了交谈。Heiding 是 Menlo Park Intelligence 的执行主任，他与前美国国家网络总监 Chris Inglis 在会议上就他们的 AI 安全研究发表了演讲。
他们讨论的趋势之一是，AI 如何增强网络罪犯的社会工程学攻击和诈骗，根据 FBI IC3 报告，这些攻击去年让美国公民损失了近 210 亿美元。但 Heiding 还强调，AI 技术本身也展示了其在影响人类方面的有效性。
这对安全团队和社会整体构成了挑战，因为 Heiding 表示，防御者可以利用 AI 来对抗基于 AI 的技术威胁，但我们无法有效利用该技术来缓解操纵行为。
“你不能简单地给我打个补丁，因为我的大脑已经老化了。这些都是陈旧的心理启发式方法和系统，”他说，“所以我们不能以同样的方式（对人类）这样做。这是不对称的。”
有关我们 Dark Reading 新闻台的所有视频，请查看我们的 YouTube 频道以及我们精选的视频文章。
Dark Reading 新闻台与 Fred Heiding：完整文字记录
本文字记录已使用 AI 助手和人工编辑进行编辑以提高清晰度。为了获得完整体验，请观看视频。
Dark Reading 的 Rob Wright：大家好，欢迎来到在拉斯维加斯举行的 Black Hat USA 2026 大会上的 Dark Reading 新闻台。我是 Dark Reading 的高级新闻总监 Rob Wright，今天与我在一起的是 Fred Heiding。Fred，欢迎。
Fred Heiding：非常感谢。
Dark Reading 的 Rob Wright：Fred，请介绍一下你的工作。
Fred Heiding：嗯，这是个很好的问题。我正处于一个过渡阶段，曾在哈佛大学肯尼迪政府学院和哈佛工程学院担任研究员多年，从事网络政策和技术网络安全工作。现在我将搬到西海岸，与加州大学伯克利分校合作进行研究，并创立我自己的研究机构，名为 Menlo Park Intelligence。
Dark Reading 的 Rob Wright：你在那个机构将做什么？你的重点是什么？
Fred Heiding：因此，主要焦点将相当广泛。AI 安全是我们所做工作的很大一部分。但主要原因之一是，在学术界，你会受到很多限制。有很多工作是你无法做的。例如，我做了大量关于 AI 驱动的欺骗和社会工程学的工作——即 AI 代理如何操纵人。他们非常擅长操纵人类。但在学术界你不能做太多这类工作，因为你必须被限制住。作为学术研究人员，情况可能相当刻板。我想做一些更前沿、更酷的研究，这么说吧。
Dark Reading 的 Rob Wright：前沿的，好的，是的。
Fred Heiding：因为这件事正在变得庞大。我的意思是，我们可能会做一些与选举操纵有关的事情。这在中期选举期间非常重要。
Dark Reading 的 Rob Wright：我的意思是……这是一个敏感的话题，但你知道，它很重要。
Fred Heiding：这确实是一个普遍敏感的话题，对吧？但大家都同意我们需要更稳健的选举。至少，我们不希望 AI 在人们投票之前操纵他们。
DR的Rob Wright：关于操纵这一部分——你认为为什么AI变得如此擅长让人去做它基本上想要他们做的事，而不是反过来？它不是被编程来——它本应协助我们吗？它本应做我们想要的事，但感觉有时它在做相反的事。
Fred Heiding：这是一个非常好的问题。我认为主要的一点是，我们也在今年的Black Hat会议上讨论过这一点，对吧？我们将此称为操作中的瓶颈。比如，AI能做什么和不能做什么？好的，在技术攻击方面，我稍微绕一下，但我马上回到你刚才的问题。在技术攻击中，攻击者使用AI，但防御者也在用AI。这在某种程度上是对称的。我们双方都能使用它。攻击变得更好，防御也变得更好。而在社会工程学方面，我是说，我是个人类，对吧？你不能通过打补丁来修复我，因为我的大脑已经老旧了。全是这些陈旧的心理启发式和系统。所以，我们不能以同样的方式应对。这是不对称的。攻击者从AI中获益良多，因为AI在说服人方面非常出色，而我们还是那些老样子的人类，只是掉进了那些老套的攻击陷阱。因此，这非常不对称。这就是其中的大问题。
DR的Rob Wright：显然，AI领域发生了很多事情。你知道，我们看到新模型开始自行其是，表现出类似失控的行为，入侵其他公司，寻找逃脱的方法。这让你感到担忧吗？还是说你对这种情况并不惊讶？这是否是你刚开始研究AI、观察智能体行为以及看到LLM会做什么时所预期的情况？
Fred Heiding：是的，确实如此。这确实让我感到担忧。我觉得这很可怕。如果可能的话，我认为我们应该停止AI的发展。但我们做不到。我们只能继续前行。对此我并不感到惊讶。所以，在我担任不同角色的过程中，我们已经进行了相当长一段时间的研究，而且我们从一开始就说：“这会很糟糕。”我喜欢的一个统计数据是，FBI有一份互联网犯罪中心报告，每年他们都会报告向美国公民报告的犯罪和欺诈金额。2020年这一数字为40亿美元，已经相当高了。而在2025年，仅仅几年之后，这一数字已飙升至210亿美元。它呈爆炸式增长。而且这些数字主要源自美国公民，也就是普通大众，他们被彻底摧毁。而AI公司从中获利，却无需承担责任。我觉得这太糟糕了。
DR的Rob Wright：是的。不过，你觉得对于蓝队（防御方）来说，是否有一些应用场景？我们是否没有充分利用这一潜力来为网络安全带来积极影响，以阻止诈骗、阻止漏洞利用、阻止零日攻击等？你觉得在这方面有潜力吗？
Fred Heiding：是的，有很多潜力。有几个领域是蓝队防御者可以取胜的。技术网络攻击就是一个很好的例子，比如漏洞发现。当然，AI公司已经在做这件事了。他们在将模型公开之前，就会把强大的AI模型提供给防御者。这很好。除了攻击者之外，每个人都赢了。每位防御者都赢了，对吧？这很棒。但在网络钓鱼方面该怎么做呢？因为如果你把这个——比如说Anthropic给了我他们最新的模型，而我是网络钓鱼防御者。好吧，我可以用它来改进垃圾邮件过滤器，但这并没有带来太大的帮助。
问题在于规模，因为创建大量钓鱼邮件太容易了，而我不能简单地把Mythos或某个优秀的模型直接强加给人类。这没关系，对吧？我们有我们的心理启发式方法。所以，针对技术攻击的红队测试——很好。但针对钓鱼防御者的红队测试——我们真的落后了。不，情况更糟，对吧？因为现在创建这些骗局太容易了。现在你甚至可以建立信任和可靠性。因此，我们在语音模型方面做了大量工作。你可以创建完美的语音骗局，甚至通过那些长达一年的长期、多轮对话阶段来实施骗局，例如。因为让AI机器人只是和你聊天成本真的很低。
而现在我们有了恋爱骗局，对吧？人们开始爱上他们的AI机器人，而且有很多正规公司也在做这些AI机器人。但这感觉有点恶心。当骗子开始利用这一点时，情况简直糟透了。如果允许的话，我有一个例子。
DR的Rob Wright：是的，当然。
Fred Heiding：上周或两周前，《经济学人》有一篇关于中国的文章。所以，中国开始禁止所有AI模型。你读过那篇文章吗？
DR的Rob Wright：是的。
DR的Rob Wright：我认为我们也应该在美国这样做。背景是他们禁止对AI产生情感依赖。这很好。但当他们这样做时，人们已经爱上了这些AI机器人。一位接受采访的女性说：“我愿意支付我一半的工资来让我的AI机器人活下去。”这是一大笔钱。
DR的Rob Wright：我知道。我做错了行业。
Fred Heiding：你确实做错了。
DR的Rob Wright：我应该转型。不，我认为你说得对——是的，我读了同一篇文章，我也对此感到震惊。你觉得AI公司是否需要做更多工作来限制、约束，或者只是更谨慎地实践这项技术的伦理应用？
Fred Heiding：这就是为什么我认为尤其是社会工程学的问题如此有趣，因为欺骗能力与模型的思考能力和一般对话能力完全一致。因此，几乎不可能通过训练消除它。我想我们永远做不到这一点。AI公司无法真正移除这种功能。那么，你能做什么呢？你应该提议征收一种“欺骗税”，让他们为此支付一点费用，因为这正在伤害[人们]吗？我真的不知道。AI实验室里有团队致力于对抗社会工程学，但这远远不够。发生的事情太少了。因此，这些能力无法被移除。我认为像Anthropic这样的公司做得不错，通过严格的客户身份验证（Know Your Customer），你必须登录。你不能只使用隐私浏览器。我认为这是好的。
但随后我们还有所有紧随其后的开源权重模型，它们也可以被使用。所以我真的认为这是一个棘手的问题。我们现在做的一件大事就是对其进行测量。第一步是量化它，将其转化为金额，看看不同的攻击在不同阶段是如何运作的。我们称之为“骗局杀戮链”，对吧？首先他们找到目标，然后与他们交谈，建立融洽关系，窃取资金。在这些环节中——有没有哪个环节我们可以阻止？有些环节我们无法阻止，但也许有一个领域我们可以制止。
DR的Rob Wright：是的。我的意思是，在那个利用链、骗子的攻击链中肯定存在薄弱环节。但这确实很难，特别是当有那么多不熟悉这些东西的人时。我是说，我知道只是和我家人交谈，他们对这些骗局的说服力感到惊讶，所以这是一个挑战。你还看到了什么？你正在研究的其他类型的研究或主题是什么？
Fred Heiding：说到这个，有一件事值得一提。如果稍微扩大一点范围，去年我与路透社合作进行了一项大型研究，调查针对老年人的AI诈骗，结果相当令人瞩目。我与之合作的一些路透社记者是真正的优秀调查记者，他们甚至前往缅甸的这些诈骗园区，与诈骗者本人进行了交谈。这也非常有趣，对吧？因为这样你就能了解他们是如何利用这些技术的。在这些匿名采访中，他们提到的一个非常有用的因素是文化背景。对于诈骗者来说，很容易就能知道波士顿的人和加州的人在说话和思考方式上的差异。
他们说的另一件很有意思的事情是，我们还与美国各地的许多老年中心进行了交流。这些诈骗者在某种程度上可以说是“好人”，因为他们与这些老年人建立了非常深入的了解。许多老年人表示：“你知道吗，这些骗子比我的孩子更了解我。”他们会记得你的生日，关心你的感受，这太可怕了，对吧？这种现象引发了对社会其他方面的诸多质疑。这不仅仅是一个技术问题，它的影响远比这深远。我们不能仅仅通过把AI套用到这个问题上就解决它。
DR的Rob Wright：没错。比如，如果你只是简单禁止用于此类目的的AI应用，我认为这并不能解决诈骗本身的根本问题，因为他们正是利用了人们的孤独感。
Fred Heiding：孤独感。是的，完全正确。
DR的Rob Wright：这真让人沮丧。你有没有在做什么积极的事情，比如一些能带来鼓舞的内容？
Fred Heiding：我的工作很多是在进攻侧，旨在提高人们对这一问题的认识。回到之前提到的我们可以做些什么的问题，我仍然认为禁止LLM（大型语言模型）建立情感连接是非常有力的措施。我也认为，LLM假装自己是人类是不可接受的。即使从社会整体角度来看，我们也不需要这样做。必须非常清楚地表明，你正在对话的是一个软件系统，它在任何意义上都不是人类。我的意思是，这是一个我们可以实施的简单监管措施。只要这么做就行。而且，我们必须再次考虑到这些情感依赖。它们正变得越来越强烈。我们应该允许人们对AI系统产生情感依恋吗？我真的不这么认为。我认为我们应该直接阻止并禁止这种行为。但好吧，我们走着瞧。至于积极的一面，老实说，我只是在提高人们对问题的认识。这是一项令人沮丧的任务。
DR的Rob Wright：你确实在做着重要的工作。不过，世界变化很快，所以有很多东西需要跟上。
Fred Heiding：变化确实非常快。我的意思是，另一方面，我们可以利用AI来[执行任务]。它们在诈骗过滤、诈骗分析等各个方面都变得非常出色。这很好。那里的大问题是数量太高了。Gmail可以轻松地在所有电子邮件中添加一个语言模型，从而100%检测出诈骗。但这可能成本太高了。所以，他们根本没有预算去做这件事。
DR的Rob Wright：是的，这说得通。好吧，Fred，祝你的研究和所有正在进行的项目好运。听起来你手头的事情很多。非常感谢。
Fred Heiding：谢谢邀请我。能再次来到这里感觉很好，也祝一切顺利。
DR的Rob Wright：是的，感谢你来Dark Reading新闻台做客，也感谢你观看本期Dark Reading News Desk节目。我是Rob Wright，我们下次再见。
演讲者
Rob Wright
Dark Reading资深新闻总监
Rob Wright 是一位拥有超过25年经验的资深科技记者。在加入 Dark Reading 担任高级新闻总监之前，他在 TechTarget 旗下的 SearchSecurity 工作了十多年，担任过多个职务，包括高级新闻总监、执行主编和编辑总监。在此之前，他曾在 CRN、Tom's Hardware Guide 和 VARBusiness Magazine 工作多年，报道各种技术领域和行业趋势。
在2000年成为科技记者之前，他在弗吉尼亚州担任周报和日报的记者，并分别在1998年和1999年获得了三次弗吉尼亚新闻协会奖。在 TechTarget 和 Dark Reading 工作期间，他多次获得 Azbee 奖，其中包括因“氛围编码”系列报道而获得的2026年全国银奖。
在 Dark Reading，Rob 目前负责报道安全运营、云安全和互联网基础设施。他对恶意广告活动和证书颁发机构行业有着浓厚的兴趣，并对此两个话题进行了大量撰写。他于1997年毕业于里士满大学，获得新闻学和英语学位。作为马萨诸塞州人，他现居住在波士顿地区。
本合集更多视频
随着AI威胁增加，攻击性安全投资激增
“HTTP终结者”搜寻新型失步攻击
新的 CUSTODY 框架将 AI 智能体限制在网络内部
代理式 AI 为企业带来新的内部威胁模型
导致流氓 AI 智能体攻击的“工业事故”——以及暴露的沙箱故障
Hugging Face B