在谷歌，我们的威胁情报团队致力于始终领先于现实世界中的对抗性活动，主动监控新兴威胁，防止其影响用户。目前，间接提示注入（Indirect Prompt Injection，简称 IPI）是安全社区的首要关注点，各方普遍预期这将成为攻击者针对并破坏 AI 代理的主要攻击向量。然而，尽管 IPI 的危险性已被广泛讨论，但威胁行为者是否真的在利用这一向量——如果是，又是如何做到的呢？
为了回答这些问题并揭示现实世界中的滥用情况，我们对公共网络进行了广泛的扫描，以监控已知的间接提示注入模式。以下是我们的发现。
间接提示注入的威胁
与用户“越狱”聊天机器人的直接注入不同，IPI 发生在 AI 系统处理包含恶意指令的内容（如网站、电子邮件或文档）时。当 AI 读取这些被投毒的内容时，它可能会 silently 遵循攻击者的命令，而不是执行用户的原始意图。
这并非我们新的关注领域，谷歌一直在不懈努力以应对这些威胁。我们的努力涉及 Google DeepMind (GDM) 的研究人员与 Google Threat Intelligence Group (GTIG) 等防御者之间的跨职能协作。我们此前曾详细阐述过我们在该领域的工作，研究人员也进一步强调了这些漏洞的不断演变性质。
尽管有这种集体关注，但一个基本问题仍然存在：现实世界中的恶意行为者在多大程度上目前正在将这些攻击付诸实践？
谷歌的主动监控
网络上的 IPI 格局
攻击者可能通过多种渠道尝试发送提示注入。然而，有一个位置特别易于观察——公共网络。在这里，威胁行为者可能会简单地在网站上植入提示注入，希望污染浏览这些网站的 AI 系统。
公开研究证实了这些攻击是可能的；因此，我们应该预期现实世界中的对手会利用这些漏洞来造成损害。
因此，我们提出一个基本问题：今天的真实攻击者试图实现什么目标？
为了便于访问和复现，我们选择使用 Common Crawl，这是一个来自英语网络的大型爬取网站存储库。Common Crawl 每月提供 20 亿至 30 亿个页面的快照。这些大多是静态网站，包括自我发布的内容，如博客、论坛以及这些网站上的评论，但需要注意的是，它不包含大多数社交媒体内容（例如 LinkedIn、Facebook、X……），因为 Common Crawl 会跳过带有登录墙和反爬取指令的网站。
这意味着，虽然我们在社交媒体上观察到了提示注入，但我们将其留待即将发布的单独研究中讨论。作为初步观察，我们甚至可以在标准 HTML 中观察到提示注入，Common Crawl conveniently 不仅提供了源代码，还提供了解析后的纯文本。
误报的挑战
扫描大量文档以查找提示注入的任务听起来很简单，但在现实中却受到大量误报检测的阻碍。
早期实验揭示了大量“良性”提示注入文本，这说明了区分功能性威胁和无害内容的复杂性。许多提示注入被发现于研究论文、教育博客文章或讨论这一主题的安全文章中。