间接提示注入（IPI）是一种不断演变的威胁向量，针对的是拥有多个数据源的复杂 AI 应用用户，例如 Workspace with Gemini。该技术使攻击者能够通过向 LLM 在响应用户查询时所使用的数据或工具中注入恶意指令，从而影响大语言模型的行为。甚至无需用户直接输入任何内容，这也可能发生。
IPI 并非那种可以“解决”后就抛诸脑后的技术问题。随着具有高级能力的 LLM 越来越多地结合代理自动化，并与广泛的内容相结合，这为对抗性攻击创造了一个超动态且不断演变的演练场。这就是为什么 Google 采取复杂且全面的方法来应对这些攻击。我们持续改进 LLM 对 IPI 攻击的抵抗力，并推出具备日益增强防御能力的 AI 应用功能。在最新的间接提示注入攻击中保持领先，对于我们实现 Workspace with Gemini 安全化的使命至关重要。
在我们之前的博客文章《通过分层防御策略缓解提示注入攻击》中，我们回顾了 IPI 防御的分层架构。在本篇博客中，我们将分享更多关于我们持续改进这些防御措施并应对新攻击的方法的细节。
新攻击发现
通过内部和外部计划主动发现并编目新的攻击向量，我们可以识别漏洞并在对抗性活动发生之前部署强大的防御措施。
人工红队测试
人工红队测试利用对抗性模拟来揭示安全和安全性漏洞。专业团队基于逼真的用户画像执行攻击以利用弱点，并与产品团队协作解决已发现的问题。
自动化红队测试
自动化红队测试通过动态的、由机器学习驱动的基础设施框架进行压力测试。通过算法生成并迭代攻击载荷，我们可以大规模地模拟复杂威胁的行为。这使得我们能够绘制复杂的攻击路径，并验证我们的安全控制在比手动测试所能实现的更广泛的边缘案例中的有效性。
Google AI 漏洞奖励计划（VRP）
Google AI 漏洞奖励计划（VRP）是促进 Google 与发现利用 IPI 的新攻击的外部安全研究人员之间协作的关键工具。通过该 VRP，我们认可并奖励贡献者的研究工作。我们还定期举办现场黑客松活动，为受邀的研究人员提供访问预发布功能的机会，主动发现新颖的漏洞。这些合作伙伴关系使 Google 能够快速验证、复现并解决外部发现的问题。
公开披露的 AI 攻击
Google 利用开源情报源来掌握最新公开披露的 IPI 攻击情况，涵盖社交媒体、新闻稿、博客等。在此基础上，我们在内部对新的 AI 漏洞进行来源收集、复现和编目，以确保我们的产品不受影响。
漏洞目录
所有新发现的漏洞都要经过 Google 信任、安全与团队执行的全面分析流程。每个新漏洞都会被复现、检查是否有重复项、映射到攻击技术/影响类别，并分配给相关的所有者。新的攻击发现来源与漏洞目录流程的结合，帮助 Google 以可操作的方式掌握最新的攻击动态。