CaMeL Offers a Promising New Direction for Mitigating Prompt Injection Attacks / CaMeL：提示注入防御的新希望
原标题: CaMeL Offers a Promising New Direction for Mitigating Prompt Injection Attacks 作者: Simon Willison 发布日期: 2025年4月11日 原文链接: https://simonwillison.net/2025/Apr/11/camel/
一句话摘要
Google DeepMind 提出的 CaMeL 系统通过将用户意图转化为受限代码序列、追踪数据信任层级，为解决提示注入这一困扰AI安全领域两年半的核心难题提供了首个具有说服力的系统级方案。
核心内容翻译
背景：一个悬而未决的难题
自2022年提示注入（Prompt Injection）被识别为严重威胁以来，已经过去两年半时间，但"朝着稳健解决方案的进展令人担忧地缓慢"。核心难题在于：目前没有已知的可靠方法让LLM在遵循一类文本的指令的同时，安全地将这些指令应用到另一类文本上。
CaMeL 的核心设计思想
CaMeL 并非试图用更多的AI来解决AI的安全问题，而是运用经典安全工程原理进行系统设计：
1. 意图转译
系统将用户的自然语言请求转换为一种受限的类Python代码序列。这确保了用户的意图被精确捕获，而不会被后续处理中的恶意内容篡改。
2. 数据信任追踪
CaMeL 实现了一个自定义解释器，能够追踪数据的来源和信任级别。每个变量都带有"能力标签"（capabilities），记录数据从何处获取、拥有何种访问权限。来自不可信来源的数据会被持续标记和监控。
3. 安全策略执行
基于数据流分析，系统可以自动阻止来源于不可信内容的变量触发敏感操作。例如，即使攻击者在文档中嵌入了"发送邮件"的指令，只要该指令的数据来源被标记为不可信，系统就会拒绝执行。
对"双LLM模式"的改进
Willison 此前提出过一种防御思路：使用两个LLM——一个拥有完整权限的"特权LLM"用于规划，一个"隔离LLM"用于处理可能包含恶意内容的数据。CaMeL 在此基础上更进一步，解决了隔离LLM可能提取数据并反向影响特权LLM决策的漏洞。
显著优势
- 隐私优势：处理不可信内容的隔离LLM可以在用户本地设备上运行，敏感数据无需上传到云端。
- 确定性保证：使用经典安全工程中的数据流分析，而非概率性的AI检测，提供更强的安全保障。
- 可验证性：安全策略基于明确的规则，可以被审计和验证。
尚存的挑战
CaMeL 并非银弹。作者坦诚地指出了几个待解决的问题：
- 用户需要定义和维护安全策略，这对非技术用户来说可能过于复杂。
- 频繁的安全确认可能导致"决策疲劳"——用户可能最终养成无脑点"允许"的习惯，类似于操作系统中的权限弹窗问题。
- 系统的实际部署效果仍需在生产环境中验证。
技术要点
代码转译策略：将自然语言意图转化为受限代码序列，实现了指令与数据的结构化分离——这是解决提示注入的关键突破点。
数据流分析（Taint Tracking）：借鉴了传统安全工程中的"污点追踪"技术，为每个数据变量维护来源和信任标签，实现细粒度的安全控制。
能力标签系统（Capabilities）：每个数据对象携带权限标签，类似操作系统中的访问控制列表（ACL），确保权限不会通过数据流隐式传播。
双LLM架构的演进：从简单的权限隔离发展为完整的数据信任链，解决了隔离LLM可能成为信息泄露通道的问题。
确定性 vs 概率性安全：CaMeL 代表了AI安全从"用AI防AI"到"用工程方法防AI漏洞"的范式转变。
深度解读
CaMeL 论文的重要性不仅在于它提出了一个具体的技术方案，更在于它代表了一种思维方式的转变。过去两年中，大多数提示注入的"防御方案"本质上都是在玩猫鼠游戏——用一个AI来检测另一个AI是否被欺骗。这种方法天然存在概率性缺陷。
CaMeL 的核心洞见是：安全问题应该用安全工程的方法来解决，而不是用更多的AI。数据流分析、污点追踪、最小权限这些概念在操作系统安全和Web安全领域已经使用了几十年。将这些成熟的方法论引入AI代理安全领域，是一个自然而有力的方向。
Willison 本人的兴奋是有理由的——作为持续关注提示注入问题两年半的研究者，他第一次看到了"可信的解决方案"。当然，从论文到生产部署还有很长的路要走，但CaMeL 至少证明了：提示注入不是一个无解的问题，只是需要跳出纯AI的框架来思考。
延伸思考
安全与体验的平衡：CaMeL 要求用户参与安全决策，这可能严重影响用户体验。如何设计既安全又无摩擦的交互模式，是落地的核心挑战。
标准化的可能：CaMeL 的安全策略体系是否有望成为AI代理的通用安全标准？类似于HTTPS之于Web安全的角色。
对开源生态的影响：如果CaMeL的方法被证明有效，未来的开源AI代理框架（如LangChain、AutoGPT）是否会集成类似的安全层？
与MCP协议的结合：Anthropic 的 Model Context Protocol 正在成为AI代理工具调用的标准协议，CaMeL 的安全模型如何与MCP集成将是值得关注的方向。
翻译整理日期：2026年3月21日