How We Built Our Multi-Agent Research System
中文标题:我们如何构建多智能体研究系统
一句话摘要: Anthropic 工程团队详细披露了其 Research 功能背后的多智能体架构设计——通过"协调者-工作者"模式让多个 Claude 智能体并行协作,在内部评测中比单智能体性能提升 90.2%,同时分享了提示词工程、评估方法和生产部署中的关键经验教训。
文章信息
- 原文标题: How We Built Our Multi-Agent Research System
- 作者: Jeremy Hadfield, Barry Zhang, Kenneth Lien, Florian Scholz, Jeremy Fox, Daniel Ford
- 发布日期: 2025年6月13日
- 原文链接: https://www.anthropic.com/engineering/multi-agent-research-system
完整核心内容翻译
一、系统架构概述
Anthropic 的 Research 功能采用多个 Claude 智能体协同工作的方式,以更高效地处理复杂主题。该系统在多智能体协调、工具设计和提示词优化方面实现了重大工程突破。
系统采用协调者-工作者(Orchestrator-Worker)模式:一个主导智能体(Lead Agent)负责分析用户查询、制定研究策略,并生成多个专门的子智能体(Subagent)并行运作。每个子智能体同时探索不同方面的内容,最终将研究结果汇总给主研究智能体进行综合分析。
二、性能指标
根据内部评测数据:
"以 Claude Opus 4 作为主导智能体、Claude Sonnet 4 作为子智能体的多智能体系统,在我们的内部研究评测中,比单一 Claude Opus 4 智能体的性能高出 90.2%。"
Token 使用量被证明是影响性能的主导因素,解释了搜索质量基准测试中 80% 的方差。
三、成本-性能权衡
多智能体系统需要消耗显著更多的资源:
- 单个智能体通常消耗约 4 倍于标准聊天交互的 token
- 多智能体系统则消耗约 15 倍的 token
这种架构只有在面对高价值任务——即能够证明增加的计算开销是合理的任务时,才具有经济意义。
四、八大核心提示词原则
团队总结了八个关键的提示词策略:
1. 像你的智能体一样思考(Think Like Your Agents) 通过使用实际系统提示词和工具来模拟智能体行为,从而理解智能体的思维方式。开发者应亲身体验智能体在给定提示词和工具下的决策过程。
2. 教会委派(Teach Delegation) 为子智能体提供清晰的目标、输出格式、工具使用指导和任务边界。明确告知每个子智能体它应该做什么、不应该做什么。
3. 按复杂度扩展(Scale to Complexity) 在提示词中嵌入明确的工作量指导:
- 简单查询:1 个智能体,3-10 次工具调用
- 复杂查询:10 个以上子智能体
4. 工具设计至关重要(Tool Design Matters) 强调清晰的工具描述和工具选择的启发式规则。好的工具设计能显著降低智能体的错误率。
5. 自我改进(Self-Improvement) 利用 Claude 自身诊断失败原因和建议提示词改进的能力。让模型参与自身提示词的优化迭代。
6. 搜索策略(Search Strategy) 先从广泛搜索开始,然后逐步缩小焦点。避免过早聚焦于单一方向。
7. 引导式思考(Guided Thinking) 使用扩展思考模式(Extended Thinking)作为可控的规划草稿本,引导智能体的推理方向。
8. 并行执行(Parallel Execution) 同时启动 3-5 个并行子智能体和 3 个以上的并行工具调用,将研究时间最多减少 90%。
五、评估方法论
团队开发了灵活的评估方法,承认智能体可能通过多条有效路径到达正确答案:
- 小样本测试: 从约 20 个有代表性的查询开始,而非等待大规模评估。快速迭代,尽早发现问题。
- LLM 作为评判者(LLM-as-Judge): 单一提示词评估,从事实准确性、引用质量、完整性、信息源质量和工具使用效率等维度打分。
- 人工验证: 捕捉自动化评估遗漏的边缘案例、幻觉和信息源选择偏差。
六、生产工程挑战
状态性与错误累积(Statefulness and Error Compounding) 智能体在长时间序列中维护状态,需要可恢复的执行机制和优雅的错误处理,而不是简单的重启。一个早期的错误可能在后续步骤中层层放大。
调试复杂性(Debugging Complexity) 智能体行为的非确定性要求"完整的生产追踪"来诊断故障。团队通过监控决策模式而非对话内容来实现调试,同时保护用户隐私。
部署策略(Deployment Strategy) 团队采用**"彩虹部署"(Rainbow Deployments)**策略,避免中断正在运行的智能体。新旧版本并行运行,流量在版本之间逐步迁移。这与传统的蓝绿部署不同,因为智能体任务可能持续数分钟甚至更长。
同步瓶颈(Synchronous Bottlenecks) 当前子智能体的同步执行方式限制了信息流动效率。异步替代方案虽然有潜力,但会引入协调和状态一致性方面的新挑战。
七、长时间运行管理与工件存储
长跨度管理: 在跨越数百轮对话的场景中,智能体会总结已完成阶段并将关键信息存储到外部,在需要时生成带有干净上下文的新子智能体。
工件存储: 对于特定输出(代码、报告、可视化),子智能体直接将结构化成果存储到外部系统,通过传递轻量引用而非完整内容来优化对话历史。这种绕过主导智能体的方式提高了输出保真度。
八、实际影响
用户反馈表明 Research 功能帮助他们:
- 发现了被忽视的商业机会
- 辅助做出医疗健康决策
- 解决了技术难题
- 通过发现他们不会独立找到的研究关联,节省了大量时间
技术要点
要点一:协调者-工作者架构是多智能体系统的实用范式
Anthropic 没有采用对等协作或层级式多智能体架构,而是选择了"一主多从"的协调者-工作者模式。主导智能体负责任务分解和结果综合,子智能体负责具体执行。这种模式在工程实现上相对简洁,同时能充分利用并行性。关键设计决策是让主导智能体使用更强的模型(Opus 4),而子智能体使用更快更经济的模型(Sonnet 4),实现了能力与成本的平衡。
要点二:Token 消耗是性能的核心驱动因素
解释 80% 方差的发现揭示了一个深刻洞见:在当前技术阶段,给模型更多的"思考空间"(即 token 预算)比几乎任何其他优化手段都更有效。这对系统设计有直接指导意义——与其在提示词上过度精雕细琢,不如确保模型有足够的 token 配额来充分推理。
要点三:彩虹部署解决了智能体系统的独特运维难题
传统 Web 服务的请求是短暂的,蓝绿部署足以应对。但智能体任务可能持续数分钟甚至数小时,中途切换版本会中断正在执行的任务。彩虹部署允许多个版本共存、自然过渡,是智能体基础设施领域的重要工程创新。
要点四:评估方法论兼顾效率与准确性
"先从 20 个样本开始"的策略打破了"必须等大数据集"的惯性思维。结合 LLM-as-Judge 的自动化评估和人工验证的混合方法,既保证了迭代速度,又能捕捉自动化难以发现的微妙问题(如幻觉和信息源偏差)。
要点五:并行化带来数量级的延迟改善
3-5 个子智能体并行 + 每个子智能体内 3 个以上并行工具调用,研究时间最多减少 90%。这不仅是简单的并发——还需要精心设计任务分解策略,确保子任务之间的独立性,以及结果合并时的一致性。
深度解读
1. 从"单体智能"到"系统智能"的范式转移
这篇文章标志着 AI 应用开发的一个重要转折点。过去,提升 AI 能力的主要路径是训练更大更好的单一模型。而 Anthropic 的实践表明,通过系统工程的方式组合多个模型实例,能够产生超越单一模型的涌现能力。90.2% 的性能提升不是来自模型本身的改进,而是来自架构设计。
这与软件工程中从单体应用到微服务的演进惊人地相似。正如微服务通过分而治之解决了单体应用的复杂性瓶颈,多智能体系统通过任务分解和并行执行,突破了单一模型的上下文窗口和注意力分配限制。
2. 15 倍 token 成本的经济学思考
15 倍的 token 消耗意味着每次多智能体研究的成本是普通对话的 15 倍。这个数字揭示了当前多智能体系统的"甜蜜区间":它适合那些人工完成需要数小时甚至数天的高价值研究任务,而不适合简单的问答场景。随着推理成本的持续下降(过去一年已下降约 10 倍),这个甜蜜区间将不断扩大。
3. "让模型改进自己的提示词"的深层意义
Self-Improvement 原则——让 Claude 诊断自身失败并建议提示词改进——暗示了一个更深远的趋势:AI 系统正在参与自身的开发过程。这不仅是效率工具,更是人机协作开发范式的雏形。当模型能够有效地改进驱动自身行为的指令时,传统的"人类写提示词 -> 模型执行"的单向流程正在演变为双向迭代循环。
4. 调试与可观测性:智能体基础设施的核心挑战
文章揭示的调试挑战——非确定性行为、状态累积、错误链式传播——本质上与分布式系统调试面临的问题高度一致。Anthropic 的解决方案(全量生产追踪 + 决策模式监控)借鉴了分布式追踪(如 Jaeger/Zipkin)的思路,但增加了隐私保护维度。这暗示未来将出现专门针对智能体系统的可观测性工具链。
5. 同步 vs 异步:未解决的工程难题
文章坦诚承认了同步执行的瓶颈,以及异步方案带来的协调和状态一致性挑战。这实际上是分布式计算中经典的 CAP 定理在智能体领域的映射——在一致性、可用性和分区容错性之间,智能体系统同样需要做出权衡。
延伸思考
多智能体系统的安全性问题: 当多个智能体并行运行并自主决策时,如何确保整体行为的安全性和可控性?单个子智能体的"越界"行为是否会被主导智能体有效拦截?随着系统复杂度增加,安全审计的难度将呈指数级上升。
成本民主化路径: 15 倍的 token 消耗目前限制了多智能体系统的适用范围。但如果未来出现专门为"子智能体角色"优化的轻量模型(类似于 distillation 方向),是否能大幅降低多智能体系统的运行成本?
跨组织多智能体协作: 文章讨论的是单一组织内的多智能体系统。如果不同组织的智能体需要协作(例如,一个法律 AI 和一个财务 AI 共同完成尽职调查),将面临哪些新的技术和治理挑战?
智能体专业化 vs 通用化: Anthropic 当前的子智能体是通用型的(都是 Sonnet 4)。未来是否会出现针对特定领域(如代码分析、数据处理、学术检索)微调的专业子智能体?专业化程度的提升是否能进一步减少所需的 token 消耗?
人类在环的演化: 随着多智能体系统变得更加自主和高效,人类的角色将如何演变?从"提问者"到"审核者"再到"目标设定者",人机交互的界面和粒度都需要重新设计。
原文链接
How We Built Our Multi-Agent Research System - Anthropic Engineering