开源电路追踪工具
原标题： Open-sourcing Circuit Tracing Tools 发布日期： 2025年5月29日 原文链接： https://www.anthropic.com/research/open-source-circuit-tracing
一句话摘要
Anthropic将其用于"追踪大语言模型思维过程"的电路追踪（Circuit Tracing）方法论和工具开源，使外部研究人员能够在Gemma和Llama等开放权重模型上生成、可视化和操控归因图（Attribution Graph），推动可解释性研究的民主化。
完整核心内容翻译
背景与动机
Anthropic近期的可解释性研究引入了一种"追踪大语言模型思维"的方法。现在，他们将这一方法公开发布，以便研究人员在此基础上进一步构建。
CEO Dario Amodei强调，当前对AI内部机制的理解"远远落后于"能力发展的进度，这使得可解释性研究变得紧迫。这一判断为整个开源项目提供了战略动机——能力发展与理解之间的鸿沟是AI安全的核心挑战之一。
核心方法论
该方法论生成归因图（Attribution Graph），部分揭示了模型在决定输出时所经历的内部步骤。这些归因图不是模型的完整内部表示，而是关于信息如何在模型内部流动的部分视图——哪些特征（features）被激活，它们如何相互影响，最终如何导致特定的输出。
开源库支持在流行的开放权重模型上生成这些图。Neuronpedia提供了一个交互式前端界面用于探索这些图。
项目团队
Anthropic研究员Michael Hanna和Mateusz Piotrowski在Emmanuel Ameisen和Jack Lindsey的指导下主导开发。Decode Research（负责人Johnny Lin，总监Curt Tigges）实现了Neuronpedia集成。Gemma模型的归因图构建在GemmaScope项目的转码器（transcoders）之上。
核心能力
此次发布使研究人员能够：
- 追踪电路： 在支持的模型上生成归因图，追踪特定输出的内部计算路径。
- 可视化与协作： 通过交互式前端可视化、注释和分享归因图，降低可解释性研究的门槛。
- 假设检验： 通过修改特征值（feature values）并观察输出变化来验证因果假设——这是从"相关性"到"因果性"的关键跨越。
应用案例
这些工具已被用于研究Gemma-2-2b和Llama-3.2-1b模型中的多步推理和多语言表征。演示笔记本提供了详细的分析示例，展示了如何从归因图中提取关于模型内部计算逻辑的洞见。
开源资源
- 交互式界面： neuronpedia.org/gemma-2-2b/graph
- 代码仓库： github.com/safety-research/circuit-tracer
- 演示笔记本： 包含分析示例和使用教程
技术要点
归因图（Attribution Graph）： 核心技术产物，通过追踪模型内部特征之间的信息流动，构建从输入到输出的计算路径可视化。归因图揭示的是"哪些内部组件参与了特定决策"以及"它们如何相互影响"。
转码器（Transcoders）： Gemma模型的归因图依赖GemmaScope项目的转码器，这是一种将模型内部表示映射为更可解释的特征空间的技术。转码器类似于早期可解释性工作中的稀疏自编码器（SAE），但专门针对MLP层的输入到输出映射。
因果干预能力： 工具不仅支持观察性分析（查看归因图），还支持干预性实验——修改特定特征的值并观察输出变化。这使得研究人员能够验证因果假设，而非仅停留在相关性层面。
跨模型适用性： 开源工具支持多个开放权重模型（Gemma-2-2b, Llama-3.2-1b），展示了方法论的可迁移性，而非仅适用于Anthropic自有模型。
社区协作基础设施： Neuronpedia的集成提供了注释和分享功能，将可解释性研究从个人探索转变为可协作的社区活动，这对于需要大量人工分析的可解释性研究尤为重要。
深度解读
这次开源发布的意义不仅在于技术本身，更在于它所代表的战略判断和研究范式转变。
能力-理解鸿沟是核心动机。 Dario Amodei关于"理解远远落后于能力"的判断，为这次开源提供了深层逻辑。Anthropic显然认为，仅靠一家公司的力量无法弥合这一鸿沟——可解释性研究需要整个社区的参与。这是一个罕见的案例：一家AI公司主动将其核心安全研究工具开源，因为问题的规模超出了任何单一组织的能力。
从稀疏自编码器到电路追踪的演进。 这项工作建立在Anthropic此前的一系列可解释性研究之上：从单神经元分析到稀疏自编码器（发现语义特征），再到现在的电路追踪（追踪特征之间的信息流动）。归因图代表了从"模型知道什么"到"模型如何思考"的分析层次跃迁。
因果干预是关键差异化能力。 许多可解释性工具停留在"观察"层面——展示模型的注意力分布或特征激活。但电路追踪工具支持因果干预：修改特定特征值并观察输出变化。这使得研究人员能够从"这个特征与输出相关"推进到"这个特征导致了这个输出"，这是理解模型行为的质的飞跃。
选择小模型开源是务实策略。 工具支持的是Gemma-2-2b和Llama-3.2-1b这样的小型模型，而非Claude或GPT-4级别的大模型。这既有技术原因（大模型的电路追踪计算量巨大），也有战略考量（避免暴露自有模型的内部机制）。但关键问题是：小模型上发现的电路模式能否推广到大模型？
可解释性研究的"开源科学"模式。 Neuronpedia的注释和分享功能暗示了一种新的研究模式——可解释性研究可能受益于类似维基百科的众包分析。当成千上万的研究人员能够独立分析和注释不同的电路时，对模型内部机制的理解可能会加速积累。
延伸思考
可扩展性挑战： 在20亿参数的模型上追踪电路已经是可行的，但在数千亿参数的前沿模型上呢？计算复杂度如何随模型规模增长？是否存在"可解释性的规模墙"——模型大到一定程度后，完整的电路追踪变得在计算上不可行？
可解释性的"测不准原理"： 当我们通过因果干预修改特征值来测试假设时，修改行为本身是否会改变电路的行为模式？我们观察到的因果关系是否反映了模型的自然计算过程，还是被干预行为本身扭曲了？
安全应用的落地路径： 归因图如何实际应用于AI安全？例如，能否通过电路追踪检测模型是否在"对齐伪装"——表面上遵循安全指令但内部采用了规避策略？从研究工具到实用安全机制的路径是什么？
开源与安全的张力： 如果电路追踪工具被用于发现模型的弱点而非修复它们——例如攻击者利用归因图设计更有效的对抗样本——这是否会成为一个双刃剑问题？可解释性工具的开源是否需要伴随使用限制？
📎 原文链接：https://www.anthropic.com/research/open-source-circuit-tracing