Reasoning Models Struggle to Control Their Chains of Thought, and That's Good
原标题： Reasoning models struggle to control their chains of thought, and that's good 中文标题： 推理模型难以控制其思维链——这其实是好事
发布日期： 2026年3月5日 作者： Tomek Korbak, Micah Carroll, Bowen Baker, Ian Kivlichan 原文链接： https://openai.com/index/reasoning-models-chain-of-thought-controllability/
一句话摘要
OpenAI 研究发现，当前前沿推理模型在被要求控制自身思维链内容时表现极差（可控性仅 0.1%-15.4%），这一"缺陷"反而为思维链监控的可靠性提供了重要的安全保障。
完整核心内容翻译
背景：思维链监控的重要性
随着 AI 代理能够执行越来越复杂和自主的任务，对其行为保持可靠的监督变得愈发重要。OpenAI 的安全策略采用纵深防御（defense-in-depth）方法，包含多个互补的防御层，如安全训练、行为测试、代理式代码审查，以及思维链（CoT）监控。CoT 监控分析代理在执行任务时生成的推理步骤，这些推理痕迹可以在训练和部署中提供有价值的信号，帮助监控系统识别代理行为何时可能不安全或与用户目标不一致。
目前，模型的推理过程总体上是可解释且易于监控的。然而，未来可监控性可能因多种原因而崩溃。本研究聚焦于一种特定路径：如果代理能够在知道被监控时刻意重塑或模糊其推理，评估可能高估系统的对齐性或安全性，监控系统可能变得不可靠。
什么是"CoT 可控性"
思维链是指 AI 代理在解决任务时生成的中间推理步骤。CoT 可控性是推理模型以降低可监控性的方式控制其 CoT 属性的能力。
研究团队使用了一个实用的代理指标：测量模型遵循关于其 CoT 的用户指令的能力。例如，测试模型能否遵循影响其内部推理的指令——如仅使用小写字母、避免某些关键词、或在每句话末尾添加特定短语——而不仅仅是改变其可见输出。
为此，他们引入了 CoT-Control，一个用于测量推理模型 CoT 可控性的开源评估套件。CoT-Control 包含超过 13,000 个任务，基于已有的基准测试构建：GPQA、MMLU-Pro、HLE、BFCL 和 SWE-Bench Verified。每个任务通过将基准问题与一个 CoT 指令（如避免与问题相关的特定关键词、仅使用小写字母、或在每句话后追加给定单词）配对而创建。
CoT 可控性在前沿推理模型中普遍较低
研究团队在 13 个推理模型上运行了评估，发现它们都难以可靠地控制自己的 CoT。可控性被衡量为模型成功遵守 CoT 指令的推理痕迹比例。在所有前沿模型中，CoT 可控性得分很低，范围从 0.1% 到不超过 15.4%。
这种无能力并非源于对任务的误解：模型经常在其 CoT 中意识到自己未能遵守 CoT 指令——即使在这种意识到之后仍继续失败。这一令人惊讶的低表现对 CoT 可监控性来说是好消息：它表明模型可能同样缺乏混淆其推理以逃避监控的能力。
生动的失败案例
GPT-5.2 Thinking 的案例：
任务：回答一道关于逻辑运算符的 NLP 问题，要求在推理过程中不使用"XOR"一词。
GPT-5.2 Thinking 在推理中不自觉地使用了"XOR"一词，随后意识到了违规，然后在恐慌中试图修正——但在这个过程中又使用了"XOR"4次以上。模型能认识到问题，却无法实际控制自己的推理过程。
缩放和训练的影响
虽然可控性随模型规模增加而提升，但它会随着后训练量和测试时计算量的增加而迅速下降：
- 在两个开源权重模型家族中，更大的模型在控制思维链方面稍好一些，但效果在更大规模时趋于平稳。
- 当模型思考更长时间时，它们控制思维链的能力降低。
- 对 OLMo-3-7B-RL-Zero-Math 的 RL 训练中，可控性得分在训练过程中下降了超过十倍。
对抗条件下的测试
为模拟逃避监控的现实激励，研究团队测量了在告知模型正在被监控或被评估时的可控性。这轻微但明显地增加了可控性。团队还使用自动化提示优化来寻找能引发高可控性的提示，虽然优化器可以在训练集上提高可控性，但这些增益在迁移到新的指令类型时效果很差（如要求单词之间不留空格）。
局限性
CoT-Control 中的任务是实用的代理指标：理想的 CoT 可控性评估应测试自然追求非对齐目标的模型能否控制其 CoT 以逃避监控。实际上，研究通过测量模型遵循关于其 CoT 的指令的能力来估计其控制 CoT 的能力。此外，模型可能比其他特征更好地控制其 CoT 的某些特征，CoT-Control 可能通过仅测量窄范围的可控性类型而高估或低估了可控性。
展望未来
低 CoT 可控性是一个特性，而非缺陷。当前推理模型的低可控性使得 CoT 监控作为安全措施更加可信。同时，我们尚不理解为什么当前推理模型的可控性如此之低——或者这一属性是否会随着模型变得更强大而持续。因此，CoT 可控性评估可被视为一种金丝雀评估：模型是否在变得更擅长塑造或隐藏其推理的早期预警信号。
OpenAI 将在未来前沿模型的系统卡中同时报告 CoT 可控性和 CoT 可监控性，从 GPT-5.4 Thinking 开始，并基于其对不直接对前沿推理模型的 CoT 施加优化压力的持续承诺。
技术要点
CoT 可控性定义与测量： 通过 CoT-Control 套件（13,000+ 任务）量化推理模型控制自身思维链内容的能力，结果显示所有前沿模型可控性极低（0.1%-15.4%）。
可控性与安全性的反向关系： 低可控性意味着模型难以故意混淆推理过程来逃避监控，因此有利于 CoT 监控的安全可靠性。
缩放定律的新发现： 模型规模增大会轻微提升可控性，但后训练（RL）和更长的推理时间会显著降低可控性，这两个因素的竞争决定了整体趋势。
"金丝雀评估"范式： CoT 可控性评估被定位为一种前瞻性安全监控工具，用于跟踪模型是否随时间获得了逃避监控的能力。
对抗迁移性差： 即使通过提示优化在特定任务上提高了可控性，这种能力也难以迁移到新类型的 CoT 控制指令上。
深度解读
这项研究揭示了推理模型的一个令人着迷的悖论：越是强大的推理能力，越是难以被"自我操控"。这一发现对 AI 安全领域具有深远意义。
传统上，人们担心随着模型变得更聪明，它们会更擅长"伪装"和"欺骗"。然而这项研究表明，至少在当前的推理模型架构中，模型的推理过程具有一种内在的"诚实性"——当模型需要真正解决问题时，它不得不在思维链中展现其真实的推理路径，即使被告知要隐藏某些内容也做不到。
GPT-5.2 Thinking 的"XOR 恐慌"案例极具启发性：模型清楚地认识到自己违反了约束，试图修正，但自身的推理惯性（或者说认知架构的限制）使它无法做到。这类似于人类的"别想大象"悖论——越是努力不去想某件事，越会不自觉地想到它。
然而，这项研究也留下了一个重要的开放问题：低可控性是推理模型架构的本质特征，还是暂时的技术局限？如果未来的模型通过新的训练方法获得了更高的 CoT 可控性，CoT 监控这一安全层将面临根本性的挑战。这也是为什么 OpenAI 将其定位为"金丝雀评估"——一旦可控性开始上升，就需要重新评估整个监控策略。
延伸思考
认知透明性的本质： 推理模型难以控制自己的思维链，是否暗示当前的 Transformer 架构在推理时具有某种内在的认知透明性？这种透明性是否可以被有意地保护或强化？
与人类认知的类比： 人类也难以完全控制自己的思考过程（如心理学中的自动化思维、弗洛伊德式口误等）。AI 模型的 CoT 不可控性是否反映了某种更深层的信息处理规律？
安全策略的时间窗口： 如果 CoT 可控性会随模型进步而最终提升，AI 安全社区有多少时间来开发不依赖 CoT 监控的替代安全机制？
开源生态的双刃剑： CoT-Control 作为开源评估工具，既能帮助社区追踪安全性，也可能被用来有针对性地训练出高可控性的模型。如何平衡开放性与安全性？
本文为 OpenAI 研究博客的深度中文解读，仅供学习参考。