衡量AI智能体的实际自主性
原标题： Measuring AI Agent Autonomy in Practice
作者： Miles McCain, Thomas Millar, Saffron Huang 等20位研究者 | 发布日期： 2026年2月18日
原文链接： https://www.anthropic.com/research/measuring-agent-autonomy
一句话摘要
Anthropic通过分析Claude Code和公共API上数百万次人机交互数据，首次系统性地揭示了AI智能体在真实部署中的自主性水平、用户行为演变规律以及风险分布特征，为智能体监管提出了基于实证的政策建议。
完整核心内容翻译
研究概述
Anthropic研究团队分析了来自Claude Code和公共API的数百万次人机交互记录，旨在理解AI智能体在真实世界部署中的运作方式。研究考察了自主性水平、用户体验模式、应用领域分布以及安全考量等多个维度。
核心发现一：Claude Code的自主性窗口持续扩大
研究揭示了一个引人注目的趋势："在第99.9百分位上，Claude Code在停下来之前的持续工作时长在三个月内几乎翻倍，从不到25分钟增长到超过45分钟。"
值得注意的是，这一增长在模型版本迭代之间呈现平滑曲线，而非出现急剧跳跃。这表明驱动自主性增长的因素不仅仅是纯粹的模型能力提升，还包括用户信任的逐步建立和产品层面的增强。
核心发现二：用户行为的反直觉演变
随着使用经验的积累，出现了一个看似矛盾的模式：经验丰富的用户同时提高了自动批准率（从约20%上升到40%以上）和中断频率（从5%上升到约9%）。
这种看似矛盾的行为实际上反映了一种成熟的监管策略转变：用户从"逐一批准每个操作"转向了"战略性监控和必要时干预"。换言之，经验用户给予智能体更大的自由度，但同时也更积极地在关键节点进行干预——就像一个经验丰富的管理者会放手让团队执行，但在战略转折点果断介入。
核心发现三：智能体的自我限制能力
Claude Code展示了一种经过校准的行为模式：在复杂任务上，它主动请求澄清的频率更高。"在最复杂的任务上，Claude Code主动停下来请求澄清的频率是人类中断它的频率的两倍多。"这表明模型能够在不确定时主动限制自己的自主性——一种内在的安全机制。
核心发现四：领域分布与风险水平
软件工程在公共API上的工具调用中占据近50%的份额，处于绝对主导地位。同时，医疗健康、金融和网络安全等领域的新兴应用也已浮现。
关键的安全信号：绝大多数操作被证明是低风险且可逆的，仅有0.8%的操作呈现不可逆特征（如客户通信）。
研究方法论
研究采用了互补的数据源策略：
- 公共API分析： 覆盖数千客户的数百万次工具调用，提供广度但仅能观察到单个操作层面
- Claude Code研究： 通过追踪完整会话提供深度，揭示用户行为模式，但局限于单一产品
分析使用Claude自身来评估工具使用集群的风险和自主性评分（1-10分制），并在可能的情况下与内部数据进行交叉验证。
研究局限性
研究坦诚承认了多项显著限制：
- 数据仅来自Anthropic基础设施，其他供应商的使用模式可能不同
- 两个数据源互补但不完整（API的广度vs. Claude Code的深度）
- 使用Claude生成的分类可能存在关于外部监督机制的盲点
- 采样偏向多步骤工作流
- 无法区分生产使用和评测活动
政策建议
对模型和产品开发者：
部署后监控的投入至关重要，因为部署前的评估无法捕捉真实世界的交互模式。训练模型识别不确定性并主动提出关切，是对外部安全措施的有效补充。产品设计应强调用户的可见性和简便的干预机制，而非强制性的逐一操作审批。
对政策制定者：
研究人员告诫不要强制规定特定的交互模式。"规定特定交互模式的监管要求——比如要求人类批准每一个操作——将产生摩擦但未必带来安全收益。"关注焦点应放在人类是否能够有效地监控和干预上。
核心结论
"对智能体的有效监管将需要新型的部署后监控基础设施和新的人机交互范式，帮助人类和AI共同管理自主性和风险。"
研究表明，智能体的自主性产生于模型能力、用户行为和产品设计三者的交互——而非仅来自模型本身。理解实际部署模式需要真实世界的测量基础设施，而这一基础设施在整个行业中仍处于萌芽阶段。
技术要点
自主性的三因素模型：智能体自主性并非模型单方面决定，而是模型能力、用户信任度和产品设计三者共同作用的涌现属性。这个发现对"模型越强=越危险"的简单叙事构成了重要修正。
校准的自我限制：模型在高不确定性任务上主动寻求人类确认的频率是人类主动干预频率的两倍以上，表明安全行为可以被内化到模型中，而不仅仅依赖外部约束。
0.8%的不可逆操作比例：这个数据为风险管理提供了量化基准。绝大多数智能体操作是低风险可逆的，安全重点应集中在那0.8%的高风险操作上。
经验用户的"宽放严控"模式：自动批准率和中断率同时上升，揭示了成熟的人机协作范式——给予更大自由度的同时实施更精准的战略干预。
深度解读
这篇论文的最大贡献在于将智能体安全讨论从理论推演拉回到实证数据。在此之前，关于AI自主性的讨论大多基于假设场景和思想实验。本研究首次用数百万次真实交互数据回答了"AI智能体在实际部署中究竟在做什么"这一基础性问题。
几个发现尤其深刻：
用户行为演变的"管理者隐喻"：经验用户从"微管理"转向"战略管理"的行为模式，与组织管理学中的发现高度一致。这暗示人机协作可能遵循与人人协作相似的信任建立规律。产品设计的启示是：应支持这种自然演变，而非强制固定在某一种监管模式上。
自我限制的安全价值：Claude在复杂任务上主动降低自主性的行为，可能是通过RLHF（基于人类反馈的强化学习）训练出来的，也可能是模型不确定性估计的自然结果。无论成因如何，这种"内在刹车"机制在安全工程中极具价值——它比任何外部约束都更实时、更细粒度。
对监管的警示：文章对"逐一审批"式监管提出了委婉但坚定的反对。这个立场背后有数据支持：经验用户自然而然地放弃了逐一审批，转向更高效的战略监控。强制要求逐一审批不仅降低效率，还可能导致"审批疲劳"——用户机械地点击"批准"而不真正审查内容，反而降低了安全性。
从方法论角度看，使用Claude自身来分类和评分存在固有的"自评偏见"风险。文章承认了这一点，但也指出目前缺乏更好的替代方案来大规模分析数百万次交互。这本身就是一个值得探索的研究方向。
延伸思考
跨供应商比较：本研究仅覆盖Anthropic生态系统。GPT、Gemini等其他模型的用户是否表现出类似的行为演变模式？跨平台的比较研究将极大丰富我们对人机协作规律的理解。
自主性的"安全边界"在哪里？ 从25分钟到45分钟的自主工作时长翻倍，趋势是否会继续？是否存在一个临界点，超过它之后风险将不成比例地增长？
"0.8%的不可逆操作"是否足够安全？ 在百万级交互中，0.8%意味着数千次不可逆操作。如果其中哪怕1%出现错误，后果可能是严重的。关键不在于比例的大小，而在于这些操作的影响范围和严重程度。
信任的脆弱性：用户信任的建立是渐进的，但信任的崩塌往往是瞬间的。一次严重的智能体失误是否会导致用户的自动批准率骤降？这种"信任回撤"的动态如何影响系统的整体效率？
组织层面的自主性治理：个人用户可以根据自己的判断调整自动批准率，但在企业环境中，智能体自主性的管理需要组织级的策略和合规框架。如何在个人灵活性和组织安全之间取得平衡？
原文链接： https://www.anthropic.com/research/measuring-agent-autonomy