量化智能体编码评估中的基础设施噪声
原标题： Quantifying Infrastructure Noise in Agentic Coding Evals
作者： Gian Segato（Nicholas Carlini, Jeremy Hadfield, Mike Merrill, Alex Shaw 参与贡献） | 发布日期： 2026年2月3日
原文链接： https://www.anthropic.com/engineering/infrastructure-noise
一句话摘要
Anthropic通过严谨的实验证明，基础设施配置（如内存限制、CPU配额）对智能体编码基准测试分数的影响可达6个百分点——有时甚至超过排行榜上顶级模型之间的差距，呼吁行业将资源配置作为一等实验变量对待。
完整核心内容翻译
问题的发现
Anthropic在Google Kubernetes Engine上运行Terminal-Bench 2.0基准测试时，发现得分与官方排行榜结果存在显著偏差。进一步调查发现，由于Pod故障导致的基础设施错误率高达6%——而这些故障与模型本身的能力毫无关系。
根因分析： 他们的Kubernetes实现将每个任务的资源规格同时作为"下限"（guaranteed allocation）和"上限"（hard kill threshold）使用。然而，容器运行时实际上使用两个独立参数来控制这两个概念。将二者设为相同值意味着为瞬时峰值留出了"零余量"，导致容器在偶发的资源尖峰时被杀死，产生虚假的任务失败。
系统性实验
研究人员在相同模型和任务集上运行了六种不同的资源配置方案：
各配置方案的基础设施错误率：
- 1x（严格限制）：5.8% 失败率
- 3x（三倍余量）：2.1% 失败率
- 无上限：0.5% 失败率
从严格限制到3倍余量的失败率下降（5.8%→2.1%）具有高度统计显著性（p < 0.001）。
两段式影响模式
实验揭示了一个关键的分界点：
1x到3x区间： 成功率的波动处于噪声范围内（p=0.40）。大多数在资源限制下崩溃的任务，即使给予更多资源也无法完成——智能体在找到可行解之前就已经撞上了资源墙。这个区间内，增加资源只是修复了基础设施的可靠性问题，基准测试本身的难度并未改变。
3x以上区间： 成功率的提升速度开始超过基础设施错误率的下降速度。额外的资源使得智能体能够尝试那些需要"拉取大型依赖包、启动高开销子进程、运行内存密集型测试套件"的解题策略。从1x到无上限的总提升幅度：+6个百分点（p < 0.01）。
像 rstan-to-pystan 和 compile-compcert 这样的任务在宽松的资源分配下表现出了显著改善。
资源配置到底在衡量什么？
这里隐藏着一个深层次的测量问题：
严格的资源约束奖励的是"高效策略"——用最少的资源完成任务的能力。而宽松的资源限制则偏向那些"用重量级工具暴力求解"的智能体。不同模型有不同的默认策略倾向；资源配置决定了哪种策略能够成功。
具体案例——bn-fit-modify（贝叶斯网络任务）：
某些模型的第一步操作就是安装pandas、networkx和scikit-learn。在宽松的资源限制下这没问题，但在严格限制下，安装过程会导致内存溢出崩溃，智能体甚至还没开始编写解题代码就已失败。而另一些模型会使用标准库从头实现数学计算——这是一种精简的替代方案，但并非所有模型都默认采用这种策略。
跨基准测试验证
在SWE-bench上进行5倍内存变化的测试（227个问题，每个采样10次）显示了相同的单调递增模式：分数随内存增加而稳步提升，但从1x到5x仅提升了1.54个百分点。幅度较小是因为SWE-bench的资源密集度较低，但这证实了资源配置的影响具有普遍性。
其他方差来源
资源分配并非唯一的干扰因素。时间限制、集群健康状态、硬件规格、并发级别和出口带宽都可能影响分数。研究人员还观察到一个有趣的现象："通过率随一天中的时段波动，很可能是因为API延迟随流量模式变化。"
模型能力与基础设施行为之间的边界，"比单一基准分数所暗示的要模糊得多"。
对各方的建议
对研究实验室： 将资源配置视为一等实验变量，像提示词格式和采样温度一样严格记录。
对基准测试维护者： 发布推荐的资源规格，并明确说明执行方法论，弥合已识别的配置缺口。Terminal-Bench 2.0的3倍上限方案可作为参考：将基础设施错误率降低约三分之二（5.8%→2.1%，p < 0.001），同时将分数提升控制在噪声范围内（p=0.40）。
对分数消费者： 对排行榜上的小幅差距保持怀疑。"3个百分点以下的排行榜差异值得怀疑，除非评测配置已被记录和匹配。"朴素二项式置信区间本身就跨越1-2个百分点；基础设施混杂因素是叠加在其上的，而非包含在其中。
文章结语
"几分之差可能代表真实的能力差距——也可能只是一台更大的虚拟机。"
技术要点
容器资源双参数模型：Kubernetes中资源请求（guaranteed allocation）和资源限制（hard kill threshold）是两个独立参数，将二者设为相同值会消除应对瞬时峰值的余量，导致虚假崩溃。
3倍余量分界点：实验表明3倍于任务规格的资源上限是一个关键阈值——低于此值主要修复基础设施可靠性，高于此值则实质性改变了评测难度。
策略偏见效应：资源配置并非中性变量，它系统性地偏向特定类型的解题策略（精简型vs.暴力型），从而影响不同模型的相对排名。
统计显著性标准：文章采用了严格的统计检验（p < 0.001, p < 0.01），为评测研究中的实证方法论树立了标杆。
跨基准一致性：在Terminal-Bench和SWE-bench两个不同基准上均观察到资源配置的单调影响，证明这不是个别基准的特殊现象。
深度解读
这篇文章打开了AI评测领域一个极为重要却长期被忽视的"黑箱"——基础设施的混杂效应。
在AI模型的"军备竞赛"中，基准测试排行榜具有巨大的影响力。模型在SWE-bench、Terminal-Bench等榜单上哪怕0.5%的提升都可能被宣传为重大突破。然而，本文以无可辩驳的实验数据表明，仅仅改变容器的内存配额就能造成6个百分点的分数差异——这足以颠覆大多数排行榜上的排名顺序。
更深层的洞察在于"策略偏见"的发现。资源配置不仅影响分数的绝对值，还系统性地偏向特定类型的解题策略。这意味着：在不同资源配置下，同一组模型的排名可能完全不同。一个在宽松环境下表现优异的模型（因为它擅长使用重量级工具），在严格环境下可能排名靠后；反之亦然。这从根本上动摇了"单一排行榜反映模型真实能力"的假设。
文章的建议也极具实操价值。"3倍余量"的校准方法提供了一个可立即采用的工程实践：既确保基础设施的可靠性，又不会让额外资源实质性改变评测的难度特征。
值得一提的是，Anthropic选择公开发表这一可能"不利于自身"的研究（因为它暗示Anthropic自己在排行榜上的部分优势也可能受到基础设施配置的影响），体现了难得的科学诚信。
延伸思考
评测基础设施标准化：是否应该建立一个行业标准的评测基础设施规范？类似于MLPerf对硬件基准测试的标准化，AI智能体评测也需要一套公认的基础设施配置标准。
排行榜的信任危机：如果3个百分点以下的差距都不可信，那么当前大多数排行榜上的模型排名本质上都在噪声范围内。这将如何改变企业和开发者的模型选择决策？
资源效率作为独立指标：是否应该在评测中增加"资源效率"作为独立维度？一个在有限资源下能找到精巧解法的模型，与一个需要大量资源暴力求解的模型，可能代表着不同类型的"智能"。
API延迟的混杂效应：文章提到通过率随时段波动。如果模型的API响应时间本身就是一个变量，那么在线评测（尤其是涉及多轮交互的智能体评测）的可重复性将面临更根本的挑战。
原文链接： https://www.anthropic.com/engineering/infrastructure-noise