设计抗AI的技术面试评估
原标题： Designing AI-Resistant Technical Evaluations
作者： Tristan Hume（Anthropic性能优化团队负责人） | 发布日期： 2026年1月21日
原文链接： https://www.anthropic.com/engineering/AI-resistant-technical-evaluations
一句话摘要
Anthropic性能工程团队分享了其技术面试题被Claude连续两代模型"攻破"的真实经历，以及三次重新设计抗AI评估方案的实践历程，揭示了AI时代技术人才评估面临的根本性挑战。
完整核心内容翻译
背景
Anthropic的性能工程团队设计了一份居家测试（take-home test），用于评估候选人在模拟加速器上进行代码优化的能力。超过1,000名候选人完成了该测试，数十人因此被录用到基础设施和模型部署相关的岗位。
然而，随着Claude模型的迭代——先是Opus 4，然后是Opus 4.5——测试的早期版本被逐步攻破。这迫使团队进行了三次完整的重新设计，以维持评估的有效性。
初始测试设计（第一版）
设计目标：
- 创造真正有吸引力的工作内容，反映实际岗位需求
- 支持较长的评估窗口（最初4小时，后缩短为2小时）
- 提供真实的工作环境，无需旁人观察
- 允许使用AI辅助，同时仍能衡量候选人的真实能力
技术内容：
测试围绕一个类似TPU特性的Python模拟器展开。候选人需要优化树遍历代码，充分利用四种硬件特性：
- 手动管理暂存器内存（scratchpad memory）
- VLIW超长指令字（多个并行执行单元）
- SIMD向量化
- 多核并行
"候选人从一个完全串行的实现开始，逐步挖掘机器的并行性。"
Claude连续攻破测试
Claude Opus 4（2025年5月）： 在4小时窗口内超越了大多数人类应聘者的表现，不过顶尖候选人仍然可以被区分出来。
Claude Opus 4.5： 在2小时内就达到了最优秀人类候选人的水平，然后在额外引导下继续优化，甚至追平了有人工引导辅助的人类表现。
三次重新设计的尝试
尝试一——数据转置问题：
基于实际的TPU优化工作，涉及需要避免存储体冲突（bank conflict）的寄存器转置。然而Claude通过问题重构找到了出题者未曾预见的解法。当添加额外约束后，"ultrathink"模式（深度推理模式）仍然能够解决。
尝试二——Zachtronics风格的谜题：
采用高度受限的指令集，要求非常规的编程方法。与游戏不同的是，不提供可视化工具——候选人必须自行构建调试基础设施，以此检验工程判断力。
"初步结果令人鼓舞：得分与候选人过往工作的水平高度相关。"
当前方案的哲学
团队最终采用了受Zachtronics启发的约束式谜题，牺牲了岗位真实性，换取了抵御AI能力的新颖性。这反映了一个深层观察：
"原始测试之所以有效，是因为它像真实工作。替代方案之所以有效，是因为它模拟的是全新的工作。"
公开挑战
Anthropic将原始测试公开发布，并附上了性能基准（以时钟周期计）：
| 方案 | 时钟周期 |
|---|---|
| Claude Opus 4（长时间测试时计算） | 2164 |
| Claude Opus 4.5（随意的Code会话） | 1790 |
| Claude Opus 4.5（2小时测试时计算） | 1579 |
| Claude Opus 4.5（11.5小时） | 1487 |
| Claude Opus 4.5（改进的测试框架） | 1363 |
能够打败1487周期的候选人可以将代码和简历发送至 performance-recruiting@anthropic.com。
人类专家在足够长的时间范围内仍然保持着超越当前模型的优势。
技术要点
加速器模拟器设计：测试使用Python模拟器还原TPU的核心特性（scratchpad memory、VLIW、SIMD、多核），将真实的硬件优化问题转化为可在通用环境中评估的编程挑战。
AI的问题重构能力：Claude不仅能在既定框架内优化，还能通过重新定义问题本身来找到出题者未预见的解法——这是传统"限制搜索空间"策略失效的根本原因。
约束式谜题范式：Zachtronics风格的高约束指令集迫使候选人使用非常规方法编程，同时要求自建调试工具，从而评估工程判断力而非纯粹的算法知识。
新颖性vs.真实性的权衡：有效的抗AI评估需要牺牲岗位相关性——这是一个根本性的困境，因为AI最擅长的恰恰是"像真实工作"的任务。
深度解读
这篇文章表面上讲的是技术面试设计，实质上揭示了一个更深远的命题：当AI能够胜任"真实工作"时，我们该如何定义和衡量人类的独特价值？
Anthropic团队的三次失败-重建循环极具启示性。第一版测试设计得几近完美——贴近真实工作、评估真正重要的技能、允许足够的时间深度思考。但它被Claude攻破了，原因恰恰是它的最大优点：太像真实工作了。这构成了一个悖论：越是好的技术评估（越接近真实工作），就越容易被AI攻破（因为AI的训练目标就是做好真实工作）。
团队的最终方案——Zachtronics风格的约束式谜题——实质上是一种"退守策略"。它有效，但以牺牲评估效度为代价。候选人在高度人工化的约束环境中的表现，能多大程度上预测其在真实工作中的表现？文章给出了乐观的初步数据（"分数与候选人过往工作水平高度相关"），但这个问题值得持续关注。
另一个值得深思的细节是公开挑战的性能数据。Claude Opus 4.5在11.5小时内达到了1487周期，而使用改进框架后达到1363周期。这暗示了一个趋势：随着AI测试时计算（test-time compute）能力的增长，时间优势——人类专家目前最后的护城河——也可能被逐步侵蚀。
从更宏观的视角看，这篇文章可能标志着技术面试领域一个时代的终结。居家测试（take-home test）这一曾被视为最公平、最实际的面试形式，在AI时代可能走向终结——不是因为它不好，而是因为它太好了。
延伸思考
评估的"军备竞赛"可持续吗？ 每一代新模型都可能攻破当前的评估方案。企业是否有资源和意愿持续进行这种"猫鼠游戏"？或者应该彻底转向新的评估范式（如实时协作、过程评估而非结果评估）？
对教育的启示：如果AI能通过模拟真实工作的测试，那么以"培养能通过此类测试的学生"为目标的教育体系需要如何调整？
开源挑战的双刃剑效应：公开测试题让候选人可以练习和学习，但也让AI模型（通过互联网数据）有机会"记住"这些题目。未来的评估如何平衡透明度和有效性？
人机协作评估：与其设计"抗AI"的评估，是否应该转向评估"人类如何有效利用AI"的能力？毕竟在实际工作中，完全不使用AI的场景正在快速减少。
原文链接： https://www.anthropic.com/engineering/AI-resistant-technical-evaluations