AI Agent越改越差？Anthropic 8步科学评测法让迭代不再盲飞

许多团队在开发AI Agent时都会遇到一个令人困惑的现象：明明在修复一个问题，却导致另一个功能出现异常；每次更新后效果反而不如从前。这种「越改越差」的状况，根源往往在于缺乏科学的评测体系支撑。Anthropic在工程博客中详细阐述了他们在AI Agent评测领域的实践经验，将这种缺乏数据驱动的迭代状态形容为「盲飞」。本文将系统梳理Anthropic提出的评测框架与8步落地路线，为AI Agent开发者提供可操作的实践指南。

理解AI Agent评测，首先需要掌握几个核心概念。任务（Task）是一个带有明确输入和成功标准的测试单元；试验（Trial）是对任务的一次尝试，由于模型输出的随机性，通常需要多次运行来获取统计意义；评分器（Grader）是给表现打分的逻辑模块；轨迹（Transcript）则记录了一次试验的完整过程，包括工具调用和推理路径；最终的结果（Outcome）关注的是环境状态的实际改变，而非模型的口头表述。例如一个订机票Agent可能输出「已为您订好」，但真正的结果是数据库中是否存在对应的订单记录。Anthropic特别强调：别信它说了什么，要看它做了什么。

为什么评测是AI Agent开发的必要基础设施

早期开发阶段依靠手动测试和直觉确实能够推进，但随着Agent上线并规模化运营，问题会急剧暴露：团队只能被动等待用户投诉才能发现问题，难以区分真正的性能退化还是随机波动，缺乏在上线前验证数百个场景的能力，而新模型发布时其他团队可能几天内完成升级，自家却需要测试数周。Anthropic自家产品Claude Code的发展历程印证了这一规律：团队先进行快速迭代，之后才逐步为「简洁度」「文件编辑」等复杂行为补充评测。评测的成本是眼前的，收益却是复利的，这恰恰使其容易被低估。

从多年产业实践看三类评分器的优劣与组合策略

评分器主要分为代码评分器、模型评分器和人工评分器三类，各有适用场景。代码评分器通过字符串匹配、单元测试、静态分析和工具调用检查来评估，速度快、成本低、结果客观，但对语义等价的不同表达方式判断过于死板。模型评分器基于评分细则或成对比较进行判断，能够处理开放性任务且灵活性强，但存在随机性偏差，需要人工校准来保证可靠性。人工评分器是黄金标准，但速度慢、成本高，适合作为最终校验。三类评分器的最佳实践是组合使用：能用确定性的就用确定性的，必要时引入LLM评分器，最终以人工评审做校准。评测还分为能力评测和回归评测两类：能力评测问的是「它能做好什么」，通过率应从低开始，为团队提供可攀登的进步阶梯；回归评测问的是「以前会的还会吗」，通过率应接近100%。当能力评测通过率持续较高时，就可以将其「毕业」为回归测试的一部分。

8步落地路线图与典型避坑指南

Anthropic总结了从0到1搭建评测体系的8步路线图。Step 0强调尽早开始，从真实失败中提炼20-50个简单任务就是很好的起点。Step 1建议从手测内容入手，bug列表、客服工单都是现成的用例素材。Step 2要求写没有歧义的任务并附参考答案，优质任务的标准是两位领域专家独立判断会得出相同结论。Step 3提醒正反两面都要测试，否则会训练出过度保守或过度激进的Agent。Step 4要求环境干净稳定，每次试验独立启动，Anthropic曾发现Claude通过翻看上一次试验的git历史「作弊」。Step 5认真设计评分器：评产出而非路径、多步骤任务给部分分、LLM评委要有「Unknown」选项、防止Agent钻空子。Step 6强调必须阅读轨迹，不读轨迹就无法判断评分器是否冤枉好人。Step 7警惕能力评测饱和，100%的评测只能防回退不能指导进步。Step 8让评测成为团队日常，设立专门团队维护基础设施。一个震撼的案例是Opus 4.5在CORE-Bench上一开始只有42%分数，后经排查发现是评分标准过于死板（期望96.124991，答96.12就判错）和任务描述模糊所致，修复后分数跃升至95%。这说明：分数低，不一定是模型差，可能是考卷出错了。

AI Agent评测的本质，是将主观的「感觉它变差了」转化为客观的「第37号任务从通过变成失败」。评测不是万能的，需要配合生产监控和定期人工评审共同构建防护体系。团队今天就可以从三个行动开始：打开bug列表挑选20个真实失败案例、为每个案例明确「怎样算通过」的标准、运行后认真阅读轨迹。科学评测不会让Agent立刻变强，但它会让你清楚自己在往哪个方向走。