基于顶级Agent的Harness工程搭建式业务Agent评测方案

在企业级AI应用中，业务Agent的迭代速度往往是决定产品竞争力的关键因素。当业务团队需要频繁调整Prompt以优化Agent表现时，一个高效的评测体系就成了刚需。然而，传统评测工程的高启动成本和缓慢迭代周期，往往成为制约业务快速迭代的瓶颈。本文将分享一种基于顶级Agent的Harness工程搭建式评测方案，帮助团队将评测效率提升一个数量级。

核心解法：Harness工程式评测

业务Agent评测面临的核心矛盾是：业务需求变化快（天级迭代），但传统评测工程搭建周期长（周级启动）。具体痛点表现为：启动成本高，需要搭建评测工程、编写脚本、部署服务；迭代效率低，prompt调整后需要等待半天才能看到效果；可复现性差，评测逻辑分散在各种脚本和Notebook中难以统一维护；指标不统一，不同Agent各搞一套无法横向对比。这些问题严重制约了业务Agent的快速迭代。

三层架构与搭建方法

Harness工程式评测的核心思路是：用一个顶级Agent作为Harness工程的搭建者和运行者，系统性地对业务Agent进行评测。传统做法是人写评测代码、跑脚本、看结果、改代码、再跑的循环；而Harness式做法则是由顶级Agent搭建完整的评测骨架（harness），包括评测方案、数据集、评测逻辑和分析流程，人只需提供被测对象和做关键决策。 以Claude Code为例，它在Harness中扮演多重角色：作为方案架构师深度理解被测Agent的prompt并设计针对性评测维度；作为数据工程师编写数据获取和处理脚本；作为Harness工程师构建评测Agent的提示词；作为数据分析师对跑批结果进行统计和归因分析。 这种方案的本质转变在于：传统评测把评估规则编码为Python脚本，而Harness式评测把它编码为Agent提示词。更灵活、更可读、更易迭代，这是Prompt相比代码的核心优势。

三层指标体系

Harness工程整体采用三层架构设计。规则层负责评测方案设计，输出包括评测维度、指标定义、阈值设定、数据集要求和错误分类体系。数据层负责黄金评测集构建，通过system.question列统一数据格式，将输入字段和ground_truth内嵌其中。执行逻辑层则将传统的评测脚本替换为评测Agent提示词，逻辑从代码变为自然语言指令。 以一个典型场景为例：当需要为新的内容审核Agent设计评测方案时，只需将prompt文件提供给Claude Code，10分钟后即可获得包含维度定义、指标阈值、边界用例建议的完整评测方案文档。评测Agent的工作流程为：读取数据→调用被测Agent→解析输出→硬规则检查→LLM评分→错误归因→输出结构化JSON。

实践经验与效率提升

经过多个Agent的评测实践，我们沉淀了一套通用的三层指标框架。L1层为通用基础指标，适用于所有Agent必报，包括输出格式合规率和字段完整率。L2层按能力类型从菜单中按需选用，如分类判断的准确率/召回率/精确率、数值提取的精确匹配率、连续评分的MAE与分档一致率、内容质量的LLM-as-Judge评分等。L3层为Agent专属指标，按需自定义，例如文案生成Agent的违禁词清洁率、风格匹配Agent的不适用风格过滤合规率。 新Agent接入时，遵循以下选型流程：确定Agent涉及的能力类型→从L2菜单勾选对应指标→按需追加L3专属指标→设定每个指标的目标阈值。这套框架确保了评测指标的统一性和可扩展性。

如有侵权，请联系删除。