Skill太多命中率太低？重新审视LLM Agent技能选择的核心问题

随着AI Agent生态的爆发式增长，社区贡献的技能数量已膨胀至数万个。然而，如何在如此庞大的技能池中准确选出最适合当前任务的技能，已成为制约AI Agent实际落地的核心瓶颈。现有研究主要集中在评估Agent能否正确使用给定技能，而对“如何从大规模技能池中找到正确技能”这一上游问题关注甚少。

核心发现：技能实现代码才是决定性信号

研究团队通过在约8万技能规模上的系统性实验，得出一个颠覆性结论：技能的完整实现文本（body）才是决定选择准确率的关键信号，而非业界普遍认为的名称和描述。这一发现彻底推翻了许多Agent框架采用的“渐进式披露”设计模式所隐含的假设。团队通过对比实验发现，仅使用名称+描述时，即使参数量大13倍的8B模型（30.7%），其表现也远不如0.6B模型使用完整文本的表现（58.7%）。

注意力分析：91.7%的注意力聚焦于body

为了深入理解body为何如此重要，研究团队对交叉编码器重排序器的注意力分布进行了详细分析。将注意力权重按技能的三个字段（name、description、body）进行分区后，发现body字段获得了91.7%的注意力权重，而name仅占7.3%，description更仅占1.0%。更有趣的是注意力呈现出的分层演变模式：早期层几乎100%关注body进行token级别的内容理解，中间层name的注意力逐渐上升执行语义匹配，后期层重新回到body做最终判断。这种模式与人类程序员在技能仓库中搜索的行为模式惊人地相似：先浏览代码理解功能，再看名字确认方向，最后阅读代码判断是否合适。

SkillRouter：1.2B参数的精巧两阶段架构

基于上述发现，研究团队设计了SkillRouter——一个两阶段的检索-重排序流水线，总计仅1.2B参数。第一阶段使用双编码器检索，将约8万技能缩减到Top-20候选；第二阶段使用交叉编码器重排序产生最终排名。两个阶段都使用完整技能文本进行训练和推理。团队在训练中采用了困难负样本挖掘策略，通过语义负样本、词汇负样本、分类负样本和随机负样本的组合，帮助模型区分高度相似的技能。同时，创新性地采用三层假负样本过滤管线，消除功能重叠带来的训练信号污染。实验证明，这些设计选择使平均Hit@1提升了4.0个百分点。

实验结果与行业启示

实验结果显示，SkillRouter（1.2B参数）取得了74.0%的平均Hit@1，相比最强的零样本8B流水线（68.0%），高出6.0个百分点。端到端流水线在Easy级别上提升8.0pp，在Hard级别上提升4.0pp。更值得注意的是，0.6B的微调模型超过了8B的零样本基线，这证明了任务特定的微调比简单增大模型规模更有效。此外，重排序器贡献了+8.7pp的净Hit@1增益——它拯救了12.7%编码器失败的查询，仅导致4.0%的退化，呈现出“少破坏、多帮助”的特性。

如有侵权，请联系删除。