150个任务实测30个AI Skill：七个颠覆直觉的发现

2026年上半年，AI Skill进入爆发期。众多企业将内部工作流程逐一Skill化，期望通过为通用大模型“装上”专业技能来实现能力跃升。然而，当Skill数量从十几个扩展到数百个时，一个根本性问题浮现：装上Skill，大模型真的变得更强大吗？

核心发现：Skill效果并非绝对优势

为回答这一问题，研究团队在统一评测框架下完成了迄今为止最大规模的Skill实证测试：150组任务级对比、30个Skill的成本与稳定性评估、107条规范性问题审查，以及跨模型推理强度的可迁移性测试。测试结果颠覆了业界的普遍预期。

Skill虹吸现象：不该用时也被触发

测试揭示了另一个反直觉现象——Skill“虹吸效应”。在设计的三类请求测试中，系统在“该用Skill”时表现优异：普通适用请求触发率99.0%，边界适用请求也达到96.0%。但问题出在“不该用Skill”的场景：90条本应直接回答的轻量请求中，有12条（13.3%）仍被错误地触发了相关Skill。 典型案例包括：用户仅需“想5个适合检索'办公室绿植养护'的中文关键词”，这本是简单的关键词头脑风暴，但因包含“检索”“关键词”等词汇，就被吸入了搜索类Skill；又如将一句商业文案改得更自然，本是单句改写，却因出现“客户沟通”“商业价值”被误判为营销任务。这种虹吸效应不仅增加额外上下文和Token消耗，还会让原本一句话能完成的任务被套入更重的专业工作流。

成本与性能的权衡

测试数据表明：装上Skill后，Token消耗平均增加48%，耗时平均增加19%。多媒体生成、复杂产物组织、结构化交付等场景的Token倍率最高。 但有趣的是，部分Skill反而降低了消耗：fliggy-travel-planner、pdf-extract、market-research等Skill的Token倍率低于1.0，原因是它们提供了明确的流程和收束的输出边界，让模型减少了无效探索。这说明Skill设计得当可以优化资源利用，但整体而言，装载Skill意味着更高的成本投入。 进一步分析发现，Token消耗与耗时并非严格绑定。fitness-coach、note-taker等Skill导致Token增加但耗时未涨，因为瓶颈在模型上下文处理；而word-docx类Skill耗时高但Token未必高，因为瓶颈在Office工具链和文件处理。

稳定性与工程化挑战

测试发现，近一半的Skill在工具链调用、外部API、长等待或反复修正环节遇到稳定性问题。这揭示了一个被低估的事实：当Skill从简单的提示词演变为“带工具、脚本、文件、外部服务和交付物的完整流程”时，稳定性就不再是大模型的能力问题，而是一个工程链路问题。越依赖多步骤工具链、外部API和长时间等待的Skill，稳定性风险暴露面越大。 此外，107条规范性问题主要集中在依赖声明、维护一致性、资源组织和触发边界四个维度。这些“工程债”问题若不及时解决，会让Skill在复用、评测和自动化升级时越来越脆弱。

如有侵权，请联系删除。