SkillSieve：Agent Skill安全检测三层框架

随着Agent技术的快速发展，Skill已成为扩展Agent能力的重要手段。一个Skill通常包含自然语言说明文档（SKILL.md）和可执行脚本，可能赋予Agent文件访问、网络请求、环境变量获取等敏感能力。然而，这种灵活性也使其成为新的攻击面——恶意Skill可以伪装成正常工具，通过不一致的描述、权限声明和实际行为来绕过安全检测。据统计，OpenClaw平台的ClawHub已收录超过1.3万个社区Skill，其中相当比例存在恶意或高风险问题。

Skill的双模态风险特征

与传统软件包安全扫描不同，Skill安全检测面临独特的双模态挑战。风险不仅存在于代码层面（如窃取密钥、数据外传、恶意执行），还隐藏在自然语言说明中——提示注入、权限诱导、社会工程、跨文件分工式恶意逻辑等。传统正则和静态分析工具难以理解SKILL.md中的自然语言意图，而仅依赖单一LLM做整体判断，又容易被“包装精美”的恶意Skill绕过。因此，Skill安全本质上是描述、权限、实现的“一致性”问题。

三层分诊流水线架构

SkillSieve设计了类似安全运营中心的分层检测流程。第一层（Static Triage）采用低成本静态分析，包括正则规则扫描（覆盖反弹shell、凭证窃取等60条规则）、AST结构特征提取、元数据信誉信号和SKILL.md统计特征。这一层目标是高召回、低成本，平均处理时间不到40ms，可在零API成本下过滤约86%的安全样本。第二层（Semantic Analysis）将可疑样本拆解为四个语义维度并行分析：意图一致性（声称与实际行为是否匹配）、权限正当性（权限请求是否与用途一致）、隐蔽行为检测（是否存在隐瞒或绕过行为）、跨文件一致性（文档与脚本是否前后矛盾）。第三层（Multi-LLM Jury）仅针对高风险样本，引入多模型陪审团机制，通过多轮独立判断和结构化辩论处理真正难以判定的灰区样本。

结构化语义分解的核心价值

论文最具创新性的设计是第二层的结构化语义分解（SSD）。传统方案直接询问LLM“这个Skill是否恶意”，结果受“整体印象”影响严重——恶意Skill往往伪装良好，单次提问容易漏判。SSD将问题拆解为四个并行子任务并设置权重（意图一致性0.35、权限正当性0.25、隐蔽行为0.25、跨文件一致性0.15），以加权和计算风险分。实验表明：单次提问F1为0.746（精度1.0，召回0.596），而SSD达到F1为0.800（精度0.752，召回0.854）。SSD的优势在于能识别“局部都像正常，拼起来不正常”的组合式攻击——例如一个声称做DeFi交易的Skill，申请了OPENAI_API_KEY却无相应功能，同时要求压制交易日志。

实验结果与实践启示

在400个人工标注样本（恶意89个、良性311个）的测试中，SkillSieve端到端F1达到0.800，相比基线ClawVet的0.421有显著提升。消融实验表明：仅用第一层静态分诊即可达到0.733的F1和0.989的召回，证明低成本规则扫描的价值；而从单次LLM提问升级到SSD带来的提升（F1从0.746到0.800），远超单纯更换更强模型的效果。对抗测试中，编码混淆、跨文件拆分、条件触发等五类攻击技术均被成功拦截。

如有侵权，请联系删除。