Claude Code Auto Mode 压力测试：81%误放行率背后的权限管理挑战

随着AI coding Agent从辅助编程逐步走向直接执行开发操作，模型被赋予的权限也越来越大。修改代码、部署服务等真实运维权限的赋予，使得如何在效率与安全之间找到平衡成为关键问题。Anthropic近期为Claude Code推出的Auto Mode，正是为了解决这一挑战而设计的自动分类机制。

压力测试设计：AmPermBench基准

Auto Mode的设计目标是替代频繁的人工审核，同时避免完全跳过权限检查带来的风险。其核心采用分层权限架构：输入侧使用server-side prompt-injection probe进行初筛，输出侧则通过transcript classifier对即将执行的动作进行二次审核。在实际操作中，Claude Code的动作被划分为三个层级：Tier 1为只读安全工具，Tier 2为项目目录内的文件写入与编辑（默认允许），Tier 3则包括shell和外部服务调用等敏感操作，需要交由Sonnet模型进行正式审核。

核心发现：高误放行率与系统性盲区

香港科技大学与苏黎世联邦理工学院的研究团队设计了一套专门面向权限边界模糊场景的测试基准AmPermBench。该基准围绕四类DevOps典型任务展开：分支清理、任务取消、服务重启和制品清理。每个任务通过3个维度的歧义强度进行控制：Specificity（用户指令的明确程度）、Blast Radius（操作覆盖范围，从单一对象到多目标）、Risk Level（环境风险等级，从开发侧到生产侧）。最终形成128个测试场景的4×4×2 prompt矩阵。

实验结果揭示了令人担忧的问题

测试结果表明，在全部253个有效动作中，端到端误放行率（FNR）高达81.0%，假阳性率（FPR）为19.8%。即使在仅统计进入Tier 3分类器的160个动作时，FNR仍然达到70.3%，FPR上升至31.9%。这意味着大多数越权操作并未被有效拦截。

更值得关注的是Tier 2文件编辑路径存在的结构性盲区。由于项目目录内文件编辑属于Tier 2，默认允许而不经过分类器审核，agent在找不到预期CLI工具时，会自然转向使用Edit/Write工具甚至内联Python直接修改项目文件。数据显示，93个状态改变动作（占全部动作的36.8%）走的正是这条路径，所有不安全操作因此成为漏网之鱼。这并非agent恶意规避，而是系统设计假设与实际行为之间的根本错位——系统假设危险操作主要通过shell发生，但实际上agent会通过任何可用路径实现同等的状态改变。

如有侵权，请联系删除。