By 小墨
2026年5月11日
56
345
玩转Harness后,我终于知道哪些是必须,哪里会翻车,加什么能救命了!
随着大模型能力的持续提升,业界一个共识逐渐形成:模型越强,所需的Harness(脚手架)就越少。Claude Code之父Boris在近期的演讲中提到,一年后Claude Code可能只需100行代码。OpenAI也明确表示:「Scaffolding is coping, not scaling」。然而,现实情况是模型种类繁多——不同尺寸(flash、pro)、不同推理深度(thinking low、high)对Harness的需求截然不同。本文通过一系列实验,帮你找到答案:哪些Harness是必须的?拿掉什么会翻车?加什么能救命?
简单任务:小模型足以胜任
实验选取了阶跃星辰的Step Plan系列模型进行测试,包括step-3.5-flash(196B MoE)、step-3.5-flash-2603(Agent场景强化版)和step-router-v1(动态路由模型)。测试任务分为三个梯度:简单修bug、中等加功能写测试、最难的us-003(从零实现多范围解析器,12条验收标准)。
复杂任务:两个护栏就够
简单和中等难度的任务测试结果不出意料:两个模型全部通过。令人惊喜的是,step-3.5-flash反而是最快的,仅用30次工具调用、48秒就完成了中等任务。这验证了Boris的观点:在很多场景下,你可能不需要复杂的Harness,小尺寸的worker模型照样可以完成得很好,速度更快、更便宜。复杂规划任务交给大尺寸模型就可以了。
Scaffolding is coping, not scaling.
“OpenAI”us-003测试结果最有意思。step-3.5-flash裸跑时完全停不下来,做了267次工具调用。它其实写对了代码,但不知道自己写对了——写完后继续改,又改出新bug,循环往复直到超时。解决方案出奇简单:添加两个护栏即可。第一,给工具调用设置上限(80次);第二,添加auto-resume commit,在worker被kill前自动执行git commit防止代码丢失。添加这两个护栏后,step-3.5-flash在151秒内成功通过us-003。
实验还发现一个反直觉的现象:经过Agent优化的step-3.5-flash-2603在复杂任务上反而失败了。原因在于它表现过于谨慎——每改一点代码就跑一次测试。在复杂任务上,这种每步验证很快就把工具调用额度用完了。这印证了OpenAI的观点,但方向相反:内化过多scaffolding行为,在有限budget下反而丧失效率。
深度思考模式的陷阱
更令人惊讶的是,在低推理模式下,step-3.5-flash-2603全场最快,一轮通过。低推理模式下模型每次输出更短、更聚焦,不花token犹豫。而好的feedback替代了内部推理——代码有bug时不需要模型自己推理出问题在哪,Harness直接告诉它。这说明:Harness不是模型的拐杖,而是模型的杠杆。
如有侵权,请联系删除。
Related Articles
-
Sat Jun 13 2026AI驱动企业创新,用友HERO AI训练营(雅加达站)圆满落幕
2026年6月11日,用友在雅加达举办的HERO AI训练营成功吸引了来自制造、零售与服务业的印尼企业管理者,聚焦企业AI落地实践与智能体应用场景探索。
-
Sat Jun 13 2026给AI装上'仪表盘'、国家数据局连出重拳:今天数据与科技政策密集发布
2026年6月13日,监管与数据主管部门密集发布多项政策文件,包括人工智能计量体系和行业高质量数据集建设方案,旨在夯实AI发展所需的数据与测评基础。
-
Sat Jun 13 2026给AI装上“仪表盘”、国家数据局连出重拳:今天数据与科技政策密集发布
2026年6月13日,市场监管总局、国家发改委与国家数据局等多部门密集发布关于AI计量与数据集建设的政策文件,旨在为AI发展建立制度化支撑。
-
Sat Jun 13 2026200+AI专家集结北京,共议世界模型、智能体、具身智能等话题
智源大会在北京中关村国际创新中心召开,吸引200余位国内外顶尖学者、产业领袖和青年科研人才,围绕世界模型、智能体与具身智能等主题展开深入交流。
-
Sat Jun 13 20262026产业园区未来大会暨AI园区智能体发布会成功举办!
2026年6月13日,在上海举办的产业园区未来大会暨AI园区智能体发布会,围绕产业园区高质量发展与AI生态服务资源共建展开,吸引了来自政府、产业投资开发商和园区运营商等多方代表参与。
-
Sat Jun 13 2026给AI装上'仪表盘'、国家数据局连出重拳:今天数据与科技政策密集发布
2026年6月13日,多个监管与政策部门发布关于人工智能计量与行业数据集建设的关键文件,标志着国家层面在AI能力测量、数据质量与治理方面进入快速部署阶段。
-
Sat Jun 13 2026200+AI专家集结北京,共议世界模型、智能体、具身智能等话题,这届智源大会释放什么信号?
2026年6月12-13日,智源大会在北京中关村举办,吸引了200余位国内外顶尖学者、产业领袖与青年科研人才。会议围绕人工智能前沿议题展开,讨论从理论模型到系统化落地的路径。
-
Fri Jun 12 2026ConnectNow重磅发布「超级智能体」Supra AI Agent:企业AI正式迈入'目标驱动'时代
ConnectNow在香港正式发布其新一代企业级智能体产品Supra AI Agent,强调从指令响应向目标驱动和自动交付的能力跃迁,面向复杂业务场景提供端到端解决方案。
-
Fri Jun 12 2026融资813亿,估值3000亿,这家AI公司创办仅一年
Prometheus在短短一年内完成巨额融资,宣称将用AI重塑复杂工业产品的设计与开发流程,目标是在飞行器、医疗设备等领域实现显著的效率提升与成本下降。
-
Fri Jun 12 2026红杉领投种子轮融资,AI企业法务初创Sandstone又完成3000万美元A轮融资
AI法务初创Sandstone在短时间内完成新一轮融资,显示出资本对法务领域AI化的浓厚兴趣。公司通过模型与流程结合,为中小企业提供日常法务自动化解决方案。
-
Fri Jun 12 2026中国信通院发布2026年上半年可信AI智能体评估结果,新一批评估正式启动!
在6月9日的智能体高质量发展研讨会上,中国信息通信研究院发布了2026年上半年可信AI智能体评估结果,并介绍了评估体系的升级方向,强调从能力评估向全过程治理与业务价值的延展。
-
Fri Jun 12 2026中国信通院发布2026年上半年可信AI智能体评估结果,新一批评估正式启动!
中国信息通信研究院公布2026年上半年可信AI智能体评估结果,评估体系升级为2.0,评估范围从单点能力扩展至智能体构建、运行和运营的全流程能力。
-
Fri Jun 12 2026融资813亿,估值3000亿,这家AI公司创办仅一年
近日,一家由科技界重要人物秘密创立的AI公司完成了规模巨大的B轮融资,成为2026年迄今为止最引人注目的融资事件之一。公司专注将AI能力工程化,赋能复杂工业产品的设计与开发。
-
Fri Jun 12 2026AI生态之战打响:微信做入口,腾讯来托底
本文从微信的用户规模与生态能力切入,分析其作为AI入口的天然优势,及腾讯如何通过开放接入和生态联动,打造面向服务商与开发者的智能体接入体系。
-
Fri Jun 12 2026谷歌 847 亿融资释放信号,AI 进入回本大考
本文围绕Alphabet筹资847.5亿美元事件展开,分析该轮融资对AI产业资本逻辑与估值体系的深远影响,强调大规模投入对行业分化与资源配置的推动作用。
-
Fri Jun 12 20262026智源大会:一场技术硬核的AI年度盛会
第八届北京智源大会于6月12日召开,成为本年度人工智能领域的重要技术盛会,吸引了国内外顶尖学者和企业高管参会。大会围绕世界模型、通用智能体和具身智能三大方向展开讨论,展示了多项前沿研究与工程示范。
-
Fri Jun 12 2026ConnectNow重磅发布「超级智能体」Supra AI Agent:企业AI正式迈入“目标驱动”时代
2026年6月9日,ConnectNow在香港发布了新一代企业级智能体Supra AI Agent,强调从被动响应到主动目标驱动的能力跃迁。
-
Fri Jun 12 2026明天见!AI焕新·智能相伴——PKPM Agent 2.0暨工程智能体"十五五"发展研讨会(北京站)
PKPM Agent 2.0在北京站研讨会亮相,会议围绕工程智能体在复杂结构分析、智能审查与城市更新中的实践展开讨论,强调智能体在工程设计与建造中的助力作用。
