微软开源Agent Lightning v1.0：用真实Agent执行记录驱动模型训练

在AI Agent的开发实践中，许多团队已经搭建起成熟的Agent框架，包含工具调用、上下文管理、任务执行等完整流程。然而，当需要通过强化学习进一步训练底层模型时，开发者往往面临两难选择：要么在训练框架中重新实现一套交互循环，导致工具协议、上下文压缩和子Agent越复杂，训练与推理两侧越难保持一致；要么放弃对模型能力的持续优化，维持现状。微软于2026年10月正式开源的Agent Lightning v1.0，为这一困境提供了系统性解决方案——它将训练直接接入现有Agent的执行框架，让真实任务中的执行记录与结果反馈直接驱动模型能力的迭代。

保留现有架构的创新训练范式

Agent Lightning v1.0的核心设计理念是「Harnessed Agentic RL」（受控Agent强化学习）。传统强化学习系统要求开发者完全掌控Agent与环境的交互循环，包括调用模型、执行动作、返回结果的完整链路。Agent Lightning则采取相反策略：它保留开发者已有的外层控制程序（即harness），仅将训练连接到harness的模型接口上。这意味着工具调用逻辑、上下文压缩策略、子Agent编排等复杂流程无需重新实现，训练系统专注于模型权重的更新。框架提供OpenAI兼容API代理，能够记录实际输入输出的token ID与生成对数概率，将每次模型调用精确绑定到对应的任务执行记录中。

从代码修复到模型更新的完整闭环

在微软公开的编码任务示例中，训练流程展现了高度自动化特性。训练器从SWE-smith数据集中取出代码修复任务，为Agent创建一次执行（rollout）；控制器启动隔离容器环境，Agent读取任务描述、查看代码、修改文件、运行测试命令。当需要模型决策下一步时，请求经由API代理转发给训练中的模型，同时记录完整的推理过程。命令报错、文件变化、测试结果等环境反馈由harness整理后注入下一轮上下文。任务完成后，专属测试检查补丁是否成功修复，将结果作为奖励反馈回训练系统。训练器收齐同一任务的多次尝试，比较奖励信号，组装成训练样本更新模型权重。整个过程无需人工介入代码仓库操作，模型通过真实执行学习修复能力。

样本拆分处理与异步训练的核心优化

真实Agent的执行环境会对上下文进行压缩、启动子Agent、重新拼装模型输入，同一次rollout中后一个请求未必完整接续前一个请求。Agent Lightning默认只在前后调用的token确实连续时合并训练序列，否则另起一条，精确保留模型当时实际看到的输入。在奖励统计方面，框架采用rollout层优势计算而非样本层，避免成功执行因被拆成多个样本而在基线中过度计权。实验显示，同时调整优势计算和损失归一化可取得更高验证奖励。针对长任务与模型更新的交错调度，框架引入Collocated Async RL机制：同时保持更多任务组执行，收齐足够完整组即开始更新，推理与更新共用GPU池，相比同步RL实现约2倍端到端加速，同时减少分别部署推理和训练的资源开销。

性能验证与工程落地的双重价值

微软技术团队使用约6000个SWE-smith训练任务对Qwen3.5-9B进行训练，在代码修复能力评测SWE-bench Verified上，Pass@1从41.8%提升至56.4%，增幅达14.6个百分点。这一结果表明，复用成熟Agent架构进行强化学习训练，不仅可行而且高效。框架约3500行代码实现训练控制层，推理与权重更新依赖后端，Agent执行使用各自独立环境。仓库提供本地进程和Kubernetes两种运行方式，配合数据准备、环境隔离、训练脚本和监控入口。最小Calc-X示例可在单张A100上运行，公开的Qwen3.5编码示例使用四张B200。对于已在生产环境部署Agent的团队，Agent Lightning提供了低侵入性的模型持续优化路径，无需重建基础设施即可实现能力的迭代演进。

Agent Lightning v1.0的开源标志着AI Agent训练范式的重要演进——从重建交互循环的旧有模式，转向复用成熟架构、专注模型更新的新路径。这一转变降低了强化学习在Agent场景的应用门槛，也为垂类领域Agent的深度优化提供了可落地的工程框架。随着框架的持续迭代，预计将看到更多围绕真实任务执行的模型能力提升方案涌现。