AReaL 2.0 正式发布：面向 Agent 应用的 Online RL 微服务架构升级

随着大模型智能体逐步深入真实生产环境，Agent 已不再是一次简单的模型调用，而是涵盖规划、工具调用、沙箱执行、记忆检索和状态管理等多环节的复杂系统。然而，一个根本性矛盾日益凸显：Agent 一旦部署上线，其能力便陷入“冻结”状态。数百万次真实交互中产生的宝贵轨迹——用户提问方式、模型规划路径、工具调用成败、代码执行结果、用户反馈信息——这些高价值的学习信号在现有系统中难以稳定、安全地进入训练闭环。如何让 Agent 在真实环境中持续学习和进化，已成为制约 Agent 技术落地的关键瓶颈。

RL as Micro-Service：从紧耦合到灵活编排

围绕这一挑战，AReaL 正式发布 2.0 版本，实现了面向 Agentic RL 的核心架构升级。团队将原有强化学习训练链路重构为一套 RL as Micro-Service 的在线学习基础设施，使已有 Agent 应用可以通过极低侵入的方式接入强化学习闭环。开发者无需重写 Agent 代码，只需将原有模型调用入口切换到 AReaL 管理的服务入口，就能让真实 Agent 交互流进入 Online RL 闭环，实现能力的持续进化。

实战范例：零门槛复现与黑盒接入

传统 RL 训练链路中，应用侧与训练侧存在严重的工程隔离。开发者若想将真实 Agent 接入 RL 训练，往往需要同时应对应用改造、数据构建、分布式运行等多重复杂度。AReaL 2.0 的核心创新在于 RL as Micro-Service 理念——将训练、推理、权重更新等核心能力拆分为可独立部署、可灵活组合的服务组件，通过解耦再组合的方式，将原本紧耦合的 RL 后训练系统转变为可插拔的 Agent 学习运行时。这意味着 AReaL 不再局限于离线 RL 训练框架，而是可以作为真实 Agent 服务的在线学习基础设施。 这些组件的统一拼接既能覆盖既往训练范式：单独使用训练组件可完成 SFT；联合训练与推理组件可完成 OPD；完整串联训练、推理与权重更新则可完成标准 RL。同时也能拓展全新研究方向：联合推理与 Agent 服务，可优化 Memory、System Prompt 和 Skill，实现轻量级 Agent 自我进化。

开放生态：从单一框架到协作网络

AReaL 2.0 提供零门槛可复现的软件工程智能体训练基础设施，覆盖三大核心环节。在数据处理层面，通过筛选至少有一个外部模型能做对的种子数据，并改写 issue 描述使其与 golden patch 更匹配；在 Agent Infra 层面，基于 sandbox 引擎的分布式调度设计，支持数十 K 级环境实例并发，实现毫秒级 fork 启动与镜像预热，避免 RL 过程中的脏数据生成；在算法稳定化层面，引入 KPop 策略，针对训练与推理引擎间的 logprob mismatch 进行 token 级自适应过滤，防止训练后期崩溃。模型经过 800 步训练后实现稳定涨分，为开发者复现 Claude Code Agent RL、替换自定义任务环境、构建自己的软件工程 Agent 训练流程提供了直接参考。 进一步地，以 Hermes Agent 为载体的 Online RL 演示，将门槛降至“现有 Agent 直接接入”。通过异步训练机制，轨迹持续汇入，攒够一批自动触发更新，新权重在线热替换。Agent 无需重启、无需重连，能力在持续交互中悄然提升。开发者只需将演示 Agent 替换为

总结与展望

AReaL 自今年 5 月正式孵化成为独立社区并加入 PyTorch 基金会 Ecosystem，此后进一步融入主流深度学习基础设施生态。基于 Micro-Service 架构，AReaL 2.0 带来了更灵活的开放生态，通过面向更多硬件平台的开放适配，进一步降低大规模 Agent RL 系统的使用门槛，提升框架在不同设备环境下的可用性和可迁移性。 值得关注的是，AReaL 2.0 已开启与 MindLab 的全面合作，致力于构建面向低算力规模场景的端到端智能体强化学习服务化解决方案。MindLab 基于 AReaL-Mint 构建了 LoRA RL 的类 Tinker API 系统，开发者只需编写自己的 Agent loop，定义任务环境、模型交互方式、奖励或反馈机制以及训练逻辑，AReaL 便可以在大规模训练和推理集群上运行这套逻辑，并处理分布式训练、轨迹采样、权重同步、模型更新等底层工程流程。这使得中小规模团队也能便捷地构建和部署自己的在线强化学习系统。

如有侵权，请联系删除。