NVIDIA开源FlashREINFORCE：长程Agent训练的异步RL基座

传统同步RL训练模式下，所有rollout worker必须等最慢的那条长轨迹完成交互后，才能统一提交给learner更新，大量GPU算力在等待过程中空转；同时为了构造对比反馈，往往需要对同一个prompt采样多条轨迹，在固定采样预算下能覆盖的不同问题数量大幅缩水。s-AIDeepThiN✶k.cn

FlashREINFORCE完全打破了这个范式：每个prompt仅生成一条独立轨迹，不同worker完成推理和环境交互后，直接将已完成的轨迹异步提交给learner，无需等待其他worker同步凑齐批次，把全部采样预算都用于覆盖更多不同的问题，算力利用率直接拉满。

一、创新组件

1. One-Batch REINFORCE 无Critic反馈构造‌

完全抛弃传统RL依赖的Critic网络，直接用批次内所有轨迹的平均奖励作为基准，自动为每条轨迹生成正负优势值：成功轨迹获得正反馈、失败轨迹获得负反馈，无需额外训练或预训练价值网络，大幅降低系统复杂度。同时采用“一批轨迹仅做一次完整更新”的设计，用完即弃，避免在同一批数据上反复迭代累积策略漂移。

2. Sequence Trust Region 轨迹级漂移管控‌

在传统Token级重要性采样校正动作概率的基础上，新增整条轨迹维度的信任门限机制，自动过滤掉由过旧策略快照生成、与当前learner策略偏差过大的轨迹，从根源上杜绝异步训练中“行为策略与当前策略脱节”导致的训练崩溃问题，让6000+步长周期稳定训练成为可能。

3. Sample-Mean Optimization 长轨迹权重平衡‌

自动限制长失败轨迹的额外主导权重，避免仅因token数量更多的长错误轨迹就过度主导负向更新，平衡不同长度轨迹对训练的贡献，解决长程Agent训练中“长轨迹梯度爆炸、短轨迹信号被淹没”的常见问题。

二、性能与落地

• 已在长CoT数学推理、Python工具调用、ALFWorld具身交互三类典型长程Agent任务上完成全量验证，训练稳定性远超传统同步RL方案。
• 原生支持Qwen3-30B-A3B MoE等大参数混合专家模型，无需复杂适配即可直接迁移到主流开源大模型上开展Agent RL训练。
• 代码已开源托管在NVIDIA-NeMo/labs-molt仓库，配套完整技术报告公开，开发者可直接基于该基座搭建长程智能体的强化学习训练流水线。

三、结果

FlashREINFORCE的开源，直接把长程Agent的异步强化学习门槛从“需要顶尖团队深度定制”降到了普通开发者开箱即用的水平，为后续全自主科研智能体、复杂自动化工程Agent等高级形态的落地扫清了底层训练基础设施障碍。

宣称是首个无评论家（critic-free）、单rollout、异步的开源LLM RL方法，完成6000+次稳定更新。论文、代码、项目页全部公开。s-AIDeepThiN✶k.cn