Agentic 训练年度深读：从合成数据到可靠的长程策略

代表作一 · Agent0：让课程与执行器共同进化

Agent0: Unleashing Self-Evolving Agents from Zero Data via Tool-Integrated Reasoning，2025 年 11 月首次公开。它研究的是：没有现成任务集和人工答案时，能否让模型自己生成有挑战性的任务，并在解决这些任务时继续提升？

它试图突破的不是标注成本，而是固定课程的上限

静态题库会随模型变强而失效：全会的题不再产生组内学习差异，全不会的题也无法提供可用成功路径。Agent0 从同一个基座模型初始化两个角色：Curriculum Agent 负责出题，Executor Agent 负责解题。每轮先训练出题器，再冻结它生成候选池，筛选并训练执行器。两者都配代码解释器，执行能力提高后，出题器需要生成更依赖工具、结构更复杂的任务。

课程奖励：寻找“半数意见”的任务

对生成的题目 \(x\)，执行器采样 \(k\) 个回答，令 \(\hat p\) 为投给多数答案 \(\tilde y\) 的比例。课程奖励之一为：

\(\hat p=0.5\) 时奖励最高，表示回答分歧大；接近 1 表示任务太容易或模型高度一致；接近 0 表示多数答案占比很小，任务可能过难或表述不清。课程奖励还鼓励工具调用、惩罚相似任务重复，并用格式检查门控。执行器则按是否匹配多数答案 \(\tilde y\) 给终局奖励。

例如 10 次采样中，6 次答 42、4 次答 41，多数答案为 42，\(\hat p=0.6\)，于是 \(R_{\mathrm{unc}}=0.8\)。这里的 0.6 不是“60% 正确率”，而是 60% 的回答相互一致。如果正确答案其实是 43，模型仍可能高一致地犯错。代码执行能验证某段计算的结果，却不能自动证明题意、输入或数学建模正确。

ADPO：在低置信处少信任伪标签，同时允许探索

Agent0 的 ADPO 用同一 \(\hat p\) 做两件事：一致性越低，优势缩放越小，避免强学习可疑伪标签；同时提高 PPO 风格裁剪的上界 \(\epsilon_{\mathrm{high}}\)，允许当前低概率的正确路径获得更大上升空间。高置信样本则保持更紧的约束。它针对的是“伪标签可能错”与“探索可能被压住”之间的矛盾，不是对多数投票正确性的证明。

实验支持了什么

论文在 Qwen3-4B/8B-Base 上比较数学与一般推理任务，8B 数学平均从基座 49.2 到 Agent0 的 58.2；总体十项平均从 34.5 到 42.1。迭代中，同一早期执行器对第 1、2、3 轮生成任务的通过率从 64.0% 降至 58.5% 和 51.0%，平均工具调用从 1.65 增至 2.60，支持“生成任务变难、工具依赖增强”的作者解释。课程训练、工具奖励、重复惩罚和 ADPO 的消融也显示各组件有贡献。

代表作二 · EnvScaler：把训练样本造成可运行的小世界

EnvScaler: Scaling Tool-Interactive Environments for LLM Agent via Programmatic Synthesis，2026 年 1 月首次公开。它解决的不是“怎样自动写更多问答”，而是如何批量构造有持久状态、可执行工具、任务场景和验收逻辑的训练环境。

为什么仅有成功轨迹不够

模仿“先调用 query_ticket，再调用 send_email”只能教会一条已被演示的路径。真实执行中，查询可能为空、参数可能缺失、用户可能只给不完整信息、不同合法调用顺序也可能达到同一目标。EnvScaler 因此让 LLM 充当环境程序员，而不是让它在每一步凭空扮演环境。

两段生成流水线

SkelBuilder 从已有任务资源反推环境主题，再规划状态、领域规则与工具，将它们组装为 Python 类。类属性表示持久状态，方法表示工具，文档与工具 schema 决定 Agent 能看到什么。前端测试 Agent 发起正常或异常工具请求，后端检查 Agent 根据源码、返回值与状态变化评价行为是否符合预期；经过 100 轮检查，通过率低于 0.85 的环境被丢弃。

ScenGenerator 在骨架上生成初始数据库与具体任务，再将任务拆成若干可检查条件，每个条件转成最终状态的布尔函数：

这条奖励可以容纳多条合法执行路径，并给部分完成以部分分数。但它检查的是生成出来的条件，不是自动覆盖任务全部语义。例如只检查“工单有提醒时间”与“邮件已发送”，仍可能漏掉“收件人必须是该工单负责人”和“24 小时内不得重复提醒”。

环境检查与任务验收不是同一件事

环境检查关心“工具实现是否按程序与规格工作”：删除不存在的文件是否报错、成功发送是否更新记录、异常输入是否破坏状态。任务验收关心“用户目标是否达成”：是否正确查询、是否发给正确的人、是否只修改需要的字段。两层都可能通过而仍不真实：程序稳定地执行了错误的业务逻辑，验收器也继承了同样的遗漏。

实验增量主要来自哪里

论文生成 191 个环境、约 7K 场景；140 个环境用于 SFT，另外 51 个用于 RL，教师轨迹约 9K，RL 使用 REINFORCE++。Qwen3-8B 在 BFCL-v3 Multi-Turn 的 overall 从 28.88 到 SFT 的 37.00，再到 SFT+RL 的 41.88：13 点总增益中，SFT 占 8.12 点，RL 在其上再增 4.88 点。Tau-Bench 从 38.19 到 41.35、44.81，ACEBench-Agent 从 60.00 到 71.67、72.50。

直接使用 RL 不经过 SFT 也能提升，但弱模型收益更不稳定；作者将差异归因于探索能力与噪声奖励的敏感性。环境数量从 0 增至 20 时收益最明显，之后仍有增长但趋缓。报告的小样本生成成本约为每环境 1 美元、每场景 0.06 美元，主要 token 用在 100 轮环境评估。

代表作三 · SPADE：让环境难度跟着策略一起变化

SPADE: Self-Play in Adaptive Synthetic Executable Environments，2026 年 8 月首次公开。EnvScaler 展示怎样批量造环境，SPADE 进一步问：环境生成器本身能否在线学习，使课程随解题能力共同演化？

同一模型分饰环境设计者与解题者

Environment Designer（ED）输出带 reset() 与 step(action) 的 Python 环境，内部包含状态转移、奖励与 verifier；Reasoning Agent（RA）看不到环境源码，只能根据观察行动。二者共享参数、通过不同提示切换角色。ED 还从外部语料抽取题材，并读取包含历史环境胜率与 regret 的记忆，避免重复生成过时难度。

对单轮推理任务，step(answer) 只执行一次；对多轮游戏或工具任务，环境能连续反馈。候选环境先做语法与执行检查，工具环境还检查重置条件和可解性。随后，RA 分别在无提示和有提示条件下多次游玩，环境的“难度”与“可教性”由两组回报共同决定。

提示 regret 与难度平台各自负责什么

提示 regret 写为：

如果有提示能显著提升回报，说明环境处于“给一点帮助就能学会”的区域；两边都成功表示太容易，两边都失败可能太难或环境有缺陷。实际 ED 奖励并非只有 regret，而是约 60% 来自胜率位于 0.4–0.6 的难度平台，约 40% 来自截断并归一化的提示 regret。前者让任务留在学习边缘，后者在相近难度中优先可教任务。

例如一个环境无提示平均回报 0.25，有提示 0.65，差值 0.4，说明有较大的提示可教空间；另一个环境两边都约 0.9，虽能稳定得分，却不再是好课程。但提示差并不证明环境语义正确：提示也可能泄露答案、引导错误捷径或改变任务本身，仍需独立检查状态转移与验收条件。

外部语料是新颖性的重要来源

SPADE 并没有让模型在封闭自我循环中凭空增加知识。游戏环境使用数学与科学材料，工具环境使用代码预训练语料作为生成种子。已有精读中的复核显示，去掉语料后 Vendi/n 多样性指标从 0.68 降至 0.04；环境记忆则更偏向记录哪些难度已经过时。这个消融说明：外部材料提供“还能写什么”，当前策略回报提供“现在该学什么”。

实验证据与仍未证明的部分

在 Qwen3-30B-A3B 的游戏设置中，论文报告八项平均从 50.2 到 58.3；可学习环境（胜率 20%–80%）占比从 0.16 到 0.31。工具环境的多轮 BFCL、τ²-bench、ACEBench-Agent 也报告提升。完整配方优于冻结设计者、去掉记忆和去掉语料的变体，支持在线环境更新的价值。

这些结果不是“无限开放自我改进”的证据：外部语料仍提供题材，难度区间仍由人工设定，优化算法仍固定为 GRPO，评测仍是固定 benchmark；主实验的多随机种子、等总算力与完整生成成本比较也有限。站内已有 SPADE 单篇深读，继续展开其程序接口、理论假设、公开代码与 verifier 反例。

代表作四 · RAGEN-2：熵正常，不代表推理仍然健康

RAGEN-2: Reasoning Collapse in Agentic RL，2026 年 4 月首次公开。前三篇改善训练任务与环境供给，RAGEN-2 则处理一个更隐蔽的问题：训练继续更新，输出仍然流畅、有变化，却逐渐不再真正响应当前输入。

什么是 template collapse

设想模型面对“工单已提醒”与“工单未提醒”两个不同状态，都生成“先全面分析，再谨慎执行，最后确认结果”的长篇推理，偶尔替换几个同义词。单看每道题，输出似乎有变化；把不同题放在一起，推理却几乎不携带输入信息。此时 entropy 可以仍然很高，但策略已开始模板化。

论文用信息论恒等式区分两种性质：

\(H(Z\mid X)\) 是同输入下的条件多样性，\(I(X;Z)\) 是输入与推理之间的依赖。前者高并不保证后者高。理想状态是推理能随问题改变，而不是单纯追求更高随机性。

怎样用已有 rollout 估计输入依赖

对批内 \(P\) 个输入及每个输入的 \(G\) 条推理，计算每条推理 \(Z_{i,k}\) 在真实来源输入 \(X_i\) 与其他输入 \(X_j\) 下的 teacher-forced 对数似然，形成矩阵：

若正确来源输入下的分数明显高于其他输入，检索准确率较高，说明推理仍能区分题目；若每个输入下都差不多，matched 与 marginal 接近，输入依赖代理接近 0。论文同时监控基于检索的 Retrieval-Acc 与经过标准化、指数平滑的 MI-ZScore-EMA。它不是直接得到高维 token 序列的真实互信息，而是可计算的诊断代理。

低奖励方差为何值得警惕

同一输入采样 \(G\) 条轨迹，组内奖励为 \(R_g\)，以均值作 baseline 时：

若全成功或全失败，奖励差消失，任务梯度弱；KL 与 entropy 等正则项却仍可能更新参数。论文将低方差、弱任务梯度与输入无关正则占主导联系起来，提出按组内奖励方差排序、累计保留方差质量的 Top-p SNR-Aware Filtering。它优先更新能区分轨迹的题，而不是盲目对所有样本施加相同更新。

需要特别区分：方差小说明当前组缺少区分信号，不说明题永远没有价值。全失败的难题也可能恰是需要示范或拆解的任务；过滤只是控制更新，不应成为永久删除难题的理由。

证据和适用范围

论文在 Sokoban、FrozenLake、MetaMathQA、Countdown、SearchQA、WebShop、DeepCoder 等环境，以及多种算法、模型规模和模态下检验。主文中 MI 代理与最终表现的正相关高于 entropy 类指标；过滤在若干设置下改善峰值成功率，并减少参与梯度计算的组数。作者也明确承认，信号/噪声分解在现实中可能耦合，高噪声奖励会破坏方差代理，激进过滤会缩窄探索，且多智能体情形仍待研究。

更完整的推导、交叉打分、消融和失败条件，见站内 RAGEN-2 单篇精读。

代表作五 · Agent Lightning v1.0：训练必须保存真实发生的调用

Agent Lightning v1.0: Towards Harnessed Agentic RL，2026 年 8 月首次公开。它把关注点从奖励函数转向训练与部署之间的接口：真正的 Agent 已生活在复杂 harness 中，训练框架如果只保留简化版 ReAct 循环，学到的可能不是部署时那个系统。

harness 为什么不是外围包装

harness 负责构造上下文、执行工具、处理异常、调用子 Agent、压缩历史和控制停止。它决定模型实际看到什么、能采取哪些动作、错误如何恢复。Agent Lightning 的选择是让部署 harness 持有这些逻辑，训练器通过模型 API 边界记录每次请求的真实 prompt 和生成 token，而不是要求用户在训练框架内重新实现整个 Agent。

文本相同，不代表训练上下文相同

一次调用采样得到 \(a_i^{\mathrm{tok}}\)，返回文本后再进入下一次 prompt。重新分词可能将相同字符串切成不同 token；chat template 也可能拼接边界符、移除标记；工具输出解析器还可能规范化 JSON 或修复格式。因此下一次真实请求中的历史响应 \(\widehat a_i^{\mathrm{tok}}\) 不一定等于原始采样：

若强行用旧 token 替换新请求中的片段，虽然提高了 prefix merge 率，却让下一次动作在一个它当时没有看到的“拼接 prompt”上计算损失，形成 off-policy 差异。Agent Lightning 采用 best-effort merging：只有真实 token 前缀完全成立才合并，否则结束当前训练序列并新开一个。它牺牲部分复用，优先保存生成时真实条件。

一个切片改变 advantage 的算例

同一 GRPO 组有两条原始 rollout：成功得 1，失败得 0。成功 rollout 因摘要被切成 3 个训练 sample，失败仍是 1 个。

模型行为与任务奖励完全没有变化，只是物理切片不同，baseline 就从 0.5 变成 0.75。论文因此主张按原始 rollout 归组计算 advantage，并保留每条序列的 rollout 与 prompt-group 身份。

损失平均也有不同选择：全 batch token-mean 不因 sample 数改变，但长负轨迹会占据更多权重；逐 sample 先平均再平均会让切片更多者权重更高；rollout-level token-mean 先在每条 rollout 内按 token 汇总，再在 rollout 间等权，论文采用后者。它没有声称所有任务的最优归一化唯一，而是把原本隐含的权重选择显式化。

结果与复现边界

论文报告 Qwen3.5-9B 在约 6K SWE-smith 训练样本上，经 RL 后 SWE-bench Verified 从 41.8% 到 56.4%，绝对增加 14.6 点。官方示例提供数据过滤、环境镜像与训练脚本，同时需要 GPU 与容器/Kubernetes 环境；“轻量框架”“开源”不等于个人电脑可直接复现。其价值更在于把真实 harness 的动态样本问题变成可审查的训练语义。