Paper Review · Agent RL Signals

Verifier、Compaction 与 Direct-OPD：Agent RL 的三种可复用中间信号

LLM-as-a-Verifier、CompactionRL 和 Direct-OPD 分别把“候选质量”“长程状态”“RL 改进方向”变成可复用的中间信号。三篇材料合读后的核心不是某个方法单独解决 agent RL，而是说明下一阶段 post-training 会越来越依赖过程信号、状态抽象和训练轨迹的再利用。

核心判断

三篇论文都在反抗同一个低效循环：每个任务都从头 rollout、每条长轨迹都塞满上下文、每个强模型都重新跑昂贵 RL。LLM-as-a-Verifier 说，候选池里常已有正确轨迹，缺的是能从评分 token 概率中读出细粒度偏好的 selector；CompactionRL 说，长程 agent 的历史不应只是被截断或外包总结，summary 本身应成为 policy action；Direct-OPD 说，弱模型 RL 已经发现的 policy shift 不应被丢掉，可以作为强模型 on-policy 状态上的 dense reward。

Verifier 信号

从离散 LLM judge 转向 logprob expectation，用连续分数回收 oracle Pass@N headroom。

State 信号

把 summary 训练成 agent 自己的状态压缩动作，让未来决策共享最终任务 reward。

Shift 信号

从 teacher/ref 的 log-ratio 中抽取 RL 方向，而非模仿弱 teacher 的最终分布。

问题背景：长程 agent 的稀疏奖励太贵，过程信号太浪费

当前 agent RL 的矛盾很尖锐。长程任务需要多候选、多轮反馈和工具执行，但最终 reward 往往只有通过或失败；上下文越长，历史越容易丢失、污染或压垮模型；强模型越大，每次重新做 RLVR 的 rollout 成本越高。于是，研究开始转向更中间层的信号：不只问“最后过没过”，还问候选之间谁更好、运行到一半是否更接近成功、历史应如何压缩、弱模型的 RL 方向是否能迁移。

LLM-as-a-Verifier 的背景是 oracle headroom：如果对同一任务采样多条轨迹，候选池中常有正确解，但系统不知道选哪条。论文指出 Terminal-Bench V2 中，如果有 oracle verifier，从多条轨迹中选最优，池化 leaderboard 的 oracle Pass@K 可到 98.9%。这说明生成侧 test-time scaling 的收益受限于 verification。

CompactionRL 的背景是有限 context：ReAct 风格 agent 把每轮 action-observation append 到提示中，越跑越长；外部 summarizer 或启发式 compaction 会决定之后所有信息，却没有用最终任务 reward 训练。Direct-OPD 的背景则是 weak-to-strong post-training：小模型上跑 RL 便宜，大模型上跑 RL 贵；但如果直接让大模型模仿小模型 post-RL policy，会把小模型能力上限也蒸馏进去。

机制拆解：三种中间信号如何进入训练或选择

LLM-as-a-Verifier：把评分 token 的概率分布变成连续 reward

传统 LLM-as-a-Judge 常输出 1–5 或 1–10 的离散分数，复杂轨迹之间容易 tie。LLM-as-a-Verifier 的关键改动是：不只取最高概率评分 token，而是读取所有评分 token 的概率/logit 分布，对评分值取期望，得到连续 reward。它还沿三个维度扩展 verification compute：score granularity 更细、同一候选 repeated evaluation 多次平均、criteria decomposition 把复杂判断拆成 Specification、Errors、Output 等子准则。

在候选选择上，论文提出 Probabilistic Pivot Tournament。全 pairwise round-robin 是二次成本；PPT 先做 ring pass 缓解 A/B 位置偏差，再选 pivots，与 non-pivots 比较并聚合 win mass。这样 verifier 不只是评估工具，而成为 test-time selection policy。随后，同一个连续信号还被用于 progress tracking：对轨迹前缀评分，判断 agent 是否朝成功推进；在 RL 中，LIBERO 用 verifier progress 作为 SAC shaped reward，MATH + GRPO 用 PPT preference 加到 reasoning reward。

CompactionRL：把 summary 作为 policy action，而非外部清理步骤

CompactionRL 把交互历史写成 system prompt、用户指令和多个 action-observation 原子对。当剩余 context budget 低于阈值时，系统插入固定 summarization instruction，让同一个 policy 生成 summary；之后用原始系统提示、带 summary 的 resume instruction 和最近若干步继续执行。关键是 execution segments 和 summarization segments 都共享最终任务 correctness reward，没有单独的人造 summary-quality reward。

这会带来优化问题。一次 rollout 被切成数量可变、长度可变的 execution/summary segments；如果用 group-wise 方法，compaction 多的 rollout 可能被过度加权。论文因此采用 PPO，使用 token-level loss normalization：在 batch 内对所有优化的 assistant tokens 平均，而不是按 segment 平均；又用 cross-trajectory GAE，把早期 segment 的 advantage 按后续优化 token 数折扣，近似其到最终 reward 的距离。它不是让模型“写好摘要”作为独立任务，而是让模型学习哪些历史状态对后续任务成功有用。

Direct-OPD：从弱模型 RL 前后差分中抽取 reward-like shift

Direct-OPD 的起点是一个简洁身份：KL-regularized RL 的最优 policy 与 reference policy 的 log-ratio 可以看作 reward 的缩放版本。于是，如果有弱 teacher 的 pre-RL checkpoint 和 post-RL checkpoint，就能计算 `log π_T − log π_Tref`。这个差分表示 RL 让 teacher 更喜欢或更不喜欢哪些 token/action。Direct-OPD 不让强 student 模仿 post-RL weak teacher 的最终分布，而是在 student 自己的 on-policy prefixes 上，用这个 log-ratio 给 student top-k candidate tokens 打 dense reward，并用 KL anchor 防止远离 student initialization。

这解决了 vanilla OPD 的弱到强困境。若 post-RL teacher 本身弱于 student，直接 imitation 会把 student 拉向弱 endpoint；但 policy shift 只保留“RL 学到的方向”。论文的例子很直观：R1-Distill-7B 在 AIME24 上起点 56.7，已高于 JustRL-1.5B teacher 的 51.3；直接模仿弱 teacher 会拉低，而 Direct-OPD 让它到 63.1。

关键证据与数字

Verifier：候选选择、进度估计与 RL reward shaping

实验报告结果解读边界
Terminal-Bench V2 pairwisescore granularity 从 G=1 到 G=20，accuracy 73.1% 到 77.5%；criteria ensemble 到 78.3%。证明连续期望和分解准则能减少 tie、提高区分力；仍依赖手工准则。
Terminal-Bench V2 selectionGPT-5.5 候选 N=5：Pass@1 83.1%，oracle 92.1%，verifier 86.5%。结果是候选池 + verifier 的系统分数，不是单模型裸能力。
SWE-Bench Verifiedheterogeneous pool N=3：mean Pass@1 76.1%，oracle 84.4%，verifier 78.2%。回收部分 oracle headroom，但受候选模型和 scaffold 影响。
RoboRewardBenchQwen 3.6 35B VLM zero-shot verifier 87.4%，高于 RoboReward-8B 81.4、Robometer-4B 78.8。显示 logprob verifier 可跨 robotics preference；仍需关注 VLM 盲点。
RL dense rewardLIBERO 中约 1.8× 更少 environment steps 达同等成功率；final success 0.76 vs 0.69。MATH + GRPO 约 1.1× sample efficiency。RL 证据范围有限，论文也说明多步 interdependent RL 仍是未来工作。

CompactionRL：压缩状态在 compaction-enabled 评测中带来收益

模型 / 设置主要结果读法
GLM-4.7-Flash 64kCompacted SWE：base 50.5，no-compaction RL 48.0，CompactionRL 56.0；Terminal：13.4 / 12.4 / 20.2。CompactionRL 显著改善需要压缩的长程场景；单窗口 SWE 反而从 base 47.5 到 43.7。
GLM-4.5-Air 80kCompacted SWE：59.8 / 62.5 / 66.8；Terminal：21.4 / 23.6 / 24.5。大模型上也有增益，但 Terminal 对 no-compaction RL 的增量较小。
Ablation去掉 token-level loss：66.8/24.5 降到 60.0/21.3；去掉 cross-trajectory GAE：降到 63.0/22.5。说明核心并非只靠“让模型总结”，而是 segmented trajectory 优化细节。
行为分析CompactionRL 在触发 compaction 的 SWE 任务 accuracy 为 47.7，高于 base 35.4、RL-80k 29.0。支持 trained summary 减少冗余探索并保留关键状态；不是人工 summary 质量评测。

Direct-OPD：转移 RL 方向，而不是弱 teacher endpoint

设置报告结果读法
R1-Distill-1.5B → JustRL-1.5B shiftQwen3-1.7B AIME24/25：48.3/36.8 到 58.3/43.2；Qwen3-4B：72.5/65.6 到 77.6/68.8；R1-Distill-7B：56.7/40.5 到 63.1/48.8。强 student 可超过弱 teacher endpoint，说明转移的是方向信号。
Nemotron → QuestA shiftQwen3-1.7B：48.3/36.8 到 59.0/43.1；R1-Distill-7B：56.3/39.5 到 61.2/44.0。跨 teacher pair 有鲁棒性；但 QuestA teacher 本身较强，不完全是弱到强案例。
弱模型 RL vs 直接 7B RL1.5B RL 1500 steps 约 160h on 32 A100；7B RL 约 320h on 32 A100；Direct-OPD transfer 约 4h on 8 A100。显示作者设置中的 compute 路线优势，不证明击败所有大模型 RL recipes。
Sequential compositionQwen3-1.7B：48.3/36.8 → JustRL shift 58.3/43.2 → QuestA shift 63.8/46.8。支持 AIME 数学中的顺序组合；不应外推到任意技能组合。

术语解释

Oracle Pass@N如果候选池里只要有一条正确轨迹就算成功，理想选择器能达到的上限。它衡量 generator 已经产生但 selector 尚未回收的空间。
Logprob expectation读取评分 token 的概率分布并对分值取期望，而不是只取最高概率 token，目的是把模型内部不确定性转成连续分数。
Cross-trajectory GAECompactionRL 中跨 segment 的 advantage 近似，把早期 segment 到最终 reward 的距离按后续优化 token 数折扣。
Policy shiftDirect-OPD 中 teacher 经过 RL 前后的 log probability 差分。它表示 RL 让哪些动作变得更可能或更不可能。
Top-k surrogateDirect-OPD 不在全词表上算 teacher/ref 差分，而在 student 当前 top-k candidate tokens 上近似计算，以控制成本和保持 on-policy。

边界与失败模式

三种信号都不是免费午餐

Verifier 需要可用 logprob 和可靠准则；summary 可能丢失未来关键状态；policy-shift reward 可能在 off-distribution student states 上变成噪声。它们都把稀疏 reward 变密，但也把错误归因变密。

LLM-as-a-Verifier 的限制主要是成本、后端和偏差。连续分数需要 token-level logprobs，很多闭源 API 不提供；更大的 G、K、criteria 数和 pivots 会增加延迟；准则分解目前仍主要手工设计。若 verifier 与 generator 共享盲点，连续分数可能只是更自信地错。

CompactionRL 的限制是任务和协议依赖。它最强的证据来自 coding/terminal compacted evaluation；单窗口性能并不稳定提高。论文没有发布官方实现仓库，也没有主结果置信区间、多 seed 方差或 SWE 200-subset ID。它证明“学习压缩状态”有价值，但还没有证明任意长程 agent 域都可直接迁移。

Direct-OPD 的限制是范围和版本边界。主证据集中在 AIME 2024/2025 数学推理，不能直接推广到 coding、tool-use、安全或开放式任务；它仍要查询 post-RL teacher 和 reference teacher 的 log-probs，并非消除 teacher inference。数值应以 arXiv v2 为准，尤其 Qwen3-1.7B AIME24 是 48.3 到 58.3，而不是旧版本或缓存中的更高数字。

研究与工程启发

第一，agent stack 需要显式的 verifier/ranker/progress monitor。候选生成、候选选择、进度判断和停止条件应该分层设计，而不是把所有决策压进同一个生成模型。LLM-as-a-Verifier 提供了一个可组合接口：Best-of-N 选择、前缀进度评分、dense reward shaping 都可以共享同一类连续信号。

第二，memory 不只是存储系统，而是训练对象。CompactionRL 的启发是 summary 不应只按“人看起来完整”优化，而应按“未来任务成功是否依赖它”优化。长程 agent 的状态抽象会成为与 tool use、planning 同等重要的能力。

第三，RL run 本身可以被视为可蒸馏资产。Direct-OPD 把一段小模型 RL 的前后差分转成强模型可用的 dense reward，这提示我们未来 post-training 可能会积累“改进方向库”：不同 teacher pair、不同任务族、不同 reward 环境产生的 policy-shift 可以被组合、筛选和再利用。但这种库必须配合 distribution checks、KL 控制和 held-out evaluation，否则容易把噪声方向工业化。

证据边界与资料索引

本文以 canonical arXiv、项目页、代码仓库和官方文档为依据。AlphaXiv 页面仅作为入口和上下文；未发现可引用公开评论。所有结果均写作论文或项目报告，未进行独立复现实验。