核心判断
如果把这条长文压缩成一句话，我会这样概括：它真正提出的不是“OPSD 已经被证明有效”，而是在 hinted self-distillation 里，teacher 对 student 的逐 token 分歧不是单一信号，而是至少包含两种语义完全不同的成分。其中一部分是 productive guidance，会在 student 快要走对、正在做结构切换、补约束、做局部修复时加压；另一部分则是 regretful teacher 对偏离 privileged hint 的不耐烦，会把探索性偏离和无用偏离混在一起，一起视为“需要纠正”的错误。
最强结论
negative pressure 不是“teacher 不同意”这么简单；在带 hint 的 self-teacher 设置里，它很可能携带了大量 privileged path bias。
最强边界
positive-only 现在更像 exploitation / consolidation 技巧，而不是单独就能支持“RL-like infinite upper bound”的完整训练范式。
最强启发
dense signal 的关键不是更密，而是更干净。真正的下一个问题是：怎样把 useful local supervision 从 privileged regret 里分离出来。
为什么这个问题重要
OPD、OPSD、RLRT 这条线要解决的都是同一个核心痛点：纯 RLVR 有 outcome-level reward，但 credit assignment 太稀疏；纯 SFT 或离线蒸馏有 dense token-level 信号，但学生真正犯错时访问到的状态，经常不是 teacher 数据里出现过的状态。于是 OPD 的关键直觉是：让 student 自己 rollout，再让 teacher 在 student 真正访问到的 prefix 上提供 token-level guidance。这样既保留了 on-policy relevance，又获得了 dense supervision。
| 路线 | 训练状态分布 | 监督来自哪里 | 优势 | 核心风险 |
|---|---|---|---|---|
| SFT | 外部数据或 teacher 现成轨迹 | 固定答案或固定推理 | 信号密，容易注入新格式与新知识 | student 真正 rollout 的错误状态不在训练分布里，容易 compounding error |
| OPD | student 自己的 rollout | 外部 teacher 在同一 prefix 上的 token guidance | on-policy 且 dense | teacher 选择、token 重要性、teacher-student 对齐方式都很关键 |
| OPSD | student 自己的 rollout | 同一模型在 privileged context 下扮演 teacher | 不必依赖更大的外部 teacher，可能更便宜 | teacher 看到 hint / answer 后，dense signal 可能被 privileged path 污染 |
| RLRT | student 自己的 rollout | reward 验证后的 reversed teacher signal | 把“成功但偏离 teacher”的 token 当探索信号 | 何时 reversal 是有益探索、何时只是放大噪声，仍要靠 outcome gating 和训练细节 |
这就是为什么 ar0cket1 这篇文章值得读。它不是再发明一个和 GRPO 平行的新缩写，而是在 OPSD 的内部把 teacher-student gap 拆开。只要这个拆分是对的，很多最近看起来像独立工作的东西，其实都在围绕一个共同问题打转：dense self-teacher signal 什么时候是在帮 student 纠错，什么时候是在压扁 student 自己的 reasoning search。
机制拆解：positive pressure 到底在说什么
作者的概念拆分并不复杂。对 student 在某个 prefix 下已经采样出来的 token \(y_t\)，比较 teacher 和 student 对这个 token 的支持度。如果 teacher 比 student 更支持这个 token，就把它读成一种 reinforcement；如果 teacher 明显不支持这个 token，就把它读成 negative reinforcement。用概念化写法，可以把这个差值记成：
于是正向与负向成分可以写成：
这里真正重要的不是符号，而是语义。作者的观点是：在带 hint 的 OPSD 中，\(\Delta_t^{+}\) 和 \(\Delta_t^{-}\) 不是同一种学习信号的两边，而是两类不同来源的 teacher judgment。前者更常出现在“这个方向对了，再推一把”的局部结构上；后者则经常出现在“你为什么没按我已经知道的 hint 路线走”的分歧上。作者把后者叫作 regretful teacher。
如果用更工程化的话说，这篇长文的核心不是“只保留正号”，而是先承认带 hint 的 teacher 本身已经不再是 neutral evaluator。它不是在看“如果不知道 hint，会不会仍然觉得这一步合理”；它是在看“既然我知道 hint，为什么你还不沿 hint 收敛”。一旦 teacher 站在这个视角上，它对错误和探索的判断就会混杂。
如果进一步把这条线索和 RLRT 放在一起看，就会得到一个更清楚的图像：positive pressure 偏向 exploitation / consolidation，RLRT 式 reversed teacher signal 偏向 reward-gated exploration，而纯 negative pressure 则更容易成为 regret leakage。也就是说，作者其实不是在说“探索没用”，而是在说“不要把未经清洗的负信号错当作有价值探索监督”。
关键证据与逐条 review
这篇长文最好的部分，是它没有只停在一句“positive works better”。作者实际给了四类证据：hint rewrite 对 KL amplitude 的影响、正负信号拆分后的几何差异、手工 trace labeling，以及与 RLRT 风格 reversal 的关系。但这些证据的证明力并不相同，所以要分条读。
| 作者主张 | 文中支持它的证据 | 我的判断 | 为什么 |
|---|---|---|---|
| hint rewrite 可以在保留结构的同时大幅降低 KL shock | 作者展示了从更“揭示答案”的 hint 走向更软、更结构化 hint 后，amplitude 可控下降，同时仍保留问题结构信号。 | 成立，而且很重要 | 这说明 OPSD 的一部分不稳定性并不是 self-distillation 天生无法学，而是 teacher prompt / hint construction 会直接决定信号幅度与可学性。 |
| negative pressure 是主要问题源，会导致 shock、长度塌缩和反探索 | 作者给出正负拆分后的图，并强调 vanilla OPSD shock 更重、negative slice 更偏向低 entropy 危险区；同时结合大量 trace 阅读说 negative 里没什么干净 insight。 | 这是强假设，不是普遍定律 | 在带 hint 的 privileged teacher 设置里，这个结论很有说服力；但它还不能直接推广成“所有负向 teacher-student disagreement 都没有价值”。 |
| positive pressure 往往落在 near-repair、constraint check、representation shift 等 productive 局部结构上 | 作者列出了多道数学题里的 token upweight 片段，例如 geometric series、modular lower bound、functional equation normalization、Lagrange structure 等。 | 这是全文最有 insight 的部分 | 它不是 aggregate metric，而是告诉你 dense signal 在“什么时候像真正的 tutor”。缺点是这部分仍然强依赖人工阅读与作者主观判断。 |
| RLRT / reversed negative 的收益，更多来自绕开 regretful teacher，而不是“负信号本身就纯” | 作者把 RLRT 读成：成功 rollout 上，反转 teacher 负向信号可以保护 student 自己走出来的正确路径，并称其有效更像“避免 regret contamination”。 | 很聪明，但还只是解释 | 这是对 RLRT 的再诠释，不是 RLRT 论文已经证明的结论。它提供了一个统一框架，但还需要更直接的对照实验来验证。 |
| positive pressure + 少量 GRPO mixing 可能带来 order-of-magnitude 级的 RL compute efficiency 提升 | 主要是作者对几何接近性、shock 降低、trace qualitative evidence 的综合推断，以及“将要做小规模训练确认”的表述。 | 目前站不住 | 这是一个值得赌的小假说，但不是已经被验证过的 engineering claim。没有完整训练曲线、跨模型 ablation 和 late-stage scaling 证据，不能直接读成“已经 solved”。 |
对我来说，真正应该被带走的不是“positive-only 必胜”，而是signal semantics matters。同样是 teacher-student divergence，如果 teacher 拿到的是 privileged hint，它的负向判断就不再是“这一步客观上不好”，而可能是“这一步不符合我已知答案驱动的 preferred route”。这就是这篇长文优于简单 benchmark brag 的地方。
我最认可的证据标准
作者没有只拿最终 pass rate 做论证，而是去看 trace 中被 upweight 的具体局部结构。这种“读 token 语义”虽然主观，但至少是在检查 dense signal 是否真的对准了 reasoning 的因果部位。
我最不认可的跳跃
从“这些局部结构看起来很合理”直接跳到“basically solved”太快了。一个局部看起来像 tutor，不代表整个训练过程就不会在长链探索、晚期 hill-climbing、跨题型迁移时出问题。
为什么我认为这篇文章和 RLRT 是互补，不是对立
如果顺着作者的解释往前推，RLRT 真正补的不是“negative pressure 也很有用”，而是“当 student 成功地走出了一条 teacher 没预料到的路时，不能让 privileged teacher 的 regret 把这条路覆盖掉”。这和 positive pressure 负责巩固局部高价值结构其实是相容的：一个更像 exploitation，一个更像 outcome-gated exploration。冲突点只在于，作者倾向认为 reversed negative 的可用部分很窄，而 RLRT 论文认为它可以成为 principled exploration axis。这个分歧现在还需要更多实证来裁决。
术语速查
边界：为什么我不认为它已经“解决”了 OPSD
这篇文章最大的问题，不是 insight 不够，而是证据链还不够长。它很擅长解释为什么某些 token 看起来像好信号，也很擅长解释为什么某类负向分歧可能被污染；但它还没有完成从“局部信号语义正确”到“整体训练 recipe 稳定优越”的闭环。
缺完整训练证明
文中多次以“稍后会跑小规模训练确认”收尾，这说明当前证据主体还是几何观察、trace 分析和机制直觉，而不是最终 learning curve。
缺跨模型普适性
作者的主实验语境集中在 OLMo 3 7B dense 和数学数据。更强模型、更后期 RL、不同题域、不同 hint 生成方式是否保持同一规律，目前未知。
trace labeling 仍然主观
“这些 token 看起来是结构切换、约束检查、near repair”很有洞察，但依然依赖人工解读。要想变成更硬的研究结论，需要自动化标注或更清楚的行为分类标准。
exploration 仍未被单独解决
positive-only 的最大优点，也正是它的最大限制：它更像干净的 exploitation。若没有 outcome-gated exploration，student 如何继续发现 teacher 没教过的新路径，仍然是核心问题。
换句话说，这篇文章已经提供了一个很强的 diagnosis，但还没有完成一个能跨设置复用的 therapy。诊断正确，不代表处方已经封板。
最终启发：把 dense signal 拆成 exploitation 和 exploration
我认为这篇长文的真正工程价值，不在于教你马上把 negative loss 删掉，而在于提醒你：后训练里 dense signal 的设计不能只看梯度大小和最终 reward，还要看它是在奖励哪一类 reasoning event。如果一个 dense signal 主要在 student 做对局部 repair、抽约束、做表示切换时出现，它更像 consolidation primitive；如果它主要在 student 成功偏离 teacher 路线时出现，它更像 exploration primitive；如果它主要在“偏离 hint 轨道”时放大，那它可能只是 privileged regret。
对研究者
别再只问“dense signal 是否有效”，而要问“dense signal 在语义上奖励了什么事件”。未来更重要的是 token-level event taxonomy，而不是再多一个 loss 名字。
对训练系统
应该把 signal audit 变成常规监控项：抽样读被高权重 token、比较成功与失败 rollout 上的局部结构、检查 signal 是否总在压缩长度或覆盖 student 新路径。
对 recipe 设计
更可信的下一步不是 pure positive-only，而是“positive-only consolidation + reward-gated exploration + hint amplitude control”的组合。
一个更可落地的实验清单
| 问题 | 建议实验 | 如果结果成立意味着什么 |
|---|---|---|
| negative pressure 真的主要是 regret contamination 吗？ | 在同一模型、同一数据上比较无 hint teacher、软 hint teacher、强 hint teacher 的 negative slice 语义与训练效果。 | 如果 hint 越强 negative 越坏，说明问题更像 privileged contamination，而不是 token sign 本身。 |
| positive-only 是否只是 exploitation？ | 固定正向 slice，单独测 long-horizon search、多解题型和 late-stage RL scaling。 | 如果早期涨、后期停，说明它更像 consolidation module 而非完整 RL 替代。 |
| RLRT 和 positive-only 是替代还是互补？ | 做三组对照：positive-only、RLRT-only、positive + RLRT/GRPO mix，并看成功 rollout 上的 reasoning diversity。 | 若混合最稳，说明 exploitation / exploration 分工比单一路线更接近真实机制。 |
| trace insight 是否可自动化？ | 给高权重 token 建立事件标签器，统计 repair、constraint check、format noise、hint-following、teacher regret 等类别占比。 | 若 positive slice 的高权重 token 明显更集中在因果结构事件上，作者的主叙事才更硬。 |
所以，这篇文章最值得沉淀下来的结论其实很朴素：不是所有 dense self-teacher signal 都应该被一视同仁地蒸馏。 下一代更强的后训练框架，很可能不是单个新算法，而是把巩固正确局部结构、保留 student 成功探索、以及控制 privileged regret 这三件事拆开建模。
证据边界与资料索引
本文基于公开 X 长文、公开帖子、公开论文与公开博客整理。核心判断主要建立在 ar0cket1 的 2026 年 6 月 13 日长文、《Rebellious Student》论文摘要，以及 Thinking Machines 对 OPD 的公开解释之上。本文没有复现实验，也没有检查未公开代码、未公开 checkpoint 或作者私下补充说明；因此关于“训练已经 solved”“可达一个数量级加速”等结论，本文明确按强假设处理，而不是既成事实。
- ar0cket1 原始长文《Solving OPSD (basically)》：https://x.com/ar0cket1/article/2065772402622263701
- 对应 X 帖入口：https://x.com/ar0cket1/status/2065772402622263701
- 作者前一篇背景长文《On Policy Self Distillation》相关入口：https://x.com/ar0cket1/status/2054108160450064571
- Thinking Machines Lab，《On-Policy Distillation》：https://thinkingmachines.ai/blog/on-policy-distillation/
- TIP: Token Importance in On-Policy Distillation：https://arxiv.org/abs/2604.14084
- Rebellious Student: Reversing Teacher Signals for Reasoning Exploration with Self-Distilled RLVR：https://arxiv.org/abs/2605.10781