为什么 AVB 说 2026 会是 OPD，更准确说 OPSD 的一年

如果老师对某个学生采样出的 token 给的概率比学生自己更高，训练会把这个 token 往上推；如果老师更不认可，就往下压。 这就是为什么很多文章会说 OPD 可以看成“把 GRPO 里的 advantage 换成 teacher-student log-ratio”。 这句话听上去抽象，但工程含义很具体：已有 RL 训练框架里，rollout、importance ratio、clip、batching 很多东西可以复用， 只是 reward/advantage 的来源变成 teacher logprobs。

Will Brown 文章里最值得记住的不是某个公式，而是这个梯度形状判断：RL 很慢，但噪声可以在大 batch 平均后抵消； SFT 有偏，但偏差被大量样本摊开；OPD 有偏，但如果老师是 same-family teacher，偏差相对自然； OPSD 的危险在于 privileged context 会让老师在某些 pivot token 上突然非常自信，而学生原本几乎不相信这些 token。 这会形成一次很尖锐的参数更新，所以 OPSD 往往需要 per-token clipping、固定 reference teacher、KL budget 或更好的 hint construction。

举个直观例子：学生在一道数学题中没有想到“换元”这个关键动作，给“let”或某个 substitution token 的概率只有 0.01。 teacher 因为看到了答案或提示，突然认为这个 token 概率应该是 0.6。log-ratio 大约是 log(60)，这个 token 就会压过很多普通 token。 如果这个 token 真是任务 pivot，更新有用；如果它只是“wait”“therefore”这类风格 token，模型就会朝错误方向过拟合。 所以 OPSD 的核心问题不是“有没有信号”，而是“信号到底是不是 causally task-relevant”。

for prompt_batch in dataset:
    # 1. student generates on-policy rollouts
    rollouts = student.generate(prompt_batch, temperature=T)

    # 2. compute student logprobs on sampled tokens
    student_logprobs = student.logprobs(rollouts)

    # 3. teacher scores exactly the same sampled tokens
    teacher_logprobs = teacher.logprobs(rollouts)

    # 4. reverse-KL-style token advantage
    token_advantage = stop_gradient(teacher_logprobs - student_logprobs)

    # 5. train with policy-gradient / importance-sampling style loss
    loss = -sum(token_advantage * student_logprobs)
    update(student, loss)