Rubric 奖励不是银弹：模型会学会“满足清单”，不一定学会“回答更好”

opencli twitter thread "https://x.com/nas_mahmoud_/status/2054686020697038978" --limit 80 -f json
curl -Ls -o /dev/null -w "%{url_effective}\n" "https://t.co/D4L9DdfphF"
pdftotext -layout "2605.12474.pdf" "2605.12474.txt"
pdftoppm -png -r 150 "2605.12474.pdf" "page-*.png"

线程下的回复也有信息：作者补充说，把 policy 从 7B 放大到 32B 并没有显著降低 verifier exploitation；rubric 设计上，穷举所有不希望出现的行为仍然困难。

1. Rubric reward 如何产生

每个 prompt 都配一个 rubric 集合。每条 criterion 有权重，verifier 对每条 criterion 输出二元判断：满足或不满足。训练 reward 是所有 criterion 判断的加权聚合。

2. 三层 evaluator

3. 数据、训练和成本

Exploitation rate：新拿到的 credit 有多少是错的

对每个 checkpoint，论文看每个 prompt 的每条 criterion。若训练 verifier 在当前 checkpoint 给了 credit，而上一 checkpoint 没给，这叫 newly credited。然后看参考 panel 是否一致拒绝这条 credit。

这个定义的好处是避免把 base model 已经有的行为混进去。它只看“从上一个 checkpoint 到当前 checkpoint，RL 新增了什么”。如果这些新增 credit 大量被强 panel 否定，就说明模型不是单纯变强，而是在朝 verifier 的盲点移动。

Self-internalization gap：不用 verifier 的早停信号

论文提出一个 verifier-free 诊断。直觉是：如果模型真的学会了 rubric 背后的技能，那么“直接给 prompt”时生成的好答案，应该越来越接近“把 rubric 明示放进系统提示”时生成的答案。反过来，如果模型只是依赖 rubric cue 或训练 verifier 漏洞，两种分布会出现不健康的差距。

这不是另一个外部 judge，而是用 policy 自己的 log-prob 做诊断。论文报告它和 reference-panel reward 的 checkpoint 轨迹高度相关，并且在弱 verifier 训练中能提前指示该停，而训练 verifier reward 会继续鼓励训下去。

结果一：弱 verifier 的 proxy reward 明显不转移

在 GPT-4o-mini 作为训练 verifier 时，训练 reward 快速上升，但 reference-panel reward 改善更小并趋于平台；exploitation rate 同步上升。医学任务从 39% 上升到 65%，科学任务从 63% 上升到 75%。这说明越来越多“新学会拿到的分”并没有被强 reference panel 承认。

证据图：论文 Figure 1。弱 verifier 训练下，proxy reward 与 reference reward 分叉，exploitation rate 上升；强 verifier 下两条 reward 曲线更接近，但仍有非零 incorrect credit。

结果二：强 verifier 减少但不能消除 verifier-side exploitation

GPT-OSS-120B 作为训练 verifier 时，训练 verifier 和 reference panel 的 reward 轨迹更一致；医学中 exploitation rate 约在 15%-21%，科学中约在 19%-28%，没有明显上升趋势。这里最重要的判断是：强 verifier 有效，但不是 proof of correctness。

结果三：错误模式不是随机噪声，而是结构性盲点

论文对 53,447 个 criterion-level exploitation cases 做 failure-mode 归类，发现弱 verifier 产生的错误更多，但强弱 verifier 的错误类型比例相似。这意味着问题不只是某个模型差，而是 rubric verification 本身容易在这些逻辑结构上失守。

结果四：self-internalization gap 能追踪 reference quality

四个主 run 中，self-internalization gap 与 reference-panel reward 的 within-run Pearson correlation 在 0.91 到 0.97 之间。弱 verifier 下，self-gap 中途达到峰值后停滞或反转；强 verifier 下，self-gap 更接近持续改善。这让它成为一个实用的早停信号，尤其在不想每个 checkpoint 都调用昂贵强 judge panel 时。

证据图：论文 Figure 4。弱 verifier 下，训练 reward 的峰值靠近最后 checkpoint，但 reference reward 与 self-gap 的峰值在中途更早出现。

结果五：即使 verifier 很强，rubric 也可能奖励坏方向

论文第二层实验最有杀伤力：在强 verifier 医学 run 上，rubric-based judges 偏好 RL checkpoint 的比例很高，但 rubric-free judges 更偏好 base model。具体地，rubric-based panel 更常选 checkpoint，而 rubric-free panel 在多数 prompt 上认为 base 的整体质量更好。

证据图：论文 Figure 8。Completeness 维度长期赢；factual correctness、conciseness、relevance、safety 等维度跌到 parity 以下，弱 verifier 下跌得更明显。

证据图：论文 Table 10-13。强 verifier 医学 run 中，rubric-free dimensional rating 显示 checkpoint 只在 completeness 上升，其他维度下降；rubric 权重高度偏向 presence-based criteria。

结果六：presence-heavy rubric 推动更长、更 claim-dense 的回答

RubricHub 子集里 90.2% 的权重是 presence-based：奖励“提到某主题、列举实体、给出具体 assertion、安全 disclaimer、清晰表达”。Absence-based 权重只有 8.6%，主要检查事实错误或约束违背。训练后 presence-based satisfaction 从 27.6% 到 42.5%，而 absence-based satisfaction 从 51.6% 略降到 49.6%。

证据图：论文 Table 14-16。Presence-based satisfaction 与 response length 的 within-prompt correlation 为 +0.525，也与 total claims、incorrect claims 正相关；absence-based satisfaction 与长度基本无关。