核心判断
Yi Lu 的发布帖准确抓住了论文的主问题：固定评测一旦饱和或被学会投机，自我改进就会退化成“更会过这场考试”。论文给出的回答是 controlled utility evolution：评委可以变，但只能在检查点变；每一任评委在任期内冻结；新评委必须在固定 anchor 上以保守后验下界胜过旧评委；换届后，旧评委留下的相关分数必须删除。
方法贡献成立
它把非平稳目标拆成一串局部平稳问题，并给出不混用旧证据、控制重评成本的完整协议。
结果只是初步证据
编码 71.7% 对 69.9%、评分 76% 对 67% 都是小测试集上的一次点估计，没有多 seed。
开放式仍受 anchor 限制
可演化的是代理评委和附加目标；谁能上位仍由固定标签集决定，系统没有摆脱外部价值。
RQGM 是一套让评价函数安全换届的搜索协议，而不是已经实现的无限递归自我改进。最值得工程复用的是评分器版本化、固定守门集、按依赖失效证据与独立终局评测。
真正的问题：优化器最终会把评分器当成环境
Darwin Gödel Machine、Huxley Gödel Machine 与 HyperAgents 都把自我改进落成 archive search：meta-agent 改写 Agent 的代码或提示，候选版本在任务上被评测，搜索预算更多地流向有希望的谱系。HGM 进一步用 clade metaproductivity（谱系元生产率）评价一个节点的整棵后代子树，而不只看当下成绩，以免错过“当前一般、但能产生好后代”的版本。
这些方法仍共享一个前提：utility 在整次搜索中不变。这个前提方便比较，却把能力上限交给评测器。测试只检查功能，Agent 就可能牺牲可维护性；评委偏爱流畅文风，写作 Agent 就会制造“像论文”的表面；固定 Judge 的决策边界被摸清后，搜索会围绕它堆积分数而不再提高真实质量。
关键不是评测器有没有误差，而是它与被优化对象形成了闭环。只要生成器不断读取评委反馈，评委就不再是被动测量仪，而是训练环境的一部分。固定评委的错误会被放大；随意变化的评委又让历史分数失去可比性。RQGM 试图在这两个坏选择之间建立一条受控通道。
机制拆解：冻结、挑战、换届、失效
节点选择仍继承 HGM
搜索树中的节点 (a) 由自身及后代组成 clade (C(a))。成功和失败在子树内汇总：
调度器对 clade 级 Beta 后验做 Thompson sampling，在扩展新节点与补测旧节点之间分配预算；选定节点后，再优先测量覆盖最少的 role 与 task。多角色 utility 先在每个 role 的任务上均匀平均，再在 roles 间均匀平均，防止评测便宜或样本多的角色吞掉搜索目标。
评委不是按 raw accuracy 上位
候选评委在 anchor 上有 (S) 次成功与 (F) 次失败。论文用 Beta 后验的 ε 分位数作为 best-belief：
它相当于保守后验下界：小样本但偶然全对的挑战者不会仅凭 raw accuracy 上位；平局保留现任。理论附录同时明确：这保证的是被选者拥有较高的下界，不保证每次换届的真实 accuracy 严格单调增加。
选择性擦除不是清理细节
评委从 (e_j) 换成 (e_{j+1}) 后，旧评委给生成器的分数不再表达同一个随机变量。RQGM 删除依赖该 slot 的旧 utility record，保留可验证测试、其他角色分数与 artifact；旧节点只有在调度器再次访问时才用新评委重打分。若每一步都换评委并重评历史，最坏成本达到 (O(B^2))；采用 1、2、4、8……这类指数检查点，累计暴露给擦除或重评的记录量可控制在 (O(B))。
RQGM 擦掉的是分数，不是搜索树。哪些分支已经被扩展、哪些谱系获得过预算，仍由旧评委塑造。它修复了账本里的 stale evidence，却没有消除搜索路径的结构性滞后。
四组 headline 数字逐项核对
| 主张 | 原始口径 | 独立复算 | 证据含义 |
|---|---|---|---|
| 编码少用 1.35–1.72× tokens | Polyglot held-out：RQGM 119/166=71.7%，HGM-H 116/166=69.9%；达到基线水平时约 71.2M、90.5M 对 122.5M blended tokens | 122.5/71.2=1.72；122.5/90.5=1.35。通过率只多 3 题、+1.8 个百分点 | 成本曲线改善醒目；最终正确率优势很小 |
| 写作 acceptance 高 1.78–1.86× | 固定四评委面板；HGM-H 21.8%，matched-compute RQGM 38.8%，长搜索 specialist 40.5% | 38.8/21.8=1.780；40.5/21.8=1.858 | 跨模型评委接受率上升；不等于人类确认论文质量 |
| grader accuracy 高 9% | IMO-GradingBench 各 100 项；RQGM 76%，HGM-H 67% | +9 个百分点；朴素独立比例检验双侧 (p\approx0.16) | 方向积极但小样本不稳 |
| baseline 对 AI 论文最高过度接受 1.91× | HGM-H reviewer 对不同 writer 生成物的接受率相对人类 APReS paper 为 1.42–1.91× | 范围与图表口径一致 | 支持 leniency / self-preference 风险，不代表所有模型评委 |
编码的 119/166 与 116/166 若暂按两个独立比例近似检验，双侧 (p\approx0.72)。这不是论文预注册检验，也忽略同题、同模型带来的配对结构，但足以提醒：两个 headline accuracy 都不能凭单次点估计宣称稳定胜出。
写作绝对差更大：四个模型评委 × 每个 writer 100 篇，共 400 个判定，面板均值从 21.8% 升到 38.8% 与 40.5%。论文按 400 个 raw outcome 汇总 Jeffreys 区间；然而同一篇文章被四名评委反复评价，这些判断并非 400 个完全独立样本，而且 writer 是搜索后挑出的 winner。把所有格子当独立伯努利会低估不确定性。
编码基线是作者构造的 HGM-H，HyperAgents 没有发布最佳 Polyglot Agent；写作和证明又用模型评委作终局面板。更准确的表述是：在论文定义的同预算、同基础模型协议下，RQGM 单次搜索端点优于固定评委基线，而不是已建立跨模型、跨 seed、独立复现的通用 SOTA。
三个领域其实验证了三件不同的事
编码：评委更像便宜的辅助传感器
编码仍以可执行 Polyglot 测试作为 coder ground truth，新增 code reviewer 则在 CRAVE 的 accepted/rejected pull request 标签上锚定。reviewer 默认一次调用，比执行多轮编辑和工具链便宜，既补充可维护性信号，也让搜索更频繁获得反馈。论文还观察到 90% 的 accepted patch 修改了 coder 与 reviewer 共用的 Agent 功能或基础设施，说明多角色搜索不必把成本简单翻倍。
但收益可能同时来自“多一个相关目标”“更多廉价反馈”“共享代码的多任务正则化”和“评委随 epoch 变强”。主实验没有在 GPT-5.5 上给出 fixed auxiliary reviewer、可换 reviewer、无共享工作区等完整正交消融，因此不能把全部收益归因于 co-evolution。
写作：最强数字对应最弱 ground truth
paper writer 没有真实正确答案；搜索时由当前 reviewer 评分，最后用 Sakana、published DGM-H、HGM-H 与 adversarial RQGM 四个模型评委组成面板。RQGM writer 在四列都超过 HGM-H，是比“只讨好自己的评委”更好的迹象；但没有人类专家评价生成论文的科学新意、事实正确性或实验可行性。acceptance 增长只能解释为跨模型 reviewer preference 改善。
adversarial reviewer 的设计很实用：换届时，把旧评委接受过的 AI 论文放进 adversarial pool，下一 epoch 奖励新评委识别它们，同时继续要求在 APReS 人类论文标签上保持准确。最终 reviewer 的 APReS accuracy 从 HGM-H 的 88% 降到 80%，接受率从 45% 降到 32%，但对 AI 与人类论文更接近同一严格度。这是用一部分 raw benchmark accuracy 换取更难被生成器利用的边界。
证明：near-complete 进步不等于满分领先
RQGM specialist prover 的三评委平均分 4.33/7、Pass@6 61.7%，优于 static IMO25 的 4.07 与 55%；但严格 Pass@7 只有 48.3%，低于人工工程化 IMO25 pipeline 的 55%。RQGM generalist 在 matched-compute 下与 HGM-H 完全相同。co-evolution 优势在长搜索和“接近完整”的证明上出现，尚未击败手工验证—修订 pipeline 的满分率。
理论到底保证了什么
有保证
评委在 epoch 内冻结，依赖旧评委的记录在边界删除，因此每个 epoch 可视为固定二元结果的 HGM 搜索；指数检查点把累计失效 / 重评记录控制在线性量级；best-belief 给出 anchor utility 的概率下界。
没有保证
没有跨 epoch 全局最优收敛、累计 regret、换届次数上界或 Agent–评委联合均衡；不保证评委真实 accuracy 次次上升，也不保证 anchor 外价值判断越来越正确。
“self-improvement guarantees still hold”必须读成每个 epoch 内沿用 HGM 的条件性保证，不是整个 co-evolution loop 对同一终极目标持续变好。目标改变后，“更好”只在两层意义上成立：新评委在固定 anchor 上的保守下界更高；生成器在新评委定义的 epoch-local utility 上继续被搜索。两者不自动推出真实世界效用单调上升。
联合概率边界还会随换届次数累积：若每次 promoted evaluator 的下界置信参数为 ε，(K) 次换届共同满足下界的概率至少约为 (1-K\epsilon)。固定 ε=0.05 时，换届越多，整个序列的联合置信越弱。若扩展成长期系统，需要多重比较校正、顺序检验或更强的持续监控。
证据边界与替代解释
- 主实验没有多 seed。 每个主 RQGM / HGM-H 轨迹本质上是一次昂贵搜索，无法区分算法优势与 stochastic search luck。
- 单一基础模型。 所有主结果使用 GPT-5.5 (low)。Nemotron 只用于机制消融与降成本实验，不能证明模型无关性。
- 任务规模小。 coder test 为 166 题、reviewer 与 grader 各 100 项、每个 prover 只写 20 道 IMO 证明，小差异易受题目组成影响。
- 没有人类终局评分。 写作与证明生成物均由模型 panel 评价，不等同于客观科学价值或人类数学评审。
- 消融模型不一致。 replacement、adversarial pool、erasure 的机制消融改用 Nemotron，其上下文压缩和可靠性问题会混入机制差异。
- Anchor 既是地板也是天花板。 APReS 会议决策、IMO-GradingBench 人类分数与 CRAVE PR 标签都可能有偏差，挑战者只能在这些维度上获得上位资格。
- 复现尚未闭环。 arXiv v1 提供算法、提示、表格与谱系摘要，但当前没有作者官方完整实现仓、多 seed 日志或可直接复跑的结果包。
多 seed、跨基础模型、固定额外 reviewer 与可换 reviewer 的等成本正交消融；盲评人类专家判断写作与证明；公开所有 trajectory、checkpoint、数据 split 与代码；长期 run 中 anchor 外行为不退化的持续评测，都会显著提高可信度。
术语对齐
独立 Insight：它是动态奖励编译器，不是动态真理
1. 真正的新抽象是“评分器版本化”
普通 Agent 优化把 reward 当成无版本标量；RQGM 强迫每条 reward 绑定 evaluator epoch。评委变化后，旧 reward 不能缩放后继续用，而要按数据血缘失效。这与 schema migration、缓存失效和离线特征版本化遵循同一原则：评价语义变化时，数值相同也不是同一种证据。
2. Anchor 应从目标降级为宪法
如果始终只最大化 anchor accuracy，系统仍会拟合固定 benchmark；如果放弃 anchor，评委与生成器可能合谋形成高分但无价值的语言。更合理的是：不可违反的 verifier / 安全规则组成硬宪法；anchor 测试底线与校准；可演化 evaluator 负责细腻、昂贵、会随能力变化的软标准；独立 shadow evaluator 与人工抽检发现双方共同盲点。
3. 评委—生成器闭环是双重控制问题
系统一边用 evaluator 选择 generator，一边用 generator 产生的 adversarial samples 训练 evaluator。每次动作同时影响当前得分和未来观测分布，比单纯 curriculum 更接近 dual control。只比较 endpoint accuracy 会遗漏系统是否在主动制造有信息量的失败案例；未来 utility 应奖励信息增益、分歧发现与校准，而不只奖励 agreement。
4. Selective erasure 仍需补“结构债务”
删除旧分数能修复统计污染，却不能收回旧评委已消耗的扩展预算。长期系统应记录 lineage debt：哪些区域被旧标准过度探索、哪些区域从未获得机会，并在换届后给被压制分支一次受控重采样，否则后来评委只能在前任塑造的搜索空间中挑选。
5. 产品化不是让 Judge 自动改 prompt
可迁移的最小方案是三层评价：硬 verifier 保持不可编辑；soft critic 允许版本化演进；final audit 使用隔离、固定且不参与训练的面板。每次 critic 更新必须携带 anchor 回归、版本号、依赖记录失效范围、shadow 回放和回滚条件。这样可以吸收 RQGM 的价值，而不把生产目标交给一个会自我改写的 Judge。
对 Agent 工程的直接建议
- 先区分硬事实与软质量。 单测、类型、权限、安全规则放在不可演化层；代码清晰度、论证完整性、用户偏好由 learned critic 补充。
- 所有评价结果带版本。 保存 evaluator id、prompt hash、模型版本、rubric 与 artifact id；评价语义变化时按依赖精确失效。
- 换届要有固定守门集。 只在未参与生成与搜索的 anchor 上比较 challenger；用保守区间、最小样本与多重比较校正。
- 保留独立终局面板。 搜索时 critic 不能同时是最终验收者；终局 evaluator、人类抽检和真实线上指标与优化回路隔离。
- 监控 Generator–Judge 合谋。 跟踪接受率漂移、模型来源条件差异、过度流畅偏好、对抗样本通过率和评委间分歧。
- 按等成本做消融。 比较 fixed critic、periodic replacement、replacement + erasure、replacement + adversarial pool，并报告多 seed 与终局外部指标。
证据边界与资料索引
本文完整核对 Yi Lu 于 2026-07-20 发布的原帖、arXiv:2606.26294 v1 的 38 页正文与附录、TeX 源和 Cambridge ML Systems 作者技术博客；主表比例、token 比率、held-out raw count 与简单比例检验已独立复算。HGM、HyperAgents、APReS、CRAVE、Polyglot 与 LLM self-preference 资料用于核对方法来源和评测口径。论文主实验属于发布方报告；本轮没有相同 GPT-5.5 搜索预算与完整运行资产，未独立复跑 RQGM。当前公开材料未给出作者官方完整实现仓与多 seed 结果，可复现性仍未闭环。