Loopie 深读：循环 MoE 真正赢在复用参数，还是复用硬件效率？

核心判断

这篇论文有实质贡献，但它证明的是一个特定训练栈上的系统共设计，不是循环架构的普适算力优势。Loopie-20B-A2B 用约 20B 总参数、2B 激活参数和 27 个物理层，每层连续执行两次；它对照团队自行复现的 Qwen3-like 30B-A3B、48 层模型。物理层减少使检查点激活代理降至 0.633×，从而把 microbatch 从 1 提到 2；论文再把利用率收益换成更宽、更深的循环模型。这条资源转换链才是真正的 Loopie Recipe。

最强证据

同数据、同 token/step、同更新数、同硬件分配的 800B-token 直接对照，Loopie 在约 600B token 后反超。但仍只有单次曲线和八项均分。

版本红灯

v2 删除“最强循环 Transformer”和 IMO/IPhO 金牌主张，整段奥赛章节与解答附录不再出现于当前 PDF。

部署反转

存储权重约少 1/3，但若基线沿用官方 Qwen3 注意力形状，标准 KV cache 每 token 可能约为基线 2.53×。

一句话校准

当前证据支持“Loopie 在特定训练栈上把显存余量转换成了更高硬件利用率和更强模型”，不支持“loop model 在任何硬件、任何 batch、训练和推理两端都更省算力”。

v2 修订审计：金牌结果已不是当前论文主张

arXiv v1 发布于 2026-07-17，有67 页；v2 更新于 2026-07-20，只剩 38 页。源文件差异显示，模型架构、预训练、SPT、RL 和主 benchmark 表几乎未变；实质变化集中在奥赛声称。

位置	v1	v2	证据含义
摘要	自称“目前最强的 looped Transformer”，并声称 IMO/IPhO 金牌	删除两项表述，改为“frontier-level reasoning”	不能再把金牌当作当前版本 headline claim
正文	含 IMO 35/42、IPhO 20.3 和 test-time pipeline	整个 Olympiad 章节从编译入口注释掉	当前 PDF 不再给出这些得分与方法
附录	公开六题解答与 GPT-5.5 judge 反馈	相关源码仍在，但约 1,900 行被整体注释	可做版本史审计，但不应冒充 v2 公开附录

作者没有在 arXiv 元数据、正文或可检索的官方公开声明中解释删除原因。因此，合理表述是“v1 曾报告、v2 主动撤下、原因未披露”；不能进一步推断成正式勘误、造假或被证伪。

为什么版本审计会改变结论

第一版笔记把奥赛结果解读为“高预算搜索上限”；现在还必须再降一级：它只能作为 v1 历史声称讨论，不能用来支撑 v2 的当前证据强度。

它解决的真实问题：参数省了，不代表计算划算

循环 Transformer 反复使用同一组层。若一个 \(L\) 层模型循环 \(R\) 次，它只存 \(L\) 组参数，却执行约 \(LR\) 次 block。这样可以用较少权重获得较深的有效计算路径，但训练 FLOPs 也随循环次数上升。旧式比较常拿“2.6B 参数、循环 4 次”的模型与 2.6B 非循环模型对比；Loopie 指出，更严格的问题应是：同样训练预算下，它能否击败更大的非循环模型？

这不是 Loopie 首次提出的矛盾。Ouro、Huginn、Parcae、Dual-Path 和 Looped-MoE 已分别研究过潜在递归、稳定性、固定 FLOP 下的容量损失与 MoE 路由分化。Loopie 的价值在于把问题推进到 20B 总参数、MoE 主干和真实大规模训练吞吐，而不是发明“同一层在进入下一层前重复执行”这一原语。2025 年的 Intra-Layer Recurrence 已明确研究过逐层内部递归，只是规模、目标和实验强度远小于 Loopie。

机制：从 model-loop 改成 layer-loop

传统 model-loop 的执行顺序是整栈重跑：(1\to2\to3\to1\to2\to3)。Loopie 的 layer-loop 则是每个物理层先局部迭代：(1\to1\to2\to2\to3\to3)。两者执行相同数量的 block，但参数复用位置不同。

表示层面

同一参数只处理相邻有效深度的 hidden state，而不是跨越整栈后再次处理分布已经显著变化的状态。论文把这解释为更一致的共享职责，但没有直接测量梯度冲突。

系统层面

同层的两次调用在计算图中相邻，参数复用距离更短；在 pipeline parallel 下无需让 microbatch 每轮从末 stage 回到首 stage，调度更简单。

Loopie-20B-A2B 的结构

字段	Loopie-20B-A2B	含义
物理层 / 循环	27 / 2×	54 次有效层调用，但只存 27 组层参数
宽度	2304	比 2048 宽的受控基线更宽
MoE	128 experts，Top-8	约 20B 总参数、每 token 激活约 2B
注意力	72 heads / 36 groups	GQA、QK norm、RoPE，整体沿用 Qwen3-MoE 风格
训练上下文	8K 预训练；128K SPT	后训练阶段的序列长度与批量远大于常规 SFT

Loopie Recipe：把显存变成吞吐，再把吞吐变成容量

48 层基线

减为 24 层并 2× 循环

检查点激活近似减半

microbatch 1→2

扩宽至 2304、27 层

论文用两个代理刻画候选结构。主干计算代理与激活内存代理分别近似为：

\widehat C=\frac{LRD^2}{48\cdot 2048^2},\qquad \widehat M_{\mathrm{act}}=\frac{DL}{48\cdot 2048}.

最终结构的激活代理约为 \(0.633\times\)，论文的主干计算代理却是 \(1.424\times\)。它之所以仍能接近基线 step time，是 per-device microbatch 翻倍、梯度累积减半后，kernel 得到更多并行工作。图中报告的平均吞吐为 261.53 对 189.65 TFLOPS/s，比例约 \(1.379\times\)。

不过，不能再用 \(1.424/1.379\) 反推精确 step-time 比。\(LD^2R\) 忽略了 MoE 中间宽度、Top-K、Q/K/V/O 投影形状、router、attention 的序列长度项、通信与 optimizer 开销；TFLOPS/s 又依赖实际 FLOP 计数口径。论文声称两者实测 step time 近似匹配，却没有公布绝对时间；因而 1.032× 只是不成立的伪精度，不应保留为结论。

更接近实现的算力情景分析

Loopie 附录披露了 72 个 query head、36 个 KV group、head dimension 32 和 MoE hidden size 832；官方 Qwen3-30B-A3B 配置则是 32 个 query head、4 个 KV head、head dimension 128 和 MoE hidden size 768。若论文的 Qwen3-like 复现沿用这些官方形状，可以得到一个比 \(LD^2R\) 稍细的线性层乘法代理：

C_{\mathrm{linear/call}} \approx C_{QKVO}+3D D_{\mathrm{MoE}}K + DN_{\mathrm{expert}}.

代理口径	Loopie / Qwen3-like	解读
论文 \(LD^2R\)	1.424×	只用宽度、物理层和循环次数，适合粗筛候选结构。
Q/K/V/O + Top-8 MoE + router	约 1.23×	条件性复算：基线必须沿用官方 Qwen3 attention 形状；仍未包含 attention \(s^2D\)、通信和 optimizer。
实测 optimizer-step	论文称近似 1.0×	这才是论文的 compute-matched 判据，但绝对时间、误差和基线完整配置未公布。

这个情景分析不是为了宣称“真实 FLOPs 就是 1.23×”，而是说明一个更基本的问题：当两个 MoE 的 head geometry 和 expert width 不同时，\(LD^2R\) 无法承担精确算力结论。论文自己也承认这一点，所以最终依赖端到端计时。

为什么这不是纯架构结论

若硬件、并行拓扑、kernel、序列长度或 baseline 的 microbatch 已经足够大，microbatch 从 1 到 2 的利用率跃迁可能消失。Loopie Recipe 本质上是一条依赖工作负载的 roofline 优化路径。

证据账本：哪些结论最可信

主张	证据状态	读法
Loopie 在 800B token 后胜过 30B-A3B 受控基线	发布方报告	同数据与训练协议的直接对照，是全文最强证据；但只有单条曲线，无 seed、误差条或原始日志。
四档 scaling ladder 均领先	发布方报告	优势约 +0.6 至 +2.2 个平均点；最大档仅到 1B active baseline，不能自动证明更大规模继续成立。
layer-loop 后期优于 model-loop	发布方报告	6B-A0.6B 对照在约 1.2T token 交叉；支持训练后期优势，不证明作者提出的“职责更一致”就是因果机制。
少约 1/3 参数和 optimizer states	可直接核对	20B 对 30B 的存储权重确实约少三分之一；optimizer states 只属于训练部署。
理论 FLOPs 相同	不成立	论文明确说不是 exact-FLOP matching；Loopie 的主干代理反而约高 42.4%。
现实部署更有价值	待验证推断	权重更小是利好；但有效深度、query width 和 KV groups 都可使长上下文解码成本反向增长。
v1 的 IMO/IPhO 金牌是 v2 结论	不成立	v2 删除摘要与引言中的金牌表述，并不再编译奥赛正文和解答附录。

800B 受控对照：控制得比较好，披露得不够

论文明确固定了硬件分配、序列长度、每次更新 token 数、激活检查点策略、optimizer 和训练数据；并允许两个模型分别搜索 TP/PP/EP/MBS，Loopie 最优点为 EP=8、MBS=2，基线为 EP=8、MBS=1。这比“同参数、多跑两遍”的常规循环模型比较严格得多。

但公开证据只给出八个任务的均分曲线和“最高平均吞吐”。没有基线完整 attention/MoE 配置、GPU 型号与卡数、绝对 step time、峰值显存、完整并行搜索网格、计时重复与方差。因此，我们可以接受“发布方在其训练栈上实现近似等 wall-clock”，但不能量化这个匹配有多精确，也不能外推到其他 GPU 和集群拓扑。

Scaling ladder 不是 scaling law

四级 ladder 的均分优势约为 +1.1、+0.6、+1.7 和 +2.2 个点，方向一致，但最大只到 1B active 的基线。正文先说每档都训练到“active parameters 的 1000倍 token”以确保足够 overtrain，紧接着又说 1B 档因算力限制只用 500B，而不是 1T。这是一个文本内部例外，意味着 ladder 支持“在四个离散点未见优势消失”，不支持已拟合出可外推至 20B/30B 或万亿参数的 scaling law。

R=2 的证据也比标题弱

Figure 6 比较 \(N\times\) loop 和 \(N\times\) stored layers，但论文明确承认至少 \(N=2\) 时 stored-layer 基线的实际训练计算“substantially higher”，并非 compute-matched。这张图能说明随 \(N\) 增大，非共享层的优势扩大，因而 2× 是最小、最不容易被普通容量扩展压过的非平凡循环点；它不是一个严格的固定预算 \(R\in\{2,3,4\}\) 最优性实验。

受控结论与横向排行榜必须分开。受控实验比较的是团队自行训练的 Qwen3-like 基线，800B token 时 Loopie 反超；最终排行榜则比较不同机构、不同数据、不同 token 预算和不同后训练 recipe。它能说明最终模型处在什么能力区间，不能单独归因于 layer-loop。

训练链路：3.5T 预训练之后，还有 2T 监督预训练

Loopie 先在约 570B unique token 的 Nemotron-CC-v2-HQ 上训练四个 epoch，约 2.28T token；再用 1.263T 高质量混合数据做恒定学习率 annealing，总计约 3.543T。随后不是普通短程 SFT，而是作者命名的 Supervised Pre-Training（SPT）：只对回答 token 计算交叉熵，但使用 global batch 1024、128K 序列与 2T token 预算。

论文自己存在 3T / 2.28T 口径冲突

Pre-Training 章开头写 Stage 1 为 3T token，但 Stage 1 详情明确写 570B unique token × 4 epoch = 2.28T；Stage 2 为 1.263T。排行榜的 3.5T 与 2.28T + 1.263T = 3.543T 一致，因而“Stage 1=3T”更像未同步修正的文本错误。在没有训练日志时，应同时保留这个内部不一致。

“3.5T token”不是最终模型的全部学习预算

按详细数据复算，Loopie Thinking 在 RL 前至少经历约 3.543T 预训练 token positions + 2T SPT nominal token positions。排行榜只在“Pre-training tokens”一行写 3.5T，形式上没有把 SPT 当预训练；但若据此声称最终模型只用了对手七分之一的学习 token，就会遗漏一个规模巨大且强监督的阶段。

SPT 的损失函数没有新意，变化在优化尺度。论文显示 6B 模型训练 10 个 epoch 后 loss 仍平滑下降，ARC-Challenge、MMLU、BBH、DROP、AIME、AMC 趋势整体上升。问题是它没有给出足够的受控矩阵来分离四个因素：

大 batch 是否是关键，还是 2T token 和数据覆盖度本身在起作用；
128K packing 是否改变了每次更新看到的任务多样性；
target-only loss 与全 token 预训练目标各自贡献多少；
所谓常规 SFT 在 2–4 epoch 过拟合，是否来自相同数据、相同 token 数和调参预算。

作者也承认没有完成充分的 SPT 消融。因此，SPT 更适合被看作一个值得复现的规模假说，而不是已经建立的新 scaling law。

SPT 的数学账本：大 batch 减少的是更新次数，不是数据重复

1024 条序列 × 131,072 positions = 134,217,728 个 nominal positions/batch，与文中“128M”一致。若 2T 按 nominal positions 计，总更新数约为 14,901；又因文中说这是约 10 epochs，可反推每 epoch 约 200B nominal positions。这说明大 batch 将同一 epoch 的梯度更新压缩到约 1,490 次，的确可能降低小批量重复特化；但模型仍经历约十次数据暴露，“没有过拟合”不能单由 batch 大小推出。

还有一个口径缺口：SPT 只让 target tokens 承担 loss，但论文反复使用“2T tokens”和“128M nominal token positions”，没有披露 target-token 占比。所以 2T 更可能是打包后的总 positions，真正产生梯度的监督 token 数是未知的。正确的复现表至少应同时报告 nominal positions、non-padding positions、target positions、unique examples 和 optimizer updates。

RL：成熟组件的工程组合

SPT 后先做数学 RL，再做代码 RL。算法是 GSPO 的序列级 ratio，加 DAPO 的 asymmetric clipping 和 dynamic sampling；数学奖励用规则等价，代码奖励用沙箱单测。32K rollout 截断率超过 10% 后切到 64K，并用验证集、长度、熵和截断率选取退化前 checkpoint。这部分组合合理，但并非主要算法创新；论文也没有公开 RL step 数、group size、总 rollout token、算力和完整曲线。页面上的训练流程图只画到 Math RL，与正文的“数学后继续代码 RL”也不完全一致。

排行榜怎么读：强数学、小模型突出，但不是全面领先

Loopie-20B-A2B 与两个 30B-A3B Nemotron 模型的 15 项横向表中，对 Nano 是 10 胜 5 负，对 Cascade 2 是 9 胜 6 负；它尤其擅长数学和部分通用推理。对更强、训练 36T token 的 Qwen3-30B-A3B Thinking，则只有 AIME 2024 明确领先，AIME 2025 打平，其余 13 项落后。这说明 Loopie 展示的是较高的参数与数据效率，不是同规模全面 SOTA。

“只用 3.5T，对手用 25T”可以用于比较 base pre-training 口径，却不是最终 Thinking 模型的总数据/算力账本。Loopie 还有 2T SPT 和未披露预算的数学、代码 RL；Nemotron 对手的后训练口径也未在表中对齐。所以这张表支持“Loopie 的 3.5T base pre-training 很有效”，不支持“最终能力用了七分之一总训练预算”。

6B-A0.6B 对紧凑模型的结果更亮眼：AIME 2024/2025 为 80.42/70.83，明显高于表中 Ouro 2.6B Thinking 的 62.50/51.67；但在 MMLU、代码和部分通用任务上又落后 Ouro 2.6B。一个与既有循环模型研究一致、但仍需受控验证的解释是：重复变换可以增强对已存知识的多步操作，却不能自动补回独立权重所承载的存储容量。

v1 奥赛结果：高预算搜索记录，不再是 v2 证据

v1 报告的 IMO 2025 35/42 来自 generate–verify–refine 管线，而非六次单样本回答。每题先生成 64 个候选，每个候选采样 64 个 verification analysis，仅初始验证就有 \(64\times64=4096\) 次/题；之后每轮对 64 个保留解各采 8 个 critique 并生成修订，最多 16 轮，即上限 8192 个 critique/题。若六题都跑满，已明确可数的初始验证与 critique 合计上限为 73,728 次，还不包括初始候选生成、修订解生成和最终 judge。提前停止条件是某个候选通过全部 64 次验证，最终再由 GPT-5.5 评分三次取平均。

IMO 2025 题目	P1	P2	P3	P4	P5	P6	总分
v1 报告	7	7	4	6	7	4	35 / 42

v1 附录把六个最终解与三份 judge 反馈都公开出来，同时也明确暴露 P3 的函数分类错误、P4 的下降论证缺口和 P6 的“任意行列置换保持矩形”错误。即使不考虑 v2 删除，这也只能说明 20B-A2B 可作为昂贵搜索管线中的 generator 与 verifier，按特定 LLM judge 口径达到阈值，不是单次推理的模型能力。

v1 对 IPhO 的 20.3 分只给一段概述，没有逐题解答、评分明细、总采样量或裁判配置，证据强度原本就低于 IMO。v2 又将两项奥赛声称一并撤下；因此当前最稳健的做法是不用它们评估 Loopie 的当前能力边界，直到作者给出修订说明或新的可审计结果。

术语与口径

stored depth真正保存独立权重的物理层数；Loopie-20B-A2B 为 27。

executed depth一次前向实际执行的层调用数；2× layer-loop 下近似为 54。

A2B / A3B每个 token 激活的参数量约为 2B / 3B，不等于模型总参数量。

microbatch单设备一次前后向处理的样本数；增大它常能提高矩阵乘法利用率，但收益强依赖硬件和形状。

gradient accumulation在更新权重前累计多个 microbatch 的梯度；microbatch 翻倍时可减半累计次数以保持 global batch 不变。

compute-matched本文指实测 optimizer-step wall-clock 近似一致，不是理论 FLOP 完全一致。

nominal token positions打包序列中的总位置数；SPT 中只有 target positions 产生 loss，两者不能自动等同。

KV cache自回归推理中为每个有效注意力层保留历史 key/value；它随有效层调用、KV head 数、head dimension 和上下文长度增长，不随存储权重数简单缩放。

关键限制与复现状态

版本修订没有说明。v2 撤下 IMO/IPhO 金牌表述、整个奥赛章节与解答附录，但没有公开修订原因。这不影响架构主实验，却直接降低后训练 headline claim 的可信度。
发布物尚未闭环。截至 2026-07-22，论文列出的两个 preview 模型仍未出现在 IQuestLab 公开模型列表；GitHub 仓库和两个代码路径返回 404。
wall-clock 缺少可迁移信息。未报告主实验 GPU 型号、卡数、绝对 step time、峰值显存、TP/PP/EP 完整搜索表、重复计时方差与总训练能耗。
推理端不只是空白，还存在可计算的反例风险。论文没有 prefill/decode、batch/concurrency、KV cache、吞吐、首 token/每 token 延迟。若基线沿用官方 Qwen3 的 4 个 KV heads × 128 维，Loopie 则是 36 groups × 32 维，且 54 对 48 次有效层调用，标准实现每 token KV 元素数之比为 \((54\cdot2\cdot36\cdot32)/(48\cdot2\cdot4\cdot128)=2.531\)。除非专用实现能共享或压缩循环调用的 cache，长上下文显存可能比基线更差。
统计证据不足。主曲线、scaling ladder 与 SPT 曲线没有多 seed、置信区间或原始 checkpoint 指标。
训练账本不完整。Stage 1 同时出现 3T 与 2.28T 两种口径；SPT 没有报告 target-token 占比；RL 缺 group size、step、rollout token 和算力。
归因不完整。最终能力同时混入 layer-loop、模型尺寸、3.5T 预训练、2T SPT 和 GSPO/DAPO RL；排行榜不能隔离架构贡献。
“layer-loop”不是从零出现。逐层内部递归有直接前置工作；Loopie 的新意更准确地位于大规模 MoE、统一 2× schedule 和训练系统共设计。

独立 Insight：Loopie 是“训练状态压缩器”，不必然是“推理状态压缩器”

普通 scaling 默认参数、激活和 FLOPs 一起增长；Loopie 则把它们拆开：用参数共享减少持久权重和检查点激活，再用重复计算提高算术工作量，最后利用更大的 microbatch 把额外工作喂给 GPU。这让“模型架构”不再是抽象计算图，而是对显存层级、通信、kernel shape 和调度器的联合投标。

但训练和推理保存的“状态”不同。训练中，optimizer states 与存储权重绑定，检查点又可以只保留循环单元边界，所以 27 个物理层确实能省显存。自回归推理中，每一个有效注意力深度都需要与历史 token 一致的 key/value 状态；参数能共享，不代表不同循环次的 KV 也能直接共享。这就产生了一个反直觉的部署相图：短上下文、权重带宽主导时 Loopie 可能赢；长上下文、KV 主导时可能输。

什么时候最可能赢

训练受激活显存限制、baseline microbatch 很小、增大 microbatch 能显著抬升 MFU、参数或 optimizer state 也是瓶颈时。

什么时候优势会消失

推理是低 batch 串行 decode、长上下文 KV cache 或内存带宽主导、baseline 已充分利用硬件，或部署栈无法融合相邻同层调用时。

因此下一项最有价值的实验不是再加一张能力榜，而是画出二维部署相图：横轴为 batch/concurrency，纵轴为上下文长度，分别报告 Loopie 与 30B-A3B 的权重显存、KV cache、prefill TFLOPS、decode token/s、延迟和能耗；并额外给出循环次 KV 独立、共享或压缩三种实现。只有这张图能回答 X 帖最关心的“real-world deployment”是否成立。

最终评价

Loopie 是循环模型从“参数效率概念验证”走向“大规模训练系统候选”的有意义一步。它最可信的贡献是 hardware-aware recipe 和 800B-token 受控训练对照；layer-loop 的概念新颖性有限，SPT 仍缺消融，v2 已撤下奥赛金牌声称，而部署价值仍待代码、checkpoint 与推理测量兑现。

证据边界与资料索引

第二轮以 arXiv v2（2026-07-20，38 页）为当前版本，逐文件比较 v1（67 页）与 v2 的 TeX 源码，并重新检查架构、compute matching、scaling ladder、SPT、RL、主 benchmark 表和附录。v1 的 IMO 六题解答与评分反馈仅用于版本史审计；v2 已不再将它们编译进当前 PDF。参数、KV cache、线性层计算、SPT 更新数和历史 test-time calls 为基于公开配置的条件性复算，已写明假设。本轮没有独立训练或推理复现。