The Thinking Pixel：把 test-time compute 放进扩散模型 latent 层

核心判断

这篇论文把 LLM 里的“多花一点推理计算”迁移到图像生成，但迁移路径很克制：它没有让扩散模型在自然语言里写 CoT，也没有在采样阶段做昂贵的全模型反复前向，而是在 MMDiT 的 joint attention 附近插入一个递归的 mixture-of-adapters。每个 latent step 只激活一个 LoRA expert，让视觉 token 在文本条件、扩散 timestep 和当前视觉状态共同控制下反复细化。

所以它最值得关注的 insight 是：视觉生成里的 test-time compute 不一定要表现为更多 denoising steps 或更大 backbone，也可以表现为同一层内部对局部表示的多步稀疏计算。如果这个方向成立，图像模型的布局、计数、属性绑定、空间关系错误，可能会从“靠更大模型记住更多组合”转向“给关键 token 一点可路由的内部修正预算”。

问题背景：扩散模型的一次前向为何容易错位

现代 text-to-image 模型可以生成高保真图像，但在组合指令上经常犯很具体的错误：红色物体和蓝色物体互换、对象数量不对、空间关系颠倒、某个小物体缺失。问题不只是“模型不够大”，还在于很多架构把 prompt conditioning 和视觉 latent 的交互做成一次性、单调的前馈变换。

语言模型的 test-time compute 可以通过多采样、搜索、verifier、CoT 或 latent recurrence 给困难样本更多计算。但图像 latent 是连续的、密集的，不像文本 token 那样天然有离散步骤。朴素地把中间视觉状态反复喂回整条冻结主干，会带来两个问题：计算成本重，且重复暴露在固定主干表示里容易产生 representation drift 和累积伪影。

机制拆解：递归、稀疏、低秩三件事如何扣在一起

论文的核心模块叫 Recursive Sparse Reasoning。它把一组轻量 neural modules 放进 MMDiT 的 joint attention 区域，视觉 token 被路由到某个 LoRA adapter，经过若干 latent steps 后再和冻结主干的输出合并。这个结构有四个关键约束。

为什么是 mixture-of-adapters，而不是普通 MoE

这里的 expert 不是完整大 FFN 专家，而是作用在 vision branch 的 query / key / value 投影上的 LoRA 低秩更新。这样有两个好处：第一，递归时新增参数和计算相对受控；第二，adapter 空间限制了更新幅度，避免内循环把视觉表示推离原模型分布太远。论文附录给出的主要超参包括 LoRA rank 128、expert 数量 1 / 2 / 5、max latent steps 1 / 2 / 5、Gumbel softmax temperature 5.0。

为什么 thread 里的 PCA 图重要

论文的 PCA 可视化不是为了证明模型“想明白了”，而是为了观察路由是否真的产生差异化。早期高噪声 diffusion timestep 中，不同 token 的 trajectory 比较统一；后期低噪声阶段，trajectory 分叉，显示 patch-specific 的路径。这个结果支持一个更细的判断：递归计算的收益可能主要来自生成后段的局部结构和属性修正，而不是从一开始就对所有 token 做同样深度的计算。

实验证据：哪些数字支持，哪些数字需要降温

论文的数字整体支持“递归稀疏 adapter 有帮助”，但不是每个 benchmark 都是单调胜利，也不是每个设置都优于 SFT。更准确的读法是：recursion 和 modulation 都有贡献，多层替换通常优于单层，但最优 expert / step 数依任务而变。

术语对齐

边界与风险

这项工作当前最明显的边界是递归深度仍是静态超参。easy prompt 和 hard prompt 都跑同样的 latent steps，会浪费计算；更深递归也不保证更好，DPG 结果已经提示任务差异。论文自己也指出需要 halting mechanism 来决定何时停止 latent reasoning。

另一个需要注意的点是数据规模：text-to-image 训练部分使用 MSCOCO 1000 samples 进行 fine-tuning，说明它更像验证结构有效性的实验，而不是完整商业图像模型训练结论。后续如果要落地，需要在更大 prompt 分布、更多语言、多风格、多分辨率和安全审计上重测。

工程启发：从“更大模型”转向“可审计的内部预算”

这篇论文对工程系统的启发在于，它把“模型哪里需要更多计算”变成了可观察的路由问题。相比继续扩大 backbone，递归 adapter 给了几个更可控的观测面：哪些 token 被哪个 expert 处理，哪些 diffusion timesteps 发生分化，增加 latent steps 后哪些 prompt 类型真正受益，哪些错误会被放大。

更大的方向是：视觉生成系统可能会出现类似 reasoning LLM 的预算分配层，但它的形态不会简单复制文本 CoT。对图像模型来说，更自然的载体是 latent token、patch、attention layer、adapter、router 和局部结构评估器。

证据边界与资料索引

本文以 X 线程、arXiv 元数据、论文 PDF 正文和公开 Substack 片段为证据。Substack 长文公开读取只覆盖 TL;DR 与引言，后半部分受 paywall 限制，因此方法、表格和边界判断以 arXiv PDF 为主。X 配图短链多数解析到图片页，本文不把图片文案当作独立事实来源。