核心判断
论文在自己的模型族内建立了可信的方向性证据，但没有建立可直接部署的通用 scaling law。六档 7100 万至 30 亿激活参数的原生视觉语言 MoE、三种非零图文配比和两套拟合方法，都显示语言目标的最优指数较稳定，而所谓多模态目标更受数据配比影响；加入图文数据也没有压低平均语言能力，并在少数空间任务和多模态 few-shot 上呈现正迁移。
真正的新信息
同一个共享主干上的两类文本损失，最优参数/数据分配不完全相同；用一个 Chinchilla 比例统管所有模态并不稳妥。
最重要的校准
视觉 token 不承担预测损失。“多模态目标”实际是看图后预测文本，不是视觉重建、图像生成或视觉 token 建模。
最大的证据缺口
无 seed、置信区间、原始日志和未见配比验证；Pareto 曲线最远外推至观测算力约一万倍之外。
若你正在训练相似的 decoder-only 图文理解 MoE，这篇论文可作为局部预算搜索的先验；若你要训练 dense VLM、视觉生成模型或通用 omnimodal 模型，直接照抄指数并不成立。
主帖说了什么，又省略了什么
HuggingPapers 的帖子把论文概括为：从头训练视觉语言模型，系统研究算力最优的模型规模与 token 数，并发现语言目标和多模态目标具有不同 scaling law。这个摘要没有误读论文，但省略了三个决定结论外延的限定：
- 模型不是一般 VLM，而是固定 recipe 下的 decoder-only MoE；规模变化时层数、宽度和学习率也一起变化。
- 两种目标都只对文本 token 计算交叉熵，差别是样本是否含图像上下文。
- “精确、可部署”的前沿包含远距离幂律外推，尚未用更大实际训练或未见图文配比验证。
因此，帖子适合作为论文入口，却不能把“distinct scaling laws”读成已经发现一条架构无关、任务无关的多模态定律。
到底训练了什么：原生视觉输入，单一文本预测头
模型不使用预训练视觉编码器。图像被切成 \(32\times32\) 像素的 patch，再由一个投影层映射成连续表示送入语言主干；图像和文字随后进入同一个 decoder-only Transformer。主干使用 128 个专家、每个 token 激活 8 个专家，另有一个共享专家。所谓“native”因此指视觉表示和语言主干从头联合学习，而不是视觉 token 本身也被预测。
论文中的 language loss 是纯文本样本上的 next-token loss；multimodal loss 是图文或交错样本上的文本 next-token loss。它研究的是视觉条件下的语言建模资源分配，不是“文字预测与视觉预测之间如何分配计算”。
数据、规模与计算口径
| 维度 | 论文设置 | 解读时必须保留的限定 |
|---|---|---|
| 文本池 | 250B text tokens | 来自网页、书籍、论文等；原始配方和去重细节未充分披露。 |
| 多模态池 | 75B multimodal tokens | 网页图文对与交错文档；公开材料没有可复现的数据清单。 |
| 图文比例 | \(r=D_{\mathrm{mm}}/D_{\mathrm{text}}\in\{0,.1,.2,.3\}\) | 非零设置只有三个；\(r\) 不是图文 token 占总 token 的比例。 |
| 激活参数 | 71M、128M、340M、590M、874M、3B | 同时改变层数、宽度与学习率，不是只缩放一个独立变量。 |
| 训练 | Muon，4096 上下文，16M-token global batch | 单一 optimizer 与 recipe；没有跨 optimizer、dense 或视觉编码器对照。 |
| 计算代理 | \(C=6ND\) | \(N\) 是非 embedding 的激活参数，不包含全部专家的存储与通信成本。 |
比例换算尤其重要：当 \(r=.1,.2,.3\) 时，多模态 token 占总 token 的实际份额分别是 \(r/(1+r)=9.09\%,16.67\%,23.08\%\)。把它们口头称作 10%、20%、30% 总数据配比，会系统性夸大图文份额。
根据论文披露的层数、宽度、专家宽度与路由配置做条件性参数核算，3B 激活参数档的全部专家权重约为 29.6B；其余档也大致是激活参数的 8–10 倍。这不否定用 active \(N\) 近似 token FLOPs，但说明“部署最优”还必须计入总权重显存、专家并行通信和实际吞吐。
Scaling law 是怎样拟合出来的
论文沿用 compute-optimal scaling 的标准框架：对每个固定算力预算，寻找使损失最低的激活参数量 \(N_{\mathrm{opt}}\) 与 token 数 \(D_{\mathrm{opt}}\)，再拟合幂律：
\(a\) 越大，新增算力越倾向扩模型；\(b\) 越大，越倾向增加数据。论文采用两条互相校验的估计路线：
IsoFLOP 抛物线
在固定算力下，用 loss 对 \(\log N\) 拟合二次曲线，以最低点得到最优 \(N\)。这是论文主估计，也是后续 Pareto 模型唯一使用的数据。
训练曲线下包络
把不同规模的训练曲线汇总，在每个算力点取最优包络，再反推 \(N_{\mathrm{opt}}\) 与 \(D_{\mathrm{opt}}\)。它能做方向交叉检查，但并非独立实验。
每个 token 大致只见一次，作者因此用平滑训练损失替代测试损失，并称多模态领域缺少稳健的统一验证指标。这个选择避免了验证集配方难题，却也使拟合更容易吸收训练数据难度、重复度和混合比例差异；它测到的是“在当前数据流上把训练损失压低”的最优点，不必然等于下游泛化最优点。
它们来自同一批训练曲线，且都缺少 seed、bootstrap 区间和残差表。两者方向一致能降低方法偶然性，却不能替代统计不确定性。
指数结果：差异存在，但比 headline 更细腻
| 目标 | 图文比 \(r\) | IsoFLOP：\(a/b\) | 下包络：\(a/b\) | 应如何读 |
|---|---|---|---|---|
| 语言 | 0 | .697 / .303 | .671 / .329 | 纯文本基线；已经明显偏向扩模型。 |
| 语言 | .1 | .684 / .316 | .643 / .357 | 在相同非零配比范围内，语言 \(a\) 的跨度为 .021（IsoFLOP）或 .005（下包络），相对稳定。 |
| 语言 | .2 | .667 / .333 | .644 / .356 | |
| 语言 | .3 | .663 / .337 | .639 / .361 | |
| 图文条件文本 | .1 | .709 / .291 | .665 / .335 | 随 \(r\) 增大，\(a\) 下降、\(b\) 上升；跨度为 .066 或 .031，配比敏感性更强。 |
| 图文条件文本 | .2 | .679 / .321 | .641 / .359 | |
| 图文条件文本 | .3 | .643 / .357 | .634 / .366 |
最稳健的结论是：图文条件文本目标对数据配比更敏感，且配比越高时最优分配越向数据侧移动。但“多模态天然更 data-hungry”需要加限定。在 \(r=.1\) 和 \(r=.2\) 的 IsoFLOP 结果中，多模态的 \(b=.291/.321\) 反而低于对应语言目标的 \(b=.316/.333\)；只有 \(r=.3\) 时才高于语言目标。也就是说，论文证明的是相对移动，不是所有配置下多模态都比语言更需要数据。
与一手前序工作的冲突，不能用“任务不同”一句带过
| 研究 | 模型 / 目标 | 模型指数 \(a\) | 数据指数 \(b\) | 关键差异 |
|---|---|---|---|---|
| Chinchilla（2022） | dense 文本 LM | 约 .5 | 约 .5 | 400+ 模型、held-out loss，并实际训练预测的 70B 模型验证前沿。 |
| Native Multimodal Models（2025） | 早期融合 dense，三类数据平均 | .526 | .473 | 457 个模型，含验证损失、架构和数据混合对照。 |
| Native Multimodal Models（2025） | 早期融合 sparse MoE，平均 | .361 | .656 | 该研究的 MoE 明显偏数据，而不是偏激活参数。 |
| Beyond Language Modeling（2026） | dense：语言 / 视觉扩散 | .47 / .37 | .53 / .63 | 视觉端是真正的 diffusion 生成损失，并使用 held-out validation。 |
| Beyond Language Modeling（2026） | 16× sparse：语言 / 视觉扩散 | .41 / .36 | .59 / .64 | 增加稀疏度后仍更偏数据。 |
| 本文（2026） | MoE：文本 / 图文条件文本 | .64–.71 | .29–.36 | 训练损失、固定 expert recipe，只预测文本，整体明显偏激活参数。 |
这些数字不应直接做排行榜，因为数据、模型族、损失和 FLOPs 口径并不相同；但方向性冲突本身就是重要事实。本文没有解释为什么自己的 MoE 从头预训练比 dense 更 parameter-hungry，而前两项原生多模态研究中的 sparse 模型更 data-hungry。更可能的答案不是某一方“错了”，而是 scaling exponent 同时依赖预测目标、数据复杂度、宽深路径、专家设置、optimizer 和损失测量位置。于是，论文的数字更像recipe conditional law，而不是 multimodality conditional law。
Pareto 前沿：有用的框架，过强的“精确可部署”表述
语言和图文条件文本共享参数，因此论文进一步寻找同时兼顾两种损失的 Pareto 前沿。联合拟合把语言指数固定为 \(a=.67,b=.33\)，让多模态指数随 \(r\) 变化：
| \(r\) | 图文 token 占总量 | 多模态 \(a/b\) | 100× 算力时 \(N/D\) 倍数 | 10,000× 算力时 \(N/D\) 倍数 |
|---|---|---|---|---|
| .1 | 9.09% | .69 / .31 | 23.99× / 4.17× | 575.44× / 17.38× |
| .2 | 16.67% | .67 / .33 | 21.88× / 4.57× | 478.63× / 20.89× |
| .3 | 23.08% | .66 / .34 | 20.89× / 4.79× | 436.52× / 22.91× |
从 .1 到 .3，模型指数只移动 .03。在 100× 算力内，这是“模型放大约 24× 还是 21×”的差别；到 10,000× 外推时才被放大成 575× 对 437×。这正说明小指数差为什么可能具有工程意义，也说明为什么必须先验证外推稳定性。
- 观测与外推距离：主要观测区约在 \(10^{20}\)–\(10^{21}\) FLOPs，图中虚线延伸至 \(10^{25}\)，最远约四个数量级之外。
- 不可约损失不稳定：多模态 frontier 的拟合底值 \(E\) 随 \(r\) 从 .827、.576 变到 .001，提示 \(E\)、临界算力和斜率可能互相补偿；长距离外推尤其脆弱。
- 共享梯度没有被因果分开：把 \(C_{\text{text}}=6ND_{\text{text}}\) 和 \(C_{\text{mm}}=6ND_{\text{mm}}\) 分开是会计口径，同一参数实际上同时接受两类样本的梯度。
- 架构路径被绑定：规模越大时深度、宽度和学习率一起变化，“最优模型大小”只对这条预设路径成立。
真正可部署的前沿至少还要同时报告总参数显存、token/s、专家通信、held-out 泛化和目标硬件。仅用激活参数与 \(6ND\) 可以做训练算力研究，不能完成系统部署决策。
下游复核：语言没有退化成立，few-shot“稳健”只成立一半
语言能力：结论方向成立，论文的“始终小于 1 分”不成立
论文在 16 项文本 benchmark 上比较四种配比。各规模平均分如下：
| \(r\) | 71M | 128M | 340M | 590M | 874M | 3B |
|---|---|---|---|---|---|---|
| 0 | 22.75 | 24.97 | 30.43 | 33.63 | 37.30 | 44.77 |
| .1 | 22.59 | 24.32 | 30.62 | 33.97 | 36.91 | 45.50 |
| .2 | 22.75 | 24.72 | 30.57 | 34.45 | 37.71 | 45.21 |
| .3 | 22.32 | 24.70 | 30.18 | 34.31 | 36.71 | 46.03 |
这组结果足以支持“最多 23.1% 图文 token 没有损害平均语言能力”：最大档 \(r=.3\) 反而比纯文本高 1.26 分。但论文称每个规模的差异都小于 1 个百分点并不精确：874M 档的极差恰好是 1.00，3B 档是 1.26。这个复算修正的是字面口径，不改变方向性结论。
空间迁移：是窄任务信号，不是一般物理 grounding
论文用 SpatialEval 的 MazeNav 与 SpatialMap 两个纯文本抽象子任务展示正迁移。\(r=.3\) 相对纯文本在多个规模上更高，但增益并不随规模单调扩大：约 590M 时接近 +14.5 分，874M 时约 +3 分，3B 时约 +9.5 分。没有 seed 与置信区间时，证据支持“图文预训练可能迁移到两个空间文本任务”，不足以推出普遍的物理世界 grounding。
多模态 few-shot：平均提升真实，但任务级有系统性反例
主文在平均值中排除 ScienceQA 和 LogicVista，因为它们在零样本 CoT 下崩溃。对剩余 21 项按附录表独立重算：
| 上下文示例 | 71M | 128M | 340M | 590M | 874M | 3B |
|---|---|---|---|---|---|---|
| 0-shot | 25.87 | 26.14 | 27.16 | 29.57 | 30.06 | 33.67 |
| 1-shot | 25.47 | 26.37 | 27.83 | 30.02 | 30.99 | 35.65 |
| 3-shot | 25.85 | 27.11 | 28.47 | 30.55 | 31.86 | 36.10 |
3B 模型的 1-shot / 3-shot 平均增益是 +1.98 / +2.43 分，与论文主图一致；但 3-shot 在 21 项中是 16 胜 5 负。最大的反例是 CountBench -10.43、HallusionBench -3.91、TextVQA -2.82；最大的提升则包括 OmniSpatial +14.24、MME +9.51、AI2D +7.43。信号很像“空间/图解任务受益、计数与部分 OCR/识别任务受损”，而不是对所有视觉任务都稳健。
few-shot 示例还可能教会输出格式、选项先验或答案长度，而不只提供新语义推理。要证明 in-context learning 机制，至少应加入标签置乱、无关示例、只给格式模板和跨任务示例等对照。
证据账本：哪些结论可以带走
| 主张 | 证据状态 | 当前最稳健的表述 |
|---|---|---|
| 语言与图文条件文本具有不同最优分配 | 方向可信 | 在当前 MoE recipe 与三个非零配比内，两套拟合都显示图文目标更受配比影响。 |
| 多模态目标天然更 data-hungry | 需收窄 | 随 \(r\) 增大时相对变得更 data-hungry；低配比下其 \(b\) 仍小于语言 \(b\)。 |
| 新增图文数据不损害语言 | 表内成立 | 16 项平均分总体持平或提高；但“所有差异 <1pp”有两个字面反例。 |
| 图文训练产生空间正迁移 | 窄证据 | 两个 SpatialEval 文本子任务为正；趋势非单调、无不确定区间，不能泛化为物理 grounding。 |
| 从头训练模型涌现稳健多模态 ICL | 平均成立 | 大模型平均显著提升，但 CountBench、OCR/识别类存在明显倒退，且缺少格式控制实验。 |
| Pareto 配置精确且可部署 | 证据不足 | 是有用的局部拟合框架；长外推、总参数与硬件指标尚未验证。 |
| 指数代表通用多模态规律 | 不成立 | 同类一手研究给出相反的 MoE 方向，说明结果高度依赖目标和训练 recipe。 |
进一步 insight：这篇论文真正改变了什么
1. “模态”可能不是正确的资源分配单位，预测目标才是
本文的视觉输入没有对应视觉预测损失，却已经出现一条不同曲线；另一项统一多模态研究使用视觉 diffusion loss，又得到更强的数据倾向。两者合起来提示：决定 scaling law 的也许不是输入里有没有图像，而是模型必须压缩和预测什么分布。未来更应按“纯文本预测、视觉条件文本预测、离散视觉 token 预测、连续视觉生成”拆分目标，而不是只写 language / multimodal。
2. 数据配比会改变“每种数据的边际价值”，不是只改变样本数
当 \(r\) 上升，图文样本不只是数量增加；网页图文、交错文档、文本样本在 batch 中的相对竞争也变化，共享参数学到的表征随之变化。因此 \(C_{\mathrm{mm}}=6ND_{\mathrm{mm}}\) 不是一份可独立结算的计算预算。真正的多目标 scaling law 应估计交叉偏导：增加一种数据时，另一种损失如何变化。
3. .03 的指数差既不能忽略，也不能脱离外推距离
幂律会放大小指数差，但放大依赖跨度。在已观测算力附近，.03 的工程影响有限；在一万倍算力处，它会变成数百倍模型尺度之间的巨大差异。论文最该做的不是给更远的虚线，而是在下一档真实训练上检验指数是否保持。
4. MoE 的“模型大小”必须拆成激活、存储与通信三条轴
active parameters 适合近似单 token 的 MLP 计算，却掩盖了总专家权重。论文的 3B active 档条件性估算接近 30B total；部署时，显存和 all-to-all 通信不会因为只激活八个专家而消失。一个真正有系统价值的 Pareto 面应至少包含 loss、active FLOPs、total parameters、吞吐和延迟。
如何把它用于真实训练决策
- 只把指数当作搜索中心。若模型和数据接近本文，先在预测点周围用三档 \(N\) 和三档 token 数做小规模 IsoFLOP，不直接按 .67/.33 扩到终局。
- 为每个预测目标保留 held-out loss。训练 loss 可做快速代理，但最终预算选择应由去重验证集和下游能力共同决定。
- 固定并拆解架构变量。至少做一次“只变宽度”或“只变深度”的对照，并固定学习率调参规则，避免把 architecture schedule 写进规模指数。
- 验证未见配比。用 \(r=.15,.25\) 检验插值，再用 .4 或更高配比测试趋势是否继续；只拟合三个非零点不足以支撑连续 Pareto 面。
- 给外推设置闸门。先训练一个比拟合区大 10×–100× 算力的模型；若真实损失和预算配置落出预注册区间，停止继续外推。
- 把 few-shot 格式效应分离出来。增加无关示例、标签置乱、只给格式说明、同任务跨图像示例，区分语义 ICL 与 answer-format adaptation。
三种未见 \(r\) × 三个模型规模 × 两个 token 预算 × 三个随机种子，同时报告训练/验证损失、总参数、吞吐和 21 项 few-shot task-level 结果。它不需要复刻整篇论文，却能直接回答配比指数能否插值、长外推是否可信、下游收益是否稳定。
术语与口径
最终评价
这是一篇问题意识很好的系统性研究：它不再默认文本世界的 compute-optimal 配比能无损迁移到图文模型，也把多目标 Pareto 作为一等问题。六档模型、多个配比、两种拟合和较完整下游表，使“同一配方里不同数据流有不同缩放行为”成为有分量的实证结论。
但论文最重要的词需要重新命名：multimodal objective 更准确地说是 image-conditioned text objective；precise 更准确地说是 point estimate without uncertainty；deployable 更准确地说是 active-FLOP-aware candidate。一旦做完这三次校准，论文仍然值得读，而且其贡献反而更清楚——它不是发现了多模态训练的终极定律，而是证明了我们不该再期待只有一条定律。
证据边界与资料索引
本文核对的是 2026-07-24 提交的 arXiv v1、论文源码中的配置/表格/拟合图，以及截至 2026-07-28 可见的发布页面。实验分数与训练曲线均为作者报告，本笔记完成了表内复算与跨论文对照，但没有重新训练这些模型。截至该日期，论文页、作者页与 Hugging Face 论文页均未链接公开代码、checkpoint 或可复现数据配方；原帖回复正文也不在本次可核验材料内。
- HuggingPapers 发布帖
- Scaling Native Multimodal Pre-Training From Scratch（arXiv:2607.22043）
- Hugging Face Paper 页面
- 作者项目页
- Training Compute-Optimal Large Language Models（Chinchilla）
- Scaling Laws for Native Multimodal Models
- Scaling Laws for Optimal Data Mixtures
- Beyond Language Modeling: An Exploration of Multimodal Pretraining