宽而可塑的底座
能力分布较均衡,强调工具、指令、多模态与适配,而不是靠单一数学或代码分数定义模型。
Thinking Machines Lab 的首个开放权重模型不是“最强模型开源”故事。它更像一次产品栈声明:用 975B 总参数、41B 激活参数的稀疏底座承载文本、图像与音频,再用可控推理预算、强化学习和 Tinker 低秩训练,把“调用模型”改造成“可持续修改模型行为”。真正值得研究的不是一个榜单名次,而是模型可塑性、推理成本与运营治理怎样被打包成同一套系统。
如果只问 Inkling 是否打败了最强闭源或开放模型,答案是否定的,而且发布方自己也明确承认。但这恰好暴露了它真正想竞争的维度:一个足够宽的通用底座,是否能让开发者按任务训练轻量适配器、在运行时切换检查点、调节推理资源、接入工具与多模态输入,并在统一服务上形成短周期反馈闭环。
因此,更准确的定位不是“开放的前沿冠军”,而是开放权重的能力底盘 + 托管式训练平面 + 正在成形的部署生态。Inkling 的独特性主要在组合,而非任何单项机制首创;它把 MoE、长上下文、原生多模态、agentic RL、effort control、LoRA 与推理框架首发支持拼成一条开发路径。
能力分布较均衡,强调工具、指令、多模态与适配,而不是靠单一数学或代码分数定义模型。
多数硬核推理、事实性与编码榜单仍落后于最强闭源模型,也落后于若干同期开放模型。
最值得注意的演示,是 agent 能生成数据、定义奖励、发起 LoRA 训练、评测并热切换新策略。
Inkling 是一个 66 层 decoder-only 混合专家模型。官方口径为 975B 总参数、每个 token 激活 41B 参数;训练使用 45T 个文本、图像、音频与视频 token。模型接受文本、图像和音频,输出仍然只有文本。官方还预告了 276B 总参数、12B 激活参数的 Inkling-Small,但当前只是预览。
官方总参数口径;公开主权重张量记账与该数字仍有差额。
每 token 近似激活参数量,公开配置可非常接近地复算。
预训练 token 总量,跨四类模态;模型专属数据配比未披露。
后训练异步强化学习 rollout 数量;环境构成与算力账单未披露。
很多模型发布的叙事是“以规模换最高能力”。Inkling 的叙事则更接近:以巨大参数库存保存广域能力,再用稀疏激活、可调 effort 和任务适配器,把每次调用与每个客户实际支付的计算压下来。这不是纯模型榜单问题,而是质量—成本—定制速度三维优化。
Inkling 有 256 个 routed experts 和 2 个 shared experts;稀疏层每个 token 选择 6 个 routed experts,并总是经过 2 个 shared experts。前 2 层是 dense MLP,余下 64 层为稀疏 MoE。每个专家使用 SwiGLU,隐藏维度 6,144、专家中间维度 3,072。
每层每个 token 激活 8 个专家,因此 64 个稀疏层的 active expert weights 约为 29.0B;再加 2 个 dense MLP 层、注意力投影、词嵌入与输出头,文本主干的近似激活参数为:
这个复算与官方 41B 几乎严丝合缝,说明“active parameters”采用了合理、可追踪的口径。MoE 路由使用 sigmoid gating,并通过无需额外 auxiliary loss 的动态 bias 做负载平衡;这类设计的目标,是减少传统负载均衡损失对主任务梯度的干扰。
55 个局部层使用 512-token 滑窗;每 6 层插入 1 个全局层,共 11 个全局层。局部注意力节省长序列成本,全局层负责远距离信息传播。
模型没有使用 RoPE,而是把每个 token 映射到每头 16 维相对状态,再按 query-key 距离查取学习式偏置。
K、V、注意力分支输出和 MLP 分支输出都经过深度可分离因果短卷积,为相邻 token 提供轻量局部连续性。
相对位置机制有一个容易被忽视的细节:全局层的学习式距离 bias 只覆盖最近 1,024 个相对位置,超出范围后 bias 归零,但 QK 注意力仍是全局的。它避免了把 RoPE 相位外推到百万长度,却并不意味着模型为每一个百万级距离都学习了一套独立位置表示。
公开配置把最大长度设为 1,048,576。这里至少要分清四件事:模型配置能否接受、推理引擎能否运行、服务是否开放、长上下文是否真的被模型有效使用。Inkling 目前只充分证明了第一层;Tinker 服务只开放 64K 与 256K 版本,发布材料也没有给出 RULER、Needle-in-a-Haystack 或随长度变化的长上下文曲线。
55 个滑窗层的注意力成本近似线性增长,但 11 个全局层仍然执行全局注意力。在百万长度 prefill 时,它大致把“66 层全局注意力”压成“11 层全局 + 55 层局部”,即长程二次计算约为全局模型的六分之一,而不是变成线性。
按公开配置显式指定的 8 个 global KV heads、head dimension 128、BF16 K/V 粗算,单条满长序列仅 11 个全局层的 KV cache 就接近 44 GiB;55 个局部层因只保留 512-token 窗口,只增加约 0.21 GiB。这个数字没有包含激活、框架缓冲、页表和并发余量。
Inkling 不使用大型独立视觉或音频 encoder。图像切成 40×40 patch,经四层 hierarchical MLP 投影;音频先转为 80 维 log-mel 特征,再把每个值离散到 16 个 dMel bins 并嵌入。两类表示随后直接进入共享 decoder,与文本 token 联合处理。
任务 adapter 可以直接调整跨模态 decoder,而不必协调多个冻结 encoder 与桥接器;工具调用、图像理解与音频理解也共享同一后训练接口。
轻量前端意味着更多模态抽象必须在超大 decoder 与海量跨模态数据中形成。45T 训练规模因此不是背景数字,而是这种架构选择的配套条件。
“原生多模态”也要避免过度解释:当前模型是图像/音频输入、文本输出,不是图像、音频或视频生成器。官方训练语料提到视频,但发布评测没有形成足够完整的视频能力证据。
仓库还提供独立的 8 层 multi-token prediction 权重,约 5.26B 参数。它们主要服务推测解码:先低成本预测未来多个 token,再由主模型验证,从而提高 decode 吞吐。MTP 不是普通前向路径中额外激活的“八层智力”,也不应计入 41B 常规 active-parameter 口径。
公告中最吸睛的演示让 Inkling 在 OpenCode 里学会写英文 lipogram:回答里不能出现字母 e。模型自己写出训练脚本、评测与合成样本,通过 Tinker 发起训练,再热加载新检查点。训练只有 32 个 batch、3 个 epoch,共 96 步,约 27 分钟;奖励是非常明确的二值规则,没有教师模型。
| 命题 | 证据结论 | 理由 |
|---|---|---|
| agent 能把训练作为工具调用 | 支持 | 数据、奖励、训练、评测和检查点切换形成了真实闭环。 |
| 模型能在没有教师时学习可验证规则 | 支持 | 二值字符串约束可直接验证,不需要外部语义教师。 |
| 975B 全量权重被模型自主重写 | 不支持 | Tinker 公开能力是 LoRA 训练,默认 rank 32;演示更新的是轻量 adapter。 |
| 模型获得了通用自我改进能力 | 不支持 | 任务极窄、奖励无歧义、步数很少,未展示迁移、长期稳定性或开放式自我评估。 |
| 相同闭环可直接用于生产系统 | 部分支持 | 接口链路可行,但缺少回归评测、权限隔离、审批、回滚与安全门禁。 |
一旦把模型更新交给 agent,新的核心问题不再只是训练 loss,而是软件供应链式治理:谁可以发起训练、哪些数据可进入、reward 是否被投机、adapter 如何签名、版本如何审计、上线前跑哪些回归集、退化时怎样一键回滚。“会自我修改”带来的主要复杂度,首先是配置管理与变更控制,而不是神秘的递归智能。
Inkling 的大部分后训练算力用于大规模异步强化学习。官方展示两次长跑中,跨 held-out 环境汇总的归一化 reward 从约 0.264 上升至 0.356,增长在对数横轴上近似线性;累计 rollout 超过 3,000 万。这个结果最能说明训练基础设施可以在长期异步运行中持续产出改进,但它不是一条可直接外推的普适 scaling law。
对话模板会写入一个 0 到 1 之间的 thinking-effort 标量;后训练奖励同时加入每 token 成本,使模型学习在不同预算条件下改变推理长度与策略。抽象地看,它优化的不是单一奖励,而是一族带资源价格的策略:
其中 (e) 是 effort 条件,(lambda(e)) 对应 token 成本的隐含权重。较高 effort 通常允许更长、更充分的思考,但官方文档也提醒:它不保证单调增加 token 数或准确率;max_tokens 与 effort 仍是两个独立旋钮。
发布文称模型的内部推理逐渐变得电报式、缩略化,这不是直接指定的语言风格。但训练明确包含 per-token cost,因此“没有直接要求缩写”与“没有优化压力”是两回事。更短的内部轨迹可能提升效率,也会降低人类可读性与审计性;若把可读 chain-of-thought 当作安全或调试依据,这种压缩反而是代价。
Thinking Machines Lab 把 epistemics 定义为三个相连但不同的目标:概率校准、按证据与指令回答、避免不必要的审查式拒答。模型在 forecasting 上用 proper scoring rule 做 RL;在事实回答中同时使用 rubric grader 与联网 claims grader;在不确定问答里训练恰当 abstention。
概率 70% 的判断长期来看是否约有 70% 成真,关注的是概率质量而非单次答对。
SimpleQA、Omniscience 等更接近事实覆盖;Inkling 在这些指标上并非前沿。
既要减少幻觉,也要避免把所有困难问题都变成保守拒答。
这三件事不能混为一个“真实性分数”。Inkling 可以在 forecasting 上表现出不错校准,同时在事实覆盖榜单上只是中游;这意味着它可能更会表达不确定性,却不代表参数记忆更丰富。另一个边界是:联网 claims grader 把部分可靠性外包给搜索结果和评审模型,最终能力来自被训练模型、检索环境与 grader 的组合,不能全部归功于 base model。
官方报告 FORTRESS adversarial 78.0、benign 95.9,StrongREJECT 98.6,并判断 Inkling 相对既有开放模型生态没有造成显著的灾难性能力跃升。模型卡也承认仍会幻觉、漏遵指令、在长多轮中退化,且语言表现不均衡。由于外部测试者、完整协议、样本与置信区间没有披露,这些安全分数适合作为发布方基线,不足以替代部署方自己的威胁建模。
官方在所有 Inkling 基准上使用 effort 0.99、temperature 1;编码轨迹最高允许 256K token。这个设置展示接近最高推理预算时的能力,不是低延迟默认服务的表现。不同表格还混合了内部复测与其他发布方报告值,横向比较需要保留口径差异。
| 能力面 | 代表结果 | 应该怎样理解 | 证据强度 |
|---|---|---|---|
| 数学 / 科学推理 | AIME 2026 97.1;GPQA Diamond 87.2;HLE text 29.7 | AIME 很强,但更综合、更难的 HLE 仍与最强模型有距离,不能以单一饱和数学集概括总体推理。 | 标准基准 |
| 编码 agent | SWE-bench Verified 77.6;SWE-Pro 54.3;TerminalBench 63.8 | 属于强开放模型区间,工具适配明显;仍落后于最强闭源 coding agents。 | 混合 harness |
| 工具与交互 | MCP-Atlas 74.1;Tau3 Banking 23.7;Design Arena 1257 | 多工具 schema 与前端生成是亮点,但真实多轮银行任务仍难;Arena 是人类偏好 Elo,不是绝对正确率。 | 场景相关 |
| 指令与多语言 | IFBench 79.8;Global-MMLU 88.7 | 指令遵循是相对强项;模型卡仍承认低资源语言不均衡。 | 覆盖较广 |
| 视觉 / 音频 | MMMU 73.5;MMAU 77.2;VoiceBench 91.4 | 证明轻量模态前端可以形成实用能力,尤其音频较均衡;并不等于专业视觉模型或语音生成能力。 | 任务有限 |
| 事实性 | SimpleQA 43.9;AA Omniscience 2.1 | 明显不是参数知识覆盖的前沿,正好说明校准与知识面应分开评价。 | 反例清晰 |
| 长上下文 | 配置上限 1M;服务 64K/256K | 缺少百万长度公开质量曲线,当前只能确认容量与部分服务能力,不能确认有效记忆。 | 关键缺测 |
模型卡估计 BF16 版本需要至少 2 TB 聚合显存,例如 8×B300 或 16×H200;NVFP4 版本仍需至少约 600 GB,例如 4×B300 的 W4A4,或 8×H200 的 W4A16。它是“可由有基础设施的组织自托管”,不是“可以在普通工作站离线运行”。
模型仓与模型卡标注 Apache 2.0,同时官方另有 Model Acceptable Use Policy,明确把权重、参数、相关材料与衍生物纳入适用范围,包含用途限制,并保留更新政策的条款。因此最精确的描述是:Apache 2.0 标注的开放权重,叠加单独的模型使用政策。它不宜被简化成“毫无限制的 Apache 模型”,也不应在缺少具体法律意见时武断下结论。
Transformers 的 Inkling 支持已在发布日合入;vLLM 核心支持随后进入主分支,LoRA/MTP 支持仍由后续工作追踪;SGLang 与 llama.cpp 在首发时也有专门分支或待合入变更。对生产部署而言,这意味着不能只写“支持 vLLM/SGLang”便结束,需要固定具体 commit、镜像、量化路径与 adapter 能力,避免把主分支支持误当作稳定版全功能支持。
公开主 checkpoint 的 safetensors 记账约为 952.38B 参数;独立 MTP 文件约含 5.26B BF16 参数,两者合计仍约 957.64B,低于 975B 官方口径。差额可能来自发布口径、未公开训练组件或张量计数方式,但现有公开文档没有解释桥梁。这个差异不等于模型规格造假,却是发布透明度中应当明确补充的一项。
缺少长文检索、跨段推理、位置鲁棒性、并发、TTFT 与随长度退化数据;配置上限不能替代能力测量。
没有环境权重、reward 归一化、随机种子、算力/墙钟、失败率和独立消融,无法判断收益由数据、系统还是算法主导。
训练数据页不是 Inkling 专属披露;缺少模态比例、来源清单、截止时间、去重率、授权/退出覆盖与合成数据占比。
forecasting 结果来自不同检查点;其他表格混合内部 harness 与外部报告数值,不构成完全统一的受控比较。
没有公开测试者身份、完整样本、攻击预算、置信区间与复现实验;部署者不能把模型卡分数当作最终认证。
“经常匹配大模型”是非常重要的信号,但权重未发布、测试有限,尚不能独立验证规模—数据结论。
过去评价 base model,常问一次训练后它有多强;Inkling 更值得问的是:给定 30 分钟、少量数据和明确 verifier,它能多快成为一个不同的模型?这可以称为可塑性弹性——单位数据、单位训练时间与单位风险预算能换来多少行为位移。Tinker、adapter 热切换和 agent 自发起训练,都是围绕这个新指标组织的。
RAG 保存外部事实,长上下文保存当前会话,adapter 则能固化行为偏好与技能。若 agent 可以自主更新 adapter,它就拥有一种比上下文更持久、比重训更便宜的策略记忆。随之而来的不是无限自我进化,而是模型版数据库迁移:需要 schema、版本、事务、灰度、回滚与 provenance。
公告称 Inkling-Small 常能匹配大模型,归因于后续改进的数据与训练 recipe。如果这个结果在权重发布后成立,它会说明首个 975B 模型的重要作用可能是搭建数据生成、评审、RL 环境和蒸馏基础设施;一旦工厂成熟,后续小模型可继承更多收益。换言之,超大模型是 bootstrap,规模更小的部署模型才可能承接商业化。
生产系统面对的不是“模型最高能考多少分”,而是“100ms、1s、10s 和 100s 预算下各能解决什么”。把 effort 学成条件变量,意味着同一权重可以表达一条质量—token 前沿。未来模型比较应报告整条 Pareto curve,而不是只在 max effort 取一个点;否则会把最贵运行模式误认为默认能力。
Inkling 的事实知识并不领先,却专门投入概率校准、abstention 和 claims grading。这是一个成熟信号:让模型知道答案与让模型知道自己是否知道,需要不同数据、奖励与评测。它也提醒应用团队,不能用“会拒答”代替事实性,更不能用“回答流畅”代替校准。
轻量 image/audio front-end 把系统简化为一个共享 decoder,降低了接口与适配复杂度;代价是模型必须从 45T 级数据里自己形成更底层的感知抽象。它不是“encoder 不重要”,而是把 encoder 的功能分摊到主干参数与训练数据中。这条路线只有在数据清洗、跨模态配对和大规模训练能力足够强时才经济。
30M+ rollout、LoRA 闭环、权重、配置、Transformers 与推理框架集成,说明团队确实造出并发布了一个完整系统;这比只发 API 或技术预告更扎实。但组件消融、模型专属数据、百万上下文曲线、RL 环境配比和算力账都不充分,所以我们能相信“系统存在并能工作”,还不能精确相信“每个设计选择贡献了多少”。
| 使用者 | 适配度 | 优先验证 | 不应默认接受 |
|---|---|---|---|
| 有多机 GPU 基础设施的模型团队 | 高 | NVFP4 质量、吞吐、并发、LoRA 热切换、框架 commit 固定 | BF16 规格等于可经济部署;主分支支持等于稳定版完整支持 |
| 需要领域定制的 agent 团队 | 高 | 自建 verifier、回归集、adapter 版本治理、reward hacking | 窄任务自我微调会自然迁移成通用自我改进 |
| 长文档 / 长会话产品 | 待测 | 32K→64K→256K→1M 分桶质量、TTFT、KV 成本、位置敏感性 | 1M 配置值等于百万 token 有效记忆 |
| 音频理解与多模态工具产品 | 有潜力 | 口音、噪声、长音频、时序 grounding、行业词汇与延迟 | 音频输入能力等于语音生成或端到端实时通话能力 |
| 单机、本地隐私部署 | 低 | 优先等待 Inkling-Small 或选择更小模型 | “开放权重”意味着普通本地硬件可运行 |
本文把官方发布主张、公开权重/配置可复算事实、第三方基准定义与独立推论分开处理。benchmark 数字按发布方报告陈述;没有实际复跑 975B 权重。active-parameter 与 KV cache 为根据公开配置做的近似复算,未包含框架缓冲、激活、并发与服务端实现差异。关于许可证与使用政策的讨论仅用于界定文本边界,不构成法律意见。