Podcast Interview · 逐期深读

孙宇涛领读 Kimi K3:从 Hybrid Attention 到训练与推理 Infra 的有效扩展

本期背景与内容导览

本期是张小珺与孙宇涛围绕 Kimi K3 技术报告的系统领读。节目从嘉宾自己的线性注意力、YOCA 与 Universal-YOCA 研究出发,再进入 K3 的 Hybrid Attention、KDA、Gated MLA、Attention Residuals、LatentMoE、训练稳定性、路由均衡、长上下文、多教师蒸馏和基础设施优化。 补源后的正文按真实音频块重建两条关键技术链:一条从 Pre/Post-LN、Hyper-Connections、DenseNet 到 Attention Residuals,解释跨深度表示如何保留和聚合;另一条从 LatentMoE 的潜空间通信、Attention Projection 的稳定性,到 Quantile Balancing、Draft Model、KDA Context Parallel、Dropless EP、动态冗余、Offloading 和跨 PP 调度。Attention Projection 在这里是对投影操作的概括,不冒充官方独立模块名。 K3 按 Hybrid Attention 记录,K2→K3 激活参数采用 32.6B→104B,原生上下文为 1M。架构选择、训练配方、系统开销和最终能力被分开讨论:降维通信不自动等于端到端减半,chunk 数学可拆不等于通信免费,Offloading 与 Overlap 也都受硬件和实现条件约束。嘉宾对团队、规模和未来模型的判断保留为个人评价或预测,不能当成报告实测。

张小珺Jùn|商业访谈录 · #152 · 2026-08-26 · 2:04:19

原对话:沿提问、回答和转折完整展开

下面先按节目顺序重建。主持人在追问什么,嘉宾如何以自己的经历、例子和推理作答,尽量保留在具体语境中;案例中的事实、数字和判断先归属于发言人。随后才进入本文的机制解释与独立判断。

00:00:00–00:10:00连续对话 1

00:00:00–00:10:00节目介绍:领读Kimi K3技术报告

主持人张小珺介绍本期节目是一集学习播客,将与听众一同学习Kimi K3的技术报告。K3是一个有效扩展到2.8万亿(2.8T)总参数并全量开源的MoE(Mixture of Experts)模型。她解释说,节目发布距离模型发布已有一段时间,是因为团队在寻找一位学术和工作背景都非常适合讲解K3的嘉宾。最终,他们邀请到了清华大学计算机系博士候选人、上海创智学院璞锐学者孙宇涛。

主持人介绍,孙宇涛自博士研究开始,其方向就是大语言模型(LLM)的架构与预训练,架构创新一直是他的兴趣点,而这恰好是Kimi K3的亮点之一。孙宇涛将在节目中串联讲解K3及十多篇相关论文。主持人特别提醒,嘉宾语速很快,并预告了节目中可能出现的“暴论”,如“大模型可能没有它本身的上限了,后面都是一些改良性的进步”。

话题推进:在简短的片头混剪后,主持人正式引入嘉宾,并请他做自我介绍。

00:00:00–00:10:00嘉宾研究背景:从纯线性注意力到混合注意力的探索与转向

  • 宇涛你能不能先给大家做一个自我介绍,并且介绍一下你的研究方向?
  • 这是你的第一篇工作是吧?

应主持人邀请,嘉宾孙宇涛首先介绍了自己的研究背景。他从2023年开始博士阶段的研究,方向聚焦于大模型架构与预训练,旨在解决大语言模型(LLM)在推理环节的低效性问题。他观察到,业界对模型架构研究的导向已从追求性能(performance)转向追求效率(efficiency)。在LLM时代,模型参数量是决定性能最主要的因素,架构本身的改进带来的性能提升相对微小,但不同架构在推理效率和部署成本上差异巨大。

孙宇涛讲述了他的第一项研究工作,始于2023年,探索“线性注意力”(Linear Attention)方向。这项工作主要解决两个问题:

1. 性能逼近:如何让线性注意力在通用场景下,性能尽可能逼近传统的“全注意力”(Full Attention)。早期的线性注意力虽然形式上模仿全注意力,但建模特性更偏向循环神经网络(RNN),缺乏足够的位置信息。他的工作较早地引入了门控(gating)机制,让模型在有限的状态空间里,能建模对结果贡献足够大的信息。

2. 计算效率:如何设计高效的计算形式。纯粹的递归计算效率不优,而完全仿照全注意力的并行计算又无法享受线性复杂度的优势。他的团队提出了一种介于两者之间的“chunk-recurrent”计算形式,既能获得计算复杂度上的收益,又能在硬件(chunk)层面打满计算密度。孙宇涛指出,后续几乎所有的线性注意力改进工作,包括RetNet、Gated DeltaNet以及Kimi K3中使用的Kimi Linear,都基于这种计算范式。

然而,孙宇涛坦诚地评价,从现在的视角看,纯线性注意力的模型是一次“比较失败的尝试”。因为它有限的状态空间难以在长上下文任务中达到与全注意力完全相同的性能。认识到这一点后,他的研究方向在2023年转向了“混合注意力”(Hybrid Attention)架构,即结合使用线性和全注意力。他解释,这种架构听起来像是一种工程上的“trade-off”(权衡),但实验发现,在保持一定比例全注意力的基础上,模型可以获得无损甚至更好的长上下文表现。这意味着混合注意力并非通过牺牲模型能力来换取工程收益,这也是该架构如今被广泛应用的原因。

话题推进:虽然混合注意力在工程上很成功,但孙宇涛认为从学术角度“差了点意思”,因为它带来的推理加速比受限于混合比例。这促使他从新的维度思考如何优化注意力机制,引出了他的下一项工作。

00:00:00–00:10:00嘉宾研究工作:从YOCA到Universal-YOCA的架构创新

孙宇涛接着介绍了他后续的两项研究工作,进一步探索超越简单混合注意力的方法。

第二项工作是YOCA (You Only Cache Once)。这项工作从第一性原理出发:既然纯线性注意力性能不足,是因为无法省掉获取全局信息的能力,那么能否在保留全局信息能力的同时,从其他维度节省开销?传统的混合注意力是从序列长度维度节省,但加速比有上限。YOCA则从“层间”(inter-layer)维度入手,其核心思想是让所有层“共用一份KV Cache”。具体来说,模型虽然只有一份KV Cache,但通过特定设计,依然可以保持多份KV Cache的计算能力。这个架构的另一个优势是,在处理用户输入的“prefill”阶段,可以跳过全注意力的计算,因为prefill的唯一目的是生成后续生成(decode)阶段所需的KV Cache。YOCA通过前期的线性注意力计算即可拿到KV Cache,从而显著优化prefill和KV Cache存储开销。孙宇涛总结,这项工作主要解决了模型推理三大瓶颈中的两个:prefill时间和KV Cache存储。

第三项工作是Universal-YOCA。这项工作与当时热门的“循环语言模型”(Loop Language Model)相关。循环语言模型旨在通过在固定参数量的模型上进行多次迭代,增加计算量(FLOPs)来提升模型能力。但传统循环模型的缺点是,推理成本高昂,且KV Cache会随迭代深度增加而膨胀。Universal-YOCA是对YOCA架构的微小改变,将循环单元(loop unit)设计得非常高效。具体而言,它采用了一种“两段式”的混合注意力结构:模型前期是全线性注意力,后期是全注意力。循环操作只集中在计算和存储开销都极小的线性注意力部分。这样,模型可以用约两倍的计算强度,获得近两倍的性能提升,同时模型参数、存储和KV Cache开销基本保持不变。这项工作是在2023年之后,针对循环语言模型热潮所做的探索。

话题推进:主持人总结孙宇涛的研究一直聚焦于架构创新,并点明这正是邀请他解读Kimi K3的原因,引出他对架构创新兴趣来源的探讨。

00:10:00–00:20:00连续对话 2

00:10:00–00:20:00为何对架构创新感兴趣及本次分享的结构

  • 所以你从23年一开始读博,你的研究方向就一直在架构创新上对吧?
  • 你为什么一直对架构创新比较感感兴趣?
  • 你能介绍一下你整体的分享的一个结构和逻辑?

主持人确认孙宇涛的研究一直聚焦于架构创新,而Kimi K3也在此方面有诸多工作,这构成了邀请他的核心原因。孙宇涛提到,K3发布时,他与团队内部曾有讨论,认为其工作与自己的研究连续性很强,例如Gated DeltaNet几乎是原封不动地被整合进了K3。

当被问及为何对架构创新感兴趣时,孙宇涛从两个层面进行了解释:

1. 个人层面:他觉得架构创新“比较好玩”,能起到“四两拨千斤”的效果。虽然也涉及工程因素,但主要是与基础设施(infra)的协同设计(co-design),这本身也属于一种创新(如他之前提出的chunk-recurrent计算结构)。他认为,在2023年,这对于博士生是一个很好的研究领域,但承认到2026年,架构创新的空间可能越来越小。

2. 领域层面:在当时,全注意力是模型大规模应用的一个巨大瓶颈,解决它是行业部署模型时最重要的事情,并且大家相信这个问题一定可以被解决。

随后,主持人请孙宇涛介绍本次分享的结构。孙宇涛表示,他不会完全按照K3论文的顺序,而是会从论文的某个贡献点出发,将其置于历史研究的脉络中展开。他认为,只看一篇论文,读者可能知道“它是怎么做的”,但不清楚“为什么这么做”以及“历史上的其他尝试”。通过梳理脉络,将一个技术点的前因后果讲清楚,能让观众获得更综合的理解。他强调,K3的架构创新多,且研究脉络清晰,适合这种讲解方式。同时,他也会讲解与架构紧密相关的基础设施(infra)内容,但对于数据(data)等保密信息则不会涉及。

主持人总结,这种结构能让听众理解K-3是“如何来的”,并认可这种“集百家之长”的做法。孙宇涛也赞同K3报告客观引用前人工作的态度,认为这是其做得好的一个方面。

话题推进:在明确了分享的框架和逻辑后,孙宇涛正式开始对Kimi K3技术报告的领读。

00:10:00–00:20:00Kimi K3概述:三个维度的有效扩展

孙宇涛开始领读Kimi K3技术报告。他首先概括了K3的核心卖点,即在三个维度上实现了“有效扩展”(effective scaling)。

他认为,其中最重要的维度是模型大小的扩展。K3达到了2.8万亿(2.8T)参数,且是“有效”的。他解释了“无效扩展”的反例:创建一个2.8T模型但只用少量数据(如100B token)进行训练,这样的模型是无效的。K3的成功在于,它在2.8T这个规模上做到了有效的扩展,其激活的专家参数量达到了约100B(1000亿),在发布时远超国内其他开源模型。

第二个扩展维度是模型上下文长度,K3做到了100万(1 million)token的级别,这使其能处理更复杂的任务。

孙宇涛总结,K3的成功依然遵循一个第一性原理:更大的模型才有更高的智能上限。只要其他方面没有做错,模型参数大小仍然是决定智能最本质的因素。他强调,虽然有很多方法可以在评测基准(benchmark)上取得好成绩,但从模型能力的本质来看,扩大参数规模是最有效的方式,而K3在这一点上做得相当早期且成功。

话题推进:在对K3的整体成就进行概述后,孙宇涛转向报告中具体的模型结构章节,准备深入剖析其技术细节。

00:20:00–00:30:00连续对话 3

00:20:00–00:30:00模型架构:线性注意力的演进与Kimi Linear的设计

孙宇涛进入模型结构章节的讲解。他指出,K3综合了月之暗面团队及整个业界过去一年的重要创新,与主要沿用DeepSeek-V3结构的K2模型大不相同。他首先聚焦于混合注意力(Hybrid Attention)中的线性注意力部分,即Kimi Linear。

为了解释Kimi Linear复杂的公式,孙宇涛回溯了线性注意力的发展史:

1. 早期:最初的线性注意力非常简单,通过引入与token位置相关的衰减项(decay),使模型具备位置感知能力,因为语言天然具有“越近权重越高”的特性。

2. Chunk-recurrent计算形式:为了兼顾计算效率和线性复杂度的优势,学界提出了“chunk-recurrent”计算范式,它成为后续所有线性注意力工作的基础。

3. RetNet:引入了位置无关的衰减项,并开发了将其转换为GPU可高效计算的并行形式(parallel form)。

4. Gated DeltaNet:在RetNet基础上,通过引入一个“delta rule”提升了模型的长上下文容量。它将RetNet的位置无关衰减项,变成了与输入数据相关的(data-dependent)衰减项,从而在相同的状态大小下提高了上下文容量。Gated DeltaNet结合了RetNet的衰减机制和delta rule的高容量特性,得到了一个更优的注意力表达形式。

5. Kimi Linear:Kimi Linear在Gated DeltaNet的基础上,将每个注意力头(head)的标量(scalar)衰减项,进一步细化为向量(vector-wise)衰减,即“fine-grained decay”。这使得每个通道(channel)都可以有不同的衰减系数,理论上模型表达能力更强。然而,这种设计给底层的计算内核(kernel)实现带来了麻烦。

为了解决这个麻烦,Kimi Linear与一个名为KDA Kernel的组件进行了协同设计(co-design)。具体来说,为了在GPU上高效计算,需要将相对位置的衰减转换为绝对位置的变换。这个过程中,数值可能会变得极大或极小,超出BF16浮点数的表示范围。因此,Kimi Linear在算法层面引入了一个“clamped decay”,即在一个固定的chunk(如16个token)内,限制衰减系数的最大值,确保数值稳定性,从而让高效的KDA Kernel得以实现。这是一种典型的算法与基础设施协同设计的案例。

话题推进:讲解完线性注意力的演进后,孙宇涛转向混合注意力中的另一部分,即Gated MLA。

00:30:00–00:40:00连续对话 4

00:30:00–00:40:00模型架构:Gated MLA与对MLA未来的讨论

  • 为什么Qwen4没有再继续沿用MLA了呀?
  • 你觉得MLA在未来还会成为一个共识吗?
  • 所以它是加强了MLA的可控性?

孙宇涛接着讨论Kimi K3中的Gated MLA(Gated Multi-Layer Attention)。

他解释,MLA最早由Llama 2使用,主要目的是减少KV Cache开销,后来被DeepSeek-V3和Kimi K2沿用。K3选择继续使用MLA,可能是因为它在K2中运行良好,遵循了“能跑就不要动”的工程原则。在MLA的基础上,K3增加了一个“Gated”操作。这个Gated Attention技术最早由Qwen团队提出,其论文标题就表明其旨在提升训练稳定性。孙宇涛强调,对于大模型训练,稳定性至关重要,因为一次训练崩溃可能意味着巨大的资源浪费。任何能有效提升稳定性的技术,即使会带来一些额外计算开销,也通常会被接受。K3将Gated设计与MLA结合,在不破坏MLA推理特性的同时,提升了模型的训练稳定性。

主持人追问,为什么Qwen4不再使用MLA,以及MLA是否会成为未来的共识。孙宇涛引用了与Llama作者的交流,解释了对MLA的一些不同看法:

1. 等价性:从技术上讲,MLA本质上是MQA(Multi-Query Attention)的一种等价实现,只是一个“更好的水道(scheduler)”。为了用好MLA,往往需要增加FFN的计算来弥补损失,所以其收益可以通过更好的MQA参数设计来近似获得。

2. 与Agent范式的适配:主持人转述了Llama作者的观点,认为MLA虽然在H系列芯片上能很好地平衡访存和计算,但它浪费了大量计算。在Agent范式下,MTP(Multi-Token Prediction)能更有效地利用这些剩余计算,而MLA与MTP的收益并非正交,甚至可能互相削弱。

3. 结论:孙宇涛认为MLA从来都不是“共识”,只是一个“选择”。K3沿用MLA是合理的工程决策,但未来可能会改变。他总结,K3的做法是在MLA这个正交的设计上,通过引入Gated机制,主要加强了其训练的稳定性和可控性。

话题推进:讨论完Gated MLA后,孙宇涛准备讲解K3报告中的下一个架构创新点:Attention Residuals。

00:30:00–00:40:00模型架构:Attention Residuals及其思想源流

  • 你刚才讲的这几个你觉得哪个创新性是最强的?
  • 为什么?

孙宇涛开始讲解Attention Residuals,并追溯其思想源头。他认为,要理解Attention Residuals,首先要理解更早的Hyper-Connection工作,而Hyper-Connection又是对ResNet中残差连接思想的深化。

他首先回顾了残差连接(Residual Connection)的历史,指出早在ResNet时代,何恺明就讨论过Pre-LN和Post-LN对训练稳定性的影响。在Transformer时代,模型深度增加,Post-LN的梯度消失问题凸显,因此Pre-LN成为主流。而Hyper-Connection则是在ResNet的基础上,思考如何增加残差分支的容量,以提升模型表达能力。孙宇涛评价Hyper-Connection是一项思想简洁但论文写得过于抽象的好工作,其本质是在残差分支上用比模型主干更大的容量来表示状态,从而提升性能。

孙宇涛认为,无论是后来的Attention Residuals还是DeepMind的Re-routing,本质上都源于Hyper-Connection。这类工作的一大优势是,它们在推理时几乎是“免费”的,不增加额外开销,因此很容易被业界采纳。任何通过减慢模型来提升效果的方法,都会面临“为什么不直接用更大的模型”的质疑。

他还提到了一个更早的相关工作——DenseNet。DenseNet让深层网络看到所有浅层的状态,并通过一个大的卷积层进行聚合。但这种实现在大模型时代过于笨重。Attention Residuals可以看作是DenseNet思想在Transformer时代的轻量化实现。它通过解耦深度(如使用block-wise attention),避免了上层与底下所有层都进行交互,从而在保持核心思想的同时,实现了一个更灵巧、计算开销可接受的组件。

当被问及这一系列工作中哪个创新性最强时,孙宇涛选择了DenseNet和Hyper-Connection。他认为DenseNet在很早的时代就考虑到了深层网络连接的本质问题;而Hyper-Connection则在Transformer时代重新带回了这个话题,为后续工作设定了大的框架。

话题推进:在梳理完Attention Residuals的来龙去脉后,孙宇涛转向K3报告中的下一个重要组件:Stable LatentMoE。

00:40:00–00:50:00连续对话 5

00:40:00–00:50:00从Pre/Post-LN到Attention Residuals:跨深度表示如何被保留和聚合

  • 刚才这些连接方案中,哪个创新性最强?
  • (主持人承上)所以Attention Residuals是加强跨层信息利用和可控性吗?

嘉宾没有直接从K3的Attention Residuals定义讲起,而是先回到ResNet与Pre-LN/Post-LN。早期深层网络中,Post-LN在部分任务上结果较好,但模型增大后可能出现梯度消失或训练不稳,后续更常采用Pre-LN。这里的核心不是归一化放在哪个位置更好看,而是残差通路能否让深层模型保留可训练性。嘉宾还转述一种更保守的设计原则:新连接至少应能退化到原有结构,避免为了新容量破坏大run稳定。

随后是Hyper-Connections。他把它概括为在residual分支上,用比单个hidden state更大的容量表示模型在深度方向上的状态。也就是说,残差不再只是将上一层的向量原样加回来,而是给跨深度信息更多表示空间。嘉宾喜欢它思想简洁、推理阶段增加开销有限,但认为论文表达抽象,影响了传播。这里的“推理几乎免费”是相对于需要显著增加串行计算或更大模型的方案,并非所有实现都真正零成本。

DenseNet提供另一条历史线:深层读取并聚合此前多个浅层的表示,而不只接受相邻层输出。早期实现会用较大的线性层做聚合,计算和连接开销较高;Attention Residuals则把这一思想改写为更轻量的attention式聚合,并通过block attention降低与全部浅层两两交互的成本。full attention保留更多全局连接,block版本牺牲一部分表达能力换取效率。嘉宾认为后者损失有限且更易被接受,但这是相对工程判断,不是严格同等能力证明。

主持人问哪项创新最强,嘉宾选择DenseNet和Hyper-Connections:前者很早提出跨层连接问题,后者在Transformer时代重新唤起对连接容量的重视。他认为后续工作更多是在这一框架上做co-design与稳定性修补。这里应把Attention Residuals理解为“如何选择、聚合此前各层表示”,而不是普通的Q/K/V投影,也不是单指跨token注意力。K3在这一段主要沿用已有思想,不能把每个历史工作都写成K3原创。

话题推进:用独立段落恢复Pre/Post-LN→Hyper-Connections→DenseNet→Attention Residuals的顺序。;保留主持‘哪个创新最强’及嘉宾偏好,不只写K3组件名。;将解释例明确标为自拟,禁止改写成报告权重或性能结果。

00:40:00–00:50:00LatentMoE与Attention Projection:潜空间通信、参数补偿与投影稳定

  • (承接)MoE在EP下通信开销如何降低?
  • 两个线性投影可以合并,为什么实际还要在中间加稳定处理?

在Attention Residuals之后,话题转向MoE在专家并行(EP)下的通信。嘉宾说,token的hidden state需要分发到不同专家卡,dispatch通信量随激活专家数量和hidden dimension增长。LatentMoE的做法是先把要dispatch的表示压到latent dimension,可能缩小2倍或4倍,再传输和计算,以减少All-to-All数据量。

直接降维会减少专家可使用的参数或容量,因此需要补偿。嘉宾列出两种思路:增大FFN intermediate dimension以补回容量,或把专家拆得更细、增加专家数量与激活组合。他强调,恰当配置可以在保持standard MoE表现的同时降低通信,甚至结果更好;但这不是任意降维都不损能力的保证,而是对论文结果的转述,需要同等质量下的吞吐、显存和延迟验证。

训练和推理的收益不同。训练主要追求throughput,可以用overlap把通信藏在计算后;推理的通信在critical path上,尽管也能调度,延迟不能凭overlap消失。因此LatentMoE对推理latency的直接价值可能比对训练更突出。这里也把前文的架构选择和后文的Infra选择连接起来:通信量更小后,Shared Expert的计算就可能足以掩盖通信,不一定需要跨batch的复杂重排。

接着是Attention Projection的优化问题。两个连续线性投影在代数上可合成一个矩阵,但拆开实现时,优化可能不稳定。MLA和LatentMoE都涉及先低维投影、再计算或投回,若后接FFN的第一个线性投影,就形成两个linear相连。节目建议在中间使用RMSNorm等归一化,控制hidden state的范围。这里的projection是维度映射及其数值优化,不是Attention Residuals的跨层聚合。

本包用“Attention Projection”概括上述投影操作,不把它当成节目或报告正式命名的独立模块;正式组件仍以报告中的MLA、LatentMoE、RMSNorm等名称为准。

这部分最后接入SiTU-GLU:MLP中间激活在低精度或某些优化器下更容易出现outlier,硬clip可以设上界,soft clip/tanh类函数则平滑限制。嘉宾强调它提供数学上的激活上界,但是否影响表达能力仍需实验。不能把‘稳定’扩成对所有训练崩溃的证明。

话题推进:把LatentMoE与后文Shared Expert Overlap连接,但先保留本段通信与投影机制。;补充‘为何两个linear不直接合并’的解释,避免只写RMSNorm名称。;保留2倍/4倍、容量补偿和训练/推理差异,不写成无条件无损。

00:50:00–01:00:00连续对话 6

00:50:00–01:00:00从激活稳定到Quantile Balancing:路由偏置、负载均衡与近似计算

  • Muon是不是更容易产生激活异常?为什么之前Adam没有同样处理?
  • Quantile Balancing与loss-free routing有何差别?

嘉宾先补充激活异常与优化器的关系。他说Muon更容易出现outlier,但马上模拟苏建林的反问:任何优化器都可能出现,架构层面的约束才是更根本的控制方式。K2及Moonlight阶段通过QK相关clip或normalization处理这类问题,K3在MLP中间激活也引入有界函数。这里应保留不同观点,而不是把Muon或Adam简单判成稳定/不稳定。

随后进入Quantile Balancing(QB)。loss-free routing主要通过bias而非额外整体loss调整专家选择:某个专家激活过多就降低bias,过少就提高bias。它能工作,却依赖启发式更新,缺少清晰的全局收敛解释,并可能与主模型更新不够协调。过去为避免底层负载失衡,有人把第一层或前几层保持为dense,但这不是所有MoE都必须采用的规则。

QB试图用更原则的方式求出路由bias,使不同专家获得更均衡的token。嘉宾转述,它借鉴optimal transport/最优分配的思路,并可在一步中给出解;为避免同一step内token相互获得不应使用的信息,得到的统计值在下一步使用。若原本loss-free已经有效,QB也能工作;某些条件下用梯度更新还可以得到与loss-free相近的形式。嘉宾强调第一层也可直接balance,说明dense底层只是规避旧方法失效的工程选择。

精确分位数在大batch上又很难计算:若有几千万token,保存全部路由值再排序的代价很高。早期近似方案按GPU或小batch分别求局部分位数再pooling;K3的讲述则按值域分桶,把0到1等取值范围切成固定桶,形成直方图,以常数级存储近似分位数,适合分布式扩展。嘉宾自己也提醒“可能理解错”,因此这里应保留实现细节的报告核验边界。

四个桶的计数例只用于解释近似:把两张GPU各自桶计数相加,再按累计比例找到目标桶,便能避免保存所有token的原始值。它不是K3真实桶数、路由公式或实测结果。QB解决的是路由分配问题,与Attention Residuals的跨层表示、Attention Projection的降维稳定属于不同层次。

话题推进:补回loss-free失效场景与QB的关系,不把QB写成孤立新名词。;将直方图例标为自拟,不使用旧稿未标来源的1024桶作为K3事实。;把Quantile与后面的Dropless EP区分开:前者偏路由训练稳定,后者偏系统负载与通信。

01:00:00–01:10:00连续对话 7

01:00:00–01:10:00架构—训练—Infra的连接:Hybrid Attention、WSD、RNoPE与多教师蒸馏

  • K3为什么不用某种稀疏attention?
  • K2到K3为什么变化这么大?
  • 为什么不用WSD而回归Cosine Decay?
  • 多教师蒸馏为何从模型压缩变成训练流程简化?

为避免把三个漏源区段看成孤立清单,需要先补齐其间的架构与训练连接。K3在报告中采用Hybrid Attention,而非整体纯线性注意力。稀疏attention的收益依赖index计算成本:每层独立求哪些token参与计算可能很贵,需要跨层共享index cache。混合布局里全注意力层被多层线性注意力隔开,跨层共享未必有效;稀疏attention通常又在post-train转换,和原生预训练不一定兼容。因此嘉宾认为K3暂不采用是实际加速与兼容性的权衡,不是稀疏attention没有研究价值。

Native Vision一段讨论已有视觉encoder初始化与原生训练:已有encoder收敛快,但兼容性与稳定性未必最好,原生训练可能花更多算力却更一致。这与“沿用现成模块还是针对系统重新训练”的一般选择相连,不能简单判断已有encoder一定更好。

K2到K3的变化被归为公司战略而非单纯架构团队突变:K2先把base model与整体pipeline做稳,K3再追求更精细优化。研究组件早在积累,什么时候整合进模型取决于发布目标与系统验证。嘉宾所谓“忒修斯之船”强调,当前模型由许多既有部件逐步替换组合,创新既包括提出组件,也包括让它们在大系统里共同工作。

WSD与Cosine Decay的差异则用于说明训练策略的取舍。WSD的稳定期便于中途调整token预算,但最优学习率仍依赖预算,且多一个decay比例超参;Cosine只需token预算和最大学习率,调参更简单。K3团队选择Cosine是特定设置下的结果,不是WSD普遍失效。

参数对比必须修正:Whisper和后续100B量级说明K2到K3激活为32.6B→104B,不是1.04B;总参数约1T→2.8T,嘉宾给出的scaling efficiency为2.5倍。嘉宾同时提醒数据配方不同,不能把效率提升全部归于架构或学习率策略。原生上下文则为1 million,不是旧转录中的1000。

RNoPE段解释混合结构的位置编码:线性注意力已经提供位置相关信息,在全注意力层去掉RoPE,可避免长上下文外推时按长度调RoPE参数。嘉宾曾自行复现并认可其优雅性,但这不证明任何模型删除RoPE都能自然获得长上下文,RoPE对局部位置建模仍有意义。

低精度在FT阶段引入,被解释为项目管理上更稳妥:一开始大规模预训练使用高精度,后续再引入低精度,不一定损失效果。多教师On-Policy Distillation则由“教师生成学生模仿”转为“学生生成、教师逐步纠正”。当公司不再主要追求大蒸小时,它的价值转向把不同能力/reward组织成同构教师,用统一蒸馏接口简化复杂RL训练。统一接口不自动等于监督正确、教师不冲突或学生能力融合成功。

话题推进:作为上下文承接保留,不将其误算为第三段空白的新主题。;重生成时同步修正纯线性、104B和1M,防止只补时间段却保留旧错误。;把多教师段与下一节Draft Model微调的过渡接上。

01:10:00–01:20:00连续对话 8

01:10:00–01:20:00预训练策略:为何K3放弃WSD,回归Cosine Decay?

孙宇涛开始讲解Kimi K3的预训练(Pre-Training)部分,首先聚焦于学习率调度(learning rate schedule)策略的选择。他指出,在K3之前,许多团队都采用WSD(Warmup-Stable-Decay)策略。WSD由MiniCPM团队提出,其核心思想是利用模型在训练不同阶段的学习行为来优化数据和学习率的配合。

他解释了WSD的动机:模型训练的Warmup(预热)阶段是loss下降最快的阶段。因此,WSD策略主张将更高质量的数据集中在这一阶段进行训练,以期获得比数据和学习率均匀分布更好的效果。此外,WSD还有一个工程上的优势:其Stable(稳定)阶段的学习率是固定的,与总训练步数无关。这意味着团队可以在训练过程中灵活地延长或缩短总训练量,而无需从头调整学习率曲线,这为项目管理带来了便利。

然而,Kimi K3团队在报告中解释了他们为何放弃WSD,转而采用更经典的Cosine Decay(余弦衰减)策略。孙宇涛分析了WSD的局限性:虽然总训练量可以灵活调整,但Stable阶段的最优学习率实际上与总训练量是相关的。例如,训练10T token和训练20T token,最优的稳定期学习率可能是不同的。因此,WSD“任意扩展训练量”的优势并非想象中那么有效。

K3团队发现,从调参难度来看,Cosine Decay更简单。它只有两个关键参数:总训练步数和初始学习率。而WSD则多了一个“稳定期比例”的参数,增加了调参的复杂性。K3团队的实验表明,通过仔细调整,Cosine Decay可以找到比WSD更好的参数配置(setting)。因此,他们最终选择了一个更简单、更好调优的经典方案。

最后,孙宇涛对比了K2和K3的规模与效率。K3的总参数量从K2的约1T增加到2.8T,激活参数量从32.6B增加到104B,增幅均接近三倍。最终,K3实现的Scaling Law效率(综合了模型架构、数据配比等因素)是K2的2.5倍。他特别提到,这个对比中的数据配方(data recipe)大概率是不同的,因此2.5倍的提升是一个综合性的结果。

话题推进:讨论完学习率策略和模型规模后,嘉宾转向了K3在长上下文扩展方面的技术选择,特别是位置编码的创新。

01:20:00–01:30:00连续对话 9

01:20:00–01:30:00长上下文扩展:RNoPE如何实现优雅的位置编码外推

孙宇涛接着讨论Kimi K3在长上下文扩展方面的技术选择,核心是其采用的位置编码方案——RNoPE(Rotary NoPE)。他首先回顾了传统Transformer架构中常用的RoPE(旋转位置编码)。RoPE在处理长文本时存在一个问题:当上下文长度超过预训练长度时,需要调整RoPE的参数(如base频率)才能有效外推,否则模型性能会急剧下降。

然而,在混合注意力(Hybrid Attention)架构中,情况发生了变化。孙宇涛提到了Cohere团队的一项关键工作,该工作发现,由于线性注意力层本身已经引入了位置信息(无论是通过decay机制还是其他方式),因此可以在全注意力层中去掉位置编码(即使用NoPE,No Position Embedding)。这种交替使用RoPE(在线性注意力层)和NoPE(在全注意力层)的方案,就是RNoPE。

孙宇涛高度评价了RNoPE,称其“无疑是很优雅的”。它带来了两大好处:

1. 更好的模型表现:实验证明,这种组合方式能提升模型性能。

2. 更强的外推能力:采用RNoPE后,模型在扩展到更长上下文时,无需调整任何架构参数,就能实现很好的外推效果。这解决了传统RoPE需要为不同长度手动调参的痛点,也更符合理论直觉——模型架构参数本不应与具体序列长度绑定。

孙宇涛分享了自己的亲身经历,他看到这篇论文后第二天就去复现,发现效果确实很好,并认为这是混合注意力场景下的一个优秀方案。他甚至在审稿时给了一篇相关论文极高的评价。

他还借此机会澄清了一个常见的误解:RoPE的核心优势在于其强大的相对位置建模能力,但它对长上下文外推非但没有帮助,甚至可能有害。这也是为什么K3在全注意力层中去掉RoPE的原因。去掉RoPE后,模型不仅无需调参就能获得很好的外推效果,而且在长上下文任务上的表现甚至会更好。因此,K3采用RNoPE,是在混合注意力架构下实现长上下文能力的一个“相当优美”的解决方案。

话题推进:在讲解完长上下文扩展的技术后,对话进入了后训练(Post-Training)阶段的讨论,首先从低精度训练的引入时机谈起。

01:20:00–01:30:00后训练策略:从低精度引入到多教师蒸馏的应用演变

  • 魏院动?

孙宇涛开始介绍Kimi K3的后训练(Post-Training)策略。首先,他讨论了低精度训练(如FP8、W4A8)的引入时机。他对比了不同团队的做法:DeepSeek-V2是从头开始用FP8训练,而DeepSeek-V3则直接用W4A8训练。K3团队采取了不同的策略:在预训练阶段使用高精度,在微调(Fine-Tuning, FT)阶段才引入低精度。孙宇涛认为这种选择兼具项目管理和技术上的合理性。从项目管理角度看,大规模预训练使用高精度是更“保险”的方案,可以避免因低精度引入的不可控风险。从技术角度看,实验表明,从头开始用低精度训练并不会带来额外的模型能力提升,只要训练到一定程度,在FT阶段引入低精度,最终效果是相似的。因此,K3的选择是一个既安全又在技术上无损的方案。

接着,孙宇涛转向了K3中一个重要的后训练技术:多教师在线策略蒸馏(Multi-Teacher On-Policy Distillation)。他首先解释了“在线策略蒸馏”(On-Policy Distillation)的概念,该方法源于微软亚洲研究院魏雅纯(Yadong Wei)等人的工作MiniLLM。传统的蒸馏是“老师讲课,学生听讲”,即让强大的教师模型生成答案,学生模型去学习。而在线策略蒸馏(或称Reverse Distillation)则是“反其道而行之”:让学生模型自己去生成答案(推理过程),教师模型则在每一步对学生的推理进行纠正。这种“自己做题,老师批改”的方式被证明是一种更有效的蒸馏范式。

孙宇涛进一步阐述了该技术应用场景的演变。最初,在线策略蒸馏主要用于“白盒蒸馏”,即当你可以完全访问教师模型内部状态时,将一个大模型的知识蒸馏到一个小模型上,以获得一个性能超群的“闪电版”(flash version)模型。然而,在实际商业场景中,公司通常只维护一个主模型对外服务,并不存在“大模型蒸馏到小模型”的需求。于是,这种蒸馏范式逐渐演变成“自己蒸馏自己”(self-distillation)。

“自己蒸馏自己”的动机,一方面是项目管理上的简化。强化学习(RL)的训练流程通常比SFT复杂,不同能力的对齐(如遵循指令、代码、数学)可能需要不同的奖励模型(Reward Model)和训练策略。如果将这些异构的训练范式直接合并,难度很大。而通过多教师蒸馏,可以将不同能力对应的奖励模型或优化范式,实例化为多个“教师模型”(这些模型架构相同,高度同构)。然后,通过一个统一的蒸馏框架,将这些“专家教师”的能力融合到最终的学生模型中。这种“化异构为同构”的方式,极大地简化了复杂的RLHF流程。孙宇涛指出,这已成为当前业界一个比较主流的做法。

话题推进:在解释了多教师蒸馏的应用后,嘉宾继续讨论后训练中的另一个环节:草稿模型微调,并引出了与推理加速相关的技术。

01:30:00–01:40:00连续对话 10

01:30:00–01:40:00多教师之后的Draft Model微调:隐藏状态、预训练接口与服务负载

  • (承接后训练)如何得到更好的MTP/Draft Model?
  • Draft Model只在什么服务场景更有优势?

多教师蒸馏之后,讨论转到Draft Model Fine-Tuning。开头先限定推理服务场景:有一类用户愿意支付更高成本换取更强的单用户/小batch推理速度,这时更快的draft策略价值更大;若目标是多用户总throughput,同样方案的收益可能小很多。不能把某种推理加速说成对所有服务形态都同样有利。

早期Speculative Decoding用一个与主模型关系较弱的小模型给大模型起草候选,问题是没有充分利用大模型中间的hidden state。若能让draft利用这些状态,就可以把draft做得更小,或在同样参数下提高候选被接受的概率。MTP及嘉宾提到的一类工作延续了这个思路,强调draft与主模型的表示衔接,而非独立训练一个小模型去猜。

Diffusion Language Model提供另一条加速路径:小batch/单用户时,非传统自回归的推理方式可能更快,但从头训练的效果和训练效率未必能追上传统AR模型,多用户总throughput也未必占优。Whisper将相应工作识别为D-Flash,Gemini大量术语残缺,本稿只保留这一转录形式并标待核,不自行换成另一篇论文名。

嘉宾转述与相关研究者交流后的判断:Draft Model仍高度依赖预训练。主模型需在预训练阶段提供适合MTP的接口,draft才能利用大模型已有推理能力并进一步放大速度。draft自身还需要特化处理,例如用KL loss替代普通的next-token prediction目标,使其在主模型verify时与目标分布更对齐,从而提高接受率。‘还会有更深工作’是嘉宾预测,不是现有结果。

这段必须与多教师区分开:多教师侧重训练监督和能力合并,Draft Model侧重部署阶段的候选生成与verify。两者可以通过预训练和后训练连接,但不能把draft简单说成蒸馏的附属步骤,也不能把推理接受率当成模型能力本身提升。

话题推进:恢复01:30后的Draft整段,不从MTP孤立定义起笔。;保留Diffusion LM的两个失败/限制:从头训练效果与多用户吞吐。;明确预训练接口、KL loss、verify和接受率的顺序。

01:30:00–01:40:00KDA Context Parallel:从单层chunk递归到跨卡的双层拆分

  • KDA的Context Parallel与Full Attention的CP有什么不同?
  • 为什么KDA可以在机器间和机器内分别再做chunk?

Draft之后进入Infra。嘉宾先强调模型架构和Infra需要co-design,KDA的kernel并不是把full attention的并行方式直接复制过来。普通full attention的CP需要处理跨位置的K/V,Ring Attention等方案概念较直接;KDA则可以从chunkwise recurrent的计算结构理解。

单机不开启CP时,序列被拆成小chunk,chunk内部用并行方式提高计算密度,chunk之间通过递归串行传递状态。前文的lower-bounded decay与kernel限制,正是为了让chunk内部的并行计算更高效。由此形成一个基本模式:内部并行、外部递归。

KDA的特殊点是chunk在数学形式上可进一步拆分。无论是512 token还是8K token一个chunk,只要状态按同样的递归关系传递,形式可以等价。纯线性注意力不像某些“chunk间用linear、chunk内用full”的混合方案那样,chunk大小直接绑定另一种计算模式。因此它可以对长序列先做一层大chunk跨卡分配,再在每张卡内部按kernel需求做第二层chunk。

嘉宾用1 million上下文举例:先按8K token分配到不同GPU,GPU之间处理大chunk的状态传递;再在卡内拆成适合kernel的更小单元。两层共同组成较大的Context Parallel。这里的“任意拆分”指递归数学形式不受固定chunk大小限制,并不意味着跨卡通信、同步、内存或硬件实现没有成本。真正吞吐仍要看状态传输和kernel效率。

这个段落在旧深读里完全缺位,却解释了为什么K3既能用线性注意力,又能针对长上下文做分布式部署。它也把前文的衰减控制与后文的分布式训练连接起来:算法提供可拆的计算结构,Infra负责把结构映射到硬件。

话题推进:把这段放在Draft之后、Dropless EP之前,恢复01:30–01:36:06的真实承接。;保留1 million与8K/卡作为嘉宾说明例,不写成唯一固定配置。;加入单机chunk内并行、chunk间递归的解释,避免只写‘双层chunk’术语。

01:30:00–01:40:00Dropless EP与动态冗余专家:不丢token的负载均衡及其上限

  • 传统EP的负载和通信问题是什么?
  • 如何在不丢token的前提下接近最优?
  • 每张卡token数均衡是否等于每个专家也均衡?

KDA CP之后,嘉宾进入MoE分布式训练的另一个问题:Dropless EP让每个token按照路由选择专家,不通过丢token强行控制负载。不同专家接收的token数自然不同,GPU执行时间也会不同,快设备需要等慢设备,造成算力浪费。不同卡token数不确定还会多一个通信阶段:先告诉其他卡将接收多少token,再发送实际token。

若只从Infra看,理想状态是各卡、各专家负载完全均衡,但没有执行等待和额外汇总量协调。不过简单drop token虽可能削峰,却会损失模型能力,所以K3尝试在保持能力的前提下,将非最优系统状态向最优引导。

静态EP可用嘉宾例子说明:128个专家、EP8时,每卡固定放16个专家,分配和负载较静态。动态方案则引入少量冗余专家,通过online planning提前规划各卡需要哪些冗余专家,以平衡各卡token总数。嘉宾称数学上可以证明,存在只增加少量冗余就让token数对齐的策略,但这不等于线上规划、权重同步和通信没有成本。

下一真实块首句接上“增加小比例冗余专家”,说明旧深读从01:36:06开始并不缺这一句本身,缺的是前面的动机和方案来源。更关键的是边界:算法保证的是每张卡token总量一致,不保证卡内每个专家token数一致。若要进一步做到专家级完全均衡,可能需要牺牲模型质量的有损策略。因而该方案首先解决设备同步与吞吐问题,不能宣称模型容量利用和专家学习都达到均衡。

这段应与Quantile Balancing区分。QB偏向通过路由偏置和分位数让训练负载更平衡;Dropless EP与动态冗余偏分布式执行、token分配和设备等待。两者都涉及balance,但对象和验证指标不同,不能合并为同一个算法。

话题推进:恢复Dropless EP负载、两阶段通信、动态冗余和专家级边界的完整链。;保留128专家/EP8静态例与少量冗余专家,不增加未披露比例。;将part2 01:36:06的句子作为跨块接句,而不是独立起点。

01:40:00–01:50:00连续对话 11

01:40:00–01:50:00Activation Offloading与Overlap:显存、通信和计算怎样交换

  • 如何把activation卸载到CPU而不拖慢训练?
  • 为什么K3不必完全照搬DeepSeek-V3的复杂MoE overlap?
  • 完美隐藏通信是否完全无损?

动态冗余之后进入memory-efficient training。K3可以更细粒度地选择哪些部件保留activation、哪些进行offloading,并把中间结果从GPU转移到CPU。嘉宾强调这不是简单搬运:若希望训练不被拖慢,CPU↔GPU通信必须满足某个时间不等式,使传输能被计算覆盖。可offload的内容使用FP8存储,降低存储和传输量,使其有机会跨过这个边界。具体边界依集群、链路和模型配置而变,不能笼统写成FP8永远无精度代价或一律省一半。

随后嘉宾对比DeepSeek-V3的复杂方案。MoE有dispatch和combine两类大通信,DeepSeek通过细粒度重排,将上一个batch的forward/backward与下一个batch的forward组合,尽量隐藏通信;还要把原子计算拆开手工调度,并使用双向pipeline减少PP气泡和activation不均。K3公开报告未采用完全相同的两条路径。

K3的LatentMoE先在架构上降低通信量,因而可以在一个batch内部用Shared Expert的计算掩盖MoE通信,不必为了掩盖大通信再引入另一个batch。传统MoE通信过大时,Shared Expert的计算不足以覆盖,就需要复杂跨batch overlap。这个例子说明不是K3“没有工程优化”,而是上游架构改变后,下游调度可以更简单。

嘉宾同时给出反例:即使通信被完美overlap,计算本身也可能变慢,不能称完全无损。DPP一类优化会用较少SM占用换取更高通信吞吐,使overlap更容易成立。Shared Expert方案也涉及推理critical path的latency与训练吞吐,不能只用一个指标判断。

这里应与Attention Projection连起来:LatentMoE的投影、归一化和通信设计决定后续overlap的可行性;KDA CP决定长序列如何拆分;动态冗余决定专家间负载;Offloading决定中间状态放在哪里。它们共同构成架构与Infra协同,而不是互不相干的优化清单。

话题推进:恢复FP8 Offloading、Shared Expert与DPP的反例,避免只写‘通信被隐藏’。;保留DeepSeek-V3跨batch重排作为比较,不写成K3也采用相同方案。;将本段与LatentMoE前文相连,形成完整co-design论证。

01:40:00–01:50:00跨PP显存、Muon切分与多模态Encoder:不均衡如何转移到系统可承受的位置

  • 单向PP的显存与计算不均如何处理?
  • Muon为什么不能像Adam一样任意切分参数?
  • 多模态Encoder会怎样改变PP调度?

单向pipeline parallel中,前面的PP rank更早进入计算,可能积累更多batch的activation,显存压力比后面的rank大。双向PP可通过对称调度缓解,但K3采用另一种思路:把高内存PP rank的一部分activation转移到低内存rank存储。这是显存再分配,不是消灭activation,也仍需传输与生命周期管理。它用较轻量的方式避免全面改造pipeline,但不能说所有计算不均都随之消失。

优化器切分是另一层区别。Adam是element-wise优化,参数摊平后如何切分通常不直接改变每个元素的更新方式;Muon需要全局矩阵做牛顿迭代,某个rank需保留完整矩阵,因此不能像Adam一样任意切。这里只能按嘉宾解释记录,不补造Muon的具体分布式实现或公式。

多模态Encoder又引入新的负载结构。视觉token可能在进入语言模型前由32K压缩为8K,但压缩前的encoder内部仍要处理32K,因而主干不必开CP时encoder可能仍需要。不同卡可能分别拿到纯文本或高比例视觉数据,DP与PP的计算量都不均。

若把Encoder固定放在流水线最前面,第一个PP rank计算强度显著增加,后续rank等待,形成大气泡。K3把相关计算放到中间或尾部,并利用前面语言模型计算时中间PP rank的空闲,提前计算Encoder后续步骤。这是用调度填补闲置,而不是视觉Encoder本身变快。主持人随后感叹报告写得详细,嘉宾认为公开这些实现可减少依赖小道消息,说明工程细节本身也是可复现研究的一部分。

话题推进:补入跨PP、Muon和多模态,避免旧Infra只剩Offloading与Overlap。;保留‘报告写得详细减少小道消息’的收尾,连接后面的复现问题。;将视觉encoder的计算长度、数据比例和PP位置分别写清。

01:50:00–02:00:00连续对话 12

01:50:00–02:00:00RL与Inference的Infra:显存生命周期、线性Prefix Cache与推理引擎适配

  • 报告写出来,Infra复现难吗?
  • Reference Model与Gradient Buffer为什么能复用显存?
  • 线性注意力的Prefix Cache为什么不能完全照搬Full Attention?

主持人问报告详述后Infra是否难复现。嘉宾认为Infra具有较高确定性,难的是从profiling和团队能力出发自己提出方案;若团队工程实践好,可以复现,否则可先跟随成熟实践。RL还涉及大量inference与sandbox管理,每个trajectory可能对应独立Docker,需要处理大规模容器调度。此处为Gemini单源,不能把相关实现细节当成双源核验。

显存复用利用生命周期错位:前向计算objective时需要Reference Model提供参考分布,但不计算其梯度;进入主模型反向传播、需要Gradient Buffer时,Reference Model已不再使用。于是相应工作空间可以被Gradient Buffer复用,降低峰值显存。它不是把Reference Model参数从逻辑上删除,也不是任意时刻都能覆盖;如果后续仍需Reference,复用便不成立。

线性注意力的Prefix Cache又不同。Full Attention可以按token增量保存K/V,前缀缓存相对直接;线性注意力每步在旧state上覆写,prefix state随步变化。若每一步都保存,线性注意力省状态的优势被抵消;若完全不保存,又无法复用前缀。节目给出的策略是按block缓存,在复用与存储之间折中。

vLLM等推理引擎还需同时管理full、linear或sliding window等不同attention pattern。原有的page式KV管理与线性状态的结构不同,混合架构接入并不是简单加一个kernel即可,需要额外的缓存一致性与引擎适配。底层kernel也要分别针对prefill、decode和training优化。嘉宾认为这些工作确定性高,但并非没有工程量。

这段把前面训练的显存与分布式问题延伸到RL和部署:同一模型在训练、参考计算、反向更新和推理缓存中的生命周期不同,不能只用参数量和一次forward的成本理解实际资源开销。

话题推进:作为part2后续承接保留,不把其误算为01:30–01:36:06的新主题。;用生命周期解释显存复用,避免旧算例把复用说成任意通用。;将Prefix Cache与KDA的递归状态连接,补全训练到推理的链路。

01:50:00–02:00:00规模、组织与预测边界:K3的104B激活、团队合作与well-defined能力

  • K3最impressive的地方是什么?
  • 新团队还有机会重做大模型吗?
  • 未来模型能多大、能否达到AGI?
  • 为什么转向世界模型?

收尾部分把技术判断与预测分开。嘉宾最直观的惊讶是K3激活约100B,比预期更大。他认为把激活定这么大本身不是技术难点,而是需要魄力的非技术选择;真正难的是让规模、架构、训练、数据和Infra共同工作。K3的许多技术组件此前已单独发表,所以他对组件本身不完全意外,更意外规模。

主持人追问科学方法,嘉宾认可Kimi对“模型内科”的强调:让行为trace更可靠、训练不稳或collapse更易归因。与此相对,不科学是为了利益放弃明确评估、变量控制与证据标准。这里的团队评价属于嘉宾理解,不能用作独立证明团队文化。

新团队是否还有机会,嘉宾认为需要优秀的人和良好组织文化同时成立,而这种组合有历史局限,不乐观。他所谓“没有太本质的创新”是自称暴论:既有架构的许多改良仍重要,但基础研究空间可能在收窄。模型规模也不会无限增长,因为可集结的人类信息量有限、具体任务需求与成本不同。

对AGI,他区分well-defined任务和未定义目标:如果能清楚定义能力与评测,工程优化可能逐步达到;AGI本身缺乏清晰定义,不能用同一逻辑直接承诺。若涉及真实物理世界交互,问题会更大。转向世界模型则是他个人的研究选择,认为那里问题更大、更新、仍有贡献空间。上述都是个人预测与职业判断,不是K3技术报告已验证的结论。

话题推进:在详细包末尾保留预测归属,不把预测混入K3已实现能力。;区分100B概述与104B精确比较,避免使用ASR的1.04B。;完整保留团队、科学方法、well-defined与AGI边界,为重生成提供收尾。

02:00:00–02:04:19连续对话 13

02:00:00–02:04:19总结与展望:Kimi K3的魄力、科学方法与大模型的未来

  • 觉得Kimi让你最 impressive的地方是哪里呀?
  • 这个依赖的什么能力呢?
  • 杨志林喜欢说有概率的非共识,你觉得在K3上能看到他们的什么样的 different bats或者说创新?
  • 就是你刚才给大家也展示了好多他们历史的 paper,其实中间就已经发出来了对吧,但是他把它优化到了一个更大的模型上。
  • 有人说Kimi的研究方式相对比较科学,你觉得这个你认同吗?怎么解释?
  • 什么是不科学的?
  • 因为最近也是V4发布的时间嘛,K3和V4你觉得他们的区别是什么?那么做一些对比。
  • 你觉得照这个趋势发展下去,Kimi和 DeepSeek会分化吗?
  • 你觉得K3相比之前所有模型来说不一样在哪里?它有架构创新?它创新性更强了。
  • 那新团队现在再去重做一个模型,还有时间窗口或者机会吗?
  • 为什么不存在?因为好的人其实已经进去了,还是怎么说?
  • 氛围这个事情真的是有点虚,很难去描述它。
  • 你觉得未来的模型的发展方向,你有没有什么预测?
  • 然后它会做到一个什么样的水平呢?做到多大size对应的是什么样性能呢?
  • 它能达到所谓的AGI吗?
  • 你觉得它最后会是一个多大的模型呢?
  • 还是说它是无限大,无限往上叠上去?
  • 你觉得它最后有多大?
  • 现在是6到2.8,以后呢?
  • 你现在为什么去探索世界模型了?

进入总结部分,主持人张小珺询问嘉宾孙宇涛对Kimi K3印象最深之处。孙宇涛回答,是其巨大的激活参数规模(100 billion),比上一代多了三倍多。他认为这并非技术决策,而是一个需要“魄力”的非技术性决定,意在将开源模型的上限提升一个数量级。至于技术创新,他认为有价值的部分Kimi都已在之前的论文中发表,因此K3的发布并未带来技术上的意外,最大的“surprise”就是其尺寸。

当被问及Kimi的研究方法是否“科学”时,孙宇涛表示认同。他解释,这主要源于Kimi团队内部对“模型内科”的强调,即致力于让预训练过程更科学,例如能够可靠地追踪模型行为、明确归因模型的不稳定或崩溃现象。他认为,“不科学”就是基于某些利益需求而放弃了严谨的评估、变量控制等科学方法。一个团结、劲往一处使的团队,其判断方式自然就是科学的。

在与DeepSeek V4的对比中,孙宇涛认为两者定位不同。Kimi K3目前主要目标是提升开源模型的能力上限,性价比并非首要考虑,其API价格也相对昂贵。而DeepSeek更强调性价比。他认为技术本身有好坏的客观标准,团队走向最终取决于人的选择。

对于新团队是否还有机会重做大模型,孙宇涛持悲观态度。他认为,要同时具备优秀的人才和良好的组织文化,存在“历史的局限性”,大概率无法达成,因此创业机会渺茫。他强调,好的团队氛围取决于领导者的品味(taste)和性格,并以“Kimi团队没人怕杨植麟”为例,说明了“谁有道理谁说了算”的集体工作模式,而非依赖个人英雄主义。

最后,孙宇涛给出了对大模型未来的“暴论”:可能已没有太本质的创新,后续多为改良性进步。他认为,只要一个能力能被清晰地定义(well-defined),模型就能通过工程优化去实现它,AGI之所以难以达到,正是因为它没有被清晰定义。模型的尺寸不会无限增大,其上限受制于互联网上有限的人类信息总量。他个人判断,大模型领域能做出巨大贡献的空间变小,因此他选择转向探索问题更大、但更新的“世界模型”领域。

话题推进:对话至此结束。

以上是原对话的分段阅读。下面才开始提炼论证、解释机制并给出本文自己的判断。

主要论证:观点怎样由经历与例子支撑

LatentMoE与Attention Projection:潜空间通信、参数补偿与投影稳定

孙宇涛(技术解读;具体报告细节以原论文为准) · 00:40:00–00:50:00;00:50:00–01:00:00

在Attention Residuals之后,话题转向MoE在专家并行(EP)下的通信。嘉宾说,token的hidden state需要分发到不同专家卡,dispatch通信量随激活专家数量和hidden dimension增长。LatentMoE的做法是先把要dispatch的表示压到latent dimension,可能缩小2倍或4倍,再传输和计算,以减少All-to-All数据量。

直接降维会减少专家可使用的参数或容量,因此需要补偿。嘉宾列出两种思路:增大FFN intermediate dimension以补回容量,或把专家拆得更细、增加专家数量与激活组合。他强调,恰当配置可以在保持standard MoE表现的同时降低通信,甚至结果更好;但这不是任意降维都不损能力的保证,而是对论文结果的转述,需要同等质量下的吞吐、显存和延迟验证。

训练和推理的收益不同。训练主要追求throughput,可以用overlap把通信藏在计算后;推理的通信在critical path上,尽管也能调度,延迟不能凭overlap消失。因此LatentMoE对推理latency的直接价值可能比对训练更突出。这里也把前文的架构选择和后文的Infra选择连接起来:通信量更小后,Shared Expert的计算就可能足以掩盖通信,不一定需要跨batch的复杂重排。

接着是Attention Projection的优化问题。两个连续线性投影在代数上可合成一个矩阵,但拆开实现时,优化可能不稳定。MLA和LatentMoE都涉及先低维投影、再计算或投回,若后接FFN的第一个线性投影,就形成两个linear相连。节目建议在中间使用RMSNorm等归一化,控制hidden state的范围。这里的projection是维度映射及其数值优化,不是Attention Residuals的跨层聚合。

本包用“Attention Projection”概括上述投影操作,不把它当成节目或报告正式命名的独立模块;正式组件仍以报告中的MLA、LatentMoE、RMSNorm等名称为准。

这部分最后接入SiTU-GLU:MLP中间激活在低精度或某些优化器下更容易出现outlier,硬clip可以设上界,soft clip/tanh类函数则平滑限制。嘉宾强调它提供数学上的激活上界,但是否影响表达能力仍需实验。不能把‘稳定’扩成对所有训练崩溃的证明。

成立条件:LatentMoE不是删除专家计算,而是在通信前压缩表示;参数补偿和全链路成本需同时评估。;推理通信处于critical path,不能用训练overlap逻辑宣称推理延迟完全消失。;Attention Projection是降维与稳定问题,Attention Residuals是跨深度聚合,不应互相替代。;SiTU-GLU的数学上界与最终模型质量是两件事;具体公式以K3报告为准。

从激活稳定到Quantile Balancing:路由偏置、负载均衡与近似计算

孙宇涛(技术解读;具体报告细节以原论文为准) · 00:50:00–01:00:00;01:00:00–01:10:00

嘉宾先补充激活异常与优化器的关系。他说Muon更容易出现outlier,但马上模拟苏建林的反问:任何优化器都可能出现,架构层面的约束才是更根本的控制方式。K2及Moonlight阶段通过QK相关clip或normalization处理这类问题,K3在MLP中间激活也引入有界函数。这里应保留不同观点,而不是把Muon或Adam简单判成稳定/不稳定。

随后进入Quantile Balancing(QB)。loss-free routing主要通过bias而非额外整体loss调整专家选择:某个专家激活过多就降低bias,过少就提高bias。它能工作,却依赖启发式更新,缺少清晰的全局收敛解释,并可能与主模型更新不够协调。过去为避免底层负载失衡,有人把第一层或前几层保持为dense,但这不是所有MoE都必须采用的规则。

QB试图用更原则的方式求出路由bias,使不同专家获得更均衡的token。嘉宾转述,它借鉴optimal transport/最优分配的思路,并可在一步中给出解;为避免同一step内token相互获得不应使用的信息,得到的统计值在下一步使用。若原本loss-free已经有效,QB也能工作;某些条件下用梯度更新还可以得到与loss-free相近的形式。嘉宾强调第一层也可直接balance,说明dense底层只是规避旧方法失效的工程选择。

精确分位数在大batch上又很难计算:若有几千万token,保存全部路由值再排序的代价很高。早期近似方案按GPU或小batch分别求局部分位数再pooling;K3的讲述则按值域分桶,把0到1等取值范围切成固定桶,形成直方图,以常数级存储近似分位数,适合分布式扩展。嘉宾自己也提醒“可能理解错”,因此这里应保留实现细节的报告核验边界。

四个桶的计数例只用于解释近似:把两张GPU各自桶计数相加,再按累计比例找到目标桶,便能避免保存所有token的原始值。它不是K3真实桶数、路由公式或实测结果。QB解决的是路由分配问题,与Attention Residuals的跨层表示、Attention Projection的降维稳定属于不同层次。

成立条件:QB并非简单地‘不用loss就均衡’,bias如何影响路由及下一步使用必须保留。;第一层dense不是必须;若直接用辅助loss方案,也可能解决底层问题。;直方图例是自拟解释,实际桶数、分布、全局聚合和阈值更新以K3报告为准。;路由均衡不等于模型能力必然提高,负载、通信和优化目标需分别验收。

架构—训练—Infra的连接:Hybrid Attention、WSD、RNoPE与多教师蒸馏

孙宇涛(技术解读;具体报告细节以原论文为准) · 01:00:00–01:10:00;01:10:00–01:20:00;01:20:00–01:30:00

为避免把三个漏源区段看成孤立清单,需要先补齐其间的架构与训练连接。K3在报告中采用Hybrid Attention,而非整体纯线性注意力。稀疏attention的收益依赖index计算成本:每层独立求哪些token参与计算可能很贵,需要跨层共享index cache。混合布局里全注意力层被多层线性注意力隔开,跨层共享未必有效;稀疏attention通常又在post-train转换,和原生预训练不一定兼容。因此嘉宾认为K3暂不采用是实际加速与兼容性的权衡,不是稀疏attention没有研究价值。

Native Vision一段讨论已有视觉encoder初始化与原生训练:已有encoder收敛快,但兼容性与稳定性未必最好,原生训练可能花更多算力却更一致。这与“沿用现成模块还是针对系统重新训练”的一般选择相连,不能简单判断已有encoder一定更好。

K2到K3的变化被归为公司战略而非单纯架构团队突变:K2先把base model与整体pipeline做稳,K3再追求更精细优化。研究组件早在积累,什么时候整合进模型取决于发布目标与系统验证。嘉宾所谓“忒修斯之船”强调,当前模型由许多既有部件逐步替换组合,创新既包括提出组件,也包括让它们在大系统里共同工作。

WSD与Cosine Decay的差异则用于说明训练策略的取舍。WSD的稳定期便于中途调整token预算,但最优学习率仍依赖预算,且多一个decay比例超参;Cosine只需token预算和最大学习率,调参更简单。K3团队选择Cosine是特定设置下的结果,不是WSD普遍失效。

参数对比必须修正:Whisper和后续100B量级说明K2到K3激活为32.6B→104B,不是1.04B;总参数约1T→2.8T,嘉宾给出的scaling efficiency为2.5倍。嘉宾同时提醒数据配方不同,不能把效率提升全部归于架构或学习率策略。原生上下文则为1 million,不是旧转录中的1000。

RNoPE段解释混合结构的位置编码:线性注意力已经提供位置相关信息,在全注意力层去掉RoPE,可避免长上下文外推时按长度调RoPE参数。嘉宾曾自行复现并认可其优雅性,但这不证明任何模型删除RoPE都能自然获得长上下文,RoPE对局部位置建模仍有意义。

低精度在FT阶段引入,被解释为项目管理上更稳妥:一开始大规模预训练使用高精度,后续再引入低精度,不一定损失效果。多教师On-Policy Distillation则由“教师生成学生模仿”转为“学生生成、教师逐步纠正”。当公司不再主要追求大蒸小时,它的价值转向把不同能力/reward组织成同构教师,用统一蒸馏接口简化复杂RL训练。统一接口不自动等于监督正确、教师不冲突或学生能力融合成功。

成立条件:K3按Hybrid Attention记录,不能沿用旧综合稿‘整体纯线性’的说法。;32.6B→104B和1M为本次明确校正,不能把ASR的1.04B或1000带入新稿。;Cosine、RNoPE、低精度和多教师均有特定适用条件,不应写成普适最佳方案。;此段多数为单源或不同块拼接,时间仅作内容定位,不伪造逐秒对应。

多教师之后的Draft Model微调:隐藏状态、预训练接口与服务负载

孙宇涛(技术解读;具体报告细节以原论文为准) · 01:30:00–01:40:00

多教师蒸馏之后,讨论转到Draft Model Fine-Tuning。开头先限定推理服务场景:有一类用户愿意支付更高成本换取更强的单用户/小batch推理速度,这时更快的draft策略价值更大;若目标是多用户总throughput,同样方案的收益可能小很多。不能把某种推理加速说成对所有服务形态都同样有利。

早期Speculative Decoding用一个与主模型关系较弱的小模型给大模型起草候选,问题是没有充分利用大模型中间的hidden state。若能让draft利用这些状态,就可以把draft做得更小,或在同样参数下提高候选被接受的概率。MTP及嘉宾提到的一类工作延续了这个思路,强调draft与主模型的表示衔接,而非独立训练一个小模型去猜。

Diffusion Language Model提供另一条加速路径:小batch/单用户时,非传统自回归的推理方式可能更快,但从头训练的效果和训练效率未必能追上传统AR模型,多用户总throughput也未必占优。Whisper将相应工作识别为D-Flash,Gemini大量术语残缺,本稿只保留这一转录形式并标待核,不自行换成另一篇论文名。

嘉宾转述与相关研究者交流后的判断:Draft Model仍高度依赖预训练。主模型需在预训练阶段提供适合MTP的接口,draft才能利用大模型已有推理能力并进一步放大速度。draft自身还需要特化处理,例如用KL loss替代普通的next-token prediction目标,使其在主模型verify时与目标分布更对齐,从而提高接受率。‘还会有更深工作’是嘉宾预测,不是现有结果。

这段必须与多教师区分开:多教师侧重训练监督和能力合并,Draft Model侧重部署阶段的候选生成与verify。两者可以通过预训练和后训练连接,但不能把draft简单说成蒸馏的附属步骤,也不能把推理接受率当成模型能力本身提升。

成立条件:D-Flash拼写与具体论文需核对,不根据残缺的‘3/MTP/flash’猜新专名。;接受率提高是推理效率指标,不等于主模型内容能力增强。;小batch和总throughput必须分开,不能把局部场景优势普遍化。;预训练接口与后续Draft发展预测不能写成K3已经完全验证。

KDA Context Parallel:从单层chunk递归到跨卡的双层拆分

孙宇涛(技术解读;具体报告细节以原论文为准) · 01:30:00–01:40:00

Draft之后进入Infra。嘉宾先强调模型架构和Infra需要co-design,KDA的kernel并不是把full attention的并行方式直接复制过来。普通full attention的CP需要处理跨位置的K/V,Ring Attention等方案概念较直接;KDA则可以从chunkwise recurrent的计算结构理解。

单机不开启CP时,序列被拆成小chunk,chunk内部用并行方式提高计算密度,chunk之间通过递归串行传递状态。前文的lower-bounded decay与kernel限制,正是为了让chunk内部的并行计算更高效。由此形成一个基本模式:内部并行、外部递归。

KDA的特殊点是chunk在数学形式上可进一步拆分。无论是512 token还是8K token一个chunk,只要状态按同样的递归关系传递,形式可以等价。纯线性注意力不像某些“chunk间用linear、chunk内用full”的混合方案那样,chunk大小直接绑定另一种计算模式。因此它可以对长序列先做一层大chunk跨卡分配,再在每张卡内部按kernel需求做第二层chunk。

嘉宾用1 million上下文举例:先按8K token分配到不同GPU,GPU之间处理大chunk的状态传递;再在卡内拆成适合kernel的更小单元。两层共同组成较大的Context Parallel。这里的“任意拆分”指递归数学形式不受固定chunk大小限制,并不意味着跨卡通信、同步、内存或硬件实现没有成本。真正吞吐仍要看状态传输和kernel效率。

这个段落在旧深读里完全缺位,却解释了为什么K3既能用线性注意力,又能针对长上下文做分布式部署。它也把前文的衰减控制与后文的分布式训练连接起来:算法提供可拆的计算结构,Infra负责把结构映射到硬件。

成立条件:KDA CP不能与Full Attention CP简单等同,递归状态和chunk结构是核心。;‘任意拆’是数学形式特性,不是免费通信或无限扩展保证。;lower-bounded decay与kernel效率要和CP放在同一条co-design链中解释。

Dropless EP与动态冗余专家:不丢token的负载均衡及其上限

孙宇涛(技术解读;具体报告细节以原论文为准) · 01:30:00–01:40:00;01:40:00–01:50:00

KDA CP之后,嘉宾进入MoE分布式训练的另一个问题:Dropless EP让每个token按照路由选择专家,不通过丢token强行控制负载。不同专家接收的token数自然不同,GPU执行时间也会不同,快设备需要等慢设备,造成算力浪费。不同卡token数不确定还会多一个通信阶段:先告诉其他卡将接收多少token,再发送实际token。

若只从Infra看,理想状态是各卡、各专家负载完全均衡,但没有执行等待和额外汇总量协调。不过简单drop token虽可能削峰,却会损失模型能力,所以K3尝试在保持能力的前提下,将非最优系统状态向最优引导。

静态EP可用嘉宾例子说明:128个专家、EP8时,每卡固定放16个专家,分配和负载较静态。动态方案则引入少量冗余专家,通过online planning提前规划各卡需要哪些冗余专家,以平衡各卡token总数。嘉宾称数学上可以证明,存在只增加少量冗余就让token数对齐的策略,但这不等于线上规划、权重同步和通信没有成本。

下一真实块首句接上“增加小比例冗余专家”,说明旧深读从01:36:06开始并不缺这一句本身,缺的是前面的动机和方案来源。更关键的是边界:算法保证的是每张卡token总量一致,不保证卡内每个专家token数一致。若要进一步做到专家级完全均衡,可能需要牺牲模型质量的有损策略。因而该方案首先解决设备同步与吞吐问题,不能宣称模型容量利用和专家学习都达到均衡。

这段应与Quantile Balancing区分。QB偏向通过路由偏置和分位数让训练负载更平衡;Dropless EP与动态冗余偏分布式执行、token分配和设备等待。两者都涉及balance,但对象和验证指标不同,不能合并为同一个算法。

成立条件:动态冗余的数学存在性不等于实现无成本,online planning和专家副本也有内存、通信与调度成本。;卡级均衡与专家级均衡必须分开,不能把后者当作已被证明。;drop token对能力损失的讨论是方案前提,不能只保留‘均衡最好’。;与QB的路由bias与分位数不同,此处重点是分布式执行与设备同步。

Activation Offloading与Overlap:显存、通信和计算怎样交换

孙宇涛(技术解读;具体报告细节以原论文为准) · 01:40:00–01:50:00

动态冗余之后进入memory-efficient training。K3可以更细粒度地选择哪些部件保留activation、哪些进行offloading,并把中间结果从GPU转移到CPU。嘉宾强调这不是简单搬运:若希望训练不被拖慢,CPU↔GPU通信必须满足某个时间不等式,使传输能被计算覆盖。可offload的内容使用FP8存储,降低存储和传输量,使其有机会跨过这个边界。具体边界依集群、链路和模型配置而变,不能笼统写成FP8永远无精度代价或一律省一半。

随后嘉宾对比DeepSeek-V3的复杂方案。MoE有dispatch和combine两类大通信,DeepSeek通过细粒度重排,将上一个batch的forward/backward与下一个batch的forward组合,尽量隐藏通信;还要把原子计算拆开手工调度,并使用双向pipeline减少PP气泡和activation不均。K3公开报告未采用完全相同的两条路径。

K3的LatentMoE先在架构上降低通信量,因而可以在一个batch内部用Shared Expert的计算掩盖MoE通信,不必为了掩盖大通信再引入另一个batch。传统MoE通信过大时,Shared Expert的计算不足以覆盖,就需要复杂跨batch overlap。这个例子说明不是K3“没有工程优化”,而是上游架构改变后,下游调度可以更简单。

嘉宾同时给出反例:即使通信被完美overlap,计算本身也可能变慢,不能称完全无损。DPP一类优化会用较少SM占用换取更高通信吞吐,使overlap更容易成立。Shared Expert方案也涉及推理critical path的latency与训练吞吐,不能只用一个指标判断。

这里应与Attention Projection连起来:LatentMoE的投影、归一化和通信设计决定后续overlap的可行性;KDA CP决定长序列如何拆分;动态冗余决定专家间负载;Offloading决定中间状态放在哪里。它们共同构成架构与Infra协同,而不是互不相干的优化清单。

成立条件:FP8只是降低存储与传输压力,精度、kernel和硬件支持仍需核验。;Overlap不是无损,通信资源与SM计算资源存在竞争。;K3不是直接复制DeepSeek-V3,LatentMoE是简化Overlap成立的重要前提。;不能用单个latency指标代替整体训练吞吐、质量和稳定性评估。

跨PP显存、Muon切分与多模态Encoder:不均衡如何转移到系统可承受的位置

孙宇涛(技术解读;具体报告细节以原论文为准) · 01:40:00–01:50:00

单向pipeline parallel中,前面的PP rank更早进入计算,可能积累更多batch的activation,显存压力比后面的rank大。双向PP可通过对称调度缓解,但K3采用另一种思路:把高内存PP rank的一部分activation转移到低内存rank存储。这是显存再分配,不是消灭activation,也仍需传输与生命周期管理。它用较轻量的方式避免全面改造pipeline,但不能说所有计算不均都随之消失。

优化器切分是另一层区别。Adam是element-wise优化,参数摊平后如何切分通常不直接改变每个元素的更新方式;Muon需要全局矩阵做牛顿迭代,某个rank需保留完整矩阵,因此不能像Adam一样任意切。这里只能按嘉宾解释记录,不补造Muon的具体分布式实现或公式。

多模态Encoder又引入新的负载结构。视觉token可能在进入语言模型前由32K压缩为8K,但压缩前的encoder内部仍要处理32K,因而主干不必开CP时encoder可能仍需要。不同卡可能分别拿到纯文本或高比例视觉数据,DP与PP的计算量都不均。

若把Encoder固定放在流水线最前面,第一个PP rank计算强度显著增加,后续rank等待,形成大气泡。K3把相关计算放到中间或尾部,并利用前面语言模型计算时中间PP rank的空闲,提前计算Encoder后续步骤。这是用调度填补闲置,而不是视觉Encoder本身变快。主持人随后感叹报告写得详细,嘉宾认为公开这些实现可减少依赖小道消息,说明工程细节本身也是可复现研究的一部分。

成立条件:跨PP transfer仍有通信与同步成本,不等于activation消失或双向PP永远不必要。;Muon切分细节未在节目完全展开,不补造矩阵划分和通信方式。;32K→8K只是嘉宾说明例,不是所有视觉encoder的固定长度。;把Encoder放到中后段是调度选择,不代表多模态训练已自然负载均衡。

规模、组织与预测边界:K3的104B激活、团队合作与well-defined能力

孙宇涛(技术解读;具体报告细节以原论文为准) · 01:50:00–02:00:00;02:00:00–02:04:19

收尾部分把技术判断与预测分开。嘉宾最直观的惊讶是K3激活约100B,比预期更大。他认为把激活定这么大本身不是技术难点,而是需要魄力的非技术选择;真正难的是让规模、架构、训练、数据和Infra共同工作。K3的许多技术组件此前已单独发表,所以他对组件本身不完全意外,更意外规模。

主持人追问科学方法,嘉宾认可Kimi对“模型内科”的强调:让行为trace更可靠、训练不稳或collapse更易归因。与此相对,不科学是为了利益放弃明确评估、变量控制与证据标准。这里的团队评价属于嘉宾理解,不能用作独立证明团队文化。

新团队是否还有机会,嘉宾认为需要优秀的人和良好组织文化同时成立,而这种组合有历史局限,不乐观。他所谓“没有太本质的创新”是自称暴论:既有架构的许多改良仍重要,但基础研究空间可能在收窄。模型规模也不会无限增长,因为可集结的人类信息量有限、具体任务需求与成本不同。

对AGI,他区分well-defined任务和未定义目标:如果能清楚定义能力与评测,工程优化可能逐步达到;AGI本身缺乏清晰定义,不能用同一逻辑直接承诺。若涉及真实物理世界交互,问题会更大。转向世界模型则是他个人的研究选择,认为那里问题更大、更新、仍有贡献空间。上述都是个人预测与职业判断,不是K3技术报告已验证的结论。

成立条件:团队文化、组织机会和‘没有本质创新’均属嘉宾个人判断,不是独立核验事实。;K3的规模选择不能替代逐项消融与系统能力证据。;世界模型转向是嘉宾个人职业选择,不能作为大模型研究已经终结的证明。

机制与术语:对象、输入输出和中间过程

跨深度残差与选择性聚合

普通残差提供前层表示的直达通路;Hyper-Connections扩大这条通路的容量;DenseNet让深层汇聚多个浅层;Attention Residuals用注意力权重选择不同深度的信息,block变体限制交互范围以降低开销。输入是多个深度的表示,输出是供当前层使用的聚合表示。

对应节目:00:40:00–00:50:00

本文自拟示意,不是嘉宾实验

【节目机制复述,依据002400 Gemini+Whisper】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。

解释例:三层信息的聚合

若第4层能同时读取第1、2、3层表示,attention可给第1层0.2、第2层0.3、第3层0.5,再加权求和;普通相邻残差则只保留第3层并加入当前计算。这个0.2/0.3/0.5只是说明‘选择性聚合’,不是节目给出的权重,也不证明提升。

对应节目:00:40:00–00:50:00

本文自拟示意,不是嘉宾实验

【审读者自拟机制例,非K3公式或实测】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。

LatentMoE通信与容量补偿

输入是较大hidden state。先通过线性投影降至latent dimension,再将较小表示dispatch给专家,减少通信;容量通过更大FFN或更多细分专家补偿。输出目标是同等模型质量下更低通信与更好的部署效率。

对应节目:00:40:00–00:50:00;00:50:00–01:00:00

本文自拟示意,不是嘉宾实验

【节目机制复述,依据002400 Gemini+Whisper】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。

Attention Projection的稳定性

若线性层A把表示降维,线性层B继续处理,则A、B可合并但分开执行时中间状态可能过大或出现优化问题。RMSNorm用于约束中间表示。SiTU-GLU进一步给MLP激活设平滑上界。

对应节目:00:40:00–00:50:00;00:50:00–01:00:00

本文自拟示意,不是嘉宾实验

【节目机制复述,依据003000 Gemini+Whisper】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。

解释例:潜空间维度的通信变化

若一个表示由维度d降为d/2,单份dispatch载荷的浮点数值数量可相应减少,但还需考虑投影计算、专家权重、精度、链路和反向通信。‘减半’不能直接推出端到端训练减半或推理延迟减半。

对应节目:00:40:00–00:50:00;00:50:00–01:00:00

本文自拟示意,不是嘉宾实验

【审读者自拟说明,非K3配置或实测】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。

从启发式偏置到分位数均衡

路由给每个专家一个bias,bias影响token选择。loss-free依据激活过多/过少逐步调整;QB根据分配情况求分位数或相应阈值,目标是在全局层面均衡负载,并延后到下一步使用统计值,避免当前step信息泄露。

对应节目:00:50:00–01:00:00;01:00:00–01:10:00

本文自拟示意,不是嘉宾实验

【节目机制复述,依据003000+003600】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。

值域直方图近似

精确分位数需要大量值排序。把值域划成固定桶后,只存每桶计数;多卡计数可汇总,再从累计计数定位目标分位区间,减少存储与计算。误差受桶宽和分布影响。

对应节目:00:50:00–01:00:00;01:00:00–01:10:00

本文自拟示意,不是嘉宾实验

【节目机制+审读者解释】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。

自拟四桶例

两张GPU桶计数分别为[100,200,300,400]与[150,250,250,350],全局为[250,450,550,750]。若目标约80%位置,累计前三桶为1250,第四桶才达到2000,因此目标落第四桶。只解释如何由桶计数近似分位数。

对应节目:00:50:00–01:00:00;01:00:00–01:10:00

本文自拟示意,不是嘉宾实验

【审读者自拟解释例,非K3实测】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。

架构—Infra联合约束

注意力形式影响index成本、kernel、缓存与混合层布局;布局又影响跨层复用和训练转换。一个理论上的加速方案若无法满足这些约束,就不一定产生实际收益。

对应节目:01:00:00–01:10:00;01:10:00–01:20:00;01:20:00–01:30:00

本文自拟示意,不是嘉宾实验

【节目机制复述】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。

训练调参与系统综合结果

WSD提供预算切换灵活性但多一个变量,Cosine更简洁。Scaling efficiency是架构、训练recipe与数据策略的综合结果,不能单因子归因。

对应节目:01:00:00–01:10:00;01:10:00–01:20:00;01:20:00–01:30:00

本文自拟示意,不是嘉宾实验

【节目机制复述】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。

多教师统一接口

学生在自身候选上生成,教师提供反馈;不同能力教师共享模型接口,再统一蒸馏,降低直接合并异构RL任务的工程复杂度。能力融合仍需按任务验收。

对应节目:01:00:00–01:10:00;01:10:00–01:20:00;01:20:00–01:30:00

本文自拟示意,不是嘉宾实验

【节目机制复述】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。

Draft生成—主模型Verify

draft提出候选,主模型验证并决定是否接受。若draft利用主模型hidden state,候选更贴近主模型分布,接受率可能提高,推理更快。收益取决于候选质量、验证成本和batch负载。

对应节目:01:30:00–01:40:00

本文自拟示意,不是嘉宾实验

【节目机制复述,依据005400 Gemini+Whisper】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。

预训练接口与训练目标

预训练需给MTP/draft可复用的中间表示;draft用KL等目标与主模型verify对齐。仅在部署后临时拼接小模型,未必能充分利用主模型已有能力。

对应节目:01:30:00–01:40:00

本文自拟示意,不是嘉宾实验

【节目机制复述】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。

解释例:接受率与负载

即使每次draft验证本身有成本,只要被接受的连续候选足够多,单用户仍可能加速;但多用户并行时,GPU资源被更多verify占用,总吞吐未必同比例提升。

对应节目:01:30:00–01:40:00

本文自拟示意,不是嘉宾实验

【审读者解释,非K3实测】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。

双层Context Parallel

序列先按大chunk分配到不同GPU,卡间递归传递状态;每个GPU内部再按kernel chunk执行,内部并行、外部递归。输入是长序列和递归状态,输出是分布式可计算的同一状态更新。

对应节目:01:30:00–01:40:00

本文自拟示意,不是嘉宾实验

【节目机制复述,依据005400 Gemini+Whisper】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。

数学拆分与工程开销的边界

chunk可拆说明递归形式可重组,不等于无需传输中间状态、无需同步或不占显存。大chunk跨卡与小chunk kernel要分别评估,不能拿单层CP的概念直接替代实际性能证明。

对应节目:01:30:00–01:40:00

本文自拟示意,不是嘉宾实验

【节目机制+审读者边界】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。

Dropless EP负载与通信

token按路由自由分配,不丢弃。若GPU间分配不同,计算完成时间不同并相互等待;实际发送前还需交换接收数量,形成额外协调。

对应节目:01:30:00–01:40:00;01:40:00–01:50:00

本文自拟示意,不是嘉宾实验

【节目机制复述】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。

动态冗余专家的卡级均衡

通过冗余专家和online planning,把部分token安排到不同卡上的对应专家副本,使各卡token总量对齐。输入为路由与卡容量,输出为更均衡的执行时间;卡内专家分布仍可能不同。

对应节目:01:30:00–01:40:00;01:40:00–01:50:00

本文自拟示意,不是嘉宾实验

【节目机制复述】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。

解释例:卡级与专家级

两卡各处理100 token,可说卡级均衡;但一卡内专家A处理90、专家B处理10,仍不均衡。这个例子说明为什么不能把每卡token相等直接写成每个专家负载相等。

对应节目:01:30:00–01:40:00;01:40:00–01:50:00

本文自拟示意,不是嘉宾实验

【审读者自拟机制例,非K3实测】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。

Offloading的可行条件

activation从GPU转CPU后,若传输时间不超过可用于覆盖它的计算时间,训练可不受明显拖慢。FP8降低数据量,帮助满足条件;是否成立依链路、模型与调度。

对应节目:01:40:00–01:50:00

本文自拟示意,不是嘉宾实验

【节目机制复述】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。

架构降低通信→简化Overlap

LatentMoE先减少dispatch数据量,使Shared Expert的计算足以覆盖通信。传统MoE通信较大时,需要跨batch复杂重排。比较方案时要看端到端吞吐和计算开销,而非只比较调度复杂度。

对应节目:01:40:00–01:50:00

本文自拟示意,不是嘉宾实验

【节目机制复述】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。

跨PP Activation Transfer

不是直接消除高rank的activation,而是把部分存储任务转移到低rank,使峰值显存更均衡。需要传输和正确生命周期,不是零通信成本。

对应节目:01:40:00–01:50:00

本文自拟示意,不是嘉宾实验

【节目机制复述】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。

Muon与Adam的切分差异

Adam按元素更新,参数分块可较灵活;Muon依赖完整矩阵的全局操作,分块方式会影响计算和存储,需要专门设计。

对应节目:01:40:00–01:50:00

本文自拟示意,不是嘉宾实验

【节目机制复述】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。

多模态Encoder调度

长视觉序列增加encoder计算,文本/视觉比例又导致设备间负载不同。把encoder放到中后段PP,并利用中间rank空闲提前计算,可减少首rank阻塞与流水线气泡。

对应节目:01:40:00–01:50:00

本文自拟示意,不是嘉宾实验

【节目机制复述】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。

Reference/Gradient Buffer复用

前向阶段Reference提供分布但无梯度,反向阶段Gradient Buffer需要空间且Reference不再使用,因此可以复用相应内存。输入是模型与计算图生命周期,输出是更低的峰值显存。

对应节目:01:50:00–02:00:00

本文自拟示意,不是嘉宾实验

【节目机制复述】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。

线性Prefix Cache折中

线性状态随步更新,不能只保存最初状态;逐position全存又失去低存储优势。按block保存中间状态,使前缀复用与状态存储之间取得折中。

对应节目:01:50:00–02:00:00

本文自拟示意,不是嘉宾实验

【节目机制复述】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。

规模选择与系统验证

把激活数字调大本身容易,真正的工作是让注意力、MoE、训练策略、数据与Infra在更大规模下稳定运行。不能把参数规模单独当成架构创新证明。

对应节目:01:50:00–02:00:00;02:00:00–02:04:19

本文自拟示意,不是嘉宾实验

【节目机制复述】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。

well-defined能力与AGI

若能力和验收被清晰定义,可针对它优化与评估;AGI未清晰定义时,不能直接套用‘定义就能做到’的推断。

对应节目:01:50:00–02:00:00;02:00:00–02:04:19

本文自拟示意,不是嘉宾实验

【嘉宾预测,非本文事实结论】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。

独立判断:这些对话改变了什么理解

【本文推断】K3 的主线不是单个注意力变体,而是把表示、路由、通信和显存放在同一个扩展预算内优化。

推理:LatentMoE 压缩通信后再用专家结构补容量,KDA 利用 chunkwise recurrence 设计分层 CP,动态冗余用少量专家副本换卡级均衡,Offloading 用传输和精度换显存。它们都在改变瓶颈的位置,不能只看 FLOPs 或参数规模。

竞争解释与边界:每个机制都可能把成本转移到另一层:投影计算、参数补偿、通信协调、专家复制、CPU 传输和精度损失都可能抵消收益。需要端到端质量、吞吐、延迟和显存的同条件对照。

【本文推断】数学等价和工程等价是两件事,KDA CP 与 Offloading 是最清楚的例子。

推理:递归形式允许 chunk 拆分,不代表跨卡状态传输免费;FP8 减少存储和传输,不代表精度、硬件支持与调度成本消失。技术报告的价值在于把这些约束写出,读者应看时间不等式和实际负载,而不是只看‘可并行’‘可复用’的字面结论。

竞争解释与边界:在合适的链路和批量下,通信可能被充分覆盖,实际收益可以很高;因此也不能反向推断优化无用。关键是测量关键路径和峰值,而不是把理论上限当成生产表现。

【本文推断】卡级负载均衡不等于专家级负载均衡,系统最优与模型最优也不是同一目标。

推理:动态冗余能把 token 数在卡之间拉平,却可能让某些专家在副本间仍不均;不丢 token 保持能力,又会保留不均衡的计算代价。理解这一点能避免把‘无丢弃’‘均衡’‘更快’三个词直接画等号。

竞争解释与边界:如果路由本身可通过学习改善,系统副本和路由偏置可以协同;但这需要观察专家利用、能力、通信和在线规划开销,不能仅从静态分配推长期最优。

尚未解决的问题与可检验的下一步

待解问题:LatentMoE 在同等模型质量下能减少多少端到端训练与推理成本?

下一步信息或小实验:固定数据、专家和硬件,比较 standard MoE 与不同 latent 维度、FFN 补偿和专家细分方案,记录质量、dispatch 通信、吞吐、延迟、显存和投影开销。

怎样的结果会改变判断:若同质量下关键路径和总成本持续下降,机制得到支持;若补偿参数和计算抵消通信收益,或质量下降,则需缩小结论。

待解问题:KDA 双层 CP 在 1M 序列上的实际扩展效率和瓶颈在哪里?

下一步信息或小实验:改变卡数、chunk 大小与卡内 kernel 配置,记录递归状态通信、有效计算比例、显存和端到端延迟,与 full attention CP 及较小上下文比较。

怎样的结果会改变判断:若扩展卡数仍能提高有效吞吐且通信可控,支持双层设计;若大 chunk 协调和状态传输成为主要成本,需要进一步优化调度。

待解问题:动态冗余专家与 Offloading 的组合能否同时保持模型能力和系统效率?

下一步信息或小实验:在相同路由数据上比较静态 EP、动态冗余、不同 Offloading 策略及其组合,报告专家利用、丢 token、质量、峰值显存、通信、训练时间和在线规划成本。

怎样的结果会改变判断:若能力保持且峰值显存、等待和吞吐显著改善,组合成立;若专家级不均、规划或传输开销抵消收益,应分别限定使用条件。

影响理解的转录疑点

优先连读真实音频 00:40:00—01:00:00:Attention Residuals、LatentMoE、Attention Projection 与 Quantile Balancing 构成完整机制链。再读 01:30:00—01:50:00:Draft Model、KDA CP、Dropless EP、动态冗余、Offloading 与跨 PP 展示架构和 Infra 怎样共同决定有效扩展。最后读 RL/Inference 的显存生命周期和 Prefix Cache,区分显存复用与参数减少。

延伸研读:原有专题与外部资料

以下保留本期此前的专题解释、公开资料对照和研究讨论,作为上述逐段阅读的补充。不同部分的写作范围可能不同,外部资料中的新事实不反向冒充节目原话。

这是一集技术报告共读。领读者孙宇涛是清华计算机系博士候选人、上海创智学院璞锐学者,从 2023 年开始研究大模型架构、预训练与推理效率。张小珺追问的不是 K3 又增加了哪些模块,而是这些设计从哪里来、为什么这样选,以及训练出来之后能否高效部署。下面沿他的讲解顺序,把研究经历、架构、训练与系统接成一条线。

孙宇涛先解释研究重心的变化:在他看来,ImageNet 时代常靠更精巧的结构争取性能,大模型时代规模对能力的影响更大,结构带来的相对增益未必显著,推理成本却可能差很多。因此他把架构研究放在效率问题上。官方发布确认 K3 的总参数为 2.8T,即约 2.8 万亿;按公开编辑文字的口径,K3 约 100B 激活,即单个 token 计算时约一千亿参数参与,两者不是两个版本的模型;混合专家使总容量可以远大于每步参与计算的容量。一百万 token 则是上下文长度,不是训练数据量。

序列、深度、宽度:三个方向省的不是同一件东西

报告用三个维度组织信息流:序列方向关心历史 token 怎样进入当前计算,深度方向关心浅层表示怎样传到后层,宽度方向关心专家怎样承载容量。孙宇涛认为深度与宽度本质上都是容量的组织方式,这个框架帮助理解设计,但不意味着它们是三项可以相加的独立增益;他更看重规模是否被有效训练,而不是只把参数数目建出来。

他早期试过纯线性注意力。全注意力保留过去每个位置的键、值表示,当前 token 可以按需要检索;KV cache 就是供生成时复用的这份历史存储。线性注意力把历史写进固定大小的递归状态,不逐位置保留全部内容,因而更省缓存,但有限状态可能装不下长文里仍需准确找回的信息。他说纯线性路线作为独立模型的尝试失败了,后来保留部分全注意力层;在其讲述的实验里,适当混合可以保持甚至改善长上下文表现。这解释了混合的原因,而不是证明任意比例都无损。

块递归把长序列分成块:块内并行计算,块间传递状态,避免纯递归一步步算的低并行度。YOCO 则换一个问题:完整历史有必要保存时,能否减少不同层的重复缓存?它通过两段式结构共享历史表示;循环模型再把反复使用的单元放在线性部分,控制随深度增长的缓存。前者改变序列计算方式,后者改变层间复用,都不是删掉长文。节目提到常见线性层与全注意力层 3:1 的配置,并以剩余四分之一全注意力成本说明理想加速上限;这不是 K3 的端到端实测速度。

KDA:更细的遗忘与写入,还得有数值稳定的实现

Kimi Delta Attention(KDA)是混合架构的线性部分。孙宇涛从最简单的历史键值累积讲起:RetNet 给旧信息加衰减,利用语言对近处信息的偏好;Mamba 让衰减随输入位置变化;DeltaNet 引入 delta rule,按当前记忆与待写内容的差异更新状态,而非只不断追加;Gated DeltaNet 再把这种写入规则与衰减合起来。写入决定新信息如何改变记忆,衰减决定旧信息留下多少,两件事共同影响有限状态的使用。

KDA 把同一个注意力头内共享的标量衰减,细化成逐通道衰减。通道是表示向量的不同分量:不同分量可以保留不同时间尺度的信息,而不是整组一起遗忘。他说这在表达范围上包含均匀衰减的旧形式,因为各通道仍可取相同系数;包含旧形式不等于训练后一定胜过旧模型。更细的自由度也使 GPU 上执行计算的 kernel 更难实现。

节目给出的具体工程条件是,在 16 token 的 tile 小块内给衰减设下界,控制衰减相关运算不越出 BF16 低精度格式的可表示范围。递归写法转成适合并行的乘法计算后,累计衰减和反向缩放可能带来数值问题;因此算法约束与执行形式要一起选。他强调并非没有其他 kernel 写法,而是别的写法可能低效。这里保留动机和小块条件,不补写未经技术论文核对的更新公式,也不把局部数值控制等同于整模型稳定性保证。

全注意力与残差聚合:分别保历史、选层间信息

全注意力部分的 MLA(多头潜在注意力)把历史键值压进较小表示,以降低缓存开销;门控调整注意力输出的信息,两种设计处理不同对象。孙宇涛认为加门控最有说服力的理由之一是大规模训练稳定性,而非只看某项测试分数。他也明确说 MLA 只是一个选择:缓存收益要与额外张量计算一起看,其他键值共享方案也可能取得类似收益。这是他的技术评价,不是本文认定 MLA 等价于所有替代方案。

随后他把残差连接放回历史:残差让浅层信息绕过当前变换传向深层,归一化位置则影响梯度与训练稳定性。DenseNet 早已尝试汇聚多层表示,Hyper-Connections 又扩大残差路径上的状态容量。Attention Residuals 用跨深度注意力替代固定累积,让当前层选择此前哪些表示更有用,并按块组织以控制额外开销。它选择的是层间隐藏表示;#151 讨论的 value 投影复用则发生在注意力内部,两者不宜因为都“跨层”就视作同一方法。节目认为其推理开销很小,具体幅度仍需报告协议。

LatentMoE:压小传输对象,同时补回专家容量

MoE 是混合专家:每个 token 只送给部分前馈专家。专家并行把专家放在不同 GPU 上,路由以后要分发 token 表示,再合并输出;这时瓶颈可能不是乘法,而是跨设备通信。LatentMoE 先把分发的隐藏表示投影到较低维空间,专家在潜在空间处理,输出再映回主干。通信随表示维度和激活专家数量变化,故缩小表示有直接动机,但“压小”并不免费。

若只减少专家输入维度,专家参数和容量也随之减少。节目说明两种补偿:增大前馈层中间维度,或把专家拆得更细、增加专家数与激活数。后者又会增加分发次数,必须重新平衡。孙宇涛转述报告说,恰当配置可保持标准 MoE 的结果甚至略好,同时减少通信;这不是任意压缩比例下的承诺。连续的降维投影与专家投影还改变优化性质,K3 在中间使用 RMS(均方根)归一化,控制表示尺度,而非只凭两个矩阵代数上可合并就认定训练等价。

理解压缩与容量补偿的自拟算例:只看一个不带门控的简化专家,两块权重分别把输入映到内部表示、再映回输出。输入宽度 4,096、内部宽度 8,192 时,两块矩阵共有 2 × 4,096 × 8,192 = 67,108,864 个参数;输入减为 2,048、内部增为 16,384,主要参数项相同。若 128 个 token 各发往两个专家,以每个数两字节的 FP16 格式传输,单向分发载荷为 128 × 2 × 4,096 × 2 字节,即 2 MiB;减半输入宽度后为 1 MiB。这里只计算分发的表示载荷,未计额外投影、输出回传、元数据和计算时间;相同参数量也不保证相同能力,更不是 K3 真实配置或测速。

容量选择也改变系统选择。传统通信太大时,可能要像 DualPipe 一样重排相邻批次的前向与反向计算来隐藏等待;K3 降低通信后,节目说同一批次内共享专家的计算已能覆盖相当部分通信。这省的是等待与调度复杂度。训练可以重叠计算和通信,逐 token 生成时通信更容易处于必须等完的关键路径,所以训练吞吐收益与推理延迟收益不应直接换算。

激活、优化器、负载均衡:稳定性不是一个开关

前馈层中间表示可能出现异常大的 outlier,低精度计算尤其敏感。SiTU-GLU 用平滑、有界的变换限制中间激活;孙宇涛从 SwiGLU 的硬截断讲到以 tanh 软截断,解释为何要从结构上控制范围。节目中的 5 到 10 是他介绍其他模型硬截断时的范围,不是 K3 所有激活统一采用的阈值。它解决的是数值范围,与优化器怎样更新权重不是同一层干预。

Muon 是更新权重矩阵的优化器,K3 延续 K2 的这条路线。孙宇涛倾向于认为它更易产生异常值,也保留苏剑林的不同看法:Adam 同样会有不稳定,严格限制行为还须从架构着手。权重衰减约束权重,QK clip 则截断注意力查询与键的匹配分数;节目把它们连到 Kimi 之前的工作,但没有给出足以判定“所有异常都由 Muon 导致”的对照。保留分歧,比把 SiTU、clip、优化器写成单一因果更准确。

负载均衡处理另一种失衡:少数专家收到太多 token,其他专家空闲。无辅助损失路由用偏置调整选择,不额外加入一个训练损失;分位数均衡进一步从分配问题求偏置,把当前步统计出的偏置用于下一步,少调一个更新学习率。大规模实现不保存所有 token 再排序,而把 0 到 1 的路由分数按值域分桶、统计直方图,近似所需分位数。统计量随桶数而不是海量 token 数增长,这才使数学上的分配规则能在分布式训练中使用。

视觉、学习率与训练调度:同一模型不代表同一负担

原生视觉讨论的是是否沿用已预训练的视觉编码器。现成编码器收敛更快,但孙宇涛转述 K3 团队观察到,从零训练的梯度范数更稳定,投入更多算力后结果不损。系统上,视觉编码器内部可能处理 32K token,压缩后才以 8K 进入语言主干;它们是节目描述的一条处理链,不是两种上下文上限。视觉输入比例又因批次不同而变化,若编码器集中在流水线开头,第一段可能很忙、后面等输入。把编码器计算安排到中段或尾部并提前执行,是减少流水线空等的调度选择。

学习率上,预热—稳定—衰减(WSD)方案的稳定阶段便于延长预算,末段衰减还能与更优数据联动;但“可以多跑”不代表原来的学习率仍最优。K3 回到沿余弦曲线降低学习率的调度,孙宇涛解释为更易围绕总 token 数和最大学习率调参。K2 到 K3 的总参数是 1T 到 2.8T,激活参数是 32.6B 到约 100B;报告所称相对 K2 约 2.5 倍扩展效率(scaling efficiency)描述计算投入与扩大模型后的能力收益关系,但完整指标协议未在这里重建;比较综合架构、训练配方与数据变化,不是控制其他变量后 KDA 或 LatentMoE 的独立贡献,也不是参数增长倍数。

长上下文位置编码也是取舍。孙宇涛介绍 RNoPE 的思路:线性部分已有位置相关信息,全注意力部分尝试不用 RoPE 旋转位置编码,减少扩长时调参的负担。他的强判断是,RoPE 更直接带来近处偏好,不应简单视作长文能力来源。这个判断属于他对相关研究的解释,不应外推为所有任务都应该去掉位置编码。

后训练合版:把异质奖励变成可共同读取的教师信号

后训练先面临精度选择。QAT 即量化感知训练,让模型在训练中适应低精度推理误差。孙宇涛解释,先以较稳的精度完成大规模预训练,再在监督微调等后续阶段引入低精度,便于控制项目风险;他没有说低精度预训练必然有害。强化学习生成长思维链时,partial rollout 复用尚未完成的轨迹,避免每轮全部重来;这省的是采样开销,不是把所有旧轨迹无限复用,也与量化不是一种算法。

多教师 on-policy 蒸馏随后把合版问题讲得更具体。传统做法是老师先生成完整答案,学生照着学;这里让学生自己生成,教师在学生实际走到的前缀上给下一个 token 的概率信号。on-policy 指训练访问的状态来自学生当前策略,蒸馏则指学习教师的分布。孙宇涛追溯 MiniLLM 用反向 KL 衡量学生与教师概率分布差异的路线,但这里不把所有 on-policy 方法写成同一个损失公式。

他给出两层理由:数学用验算奖励、代码用测试、偏好用评分模型,直接混合时量纲、权重与训练节奏都要协调;各团队先把能力训练进同结构教师,再由一个学生读取多位教师的分布,接口更统一,团队合版也更容易。这不只是大模型压成小模型,还可以是同规模模型整合能力。“异质奖励变同构模型”没有消除任务价值冲突,教师在学生的错误前缀上也可能判断不准,仍要逐项检查能力保留和遗忘。

投机解码和前缀缓存:预训练留下的接口与部署中的状态

投机解码让较小的草稿模型先提出若干 token,再由主模型验证,接受的部分才真正使用。独立小模型可作草稿;MTP(多 token 预测)和 EAGLE3 则都尝试利用主模型内部信息,但不是同一训练结构。MTP 在主模型训练中预置多步预测相关接口,EAGLE3 是利用主模型特征训练草稿的另一条路线;孙宇涛强调预训练要给 MTP 留接口,不应泛化成所有投机解码都须提前这样设计。

他认为 K3 当时的草稿优化还不充分:草稿要与主模型分布对齐,不应只按普通下一词预测衡量。DFlash 又尝试用扩散式并行生成优化草稿;小批量单用户延迟、多用户总吞吐和验证接受率是不同指标,不应用其中一个代替另外两个。部署适配因此不只是在生成端加一个小模型。

长序列在多台设备之间拆分时,节目也区分两种计算:全注意力需要跨设备取得有关历史键值,线性部分可以在机器间传递大块状态、机器内再以小块并行。他举 512 token 与 8K 分块为等价计算的例子,强调分块改变执行安排而不是模型所见内容;具体速度还取决于实现。前缀缓存则要处理另一种状态。全注意力能追加保存每个位置的键值;线性注意力每步覆盖递归状态,回到不同前缀就需要对应状态。每步全存会失去省内存的优势,完全不存又失去共享前缀的收益,按块保留快照是折中。推理引擎还要同时管理逐位置缓存与递归状态两种张量形态。训练侧的 CPU 卸载、FP8 保存中间结果、参考模型显存与梯度缓冲区错时复用,也说明省内存须满足传输和使用时序,而非只说“把东西搬走”。

嘉宾的最终判断:规模、渐进创新与个人贡献空间

问到最令他意外的地方,孙宇涛仍回答约 100B 激活规模:他欣赏的不是任意搭出 2.8T 空壳,而是在这个规模把训练与部署全流程打通。K2 先把大规模基座训练做稳,K3 再集中呈现效率和细节研究,是他理解的战略节奏。他主张在其他方面没有明显失误的前提下,更大规模才有更高智能上限,并把 K3 追求开源能力上限与 DeepSeek 更重性价比视为不同定位。他用“泰修斯之船”形容 Transformer 零件不断更换,明确倾向于认为大模型已没有太本质的创新,此后主要是渐进改良;他同时赞赏可追踪训练行为、诊断失稳原因的“模型内科”,并未否定工程与实验工作的价值。

他也认为规模还会扩大但不无限,互联网信息有限,纯语言能力与真实物理交互的缺口不同。转向世界模型的理由包含个人职业判断:成熟方向里大突破和可归属的大贡献更难取得。这是他的选择。关于新模型公司机会,他还加上强团队、强单兵能力和良好文化等苛刻条件;不应删去条件后写成一切研究入口已经关闭。

本文补充解释:先遗忘多少,再按预测差异写入什么?

二维简化记忆,不是 KDA 原式

下面自行规定“先整体衰减,再作差异修正”的教学规则,展示 Delta 式关联记忆的直觉。矩阵朝向、门控位置和归一化均是本例约定,不据此还原 KDA 的多头、逐通道门控或 kernel。

状态、键和值\(S\) 是 2×2 记忆矩阵;键 \(k\) 是二维列向量,读出 \(Sk\) 作为该键对应内容的预测;\(v\) 是希望写入的二维内容。
两种控制量门 \(g\) 控制旧状态保留比例;\(\beta\) 控制本次修正强度。本例取 \(0\le g\le1\)、\(0\le\beta\le1\),键长度为 1;单位键条件会影响后面的精确写入结论。

设初始状态 \(S=\begin{bmatrix}2&0\\0&1\end{bmatrix}\),新键 \(k=(1,0)^\top\),新值 \(v=(4,2)^\top\),取 \(g=0.5\)、\(\beta=0.5\)。定义一次更新分四步:

\[\widetilde S=gS,\quad \widehat v=\widetilde Sk,\quad e=v-\widehat v,\quad S'=\widetilde S+\beta e k^\top.\]

第一步,衰减旧记忆。每个元素乘 0.5,故 \(\widetilde S=\begin{bmatrix}1&0\\0&0.5\end{bmatrix}\)。这一步没有新写入,只让旧内容变弱。

第二步,读出已经记住什么。矩阵乘键,每行与键做乘加:

\[\widehat v=\begin{bmatrix}1\times1+0\times0\\0\times1+0.5\times0\end{bmatrix}=\begin{bmatrix}1\\0\end{bmatrix},\qquad e=\begin{bmatrix}4-1\\2-0\end{bmatrix}=\begin{bmatrix}3\\2\end{bmatrix}.\]

第三步,写入的是差异,不是整份新值。外积把每个误差分量乘到键的两个分量上:

\[\beta ek^\top=0.5\begin{bmatrix}3\times1&3\times0\\2\times1&2\times0\end{bmatrix}=\begin{bmatrix}1.5&0\\1&0\end{bmatrix}.\]

第四步,相加并读回。

\[S'=\begin{bmatrix}1+1.5&0+0\\0+1&0.5+0\end{bmatrix}=\begin{bmatrix}2.5&0\\1&0.5\end{bmatrix},\quad S'k=\begin{bmatrix}2.5\\1\end{bmatrix}.\]

读回结果正好是旧预测 \((1,0)\) 与目标 \((4,2)\) 的中点:\(1+0.5(4-1)=2.5\),\(0+0.5(2-0)=1\)。另一键 \((0,1)^\top\) 读回 \((0,0.5)^\top\),本次正交写入未改它,整体衰减却让它减半。若直接累积 \(\widetilde S+0.5vk^\top\),第一列变成 \((3,1)^\top\),第一分量重复加进已有内容;这就是本例“按差异修正”与“追加”的区别。

若取 \(\beta=1\),单位键会被完全改写为 \(v\)。以后同一个键又写入另一个值,先前值就可能被覆盖;仅看最终状态不再知道两个事件的先后。全注意力显式保存每个历史位置的键值,仍可利用位置或其他区分线索选择早先事件,但也不保证模型一定选择正确。有限状态保存的是压缩后的关联,而非一份可以随意回看的历史清单。

失效也能跟算:对任意查询 \(q\),修正造成的读出变化是 \(\beta e(k^\top q)\)。本例正交查询给零;若 \(q=k\),则给完整修正;键不正交会互相影响。键若不归一化,\(\beta=1\) 也未必精确写入。比较时分别固定写入强度换门、固定门换追加/差异更新,再测重复键、近似键与长间隔读取。KDA 的关联是进一步细化遗忘控制,不是这个算例已经证明了它的长上下文结果。

本文补充解释:学生走到哪个前缀,改变了老师在教什么

三 token 教学算例,不是 K3 后训练损失

为了把状态分布与分布学习分开,这里自行选用教师加权的交叉熵。在学生采样的前缀上用此损失,并不等于 MiniLLM 的反向 KL,也不声称是 K3 实际采用的公式。

一个前缀就是当前已经生成的内容。令下一步词表只有 A、B、C。面对同一个提示,学生第一步生成 A、B 的概率分别为 0.2、0.8,教师则为 0.8、0.2;这里 C 的第一步概率为零。形成两个前缀 \(h_A\)、\(h_B\) 后,下一步分布另行规定如下,全部加起来都是 1:

已访问的前缀学生下一 token 概率 \(p\)教师概率 \(t\)
\(h_A\):提示后接 AA 0.6,B 0.3,C 0.1A 0.8,B 0.1,C 0.1
\(h_B\):提示后接 BA 0.1,B 0.2,C 0.7A 0.2,B 0.6,C 0.2

先采样前缀,再查询同一个前缀。假设学生采样的一批 100 条恰有 20 条进入 \(h_A\)、80 条进入 \(h_B\)。每条到达哪里,就向教师查询那里:不是把学生写的 B 擦掉,再请教师接自己的 A。随机采样不保证每批都精确 20/80,这里特意选一批易算的计数。

损失在比较什么\(t_i\) 是教师希望分配给 token \(i\) 的概率,\(p_i\) 是学生当前概率;本例 \(L(h)=-\sum_i t_i\ln p_i\),自然对数,单位为 nat,越小表示对教师分布的交叉熵越低。

在 \(h_A\),把三个数逐项代入;\(-\ln0.6\approx0.5108\)、\(-\ln0.3\approx1.2040\)、\(-\ln0.1\approx2.3026\):

\[L(h_A)=0.8\times0.5108+0.1\times1.2040+0.1\times2.3026\approx0.7593.\]

在 \(h_B\),教师希望 B 有 0.6 概率,学生却主要押在 C,代入 \(-\ln0.2\approx1.6094\)、\(-\ln0.7\approx0.3567\):

\[L(h_B)=0.2\times2.3026+0.6\times1.6094+0.2\times0.3567\approx1.4975.\]

本批平均为 \((20\times0.7593+80\times1.4975)/100\approx1.3499\)。若改用教师采样且本批恰为 80/20,同样两行概率的平均变成 \(0.8\times0.7593+0.2\times1.4975\approx0.9070\)。学生、教师在各前缀上的概率均未改变,数值不同只因训练更常访问哪个状态。这不是学生采样效果更差的证据;它揭示教师示范可能较少覆盖学生更常走到的 B 路径。

训练目标是在这些访问到的前缀上调学生的参数,不是在一次查询中直接改掉已生成文本。“教师指出错误”的比喻也有边界:教师给的是概率,未必知道哪一步真正错,错误前缀甚至可能没有唯一正确续写。

再检查教师冲突。在同一个 \(h_B\),另一教师给 \((0.6,0.2,0.2)\),与第一教师 \((0.2,0.6,0.2)\) 分别偏好 A、B。若本文选择等权混合,目标成为 \((0.4,0.4,0.2)\),代入原学生分布得:

\[L_{\mathrm{mix}}=0.4\times2.3026+0.4\times1.6094+0.2\times0.3567\approx1.6361.\]

两位教师现在能用同一种概率接口查询,却没有形成同一意见:A、B 仍并列。实际合版可能按任务选择教师,而非取等权平均。对照要固定教师、学生和查询预算,分别改变前缀来源与教师选择方式,检查学生常见错误路径、能力保留和分布外任务;只比较不同前缀加权后的一个总损失,或把较强教师带来的收益归给采样方式,都不足以确认合版机制有效。

独立分析:应该把“有效扩大规模”验收到哪里

本文判断,这期最有价值的链条是:表示方式改变传输与缓存对象,对象改变调度和关键路径,最后才改变成本。只读模块名,会遗漏 LatentMoE 的容量补偿,也会把训练中的通信重叠误当推理免费。检验架构收益应在明确任务和相近预算下,同时报告能力、训练成本、生成延迟、吞吐与峰值内存;若局部 kernel 更快而整条生成链没有改善,就只能确认局部收益。

规模观点同样需要分开审视。2.8T 总参数与约 100B 激活说明资源选择,不应单独解释能力;约 2.5 倍效率又混入数据和训练配方,现有材料不足以归因。多教师合版可另与直接混合奖励比较,但必须计入教师训练成本并看每项绝对成绩。若只是发布更顺、关键能力却退化,应承认组织便利而非宣称算法普遍更强。本文没有精读相关原论文或独立复现实验,因此保留机制解释,不新增公式、效率排名或模块因果结论。

材料定位:原节目与章节 · 公开编辑文字 · Kimi 官方发布。技术沿革、实验解释和职业判断按公开编辑文字转述;编辑文字不是逐字稿,机制与规格不替代原论文实验协议。

证据边界与资料索引

本页依据整期机器转录、官方节目介绍与章节逐段重建,未宣称逐字人工听审。说话人、专名、数字和时间可能存在识别误差;原声仍是最终核对依据。嘉宾关于公司、市场、研究、个人经历与未来的说法按口述保留,不自动等于独立核验的事实。

本期部分文字来自分段机器转录。可靠回听范围以音频切分区间为准,逐句秒数可能压缩,不能把估计时码当作精确字幕。

原节目:152. 领读Kimi K3技术报告:从架构创新聊起,注意力美学、多教师蒸馏和开源MoE

本页使用的公开文字或字幕来源

返回顶部