原对话:沿提问、回答和转折完整展开 下面先按节目顺序重建。主持人在追问什么,嘉宾如何以自己的经历、例子和推理作答,尽量保留在具体语境中;案例中的事实、数字和判断先归属于发言人。随后才进入本文的机制解释与独立判断。
00:00:00–00:10:00 连续对话 100:00:00–00:10:00 节目介绍:领读Kimi K3技术报告主持人张小珺介绍本期节目是一集学习播客,将与听众一同学习Kimi K3的技术报告。K3是一个有效扩展到2.8万亿(2.8T)总参数并全量开源的MoE(Mixture of Experts)模型。她解释说,节目发布距离模型发布已有一段时间,是因为团队在寻找一位学术和工作背景都非常适合讲解K3的嘉宾。最终,他们邀请到了清华大学计算机系博士候选人、上海创智学院璞锐学者孙宇涛。
主持人介绍,孙宇涛自博士研究开始,其方向就是大语言模型(LLM)的架构与预训练,架构创新一直是他的兴趣点,而这恰好是Kimi K3的亮点之一。孙宇涛将在节目中串联讲解K3及十多篇相关论文。主持人特别提醒,嘉宾语速很快,并预告了节目中可能出现的“暴论”,如“大模型可能没有它本身的上限了,后面都是一些改良性的进步”。
话题推进: 在简短的片头混剪后,主持人正式引入嘉宾,并请他做自我介绍。
00:00:00–00:10:00 嘉宾研究背景:从纯线性注意力到混合注意力的探索与转向宇涛你能不能先给大家做一个自我介绍,并且介绍一下你的研究方向? 这是你的第一篇工作是吧? 应主持人邀请,嘉宾孙宇涛首先介绍了自己的研究背景。他从2023年开始博士阶段的研究,方向聚焦于大模型架构与预训练,旨在解决大语言模型(LLM)在推理环节的低效性问题。他观察到,业界对模型架构研究的导向已从追求性能(performance)转向追求效率(efficiency)。在LLM时代,模型参数量是决定性能最主要的因素,架构本身的改进带来的性能提升相对微小,但不同架构在推理效率和部署成本上差异巨大。
孙宇涛讲述了他的第一项研究工作,始于2023年,探索“线性注意力”(Linear Attention)方向。这项工作主要解决两个问题:
1. 性能逼近:如何让线性注意力在通用场景下,性能尽可能逼近传统的“全注意力”(Full Attention)。早期的线性注意力虽然形式上模仿全注意力,但建模特性更偏向循环神经网络(RNN),缺乏足够的位置信息。他的工作较早地引入了门控(gating)机制,让模型在有限的状态空间里,能建模对结果贡献足够大的信息。
2. 计算效率:如何设计高效的计算形式。纯粹的递归计算效率不优,而完全仿照全注意力的并行计算又无法享受线性复杂度的优势。他的团队提出了一种介于两者之间的“chunk-recurrent”计算形式,既能获得计算复杂度上的收益,又能在硬件(chunk)层面打满计算密度。孙宇涛指出,后续几乎所有的线性注意力改进工作,包括RetNet、Gated DeltaNet以及Kimi K3中使用的Kimi Linear,都基于这种计算范式。
然而,孙宇涛坦诚地评价,从现在的视角看,纯线性注意力的模型是一次“比较失败的尝试”。因为它有限的状态空间难以在长上下文任务中达到与全注意力完全相同的性能。认识到这一点后,他的研究方向在2023年转向了“混合注意力”(Hybrid Attention)架构,即结合使用线性和全注意力。他解释,这种架构听起来像是一种工程上的“trade-off”(权衡),但实验发现,在保持一定比例全注意力的基础上,模型可以获得无损甚至更好的长上下文表现。这意味着混合注意力并非通过牺牲模型能力来换取工程收益,这也是该架构如今被广泛应用的原因。
话题推进: 虽然混合注意力在工程上很成功,但孙宇涛认为从学术角度“差了点意思”,因为它带来的推理加速比受限于混合比例。这促使他从新的维度思考如何优化注意力机制,引出了他的下一项工作。
00:00:00–00:10:00 嘉宾研究工作:从YOCA到Universal-YOCA的架构创新孙宇涛接着介绍了他后续的两项研究工作,进一步探索超越简单混合注意力的方法。
第二项工作是YOCA (You Only Cache Once)。这项工作从第一性原理出发:既然纯线性注意力性能不足,是因为无法省掉获取全局信息的能力,那么能否在保留全局信息能力的同时,从其他维度节省开销?传统的混合注意力是从序列长度维度节省,但加速比有上限。YOCA则从“层间”(inter-layer)维度入手,其核心思想是让所有层“共用一份KV Cache”。具体来说,模型虽然只有一份KV Cache,但通过特定设计,依然可以保持多份KV Cache的计算能力。这个架构的另一个优势是,在处理用户输入的“prefill”阶段,可以跳过全注意力的计算,因为prefill的唯一目的是生成后续生成(decode)阶段所需的KV Cache。YOCA通过前期的线性注意力计算即可拿到KV Cache,从而显著优化prefill和KV Cache存储开销。孙宇涛总结,这项工作主要解决了模型推理三大瓶颈中的两个:prefill时间和KV Cache存储。
第三项工作是Universal-YOCA。这项工作与当时热门的“循环语言模型”(Loop Language Model)相关。循环语言模型旨在通过在固定参数量的模型上进行多次迭代,增加计算量(FLOPs)来提升模型能力。但传统循环模型的缺点是,推理成本高昂,且KV Cache会随迭代深度增加而膨胀。Universal-YOCA是对YOCA架构的微小改变,将循环单元(loop unit)设计得非常高效。具体而言,它采用了一种“两段式”的混合注意力结构:模型前期是全线性注意力,后期是全注意力。循环操作只集中在计算和存储开销都极小的线性注意力部分。这样,模型可以用约两倍的计算强度,获得近两倍的性能提升,同时模型参数、存储和KV Cache开销基本保持不变。这项工作是在2023年之后,针对循环语言模型热潮所做的探索。
话题推进: 主持人总结孙宇涛的研究一直聚焦于架构创新,并点明这正是邀请他解读Kimi K3的原因,引出他对架构创新兴趣来源的探讨。
00:10:00–00:20:00 连续对话 200:10:00–00:20:00 为何对架构创新感兴趣及本次分享的结构所以你从23年一开始读博,你的研究方向就一直在架构创新上对吧? 你为什么一直对架构创新比较感感兴趣? 你能介绍一下你整体的分享的一个结构和逻辑? 主持人确认孙宇涛的研究一直聚焦于架构创新,而Kimi K3也在此方面有诸多工作,这构成了邀请他的核心原因。孙宇涛提到,K3发布时,他与团队内部曾有讨论,认为其工作与自己的研究连续性很强,例如Gated DeltaNet几乎是原封不动地被整合进了K3。
当被问及为何对架构创新感兴趣时,孙宇涛从两个层面进行了解释:
1. 个人层面:他觉得架构创新“比较好玩”,能起到“四两拨千斤”的效果。虽然也涉及工程因素,但主要是与基础设施(infra)的协同设计(co-design),这本身也属于一种创新(如他之前提出的chunk-recurrent计算结构)。他认为,在2023年,这对于博士生是一个很好的研究领域,但承认到2026年,架构创新的空间可能越来越小。
2. 领域层面:在当时,全注意力是模型大规模应用的一个巨大瓶颈,解决它是行业部署模型时最重要的事情,并且大家相信这个问题一定可以被解决。
随后,主持人请孙宇涛介绍本次分享的结构。孙宇涛表示,他不会完全按照K3论文的顺序,而是会从论文的某个贡献点出发,将其置于历史研究的脉络中展开。他认为,只看一篇论文,读者可能知道“它是怎么做的”,但不清楚“为什么这么做”以及“历史上的其他尝试”。通过梳理脉络,将一个技术点的前因后果讲清楚,能让观众获得更综合的理解。他强调,K3的架构创新多,且研究脉络清晰,适合这种讲解方式。同时,他也会讲解与架构紧密相关的基础设施(infra)内容,但对于数据(data)等保密信息则不会涉及。
主持人总结,这种结构能让听众理解K-3是“如何来的”,并认可这种“集百家之长”的做法。孙宇涛也赞同K3报告客观引用前人工作的态度,认为这是其做得好的一个方面。
话题推进: 在明确了分享的框架和逻辑后,孙宇涛正式开始对Kimi K3技术报告的领读。
00:10:00–00:20:00 Kimi K3概述:三个维度的有效扩展孙宇涛开始领读Kimi K3技术报告。他首先概括了K3的核心卖点,即在三个维度上实现了“有效扩展”(effective scaling)。
他认为,其中最重要的维度是模型大小的扩展。K3达到了2.8万亿(2.8T)参数,且是“有效”的。他解释了“无效扩展”的反例:创建一个2.8T模型但只用少量数据(如100B token)进行训练,这样的模型是无效的。K3的成功在于,它在2.8T这个规模上做到了有效的扩展,其激活的专家参数量达到了约100B(1000亿),在发布时远超国内其他开源模型。
第二个扩展维度是模型上下文长度,K3做到了100万(1 million)token的级别,这使其能处理更复杂的任务。
孙宇涛总结,K3的成功依然遵循一个第一性原理:更大的模型才有更高的智能上限。只要其他方面没有做错,模型参数大小仍然是决定智能最本质的因素。他强调,虽然有很多方法可以在评测基准(benchmark)上取得好成绩,但从模型能力的本质来看,扩大参数规模是最有效的方式,而K3在这一点上做得相当早期且成功。
话题推进: 在对K3的整体成就进行概述后,孙宇涛转向报告中具体的模型结构章节,准备深入剖析其技术细节。
00:20:00–00:30:00 连续对话 300:20:00–00:30:00 模型架构:线性注意力的演进与Kimi Linear的设计孙宇涛进入模型结构章节的讲解。他指出,K3综合了月之暗面团队及整个业界过去一年的重要创新,与主要沿用DeepSeek-V3结构的K2模型大不相同。他首先聚焦于混合注意力(Hybrid Attention)中的线性注意力部分,即Kimi Linear。
为了解释Kimi Linear复杂的公式,孙宇涛回溯了线性注意力的发展史:
1. 早期:最初的线性注意力非常简单,通过引入与token位置相关的衰减项(decay),使模型具备位置感知能力,因为语言天然具有“越近权重越高”的特性。
2. Chunk-recurrent计算形式:为了兼顾计算效率和线性复杂度的优势,学界提出了“chunk-recurrent”计算范式,它成为后续所有线性注意力工作的基础。
3. RetNet:引入了位置无关的衰减项,并开发了将其转换为GPU可高效计算的并行形式(parallel form)。
4. Gated DeltaNet:在RetNet基础上,通过引入一个“delta rule”提升了模型的长上下文容量。它将RetNet的位置无关衰减项,变成了与输入数据相关的(data-dependent)衰减项,从而在相同的状态大小下提高了上下文容量。Gated DeltaNet结合了RetNet的衰减机制和delta rule的高容量特性,得到了一个更优的注意力表达形式。
5. Kimi Linear:Kimi Linear在Gated DeltaNet的基础上,将每个注意力头(head)的标量(scalar)衰减项,进一步细化为向量(vector-wise)衰减,即“fine-grained decay”。这使得每个通道(channel)都可以有不同的衰减系数,理论上模型表达能力更强。然而,这种设计给底层的计算内核(kernel)实现带来了麻烦。
为了解决这个麻烦,Kimi Linear与一个名为KDA Kernel的组件进行了协同设计(co-design)。具体来说,为了在GPU上高效计算,需要将相对位置的衰减转换为绝对位置的变换。这个过程中,数值可能会变得极大或极小,超出BF16浮点数的表示范围。因此,Kimi Linear在算法层面引入了一个“clamped decay”,即在一个固定的chunk(如16个token)内,限制衰减系数的最大值,确保数值稳定性,从而让高效的KDA Kernel得以实现。这是一种典型的算法与基础设施协同设计的案例。
孙宇涛 · 00:22:07
线性注意力的发展脉络:从简单的衰减项,到chunk-recurrent计算,再到RetNet的位置无关衰减,Gated DeltaNet的数据相关衰减,最后到Kimi Linear的fine-grained decay。
话题推进: 讲解完线性注意力的演进后,孙宇涛转向混合注意力中的另一部分,即Gated MLA。
00:30:00–00:40:00 连续对话 400:30:00–00:40:00 模型架构:Gated MLA与对MLA未来的讨论为什么Qwen4没有再继续沿用MLA了呀? 你觉得MLA在未来还会成为一个共识吗? 所以它是加强了MLA的可控性? 孙宇涛接着讨论Kimi K3中的Gated MLA(Gated Multi-Layer Attention)。
他解释,MLA最早由Llama 2使用,主要目的是减少KV Cache开销,后来被DeepSeek-V3和Kimi K2沿用。K3选择继续使用MLA,可能是因为它在K2中运行良好,遵循了“能跑就不要动”的工程原则。在MLA的基础上,K3增加了一个“Gated”操作。这个Gated Attention技术最早由Qwen团队提出,其论文标题就表明其旨在提升训练稳定性。孙宇涛强调,对于大模型训练,稳定性至关重要,因为一次训练崩溃可能意味着巨大的资源浪费。任何能有效提升稳定性的技术,即使会带来一些额外计算开销,也通常会被接受。K3将Gated设计与MLA结合,在不破坏MLA推理特性的同时,提升了模型的训练稳定性。
主持人追问,为什么Qwen4不再使用MLA,以及MLA是否会成为未来的共识。孙宇涛引用了与Llama作者的交流,解释了对MLA的一些不同看法:
1. 等价性:从技术上讲,MLA本质上是MQA(Multi-Query Attention)的一种等价实现,只是一个“更好的水道(scheduler)”。为了用好MLA,往往需要增加FFN的计算来弥补损失,所以其收益可以通过更好的MQA参数设计来近似获得。
2. 与Agent范式的适配:主持人转述了Llama作者的观点,认为MLA虽然在H系列芯片上能很好地平衡访存和计算,但它浪费了大量计算。在Agent范式下,MTP(Multi-Token Prediction)能更有效地利用这些剩余计算,而MLA与MTP的收益并非正交,甚至可能互相削弱。
3. 结论:孙宇涛认为MLA从来都不是“共识”,只是一个“选择”。K3沿用MLA是合理的工程决策,但未来可能会改变。他总结,K3的做法是在MLA这个正交的设计上,通过引入Gated机制,主要加强了其训练的稳定性和可控性。
话题推进: 讨论完Gated MLA后,孙宇涛准备讲解K3报告中的下一个架构创新点:Attention Residuals。
00:30:00–00:40:00 模型架构:Attention Residuals及其思想源流你刚才讲的这几个你觉得哪个创新性是最强的? 为什么? 孙宇涛开始讲解Attention Residuals,并追溯其思想源头。他认为,要理解Attention Residuals,首先要理解更早的Hyper-Connection工作,而Hyper-Connection又是对ResNet中残差连接思想的深化。
他首先回顾了残差连接(Residual Connection)的历史,指出早在ResNet时代,何恺明就讨论过Pre-LN和Post-LN对训练稳定性的影响。在Transformer时代,模型深度增加,Post-LN的梯度消失问题凸显,因此Pre-LN成为主流。而Hyper-Connection则是在ResNet的基础上,思考如何增加残差分支的容量,以提升模型表达能力。孙宇涛评价Hyper-Connection是一项思想简洁但论文写得过于抽象的好工作,其本质是在残差分支上用比模型主干更大的容量来表示状态,从而提升性能。
孙宇涛认为,无论是后来的Attention Residuals还是DeepMind的Re-routing,本质上都源于Hyper-Connection。这类工作的一大优势是,它们在推理时几乎是“免费”的,不增加额外开销,因此很容易被业界采纳。任何通过减慢模型来提升效果的方法,都会面临“为什么不直接用更大的模型”的质疑。
他还提到了一个更早的相关工作——DenseNet。DenseNet让深层网络看到所有浅层的状态,并通过一个大的卷积层进行聚合。但这种实现在大模型时代过于笨重。Attention Residuals可以看作是DenseNet思想在Transformer时代的轻量化实现。它通过解耦深度(如使用block-wise attention),避免了上层与底下所有层都进行交互,从而在保持核心思想的同时,实现了一个更灵巧、计算开销可接受的组件。
当被问及这一系列工作中哪个创新性最强时,孙宇涛选择了DenseNet和Hyper-Connection。他认为DenseNet在很早的时代就考虑到了深层网络连接的本质问题;而Hyper-Connection则在Transformer时代重新带回了这个话题,为后续工作设定了大的框架。
孙宇涛 · 00:42:17
这类改进(如Hyper-Connection, Attention Residuals)受欢迎的原因是它们在推理时几乎不增加开销,是“免费的午餐”。
话题推进: 在梳理完Attention Residuals的来龙去脉后,孙宇涛转向K3报告中的下一个重要组件:Stable LatentMoE。
00:40:00–00:50:00 连续对话 500:40:00–00:50:00 从Pre/Post-LN到Attention Residuals:跨深度表示如何被保留和聚合刚才这些连接方案中,哪个创新性最强? (主持人承上)所以Attention Residuals是加强跨层信息利用和可控性吗? 嘉宾没有直接从K3的Attention Residuals定义讲起,而是先回到ResNet与Pre-LN/Post-LN。早期深层网络中,Post-LN在部分任务上结果较好,但模型增大后可能出现梯度消失或训练不稳,后续更常采用Pre-LN。这里的核心不是归一化放在哪个位置更好看,而是残差通路能否让深层模型保留可训练性。嘉宾还转述一种更保守的设计原则:新连接至少应能退化到原有结构,避免为了新容量破坏大run稳定。
随后是Hyper-Connections。他把它概括为在residual分支上,用比单个hidden state更大的容量表示模型在深度方向上的状态。也就是说,残差不再只是将上一层的向量原样加回来,而是给跨深度信息更多表示空间。嘉宾喜欢它思想简洁、推理阶段增加开销有限,但认为论文表达抽象,影响了传播。这里的“推理几乎免费”是相对于需要显著增加串行计算或更大模型的方案,并非所有实现都真正零成本。
DenseNet提供另一条历史线:深层读取并聚合此前多个浅层的表示,而不只接受相邻层输出。早期实现会用较大的线性层做聚合,计算和连接开销较高;Attention Residuals则把这一思想改写为更轻量的attention式聚合,并通过block attention降低与全部浅层两两交互的成本。full attention保留更多全局连接,block版本牺牲一部分表达能力换取效率。嘉宾认为后者损失有限且更易被接受,但这是相对工程判断,不是严格同等能力证明。
主持人问哪项创新最强,嘉宾选择DenseNet和Hyper-Connections:前者很早提出跨层连接问题,后者在Transformer时代重新唤起对连接容量的重视。他认为后续工作更多是在这一框架上做co-design与稳定性修补。这里应把Attention Residuals理解为“如何选择、聚合此前各层表示”,而不是普通的Q/K/V投影,也不是单指跨token注意力。K3在这一段主要沿用已有思想,不能把每个历史工作都写成K3原创。
嘉宾口述,Whisper单句锚点 · Whisper 002400 0–82s
Pre-LN/Post-LN与深层训练稳定;嘉宾强调新结构至少应可退化到旧结构。
嘉宾口述,非K3实测 · Whisper 002400 83–216s
Hyper-Connections以更大的容量表达深度方向状态,推理开销相对低。
嘉宾口述与shownotes的Attention Residuals目录 · Whisper 002400 216–384s
DenseNet跨层聚合,Attention Residuals用轻量attention和block解耦降低开销。
主持追问后的个人评价 · Whisper 002400 350–383s
嘉宾个人更偏好DenseNet与Hyper-Connections的思想贡献。
话题推进: 用独立段落恢复Pre/Post-LN→Hyper-Connections→DenseNet→Attention Residuals的顺序。;保留主持‘哪个创新最强’及嘉宾偏好,不只写K3组件名。;将解释例明确标为自拟,禁止改写成报告权重或性能结果。
00:40:00–00:50:00 LatentMoE与Attention Projection:潜空间通信、参数补偿与投影稳定(承接)MoE在EP下通信开销如何降低? 两个线性投影可以合并,为什么实际还要在中间加稳定处理? 在Attention Residuals之后,话题转向MoE在专家并行(EP)下的通信。嘉宾说,token的hidden state需要分发到不同专家卡,dispatch通信量随激活专家数量和hidden dimension增长。LatentMoE的做法是先把要dispatch的表示压到latent dimension,可能缩小2倍或4倍,再传输和计算,以减少All-to-All数据量。
直接降维会减少专家可使用的参数或容量,因此需要补偿。嘉宾列出两种思路:增大FFN intermediate dimension以补回容量,或把专家拆得更细、增加专家数量与激活组合。他强调,恰当配置可以在保持standard MoE表现的同时降低通信,甚至结果更好;但这不是任意降维都不损能力的保证,而是对论文结果的转述,需要同等质量下的吞吐、显存和延迟验证。
训练和推理的收益不同。训练主要追求throughput,可以用overlap把通信藏在计算后;推理的通信在critical path上,尽管也能调度,延迟不能凭overlap消失。因此LatentMoE对推理latency的直接价值可能比对训练更突出。这里也把前文的架构选择和后文的Infra选择连接起来:通信量更小后,Shared Expert的计算就可能足以掩盖通信,不一定需要跨batch的复杂重排。
接着是Attention Projection的优化问题。两个连续线性投影在代数上可合成一个矩阵,但拆开实现时,优化可能不稳定。MLA和LatentMoE都涉及先低维投影、再计算或投回,若后接FFN的第一个线性投影,就形成两个linear相连。节目建议在中间使用RMSNorm等归一化,控制hidden state的范围。这里的projection是维度映射及其数值优化,不是Attention Residuals的跨层聚合。
本包用“Attention Projection”概括上述投影操作,不把它当成节目或报告正式命名的独立模块;正式组件仍以报告中的MLA、LatentMoE、RMSNorm等名称为准。
这部分最后接入SiTU-GLU:MLP中间激活在低精度或某些优化器下更容易出现outlier,硬clip可以设上界,soft clip/tanh类函数则平滑限制。嘉宾强调它提供数学上的激活上界,但是否影响表达能力仍需实验。不能把‘稳定’扩成对所有训练崩溃的证明。
嘉宾口述 · Whisper 002400 462–503s
latent dimension可缩小2或4倍,容量补偿包括提高FFN中间维度和拆细专家。
嘉宾口述 · Whisper 002400 534–576s
训练可通过overlap隐藏通信,推理critical path上的通信不可忽略,推理收益可能更大。
嘉宾口述 · Whisper 003000 0–74s
两个linear projection拆开时需RMSNorm等稳定中间状态,来源于MLA和LatentMoE的共同优化问题。
嘉宾口述;具体公式以报告为准 · Whisper 003000 74–198s
SiTU-GLU通过soft clip/tanh类限制处理MLP激活上界,具体表达影响待实验。
话题推进: 把LatentMoE与后文Shared Expert Overlap连接,但先保留本段通信与投影机制。;补充‘为何两个linear不直接合并’的解释,避免只写RMSNorm名称。;保留2倍/4倍、容量补偿和训练/推理差异,不写成无条件无损。
00:50:00–01:00:00 连续对话 600:50:00–01:00:00 从激活稳定到Quantile Balancing:路由偏置、负载均衡与近似计算Muon是不是更容易产生激活异常?为什么之前Adam没有同样处理? Quantile Balancing与loss-free routing有何差别? 嘉宾先补充激活异常与优化器的关系。他说Muon更容易出现outlier,但马上模拟苏建林的反问:任何优化器都可能出现,架构层面的约束才是更根本的控制方式。K2及Moonlight阶段通过QK相关clip或normalization处理这类问题,K3在MLP中间激活也引入有界函数。这里应保留不同观点,而不是把Muon或Adam简单判成稳定/不稳定。
随后进入Quantile Balancing(QB)。loss-free routing主要通过bias而非额外整体loss调整专家选择:某个专家激活过多就降低bias,过少就提高bias。它能工作,却依赖启发式更新,缺少清晰的全局收敛解释,并可能与主模型更新不够协调。过去为避免底层负载失衡,有人把第一层或前几层保持为dense,但这不是所有MoE都必须采用的规则。
QB试图用更原则的方式求出路由bias,使不同专家获得更均衡的token。嘉宾转述,它借鉴optimal transport/最优分配的思路,并可在一步中给出解;为避免同一step内token相互获得不应使用的信息,得到的统计值在下一步使用。若原本loss-free已经有效,QB也能工作;某些条件下用梯度更新还可以得到与loss-free相近的形式。嘉宾强调第一层也可直接balance,说明dense底层只是规避旧方法失效的工程选择。
精确分位数在大batch上又很难计算:若有几千万token,保存全部路由值再排序的代价很高。早期近似方案按GPU或小batch分别求局部分位数再pooling;K3的讲述则按值域分桶,把0到1等取值范围切成固定桶,形成直方图,以常数级存储近似分位数,适合分布式扩展。嘉宾自己也提醒“可能理解错”,因此这里应保留实现细节的报告核验边界。
四个桶的计数例只用于解释近似:把两张GPU各自桶计数相加,再按累计比例找到目标桶,便能避免保存所有token的原始值。它不是K3真实桶数、路由公式或实测结果。QB解决的是路由分配问题,与Attention Residuals的跨层表示、Attention Projection的降维稳定属于不同层次。
嘉宾与设想的苏建林观点并列 · Whisper 003000 198–296s
嘉宾先说Muon更易outlier,又转述所有优化器都可能出现;K2通过QK相关处理控制。
嘉宾转述苏建林博客 · Whisper 003000 394–550s
loss-free用bias调整激活多少,QB以更有原则的方式求bias,并在下一步使用避免信息泄露。
嘉宾口述 · Whisper 003000 557–600s
第一层dense只是过去规避loss-free失效的方式,QB使第一层也可balance。
Gemini单源 · Gemini 003600 50–156s
精确分位数在大batch上代价高,K3按值域分桶形成直方图,常数存储近似;嘉宾提示可能有理解偏差。
话题推进: 补回loss-free失效场景与QB的关系,不把QB写成孤立新名词。;将直方图例标为自拟,不使用旧稿未标来源的1024桶作为K3事实。;把Quantile与后面的Dropless EP区分开:前者偏路由训练稳定,后者偏系统负载与通信。
01:00:00–01:10:00 连续对话 701:00:00–01:10:00 架构—训练—Infra的连接:Hybrid Attention、WSD、RNoPE与多教师蒸馏K3为什么不用某种稀疏attention? K2到K3为什么变化这么大? 为什么不用WSD而回归Cosine Decay? 多教师蒸馏为何从模型压缩变成训练流程简化? 为避免把三个漏源区段看成孤立清单,需要先补齐其间的架构与训练连接。K3在报告中采用Hybrid Attention,而非整体纯线性注意力。稀疏attention的收益依赖index计算成本:每层独立求哪些token参与计算可能很贵,需要跨层共享index cache。混合布局里全注意力层被多层线性注意力隔开,跨层共享未必有效;稀疏attention通常又在post-train转换,和原生预训练不一定兼容。因此嘉宾认为K3暂不采用是实际加速与兼容性的权衡,不是稀疏attention没有研究价值。
Native Vision一段讨论已有视觉encoder初始化与原生训练:已有encoder收敛快,但兼容性与稳定性未必最好,原生训练可能花更多算力却更一致。这与“沿用现成模块还是针对系统重新训练”的一般选择相连,不能简单判断已有encoder一定更好。
K2到K3的变化被归为公司战略而非单纯架构团队突变:K2先把base model与整体pipeline做稳,K3再追求更精细优化。研究组件早在积累,什么时候整合进模型取决于发布目标与系统验证。嘉宾所谓“忒修斯之船”强调,当前模型由许多既有部件逐步替换组合,创新既包括提出组件,也包括让它们在大系统里共同工作。
WSD与Cosine Decay的差异则用于说明训练策略的取舍。WSD的稳定期便于中途调整token预算,但最优学习率仍依赖预算,且多一个decay比例超参;Cosine只需token预算和最大学习率,调参更简单。K3团队选择Cosine是特定设置下的结果,不是WSD普遍失效。
参数对比必须修正:Whisper和后续100B量级说明K2到K3激活为32.6B→104B,不是1.04B;总参数约1T→2.8T,嘉宾给出的scaling efficiency为2.5倍。嘉宾同时提醒数据配方不同,不能把效率提升全部归于架构或学习率策略。原生上下文则为1 million,不是旧转录中的1000。
RNoPE段解释混合结构的位置编码:线性注意力已经提供位置相关信息,在全注意力层去掉RoPE,可避免长上下文外推时按长度调RoPE参数。嘉宾曾自行复现并认可其优雅性,但这不证明任何模型删除RoPE都能自然获得长上下文,RoPE对局部位置建模仍有意义。
低精度在FT阶段引入,被解释为项目管理上更稳妥:一开始大规模预训练使用高精度,后续再引入低精度,不一定损失效果。多教师On-Policy Distillation则由“教师生成学生模仿”转为“学生生成、教师逐步纠正”。当公司不再主要追求大蒸小时,它的价值转向把不同能力/reward组织成同构教师,用统一蒸馏接口简化复杂RL训练。统一接口不自动等于监督正确、教师不冲突或学生能力融合成功。
嘉宾口述;数据recipe不同 · Whisper 004200 465–497s
K2→K3总参数约1T→2.8T,激活32.6B→104B,scaling efficiency嘉宾口径2.5倍。
话题推进: 作为上下文承接保留,不将其误算为第三段空白的新主题。;重生成时同步修正纯线性、104B和1M,防止只补时间段却保留旧错误。;把多教师段与下一节Draft Model微调的过渡接上。
01:10:00–01:20:00 连续对话 801:10:00–01:20:00 预训练策略:为何K3放弃WSD,回归Cosine Decay?孙宇涛开始讲解Kimi K3的预训练(Pre-Training)部分,首先聚焦于学习率调度(learning rate schedule)策略的选择。他指出,在K3之前,许多团队都采用WSD(Warmup-Stable-Decay)策略。WSD由MiniCPM团队提出,其核心思想是利用模型在训练不同阶段的学习行为来优化数据和学习率的配合。
他解释了WSD的动机:模型训练的Warmup(预热)阶段是loss下降最快的阶段。因此,WSD策略主张将更高质量的数据集中在这一阶段进行训练,以期获得比数据和学习率均匀分布更好的效果。此外,WSD还有一个工程上的优势:其Stable(稳定)阶段的学习率是固定的,与总训练步数无关。这意味着团队可以在训练过程中灵活地延长或缩短总训练量,而无需从头调整学习率曲线,这为项目管理带来了便利。
然而,Kimi K3团队在报告中解释了他们为何放弃WSD,转而采用更经典的Cosine Decay(余弦衰减)策略。孙宇涛分析了WSD的局限性:虽然总训练量可以灵活调整,但Stable阶段的最优学习率实际上与总训练量是相关的。例如,训练10T token和训练20T token,最优的稳定期学习率可能是不同的。因此,WSD“任意扩展训练量”的优势并非想象中那么有效。
K3团队发现,从调参难度来看,Cosine Decay更简单。它只有两个关键参数:总训练步数和初始学习率。而WSD则多了一个“稳定期比例”的参数,增加了调参的复杂性。K3团队的实验表明,通过仔细调整,Cosine Decay可以找到比WSD更好的参数配置(setting)。因此,他们最终选择了一个更简单、更好调优的经典方案。
最后,孙宇涛对比了K2和K3的规模与效率。K3的总参数量从K2的约1T增加到2.8T,激活参数量从32.6B增加到104B,增幅均接近三倍。最终,K3实现的Scaling Law效率(综合了模型架构、数据配比等因素)是K2的2.5倍。他特别提到,这个对比中的数据配方(data recipe)大概率是不同的,因此2.5倍的提升是一个综合性的结果。
孙宇涛 · 01:15:40
K3放弃WSD回归Cosine Decay,原因是WSD的调参更复杂(多一个稳定期比例参数),且其“稳定期学习率”的最优值与总训练量相关,使其灵活性优势打折扣。K3团队发现Cosine Decay更易调优。
话题推进: 讨论完学习率策略和模型规模后,嘉宾转向了K3在长上下文扩展方面的技术选择,特别是位置编码的创新。
01:20:00–01:30:00 连续对话 901:20:00–01:30:00 长上下文扩展:RNoPE如何实现优雅的位置编码外推孙宇涛接着讨论Kimi K3在长上下文扩展方面的技术选择,核心是其采用的位置编码方案——RNoPE(Rotary NoPE)。他首先回顾了传统Transformer架构中常用的RoPE(旋转位置编码)。RoPE在处理长文本时存在一个问题:当上下文长度超过预训练长度时,需要调整RoPE的参数(如base频率)才能有效外推,否则模型性能会急剧下降。
然而,在混合注意力(Hybrid Attention)架构中,情况发生了变化。孙宇涛提到了Cohere团队的一项关键工作,该工作发现,由于线性注意力层本身已经引入了位置信息(无论是通过decay机制还是其他方式),因此可以在全注意力层中去掉位置编码(即使用NoPE,No Position Embedding)。这种交替使用RoPE(在线性注意力层)和NoPE(在全注意力层)的方案,就是RNoPE。
孙宇涛高度评价了RNoPE,称其“无疑是很优雅的”。它带来了两大好处:
1. 更好的模型表现:实验证明,这种组合方式能提升模型性能。
2. 更强的外推能力:采用RNoPE后,模型在扩展到更长上下文时,无需调整任何架构参数,就能实现很好的外推效果。这解决了传统RoPE需要为不同长度手动调参的痛点,也更符合理论直觉——模型架构参数本不应与具体序列长度绑定。
孙宇涛分享了自己的亲身经历,他看到这篇论文后第二天就去复现,发现效果确实很好,并认为这是混合注意力场景下的一个优秀方案。他甚至在审稿时给了一篇相关论文极高的评价。
他还借此机会澄清了一个常见的误解:RoPE的核心优势在于其强大的相对位置建模能力,但它对长上下文外推非但没有帮助,甚至可能有害。这也是为什么K3在全注意力层中去掉RoPE的原因。去掉RoPE后,模型不仅无需调参就能获得很好的外推效果,而且在长上下文任务上的表现甚至会更好。因此,K3采用RNoPE,是在混合注意力架构下实现长上下文能力的一个“相当优美”的解决方案。
话题推进: 在讲解完长上下文扩展的技术后,对话进入了后训练(Post-Training)阶段的讨论,首先从低精度训练的引入时机谈起。
01:20:00–01:30:00 后训练策略:从低精度引入到多教师蒸馏的应用演变孙宇涛开始介绍Kimi K3的后训练(Post-Training)策略。首先,他讨论了低精度训练(如FP8、W4A8)的引入时机。他对比了不同团队的做法:DeepSeek-V2是从头开始用FP8训练,而DeepSeek-V3则直接用W4A8训练。K3团队采取了不同的策略:在预训练阶段使用高精度,在微调(Fine-Tuning, FT)阶段才引入低精度。孙宇涛认为这种选择兼具项目管理和技术上的合理性。从项目管理角度看,大规模预训练使用高精度是更“保险”的方案,可以避免因低精度引入的不可控风险。从技术角度看,实验表明,从头开始用低精度训练并不会带来额外的模型能力提升,只要训练到一定程度,在FT阶段引入低精度,最终效果是相似的。因此,K3的选择是一个既安全又在技术上无损的方案。
接着,孙宇涛转向了K3中一个重要的后训练技术:多教师在线策略蒸馏(Multi-Teacher On-Policy Distillation)。他首先解释了“在线策略蒸馏”(On-Policy Distillation)的概念,该方法源于微软亚洲研究院魏雅纯(Yadong Wei)等人的工作MiniLLM。传统的蒸馏是“老师讲课,学生听讲”,即让强大的教师模型生成答案,学生模型去学习。而在线策略蒸馏(或称Reverse Distillation)则是“反其道而行之”:让学生模型自己去生成答案(推理过程),教师模型则在每一步对学生的推理进行纠正。这种“自己做题,老师批改”的方式被证明是一种更有效的蒸馏范式。
孙宇涛进一步阐述了该技术应用场景的演变。最初,在线策略蒸馏主要用于“白盒蒸馏”,即当你可以完全访问教师模型内部状态时,将一个大模型的知识蒸馏到一个小模型上,以获得一个性能超群的“闪电版”(flash version)模型。然而,在实际商业场景中,公司通常只维护一个主模型对外服务,并不存在“大模型蒸馏到小模型”的需求。于是,这种蒸馏范式逐渐演变成“自己蒸馏自己”(self-distillation)。
“自己蒸馏自己”的动机,一方面是项目管理上的简化。强化学习(RL)的训练流程通常比SFT复杂,不同能力的对齐(如遵循指令、代码、数学)可能需要不同的奖励模型(Reward Model)和训练策略。如果将这些异构的训练范式直接合并,难度很大。而通过多教师蒸馏,可以将不同能力对应的奖励模型或优化范式,实例化为多个“教师模型”(这些模型架构相同,高度同构)。然后,通过一个统一的蒸馏框架,将这些“专家教师”的能力融合到最终的学生模型中。这种“化异构为同构”的方式,极大地简化了复杂的RLHF流程。孙宇涛指出,这已成为当前业界一个比较主流的做法。
话题推进: 在解释了多教师蒸馏的应用后,嘉宾继续讨论后训练中的另一个环节:草稿模型微调,并引出了与推理加速相关的技术。
01:30:00–01:40:00 连续对话 1001:30:00–01:40:00 多教师之后的Draft Model微调:隐藏状态、预训练接口与服务负载(承接后训练)如何得到更好的MTP/Draft Model? Draft Model只在什么服务场景更有优势? 多教师蒸馏之后,讨论转到Draft Model Fine-Tuning。开头先限定推理服务场景:有一类用户愿意支付更高成本换取更强的单用户/小batch推理速度,这时更快的draft策略价值更大;若目标是多用户总throughput,同样方案的收益可能小很多。不能把某种推理加速说成对所有服务形态都同样有利。
早期Speculative Decoding用一个与主模型关系较弱的小模型给大模型起草候选,问题是没有充分利用大模型中间的hidden state。若能让draft利用这些状态,就可以把draft做得更小,或在同样参数下提高候选被接受的概率。MTP及嘉宾提到的一类工作延续了这个思路,强调draft与主模型的表示衔接,而非独立训练一个小模型去猜。
Diffusion Language Model提供另一条加速路径:小batch/单用户时,非传统自回归的推理方式可能更快,但从头训练的效果和训练效率未必能追上传统AR模型,多用户总throughput也未必占优。Whisper将相应工作识别为D-Flash,Gemini大量术语残缺,本稿只保留这一转录形式并标待核,不自行换成另一篇论文名。
嘉宾转述与相关研究者交流后的判断:Draft Model仍高度依赖预训练。主模型需在预训练阶段提供适合MTP的接口,draft才能利用大模型已有推理能力并进一步放大速度。draft自身还需要特化处理,例如用KL loss替代普通的next-token prediction目标,使其在主模型verify时与目标分布更对齐,从而提高接受率。‘还会有更深工作’是嘉宾预测,不是现有结果。
这段必须与多教师区分开:多教师侧重训练监督和能力合并,Draft Model侧重部署阶段的候选生成与verify。两者可以通过预训练和后训练连接,但不能把draft简单说成蒸馏的附属步骤,也不能把推理接受率当成模型能力本身提升。
嘉宾口述 · Whisper 005400 21–70s
Speculative Decoding早期draft与大模型关系弱,利用hidden state可缩小draft或提高接受率。
嘉宾口述 · Whisper 005400 70–134s
Diffusion LM小batch有速度优势,但从头训练效果与多用户总throughput存在限制。
嘉宾转述研究者交流 · Whisper 005400 141–193s
预训练阶段要给MTP接口;draft可用KL loss改善verify对齐与接受率。
嘉宾对服务场景的限制 · Whisper 005400 0–21s
小batch高价值用户更适合强推理速度,整体throughput目标下收益可能较小。
话题推进: 恢复01:30后的Draft整段,不从MTP孤立定义起笔。;保留Diffusion LM的两个失败/限制:从头训练效果与多用户吞吐。;明确预训练接口、KL loss、verify和接受率的顺序。
01:30:00–01:40:00 KDA Context Parallel:从单层chunk递归到跨卡的双层拆分KDA的Context Parallel与Full Attention的CP有什么不同? 为什么KDA可以在机器间和机器内分别再做chunk? Draft之后进入Infra。嘉宾先强调模型架构和Infra需要co-design,KDA的kernel并不是把full attention的并行方式直接复制过来。普通full attention的CP需要处理跨位置的K/V,Ring Attention等方案概念较直接;KDA则可以从chunkwise recurrent的计算结构理解。
单机不开启CP时,序列被拆成小chunk,chunk内部用并行方式提高计算密度,chunk之间通过递归串行传递状态。前文的lower-bounded decay与kernel限制,正是为了让chunk内部的并行计算更高效。由此形成一个基本模式:内部并行、外部递归。
KDA的特殊点是chunk在数学形式上可进一步拆分。无论是512 token还是8K token一个chunk,只要状态按同样的递归关系传递,形式可以等价。纯线性注意力不像某些“chunk间用linear、chunk内用full”的混合方案那样,chunk大小直接绑定另一种计算模式。因此它可以对长序列先做一层大chunk跨卡分配,再在每张卡内部按kernel需求做第二层chunk。
嘉宾用1 million上下文举例:先按8K token分配到不同GPU,GPU之间处理大chunk的状态传递;再在卡内拆成适合kernel的更小单元。两层共同组成较大的Context Parallel。这里的“任意拆分”指递归数学形式不受固定chunk大小限制,并不意味着跨卡通信、同步、内存或硬件实现没有成本。真正吞吐仍要看状态传输和kernel效率。
这个段落在旧深读里完全缺位,却解释了为什么K3既能用线性注意力,又能针对长上下文做分布式部署。它也把前文的衰减控制与后文的分布式训练连接起来:算法提供可拆的计算结构,Infra负责把结构映射到硬件。
嘉宾口述 · Whisper 005400 288–334s
chunkwise recurrent在单机上是chunk内并行、chunk间串行。
嘉宾口述 · Whisper 005400 334–375s
512或8K等chunk大小在数学形式上可等价,纯线性注意力可分层处理。
嘉宾口述 · Whisper 005400 385–448s
1 million先拆成8K/卡,再在机器内按kernel做第二层chunk,形成双层CP。
话题推进: 把这段放在Draft之后、Dropless EP之前,恢复01:30–01:36:06的真实承接。;保留1 million与8K/卡作为嘉宾说明例,不写成唯一固定配置。;加入单机chunk内并行、chunk间递归的解释,避免只写‘双层chunk’术语。
01:30:00–01:40:00 Dropless EP与动态冗余专家:不丢token的负载均衡及其上限传统EP的负载和通信问题是什么? 如何在不丢token的前提下接近最优? 每张卡token数均衡是否等于每个专家也均衡? KDA CP之后,嘉宾进入MoE分布式训练的另一个问题:Dropless EP让每个token按照路由选择专家,不通过丢token强行控制负载。不同专家接收的token数自然不同,GPU执行时间也会不同,快设备需要等慢设备,造成算力浪费。不同卡token数不确定还会多一个通信阶段:先告诉其他卡将接收多少token,再发送实际token。
若只从Infra看,理想状态是各卡、各专家负载完全均衡,但没有执行等待和额外汇总量协调。不过简单drop token虽可能削峰,却会损失模型能力,所以K3尝试在保持能力的前提下,将非最优系统状态向最优引导。
静态EP可用嘉宾例子说明:128个专家、EP8时,每卡固定放16个专家,分配和负载较静态。动态方案则引入少量冗余专家,通过online planning提前规划各卡需要哪些冗余专家,以平衡各卡token总数。嘉宾称数学上可以证明,存在只增加少量冗余就让token数对齐的策略,但这不等于线上规划、权重同步和通信没有成本。
下一真实块首句接上“增加小比例冗余专家”,说明旧深读从01:36:06开始并不缺这一句本身,缺的是前面的动机和方案来源。更关键的是边界:算法保证的是每张卡token总量一致,不保证卡内每个专家token数一致。若要进一步做到专家级完全均衡,可能需要牺牲模型质量的有损策略。因而该方案首先解决设备同步与吞吐问题,不能宣称模型容量利用和专家学习都达到均衡。
这段应与Quantile Balancing区分。QB偏向通过路由偏置和分位数让训练负载更平衡;Dropless EP与动态冗余偏分布式执行、token分配和设备等待。两者都涉及balance,但对象和验证指标不同,不能合并为同一个算法。
嘉宾口述 · Whisper 005400 469–526s
传统Dropless EP中token数不同导致执行等待,并增加先通报接收量再发送的通信阶段。
嘉宾举例,非全系统固定配置 · Whisper 005400 568–600s
128专家、EP8每卡16个是静态例;动态方案引入冗余专家。
嘉宾转述数学存在性 · Whisper 006000 0–30s
少量冗余专家+online planning可实现各卡token总量对齐。
嘉宾明确限制 · Whisper 006000 30–58s
卡级均衡不等于专家级均衡,进一步平衡可能需有损策略。
话题推进: 恢复Dropless EP负载、两阶段通信、动态冗余和专家级边界的完整链。;保留128专家/EP8静态例与少量冗余专家,不增加未披露比例。;将part2 01:36:06的句子作为跨块接句,而不是独立起点。
01:40:00–01:50:00 连续对话 1101:40:00–01:50:00 Activation Offloading与Overlap:显存、通信和计算怎样交换如何把activation卸载到CPU而不拖慢训练? 为什么K3不必完全照搬DeepSeek-V3的复杂MoE overlap? 完美隐藏通信是否完全无损? 动态冗余之后进入memory-efficient training。K3可以更细粒度地选择哪些部件保留activation、哪些进行offloading,并把中间结果从GPU转移到CPU。嘉宾强调这不是简单搬运:若希望训练不被拖慢,CPU↔GPU通信必须满足某个时间不等式,使传输能被计算覆盖。可offload的内容使用FP8存储,降低存储和传输量,使其有机会跨过这个边界。具体边界依集群、链路和模型配置而变,不能笼统写成FP8永远无精度代价或一律省一半。
随后嘉宾对比DeepSeek-V3的复杂方案。MoE有dispatch和combine两类大通信,DeepSeek通过细粒度重排,将上一个batch的forward/backward与下一个batch的forward组合,尽量隐藏通信;还要把原子计算拆开手工调度,并使用双向pipeline减少PP气泡和activation不均。K3公开报告未采用完全相同的两条路径。
K3的LatentMoE先在架构上降低通信量,因而可以在一个batch内部用Shared Expert的计算掩盖MoE通信,不必为了掩盖大通信再引入另一个batch。传统MoE通信过大时,Shared Expert的计算不足以覆盖,就需要复杂跨batch overlap。这个例子说明不是K3“没有工程优化”,而是上游架构改变后,下游调度可以更简单。
嘉宾同时给出反例:即使通信被完美overlap,计算本身也可能变慢,不能称完全无损。DPP一类优化会用较少SM占用换取更高通信吞吐,使overlap更容易成立。Shared Expert方案也涉及推理critical path的latency与训练吞吐,不能只用一个指标判断。
这里应与Attention Projection连起来:LatentMoE的投影、归一化和通信设计决定后续overlap的可行性;KDA CP决定长序列如何拆分;动态冗余决定专家间负载;Offloading决定中间状态放在哪里。它们共同构成架构与Infra协同,而不是互不相干的优化清单。
嘉宾口述 · Whisper 006000 64–128s
可offload内容使用FP8,CPU↔GPU通信须满足不等式才能被计算overlap,具体边界随配置。
嘉宾转述 · Whisper 006000 130–210s
DeepSeek-V3通过跨batch forward/backward重排及双向pipeline隐藏通信。
嘉宾口述 · Whisper 006000 234–321s
LatentMoE通信较少,K3可用Shared Expert在单batch内overlap;传统MoE可能需要跨batch。
嘉宾明确的反例 · Whisper 006000 323–350s
即使完美隐藏通信,计算也会慢一些;DPP通过SM资源分配改善通信throughput。
话题推进: 恢复FP8 Offloading、Shared Expert与DPP的反例,避免只写‘通信被隐藏’。;保留DeepSeek-V3跨batch重排作为比较,不写成K3也采用相同方案。;将本段与LatentMoE前文相连,形成完整co-design论证。
01:40:00–01:50:00 跨PP显存、Muon切分与多模态Encoder:不均衡如何转移到系统可承受的位置单向PP的显存与计算不均如何处理? Muon为什么不能像Adam一样任意切分参数? 多模态Encoder会怎样改变PP调度? 单向pipeline parallel中,前面的PP rank更早进入计算,可能积累更多batch的activation,显存压力比后面的rank大。双向PP可通过对称调度缓解,但K3采用另一种思路:把高内存PP rank的一部分activation转移到低内存rank存储。这是显存再分配,不是消灭activation,也仍需传输与生命周期管理。它用较轻量的方式避免全面改造pipeline,但不能说所有计算不均都随之消失。
优化器切分是另一层区别。Adam是element-wise优化,参数摊平后如何切分通常不直接改变每个元素的更新方式;Muon需要全局矩阵做牛顿迭代,某个rank需保留完整矩阵,因此不能像Adam一样任意切。这里只能按嘉宾解释记录,不补造Muon的具体分布式实现或公式。
多模态Encoder又引入新的负载结构。视觉token可能在进入语言模型前由32K压缩为8K,但压缩前的encoder内部仍要处理32K,因而主干不必开CP时encoder可能仍需要。不同卡可能分别拿到纯文本或高比例视觉数据,DP与PP的计算量都不均。
若把Encoder固定放在流水线最前面,第一个PP rank计算强度显著增加,后续rank等待,形成大气泡。K3把相关计算放到中间或尾部,并利用前面语言模型计算时中间PP rank的空闲,提前计算Encoder后续步骤。这是用调度填补闲置,而不是视觉Encoder本身变快。主持人随后感叹报告写得详细,嘉宾认为公开这些实现可减少依赖小道消息,说明工程细节本身也是可复现研究的一部分。
嘉宾口述 · Whisper 006000 353–402s
高内存PP rank的activation转到低内存rank,作为双向PP之外的轻量方案。
嘉宾口述,具体实现以报告为准 · Whisper 006000 403–432s
Adam element-wise可灵活切分,Muon需完整矩阵用于全局牛顿迭代。
嘉宾举例 · Whisper 006000 451–496s
视觉token可由32K压到8K,但encoder内部仍需处理较长序列,可能单独需要CP。
嘉宾口述 · Whisper 006000 496–575s
Encoder放中间或尾部,利用中间PP闲置提前算后续步骤,降低首rank气泡。
话题推进: 补入跨PP、Muon和多模态,避免旧Infra只剩Offloading与Overlap。;保留‘报告写得详细减少小道消息’的收尾,连接后面的复现问题。;将视觉encoder的计算长度、数据比例和PP位置分别写清。
01:50:00–02:00:00 连续对话 1201:50:00–02:00:00 RL与Inference的Infra:显存生命周期、线性Prefix Cache与推理引擎适配报告写出来,Infra复现难吗? Reference Model与Gradient Buffer为什么能复用显存? 线性注意力的Prefix Cache为什么不能完全照搬Full Attention? 主持人问报告详述后Infra是否难复现。嘉宾认为Infra具有较高确定性,难的是从profiling和团队能力出发自己提出方案;若团队工程实践好,可以复现,否则可先跟随成熟实践。RL还涉及大量inference与sandbox管理,每个trajectory可能对应独立Docker,需要处理大规模容器调度。此处为Gemini单源,不能把相关实现细节当成双源核验。
显存复用利用生命周期错位:前向计算objective时需要Reference Model提供参考分布,但不计算其梯度;进入主模型反向传播、需要Gradient Buffer时,Reference Model已不再使用。于是相应工作空间可以被Gradient Buffer复用,降低峰值显存。它不是把Reference Model参数从逻辑上删除,也不是任意时刻都能覆盖;如果后续仍需Reference,复用便不成立。
线性注意力的Prefix Cache又不同。Full Attention可以按token增量保存K/V,前缀缓存相对直接;线性注意力每步在旧state上覆写,prefix state随步变化。若每一步都保存,线性注意力省状态的优势被抵消;若完全不保存,又无法复用前缀。节目给出的策略是按block缓存,在复用与存储之间折中。
vLLM等推理引擎还需同时管理full、linear或sliding window等不同attention pattern。原有的page式KV管理与线性状态的结构不同,混合架构接入并不是简单加一个kernel即可,需要额外的缓存一致性与引擎适配。底层kernel也要分别针对prefill、decode和training优化。嘉宾认为这些工作确定性高,但并非没有工程量。
这段把前面训练的显存与分布式问题延伸到RL和部署:同一模型在训练、参考计算、反向更新和推理缓存中的生命周期不同,不能只用参数量和一次forward的成本理解实际资源开销。
Gemini单源 · Gemini 006600 89–164s
Reference前向不需要梯度,主模型反向时Reference不再使用,Gradient Buffer可复用相应显存。
Gemini单源 · Gemini 006600 180–249s
线性Prefix State每步覆写,全存失去线性优势,按block缓存折中。
Gemini单源 · Gemini 006600 249–319s
vLLM需兼容不同attention cache结构,混合架构不是直接套用page式管理。
话题推进: 作为part2后续承接保留,不把其误算为01:30–01:36:06的新主题。;用生命周期解释显存复用,避免旧算例把复用说成任意通用。;将Prefix Cache与KDA的递归状态连接,补全训练到推理的链路。
01:50:00–02:00:00 规模、组织与预测边界:K3的104B激活、团队合作与well-defined能力K3最impressive的地方是什么? 新团队还有机会重做大模型吗? 未来模型能多大、能否达到AGI? 为什么转向世界模型? 收尾部分把技术判断与预测分开。嘉宾最直观的惊讶是K3激活约100B,比预期更大。他认为把激活定这么大本身不是技术难点,而是需要魄力的非技术选择;真正难的是让规模、架构、训练、数据和Infra共同工作。K3的许多技术组件此前已单独发表,所以他对组件本身不完全意外,更意外规模。
主持人追问科学方法,嘉宾认可Kimi对“模型内科”的强调:让行为trace更可靠、训练不稳或collapse更易归因。与此相对,不科学是为了利益放弃明确评估、变量控制与证据标准。这里的团队评价属于嘉宾理解,不能用作独立证明团队文化。
新团队是否还有机会,嘉宾认为需要优秀的人和良好组织文化同时成立,而这种组合有历史局限,不乐观。他所谓“没有太本质的创新”是自称暴论:既有架构的许多改良仍重要,但基础研究空间可能在收窄。模型规模也不会无限增长,因为可集结的人类信息量有限、具体任务需求与成本不同。
对AGI,他区分well-defined任务和未定义目标:如果能清楚定义能力与评测,工程优化可能逐步达到;AGI本身缺乏清晰定义,不能用同一逻辑直接承诺。若涉及真实物理世界交互,问题会更大。转向世界模型则是他个人的研究选择,认为那里问题更大、更新、仍有贡献空间。上述都是个人预测与职业判断,不是K3技术报告已验证的结论。
嘉宾个人评价 · Gemini 006600 330–360s
K3激活约100B是嘉宾最直观的surprise,定大激活本身被其视为非技术决策。
嘉宾预测 · Gemini 007200 76–160s
‘没有太本质创新’是嘉宾自称暴论,well-defined任务与AGI未定义需分开。
嘉宾预测与职业判断 · Gemini 007200 160–225s
模型规模不会无限,受信息总量、任务感知与成本约束;世界模型是个人转向。
话题推进: 在详细包末尾保留预测归属,不把预测混入K3已实现能力。;区分100B概述与104B精确比较,避免使用ASR的1.04B。;完整保留团队、科学方法、well-defined与AGI边界,为重生成提供收尾。
02:00:00–02:04:19 连续对话 1302:00:00–02:04:19 总结与展望:Kimi K3的魄力、科学方法与大模型的未来觉得Kimi让你最 impressive的地方是哪里呀? 这个依赖的什么能力呢? 杨志林喜欢说有概率的非共识,你觉得在K3上能看到他们的什么样的 different bats或者说创新? 就是你刚才给大家也展示了好多他们历史的 paper,其实中间就已经发出来了对吧,但是他把它优化到了一个更大的模型上。 有人说Kimi的研究方式相对比较科学,你觉得这个你认同吗?怎么解释? 什么是不科学的? 因为最近也是V4发布的时间嘛,K3和V4你觉得他们的区别是什么?那么做一些对比。 你觉得照这个趋势发展下去,Kimi和 DeepSeek会分化吗? 你觉得K3相比之前所有模型来说不一样在哪里?它有架构创新?它创新性更强了。 那新团队现在再去重做一个模型,还有时间窗口或者机会吗? 为什么不存在?因为好的人其实已经进去了,还是怎么说? 氛围这个事情真的是有点虚,很难去描述它。 你觉得未来的模型的发展方向,你有没有什么预测? 然后它会做到一个什么样的水平呢?做到多大size对应的是什么样性能呢? 它能达到所谓的AGI吗? 你觉得它最后会是一个多大的模型呢? 还是说它是无限大,无限往上叠上去? 你觉得它最后有多大? 现在是6到2.8,以后呢? 你现在为什么去探索世界模型了? 进入总结部分,主持人张小珺询问嘉宾孙宇涛对Kimi K3印象最深之处。孙宇涛回答,是其巨大的激活参数规模(100 billion),比上一代多了三倍多。他认为这并非技术决策,而是一个需要“魄力”的非技术性决定,意在将开源模型的上限提升一个数量级。至于技术创新,他认为有价值的部分Kimi都已在之前的论文中发表,因此K3的发布并未带来技术上的意外,最大的“surprise”就是其尺寸。
当被问及Kimi的研究方法是否“科学”时,孙宇涛表示认同。他解释,这主要源于Kimi团队内部对“模型内科”的强调,即致力于让预训练过程更科学,例如能够可靠地追踪模型行为、明确归因模型的不稳定或崩溃现象。他认为,“不科学”就是基于某些利益需求而放弃了严谨的评估、变量控制等科学方法。一个团结、劲往一处使的团队,其判断方式自然就是科学的。
在与DeepSeek V4的对比中,孙宇涛认为两者定位不同。Kimi K3目前主要目标是提升开源模型的能力上限,性价比并非首要考虑,其API价格也相对昂贵。而DeepSeek更强调性价比。他认为技术本身有好坏的客观标准,团队走向最终取决于人的选择。
对于新团队是否还有机会重做大模型,孙宇涛持悲观态度。他认为,要同时具备优秀的人才和良好的组织文化,存在“历史的局限性”,大概率无法达成,因此创业机会渺茫。他强调,好的团队氛围取决于领导者的品味(taste)和性格,并以“Kimi团队没人怕杨植麟”为例,说明了“谁有道理谁说了算”的集体工作模式,而非依赖个人英雄主义。
最后,孙宇涛给出了对大模型未来的“暴论”:可能已没有太本质的创新,后续多为改良性进步。他认为,只要一个能力能被清晰地定义(well-defined),模型就能通过工程优化去实现它,AGI之所以难以达到,正是因为它没有被清晰定义。模型的尺寸不会无限增大,其上限受制于互联网上有限的人类信息总量。他个人判断,大模型领域能做出巨大贡献的空间变小,因此他选择转向探索问题更大、但更新的“世界模型”领域。
话题推进: 对话至此结束。
以上是原对话的分段阅读。下面才开始提炼论证、解释机制并给出本文自己的判断。
主要论证:观点怎样由经历与例子支撑 LatentMoE与Attention Projection:潜空间通信、参数补偿与投影稳定 孙宇涛(技术解读;具体报告细节以原论文为准) · 00:40:00–00:50:00;00:50:00–01:00:00
在Attention Residuals之后,话题转向MoE在专家并行(EP)下的通信。嘉宾说,token的hidden state需要分发到不同专家卡,dispatch通信量随激活专家数量和hidden dimension增长。LatentMoE的做法是先把要dispatch的表示压到latent dimension,可能缩小2倍或4倍,再传输和计算,以减少All-to-All数据量。
直接降维会减少专家可使用的参数或容量,因此需要补偿。嘉宾列出两种思路:增大FFN intermediate dimension以补回容量,或把专家拆得更细、增加专家数量与激活组合。他强调,恰当配置可以在保持standard MoE表现的同时降低通信,甚至结果更好;但这不是任意降维都不损能力的保证,而是对论文结果的转述,需要同等质量下的吞吐、显存和延迟验证。
训练和推理的收益不同。训练主要追求throughput,可以用overlap把通信藏在计算后;推理的通信在critical path上,尽管也能调度,延迟不能凭overlap消失。因此LatentMoE对推理latency的直接价值可能比对训练更突出。这里也把前文的架构选择和后文的Infra选择连接起来:通信量更小后,Shared Expert的计算就可能足以掩盖通信,不一定需要跨batch的复杂重排。
接着是Attention Projection的优化问题。两个连续线性投影在代数上可合成一个矩阵,但拆开实现时,优化可能不稳定。MLA和LatentMoE都涉及先低维投影、再计算或投回,若后接FFN的第一个线性投影,就形成两个linear相连。节目建议在中间使用RMSNorm等归一化,控制hidden state的范围。这里的projection是维度映射及其数值优化,不是Attention Residuals的跨层聚合。
本包用“Attention Projection”概括上述投影操作,不把它当成节目或报告正式命名的独立模块;正式组件仍以报告中的MLA、LatentMoE、RMSNorm等名称为准。
这部分最后接入SiTU-GLU:MLP中间激活在低精度或某些优化器下更容易出现outlier,硬clip可以设上界,soft clip/tanh类函数则平滑限制。嘉宾强调它提供数学上的激活上界,但是否影响表达能力仍需实验。不能把‘稳定’扩成对所有训练崩溃的证明。
成立条件: LatentMoE不是删除专家计算,而是在通信前压缩表示;参数补偿和全链路成本需同时评估。;推理通信处于critical path,不能用训练overlap逻辑宣称推理延迟完全消失。;Attention Projection是降维与稳定问题,Attention Residuals是跨深度聚合,不应互相替代。;SiTU-GLU的数学上界与最终模型质量是两件事;具体公式以K3报告为准。
从激活稳定到Quantile Balancing:路由偏置、负载均衡与近似计算 孙宇涛(技术解读;具体报告细节以原论文为准) · 00:50:00–01:00:00;01:00:00–01:10:00
嘉宾先补充激活异常与优化器的关系。他说Muon更容易出现outlier,但马上模拟苏建林的反问:任何优化器都可能出现,架构层面的约束才是更根本的控制方式。K2及Moonlight阶段通过QK相关clip或normalization处理这类问题,K3在MLP中间激活也引入有界函数。这里应保留不同观点,而不是把Muon或Adam简单判成稳定/不稳定。
随后进入Quantile Balancing(QB)。loss-free routing主要通过bias而非额外整体loss调整专家选择:某个专家激活过多就降低bias,过少就提高bias。它能工作,却依赖启发式更新,缺少清晰的全局收敛解释,并可能与主模型更新不够协调。过去为避免底层负载失衡,有人把第一层或前几层保持为dense,但这不是所有MoE都必须采用的规则。
QB试图用更原则的方式求出路由bias,使不同专家获得更均衡的token。嘉宾转述,它借鉴optimal transport/最优分配的思路,并可在一步中给出解;为避免同一step内token相互获得不应使用的信息,得到的统计值在下一步使用。若原本loss-free已经有效,QB也能工作;某些条件下用梯度更新还可以得到与loss-free相近的形式。嘉宾强调第一层也可直接balance,说明dense底层只是规避旧方法失效的工程选择。
精确分位数在大batch上又很难计算:若有几千万token,保存全部路由值再排序的代价很高。早期近似方案按GPU或小batch分别求局部分位数再pooling;K3的讲述则按值域分桶,把0到1等取值范围切成固定桶,形成直方图,以常数级存储近似分位数,适合分布式扩展。嘉宾自己也提醒“可能理解错”,因此这里应保留实现细节的报告核验边界。
四个桶的计数例只用于解释近似:把两张GPU各自桶计数相加,再按累计比例找到目标桶,便能避免保存所有token的原始值。它不是K3真实桶数、路由公式或实测结果。QB解决的是路由分配问题,与Attention Residuals的跨层表示、Attention Projection的降维稳定属于不同层次。
成立条件: QB并非简单地‘不用loss就均衡’,bias如何影响路由及下一步使用必须保留。;第一层dense不是必须;若直接用辅助loss方案,也可能解决底层问题。;直方图例是自拟解释,实际桶数、分布、全局聚合和阈值更新以K3报告为准。;路由均衡不等于模型能力必然提高,负载、通信和优化目标需分别验收。
架构—训练—Infra的连接:Hybrid Attention、WSD、RNoPE与多教师蒸馏 孙宇涛(技术解读;具体报告细节以原论文为准) · 01:00:00–01:10:00;01:10:00–01:20:00;01:20:00–01:30:00
为避免把三个漏源区段看成孤立清单,需要先补齐其间的架构与训练连接。K3在报告中采用Hybrid Attention,而非整体纯线性注意力。稀疏attention的收益依赖index计算成本:每层独立求哪些token参与计算可能很贵,需要跨层共享index cache。混合布局里全注意力层被多层线性注意力隔开,跨层共享未必有效;稀疏attention通常又在post-train转换,和原生预训练不一定兼容。因此嘉宾认为K3暂不采用是实际加速与兼容性的权衡,不是稀疏attention没有研究价值。
Native Vision一段讨论已有视觉encoder初始化与原生训练:已有encoder收敛快,但兼容性与稳定性未必最好,原生训练可能花更多算力却更一致。这与“沿用现成模块还是针对系统重新训练”的一般选择相连,不能简单判断已有encoder一定更好。
K2到K3的变化被归为公司战略而非单纯架构团队突变:K2先把base model与整体pipeline做稳,K3再追求更精细优化。研究组件早在积累,什么时候整合进模型取决于发布目标与系统验证。嘉宾所谓“忒修斯之船”强调,当前模型由许多既有部件逐步替换组合,创新既包括提出组件,也包括让它们在大系统里共同工作。
WSD与Cosine Decay的差异则用于说明训练策略的取舍。WSD的稳定期便于中途调整token预算,但最优学习率仍依赖预算,且多一个decay比例超参;Cosine只需token预算和最大学习率,调参更简单。K3团队选择Cosine是特定设置下的结果,不是WSD普遍失效。
参数对比必须修正:Whisper和后续100B量级说明K2到K3激活为32.6B→104B,不是1.04B;总参数约1T→2.8T,嘉宾给出的scaling efficiency为2.5倍。嘉宾同时提醒数据配方不同,不能把效率提升全部归于架构或学习率策略。原生上下文则为1 million,不是旧转录中的1000。
RNoPE段解释混合结构的位置编码:线性注意力已经提供位置相关信息,在全注意力层去掉RoPE,可避免长上下文外推时按长度调RoPE参数。嘉宾曾自行复现并认可其优雅性,但这不证明任何模型删除RoPE都能自然获得长上下文,RoPE对局部位置建模仍有意义。
低精度在FT阶段引入,被解释为项目管理上更稳妥:一开始大规模预训练使用高精度,后续再引入低精度,不一定损失效果。多教师On-Policy Distillation则由“教师生成学生模仿”转为“学生生成、教师逐步纠正”。当公司不再主要追求大蒸小时,它的价值转向把不同能力/reward组织成同构教师,用统一蒸馏接口简化复杂RL训练。统一接口不自动等于监督正确、教师不冲突或学生能力融合成功。
成立条件: K3按Hybrid Attention记录,不能沿用旧综合稿‘整体纯线性’的说法。;32.6B→104B和1M为本次明确校正,不能把ASR的1.04B或1000带入新稿。;Cosine、RNoPE、低精度和多教师均有特定适用条件,不应写成普适最佳方案。;此段多数为单源或不同块拼接,时间仅作内容定位,不伪造逐秒对应。
多教师之后的Draft Model微调:隐藏状态、预训练接口与服务负载 孙宇涛(技术解读;具体报告细节以原论文为准) · 01:30:00–01:40:00
多教师蒸馏之后,讨论转到Draft Model Fine-Tuning。开头先限定推理服务场景:有一类用户愿意支付更高成本换取更强的单用户/小batch推理速度,这时更快的draft策略价值更大;若目标是多用户总throughput,同样方案的收益可能小很多。不能把某种推理加速说成对所有服务形态都同样有利。
早期Speculative Decoding用一个与主模型关系较弱的小模型给大模型起草候选,问题是没有充分利用大模型中间的hidden state。若能让draft利用这些状态,就可以把draft做得更小,或在同样参数下提高候选被接受的概率。MTP及嘉宾提到的一类工作延续了这个思路,强调draft与主模型的表示衔接,而非独立训练一个小模型去猜。
Diffusion Language Model提供另一条加速路径:小batch/单用户时,非传统自回归的推理方式可能更快,但从头训练的效果和训练效率未必能追上传统AR模型,多用户总throughput也未必占优。Whisper将相应工作识别为D-Flash,Gemini大量术语残缺,本稿只保留这一转录形式并标待核,不自行换成另一篇论文名。
嘉宾转述与相关研究者交流后的判断:Draft Model仍高度依赖预训练。主模型需在预训练阶段提供适合MTP的接口,draft才能利用大模型已有推理能力并进一步放大速度。draft自身还需要特化处理,例如用KL loss替代普通的next-token prediction目标,使其在主模型verify时与目标分布更对齐,从而提高接受率。‘还会有更深工作’是嘉宾预测,不是现有结果。
这段必须与多教师区分开:多教师侧重训练监督和能力合并,Draft Model侧重部署阶段的候选生成与verify。两者可以通过预训练和后训练连接,但不能把draft简单说成蒸馏的附属步骤,也不能把推理接受率当成模型能力本身提升。
成立条件: D-Flash拼写与具体论文需核对,不根据残缺的‘3/MTP/flash’猜新专名。;接受率提高是推理效率指标,不等于主模型内容能力增强。;小batch和总throughput必须分开,不能把局部场景优势普遍化。;预训练接口与后续Draft发展预测不能写成K3已经完全验证。
KDA Context Parallel:从单层chunk递归到跨卡的双层拆分 孙宇涛(技术解读;具体报告细节以原论文为准) · 01:30:00–01:40:00
Draft之后进入Infra。嘉宾先强调模型架构和Infra需要co-design,KDA的kernel并不是把full attention的并行方式直接复制过来。普通full attention的CP需要处理跨位置的K/V,Ring Attention等方案概念较直接;KDA则可以从chunkwise recurrent的计算结构理解。
单机不开启CP时,序列被拆成小chunk,chunk内部用并行方式提高计算密度,chunk之间通过递归串行传递状态。前文的lower-bounded decay与kernel限制,正是为了让chunk内部的并行计算更高效。由此形成一个基本模式:内部并行、外部递归。
KDA的特殊点是chunk在数学形式上可进一步拆分。无论是512 token还是8K token一个chunk,只要状态按同样的递归关系传递,形式可以等价。纯线性注意力不像某些“chunk间用linear、chunk内用full”的混合方案那样,chunk大小直接绑定另一种计算模式。因此它可以对长序列先做一层大chunk跨卡分配,再在每张卡内部按kernel需求做第二层chunk。
嘉宾用1 million上下文举例:先按8K token分配到不同GPU,GPU之间处理大chunk的状态传递;再在卡内拆成适合kernel的更小单元。两层共同组成较大的Context Parallel。这里的“任意拆分”指递归数学形式不受固定chunk大小限制,并不意味着跨卡通信、同步、内存或硬件实现没有成本。真正吞吐仍要看状态传输和kernel效率。
这个段落在旧深读里完全缺位,却解释了为什么K3既能用线性注意力,又能针对长上下文做分布式部署。它也把前文的衰减控制与后文的分布式训练连接起来:算法提供可拆的计算结构,Infra负责把结构映射到硬件。
成立条件: KDA CP不能与Full Attention CP简单等同,递归状态和chunk结构是核心。;‘任意拆’是数学形式特性,不是免费通信或无限扩展保证。;lower-bounded decay与kernel效率要和CP放在同一条co-design链中解释。
Dropless EP与动态冗余专家:不丢token的负载均衡及其上限 孙宇涛(技术解读;具体报告细节以原论文为准) · 01:30:00–01:40:00;01:40:00–01:50:00
KDA CP之后,嘉宾进入MoE分布式训练的另一个问题:Dropless EP让每个token按照路由选择专家,不通过丢token强行控制负载。不同专家接收的token数自然不同,GPU执行时间也会不同,快设备需要等慢设备,造成算力浪费。不同卡token数不确定还会多一个通信阶段:先告诉其他卡将接收多少token,再发送实际token。
若只从Infra看,理想状态是各卡、各专家负载完全均衡,但没有执行等待和额外汇总量协调。不过简单drop token虽可能削峰,却会损失模型能力,所以K3尝试在保持能力的前提下,将非最优系统状态向最优引导。
静态EP可用嘉宾例子说明:128个专家、EP8时,每卡固定放16个专家,分配和负载较静态。动态方案则引入少量冗余专家,通过online planning提前规划各卡需要哪些冗余专家,以平衡各卡token总数。嘉宾称数学上可以证明,存在只增加少量冗余就让token数对齐的策略,但这不等于线上规划、权重同步和通信没有成本。
下一真实块首句接上“增加小比例冗余专家”,说明旧深读从01:36:06开始并不缺这一句本身,缺的是前面的动机和方案来源。更关键的是边界:算法保证的是每张卡token总量一致,不保证卡内每个专家token数一致。若要进一步做到专家级完全均衡,可能需要牺牲模型质量的有损策略。因而该方案首先解决设备同步与吞吐问题,不能宣称模型容量利用和专家学习都达到均衡。
这段应与Quantile Balancing区分。QB偏向通过路由偏置和分位数让训练负载更平衡;Dropless EP与动态冗余偏分布式执行、token分配和设备等待。两者都涉及balance,但对象和验证指标不同,不能合并为同一个算法。
成立条件: 动态冗余的数学存在性不等于实现无成本,online planning和专家副本也有内存、通信与调度成本。;卡级均衡与专家级均衡必须分开,不能把后者当作已被证明。;drop token对能力损失的讨论是方案前提,不能只保留‘均衡最好’。;与QB的路由bias与分位数不同,此处重点是分布式执行与设备同步。
Activation Offloading与Overlap:显存、通信和计算怎样交换 孙宇涛(技术解读;具体报告细节以原论文为准) · 01:40:00–01:50:00
动态冗余之后进入memory-efficient training。K3可以更细粒度地选择哪些部件保留activation、哪些进行offloading,并把中间结果从GPU转移到CPU。嘉宾强调这不是简单搬运:若希望训练不被拖慢,CPU↔GPU通信必须满足某个时间不等式,使传输能被计算覆盖。可offload的内容使用FP8存储,降低存储和传输量,使其有机会跨过这个边界。具体边界依集群、链路和模型配置而变,不能笼统写成FP8永远无精度代价或一律省一半。
随后嘉宾对比DeepSeek-V3的复杂方案。MoE有dispatch和combine两类大通信,DeepSeek通过细粒度重排,将上一个batch的forward/backward与下一个batch的forward组合,尽量隐藏通信;还要把原子计算拆开手工调度,并使用双向pipeline减少PP气泡和activation不均。K3公开报告未采用完全相同的两条路径。
K3的LatentMoE先在架构上降低通信量,因而可以在一个batch内部用Shared Expert的计算掩盖MoE通信,不必为了掩盖大通信再引入另一个batch。传统MoE通信过大时,Shared Expert的计算不足以覆盖,就需要复杂跨batch overlap。这个例子说明不是K3“没有工程优化”,而是上游架构改变后,下游调度可以更简单。
嘉宾同时给出反例:即使通信被完美overlap,计算本身也可能变慢,不能称完全无损。DPP一类优化会用较少SM占用换取更高通信吞吐,使overlap更容易成立。Shared Expert方案也涉及推理critical path的latency与训练吞吐,不能只用一个指标判断。
这里应与Attention Projection连起来:LatentMoE的投影、归一化和通信设计决定后续overlap的可行性;KDA CP决定长序列如何拆分;动态冗余决定专家间负载;Offloading决定中间状态放在哪里。它们共同构成架构与Infra协同,而不是互不相干的优化清单。
成立条件: FP8只是降低存储与传输压力,精度、kernel和硬件支持仍需核验。;Overlap不是无损,通信资源与SM计算资源存在竞争。;K3不是直接复制DeepSeek-V3,LatentMoE是简化Overlap成立的重要前提。;不能用单个latency指标代替整体训练吞吐、质量和稳定性评估。
跨PP显存、Muon切分与多模态Encoder:不均衡如何转移到系统可承受的位置 孙宇涛(技术解读;具体报告细节以原论文为准) · 01:40:00–01:50:00
单向pipeline parallel中,前面的PP rank更早进入计算,可能积累更多batch的activation,显存压力比后面的rank大。双向PP可通过对称调度缓解,但K3采用另一种思路:把高内存PP rank的一部分activation转移到低内存rank存储。这是显存再分配,不是消灭activation,也仍需传输与生命周期管理。它用较轻量的方式避免全面改造pipeline,但不能说所有计算不均都随之消失。
优化器切分是另一层区别。Adam是element-wise优化,参数摊平后如何切分通常不直接改变每个元素的更新方式;Muon需要全局矩阵做牛顿迭代,某个rank需保留完整矩阵,因此不能像Adam一样任意切。这里只能按嘉宾解释记录,不补造Muon的具体分布式实现或公式。
多模态Encoder又引入新的负载结构。视觉token可能在进入语言模型前由32K压缩为8K,但压缩前的encoder内部仍要处理32K,因而主干不必开CP时encoder可能仍需要。不同卡可能分别拿到纯文本或高比例视觉数据,DP与PP的计算量都不均。
若把Encoder固定放在流水线最前面,第一个PP rank计算强度显著增加,后续rank等待,形成大气泡。K3把相关计算放到中间或尾部,并利用前面语言模型计算时中间PP rank的空闲,提前计算Encoder后续步骤。这是用调度填补闲置,而不是视觉Encoder本身变快。主持人随后感叹报告写得详细,嘉宾认为公开这些实现可减少依赖小道消息,说明工程细节本身也是可复现研究的一部分。
成立条件: 跨PP transfer仍有通信与同步成本,不等于activation消失或双向PP永远不必要。;Muon切分细节未在节目完全展开,不补造矩阵划分和通信方式。;32K→8K只是嘉宾说明例,不是所有视觉encoder的固定长度。;把Encoder放到中后段是调度选择,不代表多模态训练已自然负载均衡。
规模、组织与预测边界:K3的104B激活、团队合作与well-defined能力 孙宇涛(技术解读;具体报告细节以原论文为准) · 01:50:00–02:00:00;02:00:00–02:04:19
收尾部分把技术判断与预测分开。嘉宾最直观的惊讶是K3激活约100B,比预期更大。他认为把激活定这么大本身不是技术难点,而是需要魄力的非技术选择;真正难的是让规模、架构、训练、数据和Infra共同工作。K3的许多技术组件此前已单独发表,所以他对组件本身不完全意外,更意外规模。
主持人追问科学方法,嘉宾认可Kimi对“模型内科”的强调:让行为trace更可靠、训练不稳或collapse更易归因。与此相对,不科学是为了利益放弃明确评估、变量控制与证据标准。这里的团队评价属于嘉宾理解,不能用作独立证明团队文化。
新团队是否还有机会,嘉宾认为需要优秀的人和良好组织文化同时成立,而这种组合有历史局限,不乐观。他所谓“没有太本质的创新”是自称暴论:既有架构的许多改良仍重要,但基础研究空间可能在收窄。模型规模也不会无限增长,因为可集结的人类信息量有限、具体任务需求与成本不同。
对AGI,他区分well-defined任务和未定义目标:如果能清楚定义能力与评测,工程优化可能逐步达到;AGI本身缺乏清晰定义,不能用同一逻辑直接承诺。若涉及真实物理世界交互,问题会更大。转向世界模型则是他个人的研究选择,认为那里问题更大、更新、仍有贡献空间。上述都是个人预测与职业判断,不是K3技术报告已验证的结论。
成立条件: 团队文化、组织机会和‘没有本质创新’均属嘉宾个人判断,不是独立核验事实。;K3的规模选择不能替代逐项消融与系统能力证据。;世界模型转向是嘉宾个人职业选择,不能作为大模型研究已经终结的证明。
机制与术语:对象、输入输出和中间过程 跨深度残差与选择性聚合 普通残差提供前层表示的直达通路;Hyper-Connections扩大这条通路的容量;DenseNet让深层汇聚多个浅层;Attention Residuals用注意力权重选择不同深度的信息,block变体限制交互范围以降低开销。输入是多个深度的表示,输出是供当前层使用的聚合表示。
对应节目:00:40:00–00:50:00
本文自拟示意,不是嘉宾实验 【节目机制复述,依据002400 Gemini+Whisper】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。
解释例:三层信息的聚合 若第4层能同时读取第1、2、3层表示,attention可给第1层0.2、第2层0.3、第3层0.5,再加权求和;普通相邻残差则只保留第3层并加入当前计算。这个0.2/0.3/0.5只是说明‘选择性聚合’,不是节目给出的权重,也不证明提升。
对应节目:00:40:00–00:50:00
本文自拟示意,不是嘉宾实验 【审读者自拟机制例,非K3公式或实测】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。
LatentMoE通信与容量补偿 输入是较大hidden state。先通过线性投影降至latent dimension,再将较小表示dispatch给专家,减少通信;容量通过更大FFN或更多细分专家补偿。输出目标是同等模型质量下更低通信与更好的部署效率。
对应节目:00:40:00–00:50:00;00:50:00–01:00:00
本文自拟示意,不是嘉宾实验 【节目机制复述,依据002400 Gemini+Whisper】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。
Attention Projection的稳定性 若线性层A把表示降维,线性层B继续处理,则A、B可合并但分开执行时中间状态可能过大或出现优化问题。RMSNorm用于约束中间表示。SiTU-GLU进一步给MLP激活设平滑上界。
对应节目:00:40:00–00:50:00;00:50:00–01:00:00
本文自拟示意,不是嘉宾实验 【节目机制复述,依据003000 Gemini+Whisper】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。
解释例:潜空间维度的通信变化 若一个表示由维度d降为d/2,单份dispatch载荷的浮点数值数量可相应减少,但还需考虑投影计算、专家权重、精度、链路和反向通信。‘减半’不能直接推出端到端训练减半或推理延迟减半。
对应节目:00:40:00–00:50:00;00:50:00–01:00:00
本文自拟示意,不是嘉宾实验 【审读者自拟说明,非K3配置或实测】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。
从启发式偏置到分位数均衡 路由给每个专家一个bias,bias影响token选择。loss-free依据激活过多/过少逐步调整;QB根据分配情况求分位数或相应阈值,目标是在全局层面均衡负载,并延后到下一步使用统计值,避免当前step信息泄露。
对应节目:00:50:00–01:00:00;01:00:00–01:10:00
本文自拟示意,不是嘉宾实验 【节目机制复述,依据003000+003600】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。
值域直方图近似 精确分位数需要大量值排序。把值域划成固定桶后,只存每桶计数;多卡计数可汇总,再从累计计数定位目标分位区间,减少存储与计算。误差受桶宽和分布影响。
对应节目:00:50:00–01:00:00;01:00:00–01:10:00
本文自拟示意,不是嘉宾实验 【节目机制+审读者解释】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。
自拟四桶例 两张GPU桶计数分别为[100,200,300,400]与[150,250,250,350],全局为[250,450,550,750]。若目标约80%位置,累计前三桶为1250,第四桶才达到2000,因此目标落第四桶。只解释如何由桶计数近似分位数。
对应节目:00:50:00–01:00:00;01:00:00–01:10:00
本文自拟示意,不是嘉宾实验 【审读者自拟解释例,非K3实测】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。
架构—Infra联合约束 注意力形式影响index成本、kernel、缓存与混合层布局;布局又影响跨层复用和训练转换。一个理论上的加速方案若无法满足这些约束,就不一定产生实际收益。
对应节目:01:00:00–01:10:00;01:10:00–01:20:00;01:20:00–01:30:00
本文自拟示意,不是嘉宾实验 【节目机制复述】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。
训练调参与系统综合结果 WSD提供预算切换灵活性但多一个变量,Cosine更简洁。Scaling efficiency是架构、训练recipe与数据策略的综合结果,不能单因子归因。
对应节目:01:00:00–01:10:00;01:10:00–01:20:00;01:20:00–01:30:00
本文自拟示意,不是嘉宾实验 【节目机制复述】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。
多教师统一接口 学生在自身候选上生成,教师提供反馈;不同能力教师共享模型接口,再统一蒸馏,降低直接合并异构RL任务的工程复杂度。能力融合仍需按任务验收。
对应节目:01:00:00–01:10:00;01:10:00–01:20:00;01:20:00–01:30:00
本文自拟示意,不是嘉宾实验 【节目机制复述】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。
Draft生成—主模型Verify draft提出候选,主模型验证并决定是否接受。若draft利用主模型hidden state,候选更贴近主模型分布,接受率可能提高,推理更快。收益取决于候选质量、验证成本和batch负载。
对应节目:01:30:00–01:40:00
本文自拟示意,不是嘉宾实验 【节目机制复述,依据005400 Gemini+Whisper】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。
预训练接口与训练目标 预训练需给MTP/draft可复用的中间表示;draft用KL等目标与主模型verify对齐。仅在部署后临时拼接小模型,未必能充分利用主模型已有能力。
对应节目:01:30:00–01:40:00
本文自拟示意,不是嘉宾实验 【节目机制复述】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。
解释例:接受率与负载 即使每次draft验证本身有成本,只要被接受的连续候选足够多,单用户仍可能加速;但多用户并行时,GPU资源被更多verify占用,总吞吐未必同比例提升。
对应节目:01:30:00–01:40:00
本文自拟示意,不是嘉宾实验 【审读者解释,非K3实测】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。
双层Context Parallel 序列先按大chunk分配到不同GPU,卡间递归传递状态;每个GPU内部再按kernel chunk执行,内部并行、外部递归。输入是长序列和递归状态,输出是分布式可计算的同一状态更新。
对应节目:01:30:00–01:40:00
本文自拟示意,不是嘉宾实验 【节目机制复述,依据005400 Gemini+Whisper】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。
数学拆分与工程开销的边界 chunk可拆说明递归形式可重组,不等于无需传输中间状态、无需同步或不占显存。大chunk跨卡与小chunk kernel要分别评估,不能拿单层CP的概念直接替代实际性能证明。
对应节目:01:30:00–01:40:00
本文自拟示意,不是嘉宾实验 【节目机制+审读者边界】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。
Dropless EP负载与通信 token按路由自由分配,不丢弃。若GPU间分配不同,计算完成时间不同并相互等待;实际发送前还需交换接收数量,形成额外协调。
对应节目:01:30:00–01:40:00;01:40:00–01:50:00
本文自拟示意,不是嘉宾实验 【节目机制复述】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。
动态冗余专家的卡级均衡 通过冗余专家和online planning,把部分token安排到不同卡上的对应专家副本,使各卡token总量对齐。输入为路由与卡容量,输出为更均衡的执行时间;卡内专家分布仍可能不同。
对应节目:01:30:00–01:40:00;01:40:00–01:50:00
本文自拟示意,不是嘉宾实验 【节目机制复述】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。
解释例:卡级与专家级 两卡各处理100 token,可说卡级均衡;但一卡内专家A处理90、专家B处理10,仍不均衡。这个例子说明为什么不能把每卡token相等直接写成每个专家负载相等。
对应节目:01:30:00–01:40:00;01:40:00–01:50:00
本文自拟示意,不是嘉宾实验 【审读者自拟机制例,非K3实测】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。
Offloading的可行条件 activation从GPU转CPU后,若传输时间不超过可用于覆盖它的计算时间,训练可不受明显拖慢。FP8降低数据量,帮助满足条件;是否成立依链路、模型与调度。
对应节目:01:40:00–01:50:00
本文自拟示意,不是嘉宾实验 【节目机制复述】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。
架构降低通信→简化Overlap LatentMoE先减少dispatch数据量,使Shared Expert的计算足以覆盖通信。传统MoE通信较大时,需要跨batch复杂重排。比较方案时要看端到端吞吐和计算开销,而非只比较调度复杂度。
对应节目:01:40:00–01:50:00
本文自拟示意,不是嘉宾实验 【节目机制复述】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。
跨PP Activation Transfer 不是直接消除高rank的activation,而是把部分存储任务转移到低rank,使峰值显存更均衡。需要传输和正确生命周期,不是零通信成本。
对应节目:01:40:00–01:50:00
本文自拟示意,不是嘉宾实验 【节目机制复述】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。
Muon与Adam的切分差异 Adam按元素更新,参数分块可较灵活;Muon依赖完整矩阵的全局操作,分块方式会影响计算和存储,需要专门设计。
对应节目:01:40:00–01:50:00
本文自拟示意,不是嘉宾实验 【节目机制复述】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。
多模态Encoder调度 长视觉序列增加encoder计算,文本/视觉比例又导致设备间负载不同。把encoder放到中后段PP,并利用中间rank空闲提前计算,可减少首rank阻塞与流水线气泡。
对应节目:01:40:00–01:50:00
本文自拟示意,不是嘉宾实验 【节目机制复述】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。
Reference/Gradient Buffer复用 前向阶段Reference提供分布但无梯度,反向阶段Gradient Buffer需要空间且Reference不再使用,因此可以复用相应内存。输入是模型与计算图生命周期,输出是更低的峰值显存。
对应节目:01:50:00–02:00:00
本文自拟示意,不是嘉宾实验 【节目机制复述】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。
线性Prefix Cache折中 线性状态随步更新,不能只保存最初状态;逐position全存又失去低存储优势。按block保存中间状态,使前缀复用与状态存储之间取得折中。
对应节目:01:50:00–02:00:00
本文自拟示意,不是嘉宾实验 【节目机制复述】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。
规模选择与系统验证 把激活数字调大本身容易,真正的工作是让注意力、MoE、训练策略、数据与Infra在更大规模下稳定运行。不能把参数规模单独当成架构创新证明。
对应节目:01:50:00–02:00:00;02:00:00–02:04:19
本文自拟示意,不是嘉宾实验 【节目机制复述】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。
well-defined能力与AGI 若能力和验收被清晰定义,可针对它优化与评估;AGI未清晰定义时,不能直接套用‘定义就能做到’的推断。
对应节目:01:50:00–02:00:00;02:00:00–02:04:19
本文自拟示意,不是嘉宾实验 【嘉宾预测,非本文事实结论】 本例的解释和数字仅按该来源标签理解,不能冒充 K3 官方公式、配置或实测。