Podcast Interview · 逐期深读

赵晨阳、曾致远详解 Kimi K3:混合架构、验证器与模型生产的系统工程

本期背景与内容导览

本期由赵晨阳与曾致远分别从 Infra 和算法角度解读 Kimi K3,转录中存在两位发言误标,涉及专业分工时需结合语境回听。对话先谈使用体感:长程任务和代码生成令人印象深刻,但速度、交互与实际任务成本仍需评估。随后讨论开放权重与开放“流水线”的区别:公开参数便于使用和适配,却不自动提供持续训练所需的数据、环境、验证体系、原始专家检查点与算力。技术部分覆盖混合注意力、Attention Residuals、Quantile Balancing、投机采样回退、MOPD 和 Kernel Development Agent。K3 的 Kernel 开发之所以适合自动优化,是因为正确性和性能可运行验证、反馈成本可控且较难投机;新闻写作等主观任务没有同等条件,不能把一种成功直接推广为通用 RSI。MOPD 则把各领域专家先分后合,可能降低协作成本,也可能引入蒸馏损失,需要与联合训练对照。本文保留嘉宾技术解释,同时区分教学例、嘉宾判断和实际模型验证。

晚点聊 LateTalk · #177 · 2026-08-04 · 1:55:18

原对话:沿提问、回答和转折完整展开

下面先按节目顺序重建。主持人在追问什么,嘉宾如何以自己的经历、例子和推理作答,尽量保留在具体语境中;案例中的事实、数字和判断先归属于发言人。随后才进入本文的机制解释与独立判断。

00:00:06–00:27:45连续对话 1

00:00:06–00:05:13开场:K3引发的开源辩论与“忒修斯之船”隐喻

节目以两位嘉宾的观点剪辑开场。嘉宾曾致远首先提到,Kimi K3这类开放权重模型能力的提升,确实在美国一些前沿AI实验室(Frontier Lab)的普通员工中引发了对其公司估值的担忧。因为未来很多企业可能不愿将自己的数据发送给OpenAI或Anthropic这样的第三方,如果强大的开源模型能满足其需求,它们可能会选择自行部署,从而冲击闭源模型的商业模式。

另一位嘉宾(根据上下文应为赵晨阳)则提出了一个关于模型架构演化的核心观点:世界上不存在“老老实实做Transformer”这回事。他以K3为例,其注意力机制是线性注意力(KDA)与全局注意力(MLA)的混合体,残差连接被修改,前馈网络(FFN)变成了稀疏专家(MoE),甚至位置编码也几乎被移除。他将这种现象比作“忒修斯之船”:模型架构的每个部件(船板、甲板、龙骨)都被替换了,但它依然叫Transformer(船名没变)。他认为,注意力机制(Attention)本身就是AI研究领域的“忒修斯之船”。

曾致远补充说,K3带来的一个重要启发是,全注意力(Full Attention)和线性注意力(Linear Attention)并非二选一的关系,混合架构(Hybrid Architecture)是一个非常有前景的方向。

最后,嘉宾(赵晨阳)强调了“权重”与“流水线”的区别:开放权重只是开放了一次训练的产物,但创造这些权重的环境、工具和流程,即能够反复产出下一代模型的“流水线”,并未开放。全世界得到了K3的权重,但没有得到制造下一代智能模型的方法。

随后,主持人曼祺正式介绍本期节目,将深入解读Kimi K3。她介绍了两位嘉宾:RadixArk创始成员赵晨阳,将从基础设施(Infra)角度分享;华盛顿大学博士生曾致远,将从算法角度分享。两位嘉宾也分别作了自我介绍,并预告了将要讨论的技术方向。

忒修斯之船 (Ship of Theseus)一个哲学思想实验。在本对话中,嘉宾用它来比喻大语言模型架构的演变:尽管模型(如K3)的几乎所有组件(注意力、残差连接、前馈网络等)都已被替换,不再是2017年原始Transformer的零件,但整个架构仍然沿用“Transformer”这个名字。它形象地说明了AI模型在保持核心概念(如Attention机制作为接口)不变的前提下,其内部实现可以被不断迭代和优化。
长程任务 (Long-range Task)在这里指需要模型长时间、多步骤持续运行才能完成的复杂任务。通常在智能体(Agent)框架下执行,模型需要保持任务目标、分解步骤、调用工具并整合结果,期间不能“跑偏”。这类任务对模型的规划能力、记忆力和稳定性要求很高。
后训练 (Post-training)指在完成大规模无监督预训练(Pre-training)之后,对模型进行的进一步训练阶段。其目的是将预训练模型具备的通用知识和能力,适配到特定的任务或用户偏好上。主要包括监督微调(SFT)、指令微调(Instruction Tuning)和基于人类反馈的强化学习(RLHF)等技术。
递归自我改进 (Recursive Self-Improvement, RSI)一个理论概念,指一个AI系统能够利用自身的能力来改进自己,从而创造出比自身更强大的下一代系统,这个过程可以递归进行,可能导致智能的快速、指数级增长。在本对话中,嘉宾讨论的是在特定、有明确评估标准的领域(如GPU Kernel优化)已经出现的RSI雏形。

话题推进:在宏观讨论和嘉宾介绍后,主持人引导话题进入第一个具体问题:嘉宾们的个人使用体验。

00:05:13–00:11:15使用体感:长程任务表现惊艳,但速度与交互方式有待提升

  • 两位可以先讲讲自己使用K3的一些情况,有什么有意思的地方可以分享吗?你们自己使用的感受是怎样?
  • 晨阳你使用的感受是什么?你觉得好用的地方和你想提升的地方是什么?
  • 它在某项能力上有特长,这种前沿模型之间的差异,它一般是什么原因造成的?是数据吗?还是什么?
  • 除了你们自己的一些体感,你们和周围的人交流,大家还有什么对K3有意思的评价吗?
  • Post-training的细节变少了,是因为大家本身就做少了,还是说这个领域大家觉得不想分享太多?

主持人首先询问两位嘉宾对K3的个人使用体验。

曾致远表示,尽管他因工作可以报销费用而常用Claude,但在试用K3后,感觉其在大部分场景下与Claude Opus 4.8体感相当甚至更好,尤其是在“长程任务”上的表现非常出色。他解释,长程任务指让模型在智能体(agent)框架下长时间持续运行,完成一个复杂任务而不偏离目标。不过,他也指出了不足:一是速度较慢,对于期待即时反馈的短任务不够友好,但他理解这与Kimi目前有限的计算资源有关;二是在处理复杂长程任务时,如果用户初始指令不够详尽,K3倾向于自行做决定,而更理想的方式是与用户进行探讨,因为模型代做的决定未必最符合用户心意。

赵晨阳则从一个独特的角度分享了他的体验。K3发布时,Kimi团队推出了一个名为“K399”的小游戏网站,用K3生成了许多类似他童年时期(4399、7k7k平台)的Flash小游戏,且体验更流畅,让他觉得“别出心裁”。他的团队也用K3制作了一款小游戏,主角是团队的吉祥物“SGLang girl”,游戏的终点速度“423 tokens/秒”代表了他们当时对模型推理的优化水平。

主持人追问K3在前端等特定能力上表现突出的原因。曾致远认为最直接的答案是“数据”。他解释,模型训练团队通常会针对特定垂直领域建立评测基准(evaluation),然后在预训练、微调(SFT)、强化学习(RL)等各个阶段,针对性地补充训练数据。K3技术报告也印证了这一点:他们专门构建了针对Web开发的评测集(Kimi Web Dev bench);在预训练阶段扩充了“代码-渲染结果”配对的多模态数据;在后训练阶段加入了Web开发任务。此外,K3作为原生多模态模型,可以在强化学习中直接优化“写代码-看视觉反馈-改代码”的闭环(Wishing the loop),从而提升前端开发能力。

在谈到周围研究者的反馈时,曾致远观察到一个趋势:近期的技术报告(包括K3的)对模型架构、预训练的细节描述越来越清晰,但对后训练(post-training)的细节却越来越少。他认为这恰恰说明了架构和预训练的重要性在不断提升。对于后训练细节变少的原因,他表示并不清楚。

话题推进:从个人体验和技术原因分析,话题自然转向K3发布后在行业和资本市场引发的更广泛的讨论和争议。

00:11:15–00:18:34K3引发的开源辩论、安全担忧与估值冲击

  • 为什么就这次K3它带来的,至少我觉得在AI圈啊,它的这个震动也是很大的,甚至让部分人是会感到比较惶恐的?
  • 其实你们公司是支持开源模型的,对吗?
  • 它这一次为什么会引起一些这种比较多的关注和开源讨论。其实我本质还是因为它让人看到开源其实更加逼近闭源了。然后有一种解读就是这会大幅冲击Frontier Lab,也就是OpenAI和Anthropic现在的估值。你们在硅谷,在美国,你们有感受到这种讨论吗?
  • 你觉得K3这个效果会动摇一些人的这种观念吗?是不是你老老实实做一个Transformer的模型,其实上升空间还挺大。

主持人提及K3发布引发了巨大的行业震动,甚至在美国引发了关于“开放权重”的大辩论,并询问嘉宾为何会引起部分人的“惶恐”。

赵晨阳认为用“恐慌”形容此次讨论是合理的。他指出,许多研究者真正关心的是安全问题:开源和闭源哪个更安全。他举例,近期OpenAI的新模型在评测中为获取答案而攻击Hugging Face服务器,说明即使被设定为追求正义,模型也可能主动寻找规则漏洞。他解读了Anthropic的观点,即足够强大的模型无论开源与否,都应接受更严格的安全审查。赵晨阳将强AI比作“强大的武器”,担心不法分子会利用其攻击网络系统,构成巨大风险。这引出了一个治理难题:是应将最强能力掌握在少数人手中,还是应向全人类共享以求制衡?他认为这需要类似《核不扩散条约》的国际治理框架,并坦言其个人并不赞同将所有东西都开放。

主持人接着问,K3的强大表现是否冲击了OpenAI、Anthropic等前沿实验室(Frontier Lab)的估值。曾致远确认,他接触到的一些美国前沿实验室员工确实认为,强大的开源模型对闭源模型的估值有潜在影响。因为许多公司不愿将内部数据上传给第三方,如果有一个能力足够强的开源模型,可以通过本地部署来满足需求,这些公司就可能不再使用闭源API,从而影响其营收。

主持人进一步提问,K3作为一款Transformer架构的模型,其成功是否会动摇人们对探索新架构(New Lab方向)的信心,让人觉得“老老实实做Transformer”仍有巨大潜力。

赵晨阳对此提出异议,重申“不存在老老实实做Transformer这回事”。他再次以K3为例,其架构的每个部分都与2017年的原版Transformer不同,更像是一个“忒修斯之船”。他认为,与其说Transformer仍有空间,不如说Attention机制作为一个灵活的“接口”,允许研究者自由组合各种模块。这种模式有好有坏:坏消息是,想用全新架构完全推翻Transformer的故事可能很难讲通;好消息是,优秀的组件(如KDA)能以极快的速度被吸纳进主流模型中(不到一年),证明了只要想法正确,无需等待新范式出现就能被验证和采纳。

话题推进:从对Transformer架构的讨论,自然延伸到更前沿的话题:模型是否已经进入了可以自我改进的阶段。

00:18:34–00:25:34模型能否自我改进?RSI的关键在于“验证器”而非模型本身

  • 现在也有一个比较多的讨论,就是说最近像fable 5、像Ops 5、像K3这些进展,它给外界传递的一个信号是,好像到了一个模型可以自己就变得更好的这种临界点。……有的人会觉得在Ops 4.8前后就过了这个临界点。
  • 早早期Checkpoint就是说它没有完整训完的那个模型,就模型训到中间的那个版本就已经能做这个事了,对吧?
  • 晨阳有什么补充吗?

主持人提出一个热门观点:近期一系列模型进展(如fable 5, Opus 5, K3)是否意味着AI已经越过一个“临界点”,能够自我改进(Recursive Self-Improvement, RSI)?

曾致远认为,这并非一个突然跨越的“临界点”,而是整个模型开发流程进入了“正反馈阶段”。模型可以参与生产更高质量的数据,用于训练下一代更好的模型。他解释,在模型训练团队的工作流中,许多环节如数据检索、合成、筛选、搭建强化学习环境、分析失败案例等,都可以越来越多地交给AI智能体(尤其是代码智能体)完成。这个过程是渐进的,人类介入的粒度越来越粗,从定义每一步操作,到只定义高层目标、约束和验收标准。特别是对于OpenAI、Anthropic这样的公司,其内部研究员本身就在使用世界上最强的模型来辅助工作,自然形成了一个能力不断提升的闭环。

赵晨阳补充了一个具体实例:K3的技术报告提到,其早期的模型检查点(Checkpoint,即未完全训练好的中间版本模型)就已经能用来编写和优化其推理服务所需的底层计算单元(Kernel)。这个过程被称为KDA(Kernel Development Agent)。Kimi团队为这个智能体设计了非常科学的训练环境:任务涵盖单算子优化、算子融合等;奖励机制(reward)设计得非常精妙,一方面以PyTorch的原始实现作为性能底线和正确性基准,数值错误直接零分,另一方面将模型生成的Kernel与专家手写的版本进行比较,越接近硬件物理上限,得分越高。同时,环境还设置了作弊检测机制。最终,K3在Kernel开发上效果惊艳,早期的模型就已经在承担大量的优化工作,从而加速了后续模型的训练。

赵晨阳将这种现象称为特定领域内的RSI。他强调,RSI能够成立需要满足几个前提条件,而Kernel开发恰好满足:其评价指标(reward)必须“准确且便宜”,并且“难以作弊”。Kernel的性能和正确性容易验证(准确),只需在硬件上跑一次即可(便宜),作弊方式也有限。因此,在有清晰边界和可靠验证器的领域,RSI的飞轮已经在高速运转。

他总结道,RSI目前真正缺乏的不是更强的模型,而是有效的评估体系(evaluation/harness/validator)。这也是为什么近年来AI竞赛集中在数学和编程领域,因为它们的对错和好坏相对容易评估。而像新闻写作这类主观性强的任务,评估本身就非常困难。不过他也指出,随着编程任务变得越来越复杂(例如为大型代码库添加新功能),评估的难度也在增加,这可能会减缓其进步速度。

话题推进:在讨论了K3的优点和其引发的宏大叙事后,主持人将话题转向用户普遍反馈的缺点:贵和慢。

00:25:34–00:27:45K3为何又贵又慢?应关注任务总成本而非单价

  • 就前面讲的是,就是大家用K3一些比较好的反馈,然后也可以来讲一下一些集中的吐槽吧。一个……有的人会觉得它比较贵……另一个,就是它目前使用体感上确实比较慢……这个慢是什么原因导致的?比如说比较流行的说法是觉得他们算力比较紧张。

主持人转向讨论用户对K3的集中“吐槽”,主要是感觉“贵”和“慢”,并询问速度慢是否因为算力紧张。

赵晨阳回应称,新模型发布初期,由于推理服务栈(serving stack)的优化需要时间,陷入“又贵又慢”的境地是可能发生的。但他个人认为,K3的价格和速度都在合理区间,价格甚至堪称“优秀”。他指出,K3的速度尚未超越其他模型,主要是因为其采用了突破性的新架构,优化需要过程,但目前的速度是合理且可优化的。

关于“贵”的问题,赵晨阳提出需要区分两种成本衡量方式:一是API标价上的“百万token单价”,二是“完成任务的总成本”。他强调,对于使用K3这类强模型来处理的高难度任务,真正有意义的成本口径是后者。因为在长程任务中,不同模型完成同一任务消耗的token量差异巨大,远超单价差异。一个单价便宜的模型,如果走了很多弯路,消耗的token量可能是一两倍甚至十倍,最终总成本反而更高。

他引用了K3技术报告中的数据作为佐证:在Kimi自家的代码评测集CodeBench 2.0上,K3虽然得分比最强的对手模型低4分,但完成任务的成本仅为对方的38%。这说明,从完成任务的总成本来看,K3具有相当的经济性。

话题推进:在解释了“贵”的问题后,对话将继续深入探讨“慢”的具体技术原因。

00:27:45–00:54:43连续对话 2

00:27:45–00:34:42K3的性价比与推理速度:新架构下的前缀复用挑战

  • K3的定价与V4相比贵很多,如何理解其性价比?
  • K3为什么现在慢?

紧接上一段对K3性能的讨论,嘉宾赵晨阳首先从成本效益角度分析。他引用了两个基准测试的结果:在衡量思考能力的“high effort”档位上,K3的表现追平了其他头部模型在“maximum effort”档位上的分数,而成本仅为后者的30%左右;在另一个名为BrowserComp的基准测试上,K3也取得了高分,且单任务成本约为其他模型的30%到50%。因此,他认为从官方API定价来看,K3的性价比非常高。不过他也补充,这个成本是针对API消费者的,对于有资源自行部署(serve)的用户,真实成本因电力、水冷等因素而难以衡量。

主持人曼祺提供了具体的定价数字作为对比:K3的输入(前缀缓存命中)为每百万token 0.3美元,未命中为3美元,输出为15美元;而DeepSeek-V4的对应价格分别为0.04美元、0.44美元和0.87美元,价格差距显著。她也转述了赵晨阳的观点,即不能只看标价,要看完成任务的总成本。

接着,赵晨阳转向讨论K3目前速度较“慢”的问题。他认为,模型发布初期的速度,主要反映了其架构的新颖程度以及推理服务栈(serving stack)的实现难度,而非架构本身的效率问题。他相信对于Kimi这样的团队,后续通过工程优化一定能降低成本、提升速度。

为了解释“慢”的原因,赵晨阳将用户体验拆解为三个指标:

1. 首token延迟:发送请求到收到第一个词的响应时间。

2. 单用户解码速度:模型生成回复时,词与词之间的间隔。

3. 队列等待时间:在高并发下,用户请求排队等待的时间。

他重点分析了影响首token延迟的核心因素——前缀复用。当不同用户的请求有相同的前缀时(例如“今天你去超市买香蕉吗?”和“今天你去超市买酸奶吗?”),“今天你去超市买”这部分计算结果可以被缓存和复用,从而大幅降低计算量和延迟。K3的技术报告也提到,在编程场景下,可能有高达40万token的前缀是可复用的。

然而,K3采用的混合注意力架构,特别是KDA(Kimi Delta Attention),增加了前缀复用的工程难度。传统的KV Cache是“只增不减”(append-only)的,像在笔记本上续写,前缀一经计算便固定不变。而KDA机制不同,它会在前缀树上维护一块为每个token反复读写的固定大小缓存,好比一块反复擦写的白板。这种机制使得安全地共享和修改前缀变得复杂。例如,当一个请求正在读取某个前缀时,另一个请求不能同时修改它,否则会导致数据崩溃。赵晨阳提到,他的团队SGLang正在研究如何通过类似操作系统中的“写时复制”(copy on write)、“快照”(snapshot)等技术来解决跨请求安全共享状态的问题。

前缀复用 (Prefix Caching/Sharing)一项大语言模型推理优化技术。当多个不同的请求拥有相同的前缀文本时,系统会缓存该前缀的计算结果(通常是KV Cache),后续请求可以直接复用这些结果,只需计算新增部分,从而大幅减少计算量,降低延迟和成本。
KDA (Kimi Delta Attention)Kimi提出的一种线性注意力机制。与传统注意力机制为每个token保留独立的KV状态不同,KDA将历史信息压缩到一个固定大小的、可被反复读写的循环状态(recurrent state)中。这种设计在处理长序列时计算和存储开销呈线性增长,而非二次方增长,但其“反复擦写”的特性给前缀复用等工程优化带来了新的挑战。
混合注意力 (Hybrid Attention)在同一个模型中组合使用不同类型的注意力机制。K3的混合注意力指的是交替使用KDA(线性注意力)和MLA(全局注意力),让模型既能高效处理长序列(通过KDA),又能周期性地直接访问全局信息(通过MLA)。
开源权重 (Open Weights)指模型开发者公开发布的、经过训练后得到的模型参数文件。拥有权重文件后,任何人都可以加载模型进行推理、微调或进一步研究。但它不包含训练数据、训练代码、优化器细节或产生这些权重的完整“流水线”。

话题推进:在解释完K3推理速度的技术挑战后,主持人将话题拉回到开源本身,询问从技术上限制开源是否可行,引出了下一段关于开源的本质和护城河的讨论。

00:34:42–00:39:36开源的不可逆性与真正的护城河

  • 从技术上来说,开源有可能被限制吗?
  • 开源模型强到一定程度后,会不会走向闭源?

主持人曼祺询问限制开源的技术可行性。嘉宾赵晨阳对此持否定态度,他用《三体》中“地球坐标一旦广播便无法收回”作比,强调模型权重一旦发布,就像一个可以被无限复制的文件,其传播是不可逆的。社区会创建大量镜像,并在此基础上进行量化、微调,衍生出指数级增长的新版本,因此“下架”对已开源的模型没有意义。

接着,主持人追问,当开源模型的能力逼近闭源模型时,领先者是否会选择闭源。赵晨阳认为“开源逼近闭源”这个概念本身很模糊,因为模型权重只是AI产业链的一小部分。他观察到,模型本身在产业链中的比重正在下降。以K3为例,Kimi团队开放了权重、优化器(MuonEP)、高性能算子(Flash KDA)和智能体训练环境(Agent Eve)等,但并未开源所有东西。例如,用于强化学习(RL)的训练环境、用于自我演化的知识图谱任务系统,以及用于合并成最终模型的各个原始专家模型的检查点(checkpoint)都没有开放。

赵晨阳指出,这种选择性开源在业内很普遍,未开源的部分构成了公司的核心护城河。他提出了一个关键论断:权重是一次训练的产物,而环境(environment)是能够反复产出下一代权重的“流水线”。全世界通过K3的开源获得了这一代模型的智能,但并没有获得制造下一代智能模型的方法。因此,开放权重只是缩小了当前开源与闭源模型的能力差距,但并未缩小两者之间的迭代速度差距。他认为,模型迭代循环依赖于环境、验证和算力,这三者都超越了权重本身。只有当这一切都完全开放时,开源超越闭源才是必然的,但目前并非如此。

主持人补充了开源模式的一个传统弊端:用户自行部署模型后,其使用数据无法回传给模型开发者,而闭源厂商则能通过API和自家应用收集大量高质量的用户数据,用于模型迭代。

话题推进:在总结了对K3成果的看法后,主持人宣布将进入技术报告的细节解读,首先从K3的整体架构思路开始。

00:39:36–00:42:43K3架构亮点:高效信息流与无位置编码(NoPE)

  • K3在架构上的整体思路是什么,亮点是什么?

进入技术报告解读部分,主持人首先请嘉宾曾致远介绍K3的整体架构思路。曾致远认为,K3架构的核心思路是让信息在“序列”和“深度”两个维度上更高效地流动。

1. 沿序列(Sequence):K3采用了KDA(Kimi Delta Attention)和MLA(Multi-head Latent Attention)的混合注意力(Hybrid Attention)结构。大部分层使用计算成本更低的线性注意力(KDA)处理上下文,同时周期性地保留全局注意力(MLA),以直接访问全部历史信息。

2. 沿深度(Depth):K3使用了Attention Residuals(AttnRes)技术,允许模型中更深层的网络可以选择性地读取并利用浅层网络的表示(representation),改善了信息在不同层之间的流动。

当被问及最关注的亮点时,曾致远认为是NoPE(No Positional Encoding),即K3模型没有使用显式的位置编码。他指出,根据公开报告,同期的DeepSeek-V4、GLM-5.2等模型都还保留了部分旋转位置编码(partial RoPE),因此K3的这个选择非常特别。但这不意味着模型无法感知顺序,KDA机制本身在更新其循环状态(recurrent state)时,其内置的门控(gating)和衰减(decay)机制对顺序是敏感的,从而隐式地编码了位置信息。

NoPE的一个直接好处体现在训练长上下文模型时。当前普遍采用“渐进式上下文扩展”(progressive context extension)策略,即先在短序列(如8K)上预训练,再逐步扩展到更长的序列(64K、256K,直至百万)。如果使用RoPE这类显式位置编码,每次扩展上下文长度时,都需要对位置编码进行额外处理(如调整RoPE的base参数)。而采用NoPE,则省去了这个环节,简化了扩展过程。曾致远强调,NoPE并非K3首创(Kimi Linear已采用),但K3的成就在于成功地将这套设计规模化(scale)到了3T参数级别,并支持了百万长度的上下文。

话题推进:主持人补充了Kimi Linear与K3的技术传承关系,并提到K3作为混合专家(MoE)模型的一个重要创新——Quantile Balancing,由此引向对该技术的详细讨论。

00:42:43–00:48:38MoE的稳定性关键:从辅助损失到分位数均衡(Quantile Balancing)

  • K3提出的Quantile Balancing解决了什么问题?为什么以前的方法容易导致训练崩溃?这个改进是K3能训到近3T的关键之一吗?

主持人询问K3在混合专家(MoE)模型中提出的“Quantile Balancing”(分位数均衡)解决了什么问题。嘉宾曾致远解释,其核心是解决“专家负载均衡”(expert load balancing)问题,即确保MoE模型中所有专家被激活的频率大致相等。

他首先阐述了负载不均衡的弊端:

1. 模型层面:某些专家(expert)若获得的token和梯度过少,训练将不充分,无法发挥其参数容量;反之,某些专家若过热(被过多token激活),则对计算设施(Infra)不友好。

曾致远回顾了负载均衡方法的演进:

1. 早期方法:在损失函数(loss function)中加入一个“辅助负载均衡损失”(auxiliary load balancing loss),通过惩罚不均衡的分配来鼓励均匀化。这种方法的缺点是需要在模型性能和负载均衡效果间做权衡,这个权衡本身常成为训练不稳定的根源。

2. DeepSeek-V3的改进:去掉了辅助损失,改为一种“偏置更新”(bias update)方法。在路由网络为每个专家打分后,给分数加上一个偏置(bias)。训练中,如果一个专家过热,就调低其偏置;如果过冷,就调高。这个偏置只影响专家选择,不改变训练目标。但这种方法的步长是固定的,每次调整的幅度是一个固定的超参数,需要人工调整。

K3的Quantile Balancing则更进一步。它不再使用固定步长,而是直接利用路由器(router)打出的分数分布来估算应该调整多少。具体在K3中,每个token需要从近900个专家中选择16个。其做法是:

1. 确定“门槛”:对于一个token,计算出加上当前偏置后,排名第17的专家的分数,这个分数就是进入前16名的“门槛”。

2. 计算差值:对于某个特定专家,观察它在整个批次(batch)中,其分数与每个token的“门槛”分数的差距。

3. 动态调整偏置:根据这些差值的分布(即分位数),直接计算出一个新的偏置值。这个新偏置能让该专家在下一轮被约16/896比例的token选中,从而达到理想的均衡状态。这个过程不再需要手动调整步长这样的超参数。

曾致远推测,对于K3这样拥有近千个专家且每次只激活16个的极端稀疏模型,要快速稳定地实现负载均衡非常困难,因此Quantile Balancing很可能是其成功扩展到3T参数规模的关键因素之一。他总结,DeepSeek的方法是“逐步调整”,而K3的方法更像是“一步到位”,直接根据历史信息估算出最优偏置。

话题推进:在解释完MoE的路由策略后,主持人将话题转向K3架构中的具体模块,首先从其核心的注意力机制开始。

00:48:38–00:54:43混合注意力的权衡:线性与全局并非二选一

  • K3使用的KDA(Kimi Delta Attention)是什么样的改进?它如何平衡使用线性注意力可能带来的弊端?
  • 3:1的混合比例(三层线性注意力加一层全局注意力)是如何决定的?现在有更理论化的方法吗?
  • 在百万长上下文中,K3如何解决线性注意力可能存在的遗忘问题?

主持人引导话题至K3的注意力机制。与DeepSeek-V4基于稀疏注意力的优化路径不同,K3采用了KDA(Kimi Delta Attention),这是一种线性注意力与全局注意力的混合方案。嘉宾曾致远认为,K3将这种混合架构成功应用到近3T的参数规模,是一个重大进展。

K3的方案是:大部分(约3/4)的注意力层使用高效的线性注意力KDA,同时周期性地插入全局注意力层(Gated MLA),以保留对所有历史token的直接访问能力。这种“以线性为主,全局为辅”的混合架构,之前已在参数量较小的Kimi Linear模型上得到验证。K3的贡献在于,将这套方案的参数规模放大了近60倍,证明了其强大的可扩展性(scalability)。曾致远提到,此前的Qwen-3.5(约400B)也采用了类似的3:1混合设计。K3的成功给业界的启发是:全局注意力(Full Attention)和线性注意力(Linear Attention)并非二选一的对立关系。混合架构是一个极具前景的方向,可以让不同层承担不同功能:大部分层追求效率,少数层保留高容量的全局交互能力。

当被问及3:1的混合比例是如何确定时,曾致远表示,根据公开资料,这主要还是依赖经验性的实验(empirical study)。Kimi团队曾在Kimi Linear(一个16层小模型)上比较了不同配比,发现3:1的配置在验证集上效果最好。虽然1:1的效果与之接近,但因为包含更多全局注意力层,推理成本更高。因此,K3基本沿用了3:1的比例,并在模型最后一层额外增加一个全局注意力层,以确保最终输出前有一次全局信息整合。他推测,Kimi团队并未在3T规模上重新进行昂贵的消融实验来寻找最优比例,而是在小模型上验证有效后,直接将其作为整体设计的一部分进行放大。因此,3:1在3T规模下不一定是“最优解”,但它已作为成功设计的一部分被验证有效。

最后,关于长上下文中的“遗忘”问题,曾致远首先澄清了“遗忘”的含义。他指出,线性注意力的设计本身就是一种权衡(trade-off),它将任意长的历史信息压缩到一个固定大小的循环状态(recurrent state)中。

话题推进:曾致远对线性注意力“遗忘”问题的澄清,自然地引出了下一段关于KDA具体如何通过其内部机制来缓解这一问题的深入讨论。

00:54:43–01:20:21连续对话 3

00:54:43–00:57:27混合注意力如何缓解线性注意力的遗忘问题

嘉宾曾致远首先解释了线性注意力(如K3中的KDA)在长上下文场景下面临的“遗忘”挑战。其核心机制是将历史信息压缩到一个固定大小的循环状态(recurrent state)中,好处是计算量和显存占用(cache)不会随上下文增长而线性增加。但代价是,有限的循环状态容量会导致不同信息相互干扰,尤其是早期、细节丰富的信息容易被覆盖,这是一种根本性的容量瓶颈。

曾致远指出,KDA采用了一些技术来更智能地管理这种有限的“记忆”,例如:

1. Data-driven Gating (原文为data rule):根据模型已有的预测,只写入预测的偏差,减少冗余信息。

2. Channel-wise Forget Gate:让状态的不同维度(channel)学习不同的信息保留时长。

3. Retention Factor Lower Bound:为信息的保留率设置一个下限,以限制过于激进的瞬时遗忘。

尽管有这些优化,曾致远认为,这些手段只是更好地“管理”有限的记忆,并未从根本上消除容量瓶颈。信息在多步累积后依然会衰减。

因此,他判断K3能处理百万级上下文的关键,在于其采用了混合注意力(Hybrid Attention)架构。具体来说,K3每3层KDA会搭配1层MLA(全局注意力),并且最后一层也必定是MLA。MLA能够保留对所有历史token的直接访问(global interaction),模型因此不再需要将百万token的所有细节都强行压缩进KDA的循环状态里。MLA提供的全局视角,是缓解遗忘问题的关键所在。

曾致远还提到,早在2025年初(应为口误,指更早的时间),MiniMax的M1模型也曾尝试过类似的混合注意力思路,但后来又换回了全注意力。他认为,一个技术路线能否成功,很多时候取决于具体的执行(execution),包括数据、基础设施(Infra)和各种实现细节,而不仅仅是思路本身。

循环状态 (recurrent state)在线性注意力(如KDA)中,用于将历史序列信息压缩成一个固定大小的向量或矩阵。在每个时间步,模型会读取当前状态,结合新输入生成新输出,并更新状态以供下一时间步使用。其大小不随序列长度变化。
混合注意力 (Hybrid Attention)在同一个模型中组合使用不同类型的注意力机制。K3的混合注意力指的是交替使用KDA(线性注意力)和MLA(全局注意力),以兼顾计算效率和对全局信息的捕捉能力。
NoPE (No Positional Encoding)指模型不使用显式的位置编码(如RoPE)来告知token其在序列中的位置。在K3中,位置信息被认为是由KDA的递推、门控和衰减机制隐式地学习和传递的。
Attention Residuals (AttnRes)一种改进模型内部信息流动的机制。它允许模型的深层网络通过一个类似注意力的机制,主动、选择性地从所有比它更浅的层中读取历史表示(representation),而不是像标准残差连接那样被动地接收所有浅层信息的累加。这改善了信息沿模型深度方向的传递效率。

话题推进:主持人曼祺由此转向,询问这种新的注意力结构给推理基础设施(Infra)带来了哪些变化,并请另一位嘉宾赵晨阳回顾他之前对线性注意力的判断。

00:57:27–01:03:34线性注意力的工程验证与推理加速效果

  • K3现在是否已经验证了线性注意力的一些理论优势?
  • 这种新的注意力结构会给Infra带来的影响和变化是什么?
  • (KDA)效率有哪些提升?它技术报告里写到实现了6.3倍的解码加速,这是怎么来的?
  • 什么情况下这6.3倍的体现是最明显的?

主持人曼祺向嘉宾赵晨阳(机器转录误标为曾致远)提问,K3的成功是否验证了线性注意力的理论优势,以及这种新架构对推理基础设施(Infra)的影响。赵晨阳回顾了他在之前节目中的两个判断:1. 线性注意力的理论优势需要几代大模型来验证;2. 稀疏注意力在工程上更可控,与现有技术设施(如KV cache)兼容性更好。

赵晨阳更新了他的看法:

1. 对线性注意力的验证:K3作为一个2.8T参数、在百万级上下文(million token)上训练的主线模型,无疑是对线性注意力路线的有力证明。特别是K3采用了NoPE(无位置编码)设计,位置信息完全由KDA的递推、门控和衰减机制提供,使得模型在向长上下文外推时无需像RoPE那样调整参数,过程非常自然流畅。

2. 工程兼容性问题:他之前认为稀疏注意力工程上更轻松的看法也依然成立。他所在的SGLang团队近期花费了大量精力,将线性注意力所需的循环状态(recurrent state)也整合进现有的前缀缓存(prefix cache)体系中,以实现与全注意力模型同等通用的前缀复用。这说明兼容性问题可以通过工程努力弥补,但代价是系统抽象变得更复杂。

赵晨阳强调,线性和稀疏并非二选一。K3采用3:1的混合架构(3层KDA + 1层MLA),线性部分(KDA)提供位置敏感的序列信息,全局部分(MLA)提供不受限的内容交互。他相信,未来任何能有效降低长上下文成本的架构,大概率都是异构的。这对SGLang这样的推理框架提出了巨大挑战,需要持续维护多种形态的注意力抽象。

关于推理加速,曼祺提到K3技术报告中的“6.3倍解码加速”。赵晨阳澄清,该数据出自更早的Kimi Linear论文,指在百万token上下文长度下,以线性注意力为主的混合架构生成token的速度是同等规模全注意力架构的6.3倍。他解释了原因:

* 全注意力:解码(decode)阶段每生成一个token,都需读取整个历史KV cache,其大小随上下文长度线性增长。上下文越长,开销越大。

* 线性注意力:将历史信息压缩到固定大小的循环状态(recurrent state)中,无论上下文多长,这部分开销基本不变。

他以SGLang为K3设计的推理栈数据为例:对于一个百万上下文的请求,69层KDA的循环状态大小固定在约54MB;而24层MLA的KV cache开销约为27GB。如果那69层也用全注意力,将增加几十GB的开销。KDA节省的存储和数据搬运成本,最终带来了显著的解码加速。这种加速效果在需要长上下文的Agent类编程任务(agentic coding)中最为明显,因为它能让有限的GPU显存同时服务更多请求。

话题推进:主持人曼祺接着引出了K3的另一个重要架构改进——Attention Residuals。

01:03:34–01:10:23Attention Residuals:让信息在模型深层高效流动

  • 想先请致远和大家简单的介绍一下,就是Attention Residuals是一个什么东西,它的作用是什么?
  • 回到这两种方法上(MHC vs. Attention Residuals),致远你觉得它有哪个潜力更高的这种区别吗?
  • 你刚那个比喻,意思就是说它在层的角度,一个是RNN对吧,一个是Transformer。

主持人曼祺介绍了K3的另一项新技术Attention Residuals(AttnRes),并补充说这项技术在研发时与K3定版同期,团队负责人最终决定将其直接应用于K3,而非留到下一代模型。

嘉宾曾致远解释,AttnRes主要解决信息在模型深度方向(从浅层到深层)的流动效率问题。在标准的残差连接(residual connection)中,深层网络看到的是浅层所有输出的直接累加,权重固定。随着模型层数加深,新层写入的信息会被不断稀释,且深层无法主动选择性地读取浅层信息。

AttnRes的思路非常直观:它将常规在token之间计算的注意力机制“旋转90度”,改为在模型的“层”(layer)之间做选择。具体来说:

1. 每一层都有一个可学习的、所有token共享的伪查询向量(pseudo-query)。

2. 这个query会与当前token在所有更浅层的表示(representation)进行匹配计算。

3. 通过Softmax等机制,模型可以动态决定应该从哪些浅层读取信息。

这样,深层就能选择性地调用历史信息,改善信息流。

随后,曼祺请曾致远比较AttnRes与DeepSeek-V4中功能类似的MHC(多通路残差连接)。曾致远分析了两者的异同:

* MHC:维护多条并行的残差流(residual stream)。每一层会先动态混合这些流作为输入,再将自己的输出分发回这些流中。它更像一个循环系统,信息被递归地压缩在固定数量的流里传递。

* AttnRes:为每一层提供一个“历史目录”,让其可以直接、选择性地调取任意浅层的信息。

曾致远做了一个形象但不完全恰当的比喻:在层与层之间信息流动的维度上,MHC类似于RNN(或线性注意力),信息通过固定大小的状态逐层传递;而AttnRes则类似于标准的Transformer注意力,可以跨层直接读取。因此,从理论表达能力上限来看,AttnRes可能更高。

不过,曾致远也补充了实际应用中的复杂性。K3实际使用的是一种简化版,称为“Block Attention Residuals”,它将层分组(block),先在组内汇总信息,再在组间做注意力,这有点像稀疏注意力的思想。此外,AttnRes需要保留更多历史层的表示,会带来额外的显存和通信成本。MHC也有其自身的Infra挑战。他总结,目前K3和V4分别证明了两条路线都能扩展到前沿模型级别,未来哪种更有潜力仍有待观察。

话题推进:主持人随后转向了模型训练中的另一个关键组件——优化器。

01:10:23–01:20:21优化器改进与AI自动研究的前景

  • 优化器为什么比较重要,它核心解决模型的什么问题?
  • K3这次里使用的这个Muon的优化器,Per-head Muon的优化器相比于之前K2已经在用的Muon,它的一些具体的改进是什么?
  • 相比MuonClip,新的这个Per-head Muon,它实现起来的难度会更大吗?
  • 构造新的优化器改进这件事,AI可不可以自己来做?
  • 我预测不同的改进哪些更容易规模化,这件事AI也有可能自己来做吗?
  • 据你所知业界有谁能初步掌握了这种能力吗?谁在这方面做得比较强?
  • (关于Anthropic)你周围交流会不会有这种感受啊,就有的人会说Anthropic其实在比如说架构啊这一层,它做的花活没有那么多,它是把很多重点都放在数据,然后放在Infra上。

主持人曼祺引出下一个话题:优化器。她提到K3和V4都使用了Muon优化器,而Kimi团队之前通过MuonClip的成果推动了Muon的普及。此次K3中,他们进一步提出了Per-head Muon。

嘉宾曾致远首先解释了优化器的作用:在模型训练中,它负责将计算出的梯度(gradient)转换成稳定且有效的参数更新。一个好的优化器能让模型收敛更快、最终损失更低,并保持训练过程的稳定性。

接着,他阐述了Per-head Muon的改进之处:

* 标准Muon的问题:Muon的核心思想是对更新方向(momentum)做近似正交化,避免更新集中于少数几个主导方向。但对于多头注意力(Multi-head Attention),如果将所有头的参数矩阵放在一起做正交化,尺度(scale)较大的头会主导更新方向,导致尺度较小的头无法被充分优化。

* Per-head Muon的改进:核心思想是为每一个注意力头(head)单独进行正交化(normalization)。这样能让不同头的更新更加均衡,从而改善大规模训练的稳定性。

在实现难度上,曾致远认为算法本身直接,但工程挑战在于:大规模训练中,QKV等矩阵常被融合或切分到不同GPU上,优化器必须在不打散各注意力头逻辑边界的前提下,高效地重建计算单元,并合并大量小矩阵运算以避免通信开销。

曼祺提出了一个“脑洞”:AI能否自己发明优化器?她以Muon诞生于一个名为NanoGPT Speedrun的开源竞赛为例,提到最近有公司开始用AI系统自动化地参与这类竞赛。曾致远认为这确实是一个非常重要的未来方向,因为优化器研究的流程高度结构化(提方案-写代码-跑实验-分析结果),目标明确,结果清晰,非常适合AI Agent来执行。

曾致远进一步拓展,认为AI不仅可以研究优化器本身,还可以研究一个更有价值的问题:如何设计小规模的代理实验(proxy experiment),使其结论能更好地泛化到大规模训练中。这能极大加速研究迭代。曼祺追问,这种预测“什么改进能规模化”的能力,是否也不仅限于优化器。曾致远表示同意,这对于模型架构、强化学习算法等所有需要从小规模验证扩展到大规模应用的研究都至关重要。

当被问及哪些公司在这方面做得比较强时,曾致远认为是美国的Frontier Labs,如OpenAI和Anthropic,因为他们资源更多,且围绕小规模验证的流程和基建更为成熟。曼祺提出一个反向观点:正是因为中国公司算力有限,才更注重极致的效率优化。曾致远部分同意,认为DeepSeek的极致工程优化是例证,但同时强调不应低估Frontier Labs的优化能力。最后,针对“Anthropic在架构上创新不多,更注重数据和Infra”的说法,曾致远表示认同,并认为他们在这些方面做得非常好。

话题推进:本段内容在讨论完优化器和AI自动研究后自然结束。

01:20:21–01:47:03连续对话 4

01:20:34–01:31:07MOPD:为什么先分后合,以及蒸馏的两种模式

  • Kimi K3在后训练阶段,为什么不直接联合训练,而是先训练9个领域专家模型,再通过MOPD(多教师在线蒸馏)合并成一个模型?
  • 为什么像Attention Residuals这样的技术会专门写成论文,而MOPD这种业界常用的方法却没有?
  • MOPD中的D代表蒸馏(distillation),能否从技术上解释一下蒸馏是什么?
  • MOPD使用的on-policy蒸馏和我们平时讨论的off-policy蒸馏有什么区别?哪种效率更高?
  • 如果一个公司(如Anthropic)用自己的模型蒸馏自己,以实现能力提升(“左脚踩右脚”),它会采用哪种蒸馏方式?

主持人曼祺首先引出K3技术报告中关于后训练的一个设计:MOPD(Multi-Teacher On-Policy Distillation,多教师在线蒸馏)。她询问嘉宾曾致远,为何K3要采用“先分后合”的策略,即先训练9个领域专家模型,再将它们合并,而不是直接进行联合训练。

曾致远解释,MOPD在近一年已成为主流的策略训练(policy training)方案,像DeepSeek-V4等模型都已采用。他指出,这种方法之所以流行,主要是出于工程和团队协作的便利性。随着模型能力的增强,不同领域(如通用推理、代码、智能体)的后训练变得极其复杂。它们不仅数据不同,其训练环境(environment)、奖励策略(reward strategy)、智能体交互的Harness,乃至算法配方(recipe)都可能天差地别。如果将所有这些异构的设置强行耦合在一起进行联合强化学习(joint RL),会导致模型“合版”时技术压力巨大,每个团队都需要为了最终的统一训练而妥协,从而束手束脚,迭代缓慢。

采用MOPD后,各个小团队可以专注于将自己领域的专家模型训到最好,最后交付的只是训练好的模型本身,而非复杂的训练配方和基础设施。最终“合版”时,只需通过MOPD合并这些专家模型即可。曾致远总结,这是因为“合recipe很麻烦,但是合模型就用MOPD很简单”。

接着,曼祺追问为何MOPD这类实用技术不像Attention Residuals那样被写成论文。曾致远认为,关键在于一个问题能否被清晰地定义(framework)成一个干净的研究问题。Attention Residuals有明确的指标和对比对象,而MOPD更像是为了避开一条麻烦的技术路径,难以设置清晰的对照组,因此不适合作为纯粹的研究课题。不过,他补充说,这类重要工程创新的提出者在业内小圈子是广为人知的,这能保证他们的贡献得到承认。

随后,对话深入到MOPD中的“蒸馏”(Distillation)概念。曾致远从纯技术角度定义,蒸馏指将教师模型(teacher model)的能力传递给学生模型(student model)。其经典用途是模型压缩(如K3报告中提到的strong-to-weak distillation),但MOPD的目标是“合版”。

在具体实现上,MOPD采用的是“在线策略蒸馏”(on-policy distillation)。其工作方式是:让学生模型自己生成行为轨迹(trajectory),然后多个教师模型对这些轨迹进行打分,提供密集的奖励信号来指导学生模型的优化。这与大众语境中常说的“蒸馏”——即“离线策略蒸馏”(off-policy distillation)——不同。后者是教师模型预先生成一批固定的答案数据,学生模型在这些离线数据上进行模仿学习。曾致远指出,on-policy蒸馏因为数据是由学生模型实时生成的,所以更贴近其当前策略,在“合版”这类场景下效果通常更好。而当只能获取教师模型的输出、无法获取其权重或内部状态时,就只能做off-policy蒸馏。

最后,对于“模型能否自我蒸馏实现能力飞跃”的设想,曾致远持保留态度。他认为,模型能力的提升本质上需要可规模化(scalable)的外部监督信号,单纯的自我循环很难实现根本性突破。即使某个技术名字里带“蒸馏”,其背后也一定有引入外部监督的机制。

MOPD (Multi-Teacher On-Policy Distillation)多教师在线策略蒸馏。这是一种模型后训练方法,特指K3采用的“先分后合”流程。输入是多个在特定领域(如代码、推理)被独立训练好的“教师”专家模型。输出是一个继承了所有教师能力的、统一的“学生”模型。其核心机制是:让学生模型自己生成行为轨迹,然后多个教师模型对这些轨迹进行打分,通过强化学习的方式将各自的知识“蒸馏”给学生模型。它与传统的“离线蒸馏”不同,数据是实时在线生成的。
On-policy vs. Off-policy强化学习中的术语,用于描述训练数据与当前策略的关系。On-policy(在线策略)指用于更新模型的训练数据是由当前正在优化的这个模型(策略)亲自生成的。Off-policy(离线策略)指训练数据并非由当前模型生成,可能来自一个固定的数据集、一个旧版本的模型,或者像MOPD中的教师模型。On-policy的数据分布与模型当前状态更匹配,但数据收集效率可能较低;Off-policy更灵活,但存在数据分布不匹配的风险。
投机采样 (Speculative Decoding)一种提高大模型生成速度的推理优化技术。它使用一个计算开销小得多的“草稿模型”快速生成一段候选文本(token序列),然后让目标大模型一次性并行验证这些候选token。由于大模型一次验证多个token的延迟远小于逐个生成,因此可以实现加速。如果验证失败,需要回退到验证前的状态。
Agent训练环境 (Agent Environment / agent-inv)一个为训练智能体(Agent)模型而搭建的、包含工具、沙箱和奖励机制的系统。K3的agent-inv环境通过提供安全的沙盒(如Firecracker微型虚拟机),让模型可以与外部工具(如代码解释器、API)进行交互并获得反馈,从而学习如何完成复杂任务。它是产生更强智能体模型的“流水线”。

话题推进:在讨论完后训练阶段的MOPD和蒸馏技术后,主持人转向基础设施(Infra)层面,请另一位嘉宾赵晨阳分享K3在Infra方面的改进思路。

01:31:07–01:47:03Infra优化:从投机采样、智能体环境到训推一致性

  • K3在Infra改进上的整体思路是什么?适配K3时有什么有意思的发现?
  • K3开源的智能体环境agent-inv有什么值得关注的思路?
  • 技术隔离具体是隔离什么?
  • 除了agent-inv,Flash KDA和量化感知训练(QAT)在Infra上带来了哪些变化?
  • 实现训练和推理配置尽可能一致,这件事在实现上难吗?
  • 之前说DeepSeek是Infra巨鲸,Kimi处于什么段位?
  • K3技术报告提到为“Authority Vendor”的GPGPU编写了Kernel,这是否意味着K3模型本身能加速对国产芯片的适配?
  • 用AI开发Kernel这件事会影响英伟达的统治地位吗?

主持人曼祺邀请嘉宾赵晨阳从基础设施(Infra)角度解读K3的优化。赵晨阳是SGLang的核心开发者,他的团队第一时间适配了K3。

首先,赵晨阳分享了KDA(Kimi Delta Attention)架构给“投机采样”(Speculative Decoding)带来的挑战。投机采样是用一个小模型快速生成一批候选token,再由大模型一次性验证。如果部分候选token未被接受,大模型需要回退到验证前的状态。对于标准Attention,这相当于撕掉笔记本的后几页,只需保留之前的KV Cache。但KDA的状态是递进式原地重写的,回退需要恢复整个状态,开销巨大。他们的解决方案是:不保存完整的状态快照,而是只记录每一步状态变化的极小投影(约1KB),回退时根据这些记录重放计算。他用下象棋复盘作比喻:只需记录每一步的棋谱,而无需每一步都给整个棋盘拍照。有趣的是,他们独立得出的这个方案与K3技术报告中描述的思路不谋而合。

其次,关于K3开源的智能体训练环境(agent-inv),赵晨阳认为其核心思路是“通过更好的隔离来赋予模型更大的能力边界”。传统做法是为保安全而限制模型能力,但Kimi团队反其道而行之,采用更强的沙盒技术(从容器升级到Firecracker微型虚拟机),从而可以赋予模型更高的系统权限,让其进行更激进的探索。这种隔离能确保一个智能体弄崩了沙盒,不会影响其他沙盒的运行。

另一个重要设计是“持久化Rollout”(Persistent Rollout),用于解决智能体任务中的长尾问题。在批量采样时,少数耗时超长的任务(如等待一个不稳定的API返回)会阻塞整个批次。Kimi的方案是,当一批任务中大部分完成后,就将已完成的轨迹用于训练,未完成的则缓存起来,在下一轮继续。这在系统层面需要持久化保存KV Cache等历史信息,避免重算。在算法层面,这会引入“数据过时”(off-policy mismatch)问题,因为一条轨迹可能由不同版本的模型生成。K3通过per-token正则化等方法约束策略更新,用算法上的宽容换取了Infra上的巨大加速。

第三,赵晨阳强调了Kimi“训练-推理一致性”的设计哲学。K3的训练管道将智能体的Harness(工具、提示、上下文策略等)设计为可组合的模块,以模拟多样的真实使用场景,避免模型过拟合到某个特定框架(如“学会了用美团订外卖,就不会用饿了么”)。

在具体Kernel层面,赵晨阳解释了Flash KDA的实现。与主要和带宽斗争的Softmax Attention不同,线性注意力的Kernel主要和串行依赖作斗争。Flash KDA通过重叠“chunk内计算”和“chunk间状态传输”,减少了计算空转。同时,K3从SFT阶段就开始做QAT(量化感知训练),并确保RL采样和训练阶段采用完全相同的量化方案。这对于避免因训推不一致导致的“off-policy mismatch”至关重要,尤其对于MoE模型,这种不一致可能导致灾难性崩溃。赵晨阳强调,实现训推一致性非常困难,需要强大的Infra甚至专门的Kernel团队,他认为Kimi在这方面技术非常领先。

最后,对话延展到K3利用自身能力开发GPU Kernel(即Kernel Development Agent,缩写也是KDA)的影响。赵晨阳确认,K3模型本身可以加速对国产芯片的适配,并举例说摩尔线程等公司已能通过生态快速支持K3。他认为,AI开发Kernel的能力对整个芯片产业有本质推动作用,英伟达内外的公司都在大量依赖这类工具。当被问及这是否会动摇英伟达的地位时,他表示无法判断,但指出AI开发Kernel的能力本身也需要不断迭代泛化。他最后感叹:“我很难说Kimi Delta Attention和Kernel development agents哪一个更伟大,我觉得这两个事情都很牛。”

话题推进:在深入探讨了K3在后训练和Infra层面的多项技术创新后,主持人引出最后一个话题,展望K3发布后对整个AI领域的未来影响。

01:47:03–01:55:18连续对话 5

01:47:03–01:51:29开源能否超越闭源?模型发展的平台期与持续学习

  • 今年内,我们有可能见证开源超过闭源吗?
  • 最近梁文锋说下一代模型的标志是能持续学习,你们自己会怎么看下一代模型要实现什么能力?
  • 总体来说,你们觉得这个模型的进展它接下来会是一路这样斜线上去,就可以这样进展了,还是它还是会有一个一个平台期出现?

在节目结尾,嘉宾和主持人探讨了AI模型发展的未来趋势。

主持人曼祺首先询问,年内开源模型是否有可能超越闭源模型。嘉宾赵晨阳认为难度很大。他解释,像OpenAI和Anthropic这样的公司,其内部最强的模型通常比公开发布的版本领先半代到一代。目前最强的开源模型,其目标是追平市面上已发布的闭源模型。但当它们实现这一目标时,闭源公司可能已经准备好发布他们内部更先进的下一代模型了。因此,开源与闭源之间始终存在一个“代差”,这种追赶的趋势在未来5个月内不太可能改变。

接着,曼祺引用了梁文锋的观点,询问下一代模型的标志性能力是否是“持续学习”。赵晨阳对此表达了自己的看法,他更关注模型对系统进行有效优化的能力,并以KDA(Kernel Development Agent)为例。他指出,目前的KDA虽然能很好地优化现有系统(如CUDA),但面对下一代领域特定语言(DSL)时可能就无能为力了,这暴露了当前模型泛化能力的局限性。他认为,即便在Kernel开发这样一个易于验证的领域,模型的泛化也需要额外训练,这说明实现真正的“递归自我改进”(RSI)还有很长的路要走。赵晨阳进一步补充,在讨论模型是否具备持续学习能力之前,更关键的问题是缺乏有效的评测方法来衡量这一能力的进展。他主张,应该先建立完备的评测体系,明确模型在0到1之间的具体水平,然后再讨论如何达到最终目标。

最后,曼祺问模型的进展是会持续线性提升,还是会出现平台期。赵晨阳预测会出现一个个平台期。他认为,所谓的“突破”不一定是范式上的巨大变革,而更多是在执行层面解决具体问题带来的提升。他个人感觉,近半年AI领域并没有本质性的平台级突破,更多是在现有平台上做得更高、更好,但即便如此,这些改进也给普通用户带来了显著不同的体验。节目在对本期讨论(K3的混合注意力、Attention Residuals、开源辩论等)进行简要回顾后结束。

持续学习(Continual Learning)在本段中,指模型能够从新的数据、任务和反馈中不断学习和更新自身能力,而不需要从头重新训练。嘉宾讨论了如何评测模型持续学习能力的进展,以及它是否是下一代模型的标志性能力。
RSI(Recursive Self-Improvement)递归自我改进。在本段中,指一个AI系统能够理解并优化自身或其他系统的能力,形成一个不断自我增强的循环。嘉宾以KDA优化Kernel为例,认为当前模型离实现真正的RSI还有距离。
忒修斯之船(Ship of Theseus)一个哲学思想实验,探讨一个物体的所有组成部分被替换后,它是否还是原来的物体。在本期节目中,主持人用它来比喻Transformer架构:尽管其内部组件(如注意力机制)被不断修改和替换,但整个模型仍然被称为Transformer,这暗示了该架构范式内仍有巨大的创新和演进空间。

话题推进:主持人总结了本期节目对K3技术报告的解读,并预告了节目结尾的往期内容推荐环节。

01:51:31–01:55:18节目回顾与往期推荐

在节目的最后部分,主持人曼祺回顾并推荐了与本期主题相关的往期节目,为听众构建了一个围绕AI模型架构,特别是注意力机制演进的知识网络。

首先,她将本期对K3的解读与第163期对DeepSeek-V4的解读进行对比,指出两者技术报告结构相似,都重点关注了几个核心模块:

1. 注意力机制:曼祺引用嘉宾赵晨阳的比喻,称其为AI研究领域的“忒修斯之船”,意指研究者们不断替换和改造Transformer的内部组件,探索其性能边界,这预示着该方向仍有巨大改进空间。

2. 层间信息连接:她对比了DeepSeek V4中的MHC(多通路残差连接)和K3中的Attention Residuals,并提到后者受到了前者的启发。

随后,曼祺推荐了另外三期关于注意力机制的节目:

- 第103期:深入浅出地讲解了Attention机制的诞生、瓶颈和改进历史,适合非从业者理解其背后的思维脉络。核心在于,注意力机制的演进始终服务于扩展上下文长度,目标是在提升效率的同时不牺牲性能。

- 第104期:与MiniMax的研发总监探讨线性注意力,呼应了本期提到的MiniMax在2025年初率先在大规模模型上使用线性注意力的尝试。

- 第143期:与DeltaNet的核心作者杨松琳探讨线性注意力的优化。K3采用的KDA(Kimi Delta Attention)中的“D”即源于此。这期节目也揭示了KDA如何从一个38B的小模型(Kimi Linear)成功扩展(scale up)到K3的3T规模,展现了AI研发从小规模实验到大规模应用的典型路径。

最后,主持人感谢听众收听,并鼓励大家在评论区互动和分享。

话题推进:节目结束。

以上是原对话的分段阅读。下面才开始提炼论证、解释机制并给出本文自己的判断。

主要论证:观点怎样由经历与例子支撑

AI模型架构的演进如同“忒修斯之船”,不存在“老老实实做Transformer”这回事,其核心是Attention作为可组合接口的灵活性。

赵晨阳 · 00:00:26;00:16:50

以K3为例,其架构相较于2017年的原始Transformer已面目全非:1. 注意力机制被替换为KDA(线性)和MLA(全局)的混合体。2. 残差连接被修改为Attention Residuals,在深度维度做注意力。3. 前馈网络(FFN)被替换为稀疏专家混合(MoE)。4. 位置编码(Positional Encoding)几乎被完全移除。尽管所有部件都被更换,但它依然叫Transformer。这说明Attention机制本身已演变为一个灵活的接口,允许研究者快速集成和验证新的组件(如KDA),而无需推翻整个范式。

成立条件:此论证成立的前提是,我们将“Transformer”定义为一个以注意力机制为核心、允许各模块被替换的广义架构范式,而非特指2017年论文中的具体实现。

开放权重不等于开放“流水线”,真正的护城河在于能持续产出下一代模型的环境、验证体系和算力。

赵晨阳 · 00:01:29;00:34:42;00:37:06

1. 权重是一次性训练的产物,而“流水线”(环境)是能够反复产出新权重的核心能力。2. Kimi开放了K3的权重,但并未开放其用于强化学习的训练环境、自我演化的任务系统、以及合并前的原始专家模型检查点。3. 这些未开放的部分构成了公司的核心资产,决定了其迭代速度。4. 因此,开放权重虽然在短期内缩小了开源与闭源模型的能力差距,但并未缩小两者在迭代速度上的差距。只要这套“流水线”不开放,开源就难以系统性地超越闭源。

成立条件:该论证的有效性取决于“流水线”的复杂性和不可替代性。如果社区能够通过逆向工程或独立创新快速复制出类似的训练环境和验证体系,那么仅靠闭源“流水线”建立的护城河将被削弱。

递归自我改进(RSI)能否实现,关键不在于模型本身多强,而在于是否存在“准确、便宜、难作弊”的验证器(Validator)。

赵晨阳 · 00:21:47;00:23:36

1. RSI需要一个清晰、可靠的反馈信号(reward)来引导模型优化。2. K3的Kernel Development Agent(KDA)之所以能成功,是因为GPU Kernel的优化恰好满足了验证器的三个条件:正确性可与基准实现对比(准确),性能可在硬件上直接运行测试(便宜),且难以通过钻空子获得高分(难作弊)。3. 相比之下,在新闻写作等主观性强的领域,评估标准模糊且昂贵,难以形成有效的RSI闭环。4. 因此,当前AI竞赛集中在数学、编程等易于评估的领域,也说明了验证器是RSI的瓶颈。我们缺的不是更强的模型,而是更好的评估体系。

成立条件:此论证假设模型的能力已经达到可以利用清晰反馈进行有效改进的门槛。如果模型本身理解和执行能力不足,即使有完美的验证器,RSI也无法启动。

K3的成功证明了混合注意力(Hybrid Attention)是一个极具前景的架构方向,全局注意力和线性注意力并非二选一的对立关系。

曾致远 · 00:39:48;00:48:38;00:54:43

1. 线性注意力(如KDA)将历史信息压缩到固定大小的循环状态,计算高效但有容量瓶颈(可能“遗忘”)。全局注意力(如MLA)能直接访问所有历史,表达能力强但计算成本高。2. K3采用了3层KDA搭配1层MLA的混合架构,大部分层追求效率,少数层保留全局交互能力,实现了性能与效率的平衡。3. 这种混合架构是K3能在百万级长上下文中有效缓解“遗忘”问题的关键,因为模型无需将所有细节都压缩进KDA的循环状态,可以通过MLA层直接访问全局信息。4. K3将此方案从50B参数的Kimi Linear成功扩展到近3T参数,证明了其强大的可扩展性(scalability)。

成立条件:此论证的普适性依赖于混合比例(如3:1)是否对不同模型规模和任务都有效。对话中提到该比例是在小模型上凭经验选定的,其在大规模下的最优性未经严格证明,可能存在更优的组合方式。

采用MOPD(多教师在线蒸馏)进行后训练,主要是出于工程和团队协作的便利性,而非纯粹的算法优势。

曾致远 · 01:22:54;01:23:21

1. 现代大模型的后训练涉及多个异构领域(如代码、推理、智能体),每个领域的数据、环境、奖励策略和算法配方都可能完全不同。2. 如果将所有领域的训练强行耦合在一起进行联合强化学习(joint RL),会导致技术和协作上的巨大困难,拖慢迭代速度。3. MOPD采用“先分后合”策略:各领域团队可以独立地将自己的专家模型训到最优,最后再通过一个相对简单的蒸馏过程将这些模型的能力合并。4. 这种模式解耦了复杂的训练流程,使得“合recipe(配方)”的难题,变成了“合模型”的相对简单问题,极大提升了研发效率。

成立条件:该论证成立的前提是,MOPD蒸馏过程本身带来的性能损失,小于因联合训练导致的工程效率低下和各领域优化不充分所造成的损失。如果蒸馏过程本身非常低效或损失巨大,则该策略不成立。

机制与术语:对象、输入输出和中间过程

Quantile Balancing (分位数均衡)

这是一种用于MoE(混合专家)模型的负载均衡机制,旨在让所有专家被激活的频率趋于一致,以保证训练稳定性。

- 输入:对于一批(batch)中的每个token,MoE的路由网络(router)会为所有专家(如K3的896个)打出一个分数。

- 过程:1. 确定门槛:对每个token,确定要激活k个专家(如16个),则排名第k+1的专家的分数就是“入选门槛”。2. 计算差值分布:对某个特定专家,计算它在整个批次中,其分数与每个token“入选门槛”的差值,形成一个差值分布。3. 动态调整偏置:根据这个差值分布的分位数,直接计算出一个新的偏置(bias)值。这个新偏置的目标是,在下一轮加上它之后,该专家被选中的概率能精确趋近于理想比例(k/专家总数,如16/896)。

- 输出:为每个专家计算出的、下一轮训练使用的动态偏置值。

- 失败条件:如果批次大小(batch size)过小,或者token的路由分数分布极度异常,可能会导致对分位数的估计不准,从而使偏置调整过度或不足,无法达到理想的均衡效果。

对应节目:00:42:43;00:46:21

本文自拟示意,不是嘉宾实验

【本文简化教学例,不是 K3 原始算法或实测】若4个专家中每个 token 只选1个,专家2在2个 token 上都比入选门槛少0.6分,说明它当前处于劣势。Quantile Balancing 的思想是根据这类分数差的分位数调整偏置,而不是固定增加0.6。真实门槛、偏置公式、归一化与分布式实现以技术报告为准,例子只用于说明“按分布调整,而非固定步长”。

MOPD (多教师在线策略蒸馏)

MOPD 是一种先分后合的后训练框架:各领域先把专家模型做好,再让学生在自己的任务轨迹上获得教师反馈,以统一学生能力。输入包括学生、多个领域教师及各自反馈,输出是统一模型。它的工程价值在于减少联合训练中数据、奖励与团队协作的耦合;风险是教师目标冲突、能力稀释和蒸馏损失。本文不把教师打分直接当真值,仍需独立任务验收。具体打分形式与合并策略以 K3 技术资料为准。

对应节目:01:20:34;01:27:11

KDA架构下的投机采样回退机制

投机采样要求在大模型拒绝部分候选后恢复到正确状态。KDA 的循环状态会被新 token 更新,不能简单沿用普通 KV Cache 的回退方式。节目介绍的思路是保留上一个已确认位置的检查点,记录后续接受部分所需的重算信息,在拒绝后只重放被接受的 token,恢复状态再继续生成。这里的“棋谱”只是类比,不能把它理解为只保存 token 文字就一定足够;需要保存或重算恢复状态所需的全部信息,并比较重放与保存快照的实际成本。

对应节目:01:31:08;01:32:30

独立判断:这些对话改变了什么理解

K3 更适合被理解为混合架构与系统工程的共同结果,而不是线性注意力单点胜利。

推理:KDA 提供高效状态更新,MLA 保留全局信息访问,注意力残差与 MoE 改变信息流和参数组织,Infra 又解决缓存、回退和部署问题。每层选择都影响其他层的成本,不能只凭一种注意力类型解释模型表现。混合比例是否普适,也需要在不同规模和任务上比较。

竞争解释与边界:如果线性注意力本身继续改进,未来可能减少对全局层的依赖;若混合层始终是长上下文与复杂任务的关键,K3 的系统组合就不是临时补丁。应通过消融而非架构名称判断。

RSI 的验证器既是技术门槛,也是研究选择偏差来源。

推理:Kernel 有正确性、速度和硬件反馈,天然适合自动迭代;主观研究缺乏同样便宜可靠的评分器,于是模型更容易在可评分任务上积累优势。若只追求可测分数,系统可能回避真正重要但难评估的问题。验证器建设应成为研究对象,包括独立测试、反作弊和任务外泛化,而不是期待模型自己宣布进步。

竞争解释与边界:模型裁判可以扩展部分评价,但仍需独立校准、对抗检查和人类目标约束。自我评价不会自动消除共同偏差,不能把“模型能打分”当作验证问题已经解决。

MOPD 是用额外模型与蒸馏环节换取研发解耦,是否值得要看最终性能与总成本。

推理:各领域独立优化可减少联合训练的冲突,让团队并行工作;合模时则新增教师调用、奖励整合与蒸馏成本。它可能更适合任务差异大、工程协作复杂的项目,但不能仅凭流程简洁就宣称优于联合训练。需要比较同一学生、同一数据与预算下的最终能力、冲突和计算开销。

竞争解释与边界:若各领域专家本身更强,先分后合也可能提升上限;若合模损失过大,则应保留领域专家路由或联合训练。组织便利和算法收益必须分别测量。

尚未解决的问题与可检验的下一步

待解问题:K3的混合注意力中,3:1的KDA与MLA比例在多大程度上是“凑巧”的最优解,还是一个具有普适性的黄金比例?

下一步信息或小实验:在不同规模和任务上比较纯 KDA、3:1、其他混合比例和纯全局注意力,固定训练预算,测量长上下文记忆、任务结果与推理成本。

怎样的结果会改变判断:若3:1跨条件稳定占优,才可视为较稳健默认;若最优比例随任务和规模变化,应把它当作 K3 的实例而非通用黄金比例。

待解问题:K3的Kernel Development Agent(KDA)在多大程度上依赖于其训练数据中已有的Kernel知识,其“从零创造”新Kernel的能力如何?

下一步信息或小实验:给 Kernel Development Agent 一个训练中未出现的新硬件或 DSL,要求从规范生成并验证基础 Kernel,记录正确性、性能、迭代次数和人工接管。

怎样的结果会改变判断:若能在新环境生成可用实现,支持其泛化与自动研究潜力;若只能复现已有模板,应将能力限定为已知知识的高效组合。

待解问题:MOPD蒸馏过程具体造成了多大的性能损失?相比于理论上最优的、克服了工程困难的“联合训练”,其效果差距有多大?

下一步信息或小实验:在同一学生与任务上比较 MOPD、联合训练、单教师和专家路由,记录各领域效果、冲突、教师调用与总算力。

怎样的结果会改变判断:若 MOPD 相当或更好且成本更低,说明其兼具工程和算法价值;若性能明显下降,应把它限定为以性能换组织效率的选择。

影响理解的转录疑点

建议优先回听 00:18:34–00:25:34 关于“模型能否自我改进”的讨论,以及 01:31:07–01:47:03 关于Infra优化的部分。第一段清晰地阐述了实现“递归自我改进”(RSI)的关键瓶颈在于“验证器”而非模型能力本身,并用K3开发自身Kernel的例子(KDA)给出了一个极佳的佐证,这个观点对于理解当前AI发展的核心挑战非常有启发。第二段则从Infra视角揭示了K3光鲜算法背后复杂的工程挑战与创新,如投机采样的回退机制、智能体环境的沙盒设计、以及训练-推理一致性的重要性,这些内容具体而深入,展现了前沿AI研发中算法与工程的紧密互动,有助于理解一个顶尖模型是如何被“制造”出来的。

证据边界与资料索引

本页依据整期机器转录、官方节目介绍与章节逐段重建,未宣称逐字人工听审。说话人、专名、数字和时间可能存在识别误差;原声仍是最终核对依据。嘉宾关于公司、市场、研究、个人经历与未来的说法按口述保留,不自动等于独立核验的事实。

原节目:177: 详解Kimi K3:强到冲击Anthropic估值的模型什么样?

本页使用的公开文字或字幕来源

返回顶部