原对话:沿提问、回答和转折完整展开 下面先按节目顺序重建。主持人在追问什么,嘉宾如何以自己的经历、例子和推理作答,尽量保留在具体语境中;案例中的事实、数字和判断先归属于发言人。随后才进入本文的机制解释与独立判断。
00:00:05–00:28:40 连续对话 100:00:05–00:02:36 开场与嘉宾介绍:算法架构与Infra两种现场视角节目先用三段后文快评建立问题意识:赵晨阳认为“范式变化”已被叙事滥用,刘益枫关注DeepSeek放弃V3的MLA,赵晨阳又用“拿着高压水枪浇花”形容当前token浪费。随后,主播程曼祺说明,本期以DeepSeek V4技术报告为对象,讨论它如何沿R1的“测试时扩展”范式,以组合创新和工程优化把百万上下文从理论能力推向可承受的实际应用。这里的“实用”是节目提出的判断,后文还要通过长度条件、任务成功率与总token成本继续限定,不能直接理解成任何百万token任务都稳定有效。
刘益枫自我介绍为UCLA博士生,主要研究预训练中的优化器和模型架构,也有后训练及Agent项目经历。赵晨阳自我介绍为RadixArk工程师、SGLang开源推理框架开发者,具有强化学习系统背景。他称SGLang可能已部署在全球超过40万张GPU上,团队在V4发布当天跑通了推理与强化学习两条链路;这些数字和适配结果都是嘉宾自述,不是本期独立审计。两种经历使后续讨论形成一条互补链:刘益枫解释模型、优化器和训练选择,赵晨阳解释这些选择落到缓存、算子、分布式训练和推理系统时要付出的工程代价。
MLA与MQA MLA(Multi-head Latent Attention)以低秩潜在表示压缩KV信息,减少缓存;MQA(Multi-Query Attention)让多个Query头共享Key/Value,也降低KV cache。V4回到MQA并叠加序列级压缩,不等于证明MLA在其他模型中失效。
KV cache 自回归生成时保存历史token的Key/Value状态,避免重复计算。上下文越长,缓存通常越占显存并增加读写压力;V4的压缩目标之一是降低这项成本。
单token计算量与任务总成本 单token计算量回答“生成一步需要多少计算”,任务总成本还要乘上输入输出长度,并加入并发、硬件、时延、失败重试和成功率。节目语境中的flops按计算量理解,不把每秒浮点运算率FLOPS混作同一指标。
Arena式评测 对同一问题展示匿名模型答案,由用户比较偏好,再汇总为排名。它提供开放任务中的主观比较,仍受提示、样本、投票者和时间影响,不等同统一的真实工作验收。
赵晨阳(个人及团队自述) · 00:01:54–00:02:29
赵晨阳称团队在V4发布当天完成推理与强化学习链路适配,并给出SGLang超过40万张GPU部署的估算。
话题推进: 主持人指出两位嘉宾分别覆盖算法架构与Infra,随后先问他们亲自使用和适配V4的体验。
00:02:36–00:07:44 上手体验与MLA转向:能力体感、Infra适配和架构未收敛V4发布后,你们作为一线AI从业者,自己的上手使用体验怎样? 为V4做Day0 Infra适配的过程中有什么有意思的发现? ICLR会场上的研究者如何讨论V4? MLA和MQA的简单区别是什么? 刘益枫先从用户视角报告:他在Arena对比中感觉V4的数学推理、代码和Agent指令遵循比V3更好,幻觉也更少;但与国外第一梯队相比,代码仍有差距,尤其不如Claude,体感更接近Kimi K2.6等国内模型。这些是个人使用感受,不是统一任务集上的测量结论。
赵晨阳从适配者视角回应。他把DeepSeek发布称为给开源Infra“续命”,认为V2到V3主要是将MLA与MoE规模化,V4的SWA加双压缩则改变了注意力本身,需要重做前缀缓存和采样相关优化。他称团队最终取得领先效果,但此处没有统一基准、硬件配置和对照组,应保留为其工程自述。
刘益枫随后转述ICLR现场的讨论:Kimi K2、GLM5等仍采用MLA,一些研究继续改进MLA,而DeepSeek V4回到MQA,使“架构是否已经收敛到MLA”再次成为开放问题。主持人追问区别时,他解释,MLA通过对KV做低秩压缩减少缓存,MQA则让多个Query头共享Key/Value,从另一条路径减少KV存储。V4还引入沿序列的token-wise压缩;刘益枫明确以“我猜测”提出,若再与MLA叠加,底层实现可能过于复杂,因此团队放弃MLA。这是机制推测,不能写成DeepSeek公开确认的唯一原因,更不能据此证明MLA整体失效。
赵晨阳(团队经验) · 00:04:10–00:05:21
赵晨阳将V4称为“Infra巨鲸”,称新注意力需要调整前缀缓存和采样;其效果评价缺少统一对照配置。
话题推进: 讨论完架构变化后,主持人转向报告中消失的训练成本数字,并继续追问多模态和延期。
00:07:44–00:14:32 成本、延期与范式:单次数值之外,系统工程的代价和边界V3曾给出557万美元训练成本,这次报告和官方博客都没有明确数字,两位怎么看? 你们怎么看V4没有上多模态能力? 为什么V4比原计划的春节发布晚了两个多月? V4是否不像R1那样构成范式变化,而主要是工程创新的组合? 主持人以V3曾披露的557万美元为对照,问V4为何不再披露训练成本。赵晨阳将不公开解读为DeepSeek不再依赖成本叙事、转而让模型能力说话,这是他对团队动机的判断。刘益枫则指出,最后一次训练只是一部分成本,前沿探索、对照实验、人力和数据也需要计入;他给出的“研发成本可能是最后一次训练几十倍”是粗略估算,不能当成公司财务数字。两位共同提示的是:最后一次训练成本与完整研发成本不是同一个分母。
关于未上多模态,刘益枫提出两种可能:团队更专注文本,或在复杂模型和国产硬件适配之上再叠加多模态,会进一步提高Infra难度。关于延期,赵晨阳先说明外界无法知道真实发布计划,再推测混合注意力、mHC、Muon和FP4四项耦合改动需要分别调试,组合后还会互相影响,尤其是大规模MoE上的Muon稳定性和生产级FP4前后向。刘益枫补充国产芯片适配也可能增加时间。
主持人在此收窄了“原生支持国产芯片”的表述:她读到的报告只在EP并行方案处提到华为昇腾上的技术验证,属于推理;训练是否使用并未披露。刘益枫确认这一点,也说外界多数推测仍是英伟达。于是,昇腾推理验证、训练硬件未知和适配可能导致延期,必须保持为三个不同层次。
节目还保留一段团队文化观察:主持人转述DeepSeek博客引用《荀子·非十二子》的“不宥于欲,不恐于傍,率道而行,端然正己”,嘉宾用其他古籍句子回应。刘益枫根据作者致谢名单估计离职人员约5%,进而认为团队稳定;该比例是名单观察,不等于严格年度离职率,也不证明延期原因。最后,赵晨阳把范式限定为Transformer、Scaling Law、RLHF、Test Time Scaling等较大的思想变化,认为R1是在开源世界走通长尺度推理,V4则沿此方向继续解决困难问题。他预测系统级耦合工程会是未来一两年的“处悬地”,并相信百万token可以拆成许多局部优化再组合。这属于对工程路线的判断和预测,而不是已经证实的普遍产业规律。
程曼祺、刘益枫 · 00:07:44–00:08:55
557万美元对应主持人所述V3最后一次训练,不含全部探索、人力和数据;“几十倍”是嘉宾估算。
赵晨阳(Infra推测) · 00:09:23–00:10:14
赵晨阳推测四项耦合特性造成延期;他先明确外界不知道真实计划。
程曼祺、刘益枫(对报告范围的澄清) · 00:10:40–00:11:29
报告在EP并行处提到昇腾推理技术验证;训练芯片没有公开,不能把验证扩大成已确认国产训练。
赵晨阳(趋势预测) · 00:13:08–00:14:32
赵晨阳认为未来一两年仍需大量系统级耦合优化,并预期其商业价值巨大。
话题推进: 刘益枫随后从“是否提出新能力领域”重新定义范式,赵晨阳则把注意力转向减少不必要的推理和上下文浪费。
00:14:32–00:16:41 新能力与上下文效率:从“能做什么”追问到“该做什么”有没有现在没被充分关注、之后可能很有潜力的能力? 你关心的是不是模型已经在做的事,其实可以用更高效率完成? 刘益枫把范式变化解释为开辟新的能力领域,而不只是换一种训练技巧。他以长上下文、Agent和幻觉等问题为例,强调研究瓶颈正从“能不能做到”转向“还不知道哪些事情值得做”。他判断,新能力一旦被明确提出,模型和评测可能在半年到一年内迅速跟进;这是经验性预测。主持人追问潜在方向,他举出AI意识与自主行为能力,属于开放的科学问题,节目没有提供模型已经具有意识的证据。
赵晨阳给出另一条更贴近工程的回答:减少不必要的推理。百万上下文扩展了模型能接收和处理的信息量,却不能自动说明每一份上下文都值得保留。编程Agent累积的系统提示、工具结果、历史对话和中间推理,可能让token消耗远超任务本身需要。因而他把问题拆成两层:Infra能否以可承受成本处理长上下文,以及Agent能否在相同上下文预算内完成更多有效工作。主持人据此确认,他关心的是现有任务的完成效率,而不只是更长的窗口。
这段也为后文“单token更便宜、总token可能更多”的矛盾埋下伏笔。不能把“被Infra惯坏”当成对所有开发者的定量指控,它是一位Infra从业者对上下文使用方式的强烈批评。
赵晨阳(工程判断) · 00:15:51–00:16:41
赵晨阳认为编程Agent的大量上下文吞吐存在浪费,百万token应用于更有价值的事。
话题推进: 主持人把讨论拉回V4的具体表现,先问基准和内部使用,再问效率数字。
00:16:41–00:23:00 性能、采用与数据:内部盲测、第三方榜单和数据归属不能混谈这次V4的benchmark有什么表现值得关注? 开源模型的私有化部署会不会让厂商拿不到真实使用数据,影响数据飞轮? 你从Claude换成Codex,真的没有感到明显差别吗? 赵晨阳先区分两类评测:离线benchmark把回答与参考答案按规则比较;Arena式在线评测让使用者在不知道模型身份时比较两个答案。DeepSeek内部实验进一步让工程师面对自己的任务,自行选择模型并反馈。按他对报告的转述,V4约在Opus 4.5附近,与Opus 4.6和GPT 5.5仍有差距,9%的工程师不会把V4 Pro作为编程首选。版本号按节目当时口径保留,重点不是把排名绝对化,而是报告公开了内部不完全采用这一反向信息。样本、任务构成和投票方式仍会影响解释范围。
赵晨阳由内部采用连接到编程数据飞轮:真实使用、反馈、筛选和再训练可能形成循环。刘益枫追问开源是否因私有部署而失去数据,赵晨阳回答,万亿级模型部署昂贵,许多调用仍经第三方云API,因此会留下trace。这里需要再细分:第三方服务商看到调用记录,不等于DeepSeek等原模型研发方自动拥有这些记录,更不等于可以无授权用于训练。私有部署、云API、日志可见性、数据使用权和能否回流到模型作者,是五个不同条件。赵晨阳随后补充,国内也大量使用美国闭源模型,这是他的行业观察。
刘益枫给出当时的第三方数字:Arena中V4 Pro约23名,Artificial Analysis的Intelligence Index约52,均落后于若干同期模型;它们是特定时点和榜单口径的快照。赵晨阳则以一次因账单从Claude Code改用Codex的经历说明,在自己的工作流中二者差异不明显,排名很近时个人体感未必能区分。主持人进一步转述一些企业考虑更换底层模型,说明绑定特定模型的产品优势需要持续能力支撑。一个个案或企业传闻都不能替代可复现任务评测。
赵晨阳(转述报告并评论) · 00:18:02–00:18:47
内部实验披露9%工程师不首选V4 Pro,支持“报告公开内部负面信息”的观察;具体样本与任务口径未在对话中展开。
本文基于刘益枫与赵晨阳问答作出的边界澄清 · 00:19:24–00:20:26
云API会在服务方留下trace,但模型原作者能否获得并用于训练,需要权限、合同和隐私安排,不能由“开源/闭源”直接推断。
刘益枫(当时第三方榜单观察) · 00:20:26–00:21:01
嘉宾给出Arena约23名、Intelligence Index约52的时点数字;不同榜单不可直接拼成统一能力分数。
赵晨阳(个人轶事) · 00:21:03–00:21:56
赵晨阳一次从Claude Code换到Codex后称“世界没有下雨”,只说明其个人工作流中的体验。
话题推进: 主持人接着把“用得好”与“算得省”分开,询问V4的27%计算量和10% KV cache数字究竟意味着什么。
00:23:00–00:28:40 效率的真实分母:单token更省,完整任务未必同比例更省单token推理flops为V3.2的27%、KV cache为10%,这是什么水平? 这种提升在长上下文Agent上会不会特别明显? 为什么解决同样的问题,token消耗反而变多了? 主持人引述的效率数字是:在特定比较口径下,V4单token推理flops为V3.2的27%,KV cache占用为10%。赵晨阳强调,压缩和稀疏带来的优势随上下文变长而放大;若只测8K输入、4K输出,不能完整反映长序列架构的收益。他也不把几千token说成完全没有提升,而是提醒不能把27%和10%直接兑换成所有请求都提速约4倍或省显存90%。价格、吞吐、时延、显存和能耗是不同结果变量,还受硬件、并行方式与输出长度影响。
对长Agent,他预期接近百万token的场景会更受益。刘益枫随即补上反例:有用户反馈,V4解决同一问题所需token比过去更多。这样,单位token成本下降不等于任务总成本同比例下降。可比较的指标应是完成同类任务并达到同等成功率时,总输入输出token、实际计算、等待时间和费用,而不是只看单步flops或每秒输出token。
刘益枫提出两种可能解释:训练奖励偏重任务完成而缺少长度约束,或token-wise压缩损失信息,模型不得不用更多推理补足。两者都是待实验检验的假说,不能据访谈断定压缩就是原因。赵晨阳认为训练数据与目标也可能鼓励更长回答,用“高压水枪浇花”强调浪费;他提到K1.5报告中的长度惩罚说明行业已有应对方法,但没有证明V4是否使用、使用多强,更不能把“不可逆增长”当成统计结论。
程曼祺、赵晨阳 · 00:23:00–00:25:47
27% flops和10% KV cache是主持人引用的V4/V3.2单token比较;嘉宾提醒其长上下文条件,不能外推成所有场景固定加速比。
刘益枫(现象转述与假说) · 00:25:53–00:26:58
“解决同一问题消耗更多token”来自用户反馈与嘉宾观察;信息损失和奖励缺长度约束只是候选解释。
赵晨阳(相关方法类比) · 00:27:30–00:27:52
长度惩罚是赵晨阳提到的其他模型既有技术,不证明V4的配置,也不证明长度增长不可逆。
话题推进: 主持人随后按技术报告的脉络进入模型架构、Infra、预训练和后训练,先看MoE与MTP主线下的极致稀疏。
00:28:41–00:57:34 连续对话 200:28:41–00:33:44 极致稀疏:49B/1.6T、哈希路由与未被采用的EngramV4架构上的整体思路是什么? V3约5.5%的激活比例降到V4约3%,工程难度意味着什么? Engram是什么,为什么这次没有用到V4? 赵晨阳先概括V4保留DeepSeek MoE与MTP主线,同时改注意力、残差和优化器,并在Infra引入TileLang与FP4。其共同目标是把长上下文从“理论上能处理”推进到成本可接受。这里的重点不是某一项孤立技术,而是稀疏化在模型和系统上的联合实施。
V4 Pro按节目口径有1.6T总参数、49B激活参数,49÷1600约为3.06%。MoE把知识容量与单次激活量部分解耦:总专家参数提供容量,单次只选取部分专家参与计算,因此不必让每个token都走过全部1.6T参数。但49B并不是完整请求成本,仍需计入注意力、通信、缓存、并发和输出长度。主持人补充V3约5.5%、Kimi K2.6约3.2%及另两个模型的4.3%和5.3%,这些是节目列举的横向数字,不能脱离各自参数统计口径直接判成统一效率排名。
赵晨阳认为从5%到4%再到3%的难度显著上升,同时承认其他团队不是做不到,只是技术取舍不同。他所说的“指数级上升”是工程感受,不是测得的复杂度函数。刘益枫进一步解释,接近40:1的总参数/激活参数比,要求不同专家都得到充分训练,token能合理路由到专家,再把结果合并;前几层采用哈希路由,是为避免训练初期路由过度集中。
刘益枫还讨论了未被采用的Engram:它额外编码连续N-gram片段,希望补充局部短语信息;嘉宾称其参数与Infra成本较大、能力提升有限,因此短期不看好前沿实验室采用。这是嘉宾对效果和趋势的判断,不等于DeepSeek公开宣布Engram永远无用。旧稿擅自替换的模型版本名均撤回,保留节目可辨识的名称与数字。
MoE与激活参数比例 MoE让不同专家子网络处理被路由来的token。激活参数比例是单次实际参与计算的专家参数量占总参数量的比例,V4按节目约为49B/1.6T≈3.06%。它是效率指标之一,不是完整任务成本。
SWA、CSA与HCA SWA在局部窗口内计算注意力;CSA将序列按4:1压缩后由Query选Top-k;HCA将序列按128:1压缩后做稠密注意。不同层预定义采用哪种长距路径,分别偏重于关键定位与高度压缩的全局表示。
Muon 面向矩阵参数的优化方法。嘉宾强调其矩阵整体更新、部分状态显存节省和收敛收益,同时需要更复杂的分布式矩阵计算、通信与混合优化器状态管理。
mHC Manifold-Constrained Hyper-Connections。它加宽层间信息通道,并以双随机矩阵约束信息流尺度,目标是改善HC的训练稳定性。实际能力增量仍需同配置消融。
赵晨阳(数字口述);本文整理比例 · 00:29:04
1.6T总参数、49B激活对应约3.06%,说明单次计算只使用一小部分专家参数,但并非一次请求只计算49B就结束。
刘益枫(技术判断) · 00:32:27–00:33:44
Engram增加连续片段编码,嘉宾认为收益有限且Infra代价高,故未被V4采用。
话题推进: 明确MoE的容量与成本取舍后,主持人进入注意力机制,追问V4为何采用混合稀疏而非MLA或纯线性路线。
00:33:45–00:39:37 混合稀疏注意力:SWA保局部,CSA找关键,HCA给概览,Infra管一致这次CSA与HCA混合注意力的具体改进是什么,背后的思路和业界启发是什么? 赵晨阳把V4的注意力拆成局部与长距两路:每层运行SWA,在窗口内保留附近token的细粒度交互;不同层再按预定义配置使用CSA或HCA处理长距离信息。CSA沿序列做4:1压缩,Query再以Top-k选取相关部分;HCA做128:1压缩,Query对全部压缩token做稠密注意力。由此,CSA用较少候选寻找关键长程信息,HCA用高度压缩的全局表示降低成本。赵晨阳称HCA可能提供“语义概览”,这是他的功能解释,不应写成官方对每层作用的严格证明。
这套设计也把系统问题从“少算多少”变成“多套状态如何一致”。赵晨阳所在团队的Shadow Redis为SWA、C4和C128建立三个异构KV cache池,并在prefill、decode和speculative decoding之间同步。前缀缓存若把不同窗口、不同压缩率的状态混用,理论上的计算节省就可能转化为错误输出。这里体现的是模型与硬件协同:算法决定哪些信息保存,Infra决定这些状态如何驻留、复用和同步。
与线性注意力比较时,刘益枫认为循环更新若不断把历史压入有限状态,长程精确回忆可能受损;SWA跨层传递则提供另一条路径。他给出“1024个token、128窗口只需跳8次”的直观例子,用来说明局部连接经多层传播可以比连续压缩保留更多精确路径。该例是解释性简化,不是对线性注意力信息损失或“近无损”的普遍证明。MiniMax从线性方案回到全注意力的业界例子,也被用来说明效率、能力与系统成本没有免费午餐,但不能据一个模型选择否定整条线性路线。
赵晨阳最后介绍团队的High Sparse:把稀疏注意力的KV cache卸载到host memory,在长上下文自述吞吐提升5倍以上。这个倍数属于其团队特定工作的结果,配置未在对话展开,不能外推成V4本身的加速。
赵晨阳(SGLang团队实践) · 00:35:11
三个异构KV cache池分别服务SWA、C4、C128,并同步prefill、decode、speculative decoding。
话题推进: 注意力之后,主持人转入另外两项架构变化,先问为什么Muon会从优化器选择变成Infra能力试金石。
00:39:37–00:48:51 Muon优化器:用矩阵整体更新换收敛与显存,用通信和混合状态付工程成本优化器在训练中起什么作用,为什么越来越多团队使用Muon? Infra需要怎样配合从AdamW转向Muon? 能否把采用Muon看成判断模型团队Infra能力的标志之一? 刘益枫先解释,优化器根据梯度更新参数,使损失下降。按他的概括,AdamW以动量和逐元素归一化稳定更新,Muon则对二维参数矩阵整体处理,以利用矩阵内部元素的关系。这里应理解为嘉宾帮助非专业听众建立的直觉,不应进一步写成AdamW必然收敛慢或Muon对所有模块、所有模型都更优。
早期Muon需要为不同模块分别调学习率。嘉宾将Kimi的Muon Lite贡献概括为让Muon与AdamW协作:一维参数仍走AdamW,二维矩阵使用Muon,并以0.2的比例协调两类学习率,使用户主要调整一个全局学习率;V4采用0.18。这些数值按节目保留,具体含义属于其所述优化器配置,不是“精度更高所以模型更好”的直接证据。主持人提到的作者与团队历史属于背景转述。
赵晨阳纠正“AdamW不需要复杂并行”的过强说法:大模型训练无论用哪种优化器都要并行,只是Muon更复杂。AdamW的动量和二阶状态可按元素切分;Muon省去一部分状态显存,却要在矩阵更新中处理牛顿—舒尔茨迭代和矩阵计算。如果TP或FSDP把矩阵切碎,就需要聚合相应权重再计算,带来通信、调度和checkpoint resume的复杂度。嵌入、LayerNorm、bias等仍可能使用AdamW,使系统同时管理不同优化器状态。
因此,Muon的价值不是免费节省显存,而是用更多Infra工作换显存与收敛效率。是否值得取决于模型规模、硬件、团队实现和实际训练结果。两位嘉宾认可它是工程能力的试金石,但这不意味着“使用Muon”本身证明模型先进,没采用也不必然说明团队落后。
刘益枫(配置说明) · 00:42:03–00:43:13
Muon Lite的0.2与V4的0.18是节目所述学习率协调配置,不应解释为可直接比较的模型分数。
赵晨阳(Infra解释) · 00:46:14–00:47:45
AdamW的逐元素状态较易切分;Muon的矩阵更新需处理被TP/FSDP切开的二维权重及聚合通信。
话题推进: 讨论完参数如何更新,主持人转向层与层之间怎样传递信息:mHC与Attention Residuals。
00:48:52–00:54:23 mHC与Attention Residuals:拓宽信息流,约束稳定性,也增加新算子mHC是什么改进,为什么引入,解决什么问题? mHC与Kimi的Attention Residuals有什么区别,未来上限怎么看? mHC会影响推理框架适配吗? 刘益枫解释,Hyper-Connection在原有隐藏表示之外增加通道,使层间信息不再只沿单一路径传递;他把宽度写成d×c,其中c是新增通道带来的倍数。朴素HC的问题是训练时前向与反向数值尺度可能失稳。mHC通过双随机矩阵约束信息流,shownotes明确其每行、每列之和为1,目的是避免传播中的爆炸或消失。转录中的“synchron crop”不能确认具体算法名,本稿只采用官方可核的双随机约束,不猜补为某个名字。
主持人追问能力证据时,刘益枫先说直观上推理能力大幅提升,随后承认单独论文主要比较benchmark,并未提供足以定位全部因果的精确控制实验。因此,不能把“通道更宽”直接写成推理能力必然大幅提升。更准确的表述是:它提供了增加层间信息交换并控制训练稳定性的路径,实际效果需看同配置消融。
他将mHC与Kimi的Attention Residuals作对照:前者拓宽层间信息通道,后者借鉴DenseNet让较早层直接影响较后层。二者都改变layer-wise信息流,但连接结构不同。刘益枫认为mHC实现较易、Attention Residuals上限可能更高,这是他的研究判断,不是已经完成的横向胜负实验。他还提到自己的相关工作,应与DeepSeek的结果区分。
赵晨阳补充推理侧成本:原本简单的残差add变为归一化与混合计算,旧算子效率不足,需要专用kernel。其团队用TileLang写mHC的split kernel,以改善小批量解码的GPU利用率。这再次说明,架构上的信息通路变化必须伴随底层算子实现,不能只在公式层面计算收益。
刘益枫口述+官方shownotes术语 · 00:49:54
双随机矩阵每行、每列之和为1,用于约束mHC的信息流;具体转录算法名不猜。
程曼祺、刘益枫 · 00:50:57–00:51:52
主持人追问控制变量后,嘉宾承认主要是benchmark比较,因此不能断言全部推理提升都由mHC单独造成。
刘益枫(方法比较与预测) · 00:51:52–00:53:11
mHC拓宽通道,Attention Residuals建立跨层连接;“后者上限更高”是刘益枫个人预测。
话题推进: mHC需要新kernel,顺势引出Infra的第一个关键词:TileLang在CUDA与Triton之间提供什么抽象。
00:54:24–00:57:34 TileLang:把算法意图翻译成高效硬件执行,抽象不等于免费性能Infra的两个关键词TileLang与FP4,能否先展开介绍TileLang? 赵晨阳将Infra的任务概括为:在给定计算路径下怎样更快执行。kernel是底层实际运行矩阵乘法、注意力等计算的函数,需要把较大的计算拆成适合硬件的块,并考虑显存、带宽、并行核和调度。他举4096×4096矩阵按128或256拆分的例子,说明同一数学运算可以因硬件与分块不同而表现不同;转录中的“250、256”不据此创造精确配置。
三种工具按嘉宾经验形成一组取舍:CUDA底层控制力与极限性能强,开发维护成本高;Triton用抽象降低门槛,但可能限制部分表达和极限优化;TileLang以tile级DSL/编译框架走中间路线,希望兼顾表达力、控制与开发效率。这里的性能高低是嘉宾的工程概括,不是每种kernel都必然成立的排序。
赵晨阳接着解读报告中的价值:某些kernel启动开销降到微秒级,并改善位级可复现性。可复现性帮助工程师判断两次forward差异来自实现错误还是允许的数值波动,但不能把它写成任何硬件和采样设置下都逐token完全一致。TileLang的长期意义在于降低新算法定制高性能kernel的成本,使mHC这类新结构更容易从论文走向生产和推理系统。
话题推进: 下一部分继续讨论TileLang生态、硬件支持,再进入FP4的量化感知训练。
00:57:34–01:24:33 连续对话 300:57:34–01:09:58 TileLang生态与FP4 QAT:从可写kernel到训练—采样—部署一致TileLang与CUDA等开源生态是什么关系,能否与英伟达之外的芯片结合? DeepSeek在TileLang上的投入是否比其他公司更多? FP4为什么能节省资源,QAT怎样在RL中实现训练时模拟量化、采样时真实量化? 赵晨阳认为TileLang的长期价值是降低新算法高性能kernel的开发成本:DeepSeek为mHC写过混合精度kernel,SGLang团队也为small-batch decoding实现split-k版本。他称TileLang已成为部分前沿实验室的选择之一,但不能由此推成所有实验室的统一默认。主持人补充项目发起与社区背景,并回忆底层编译人才难找;嘉宾强调编译器工作过去艰苦、离商业远,现在因模型结构快速变化而更重要。
关于生态,他把TileLang和Triton视作DSL,而CUDA是更完整的软硬件体系;刘益枫用高级语言与底层语言的类比说明抽象层级。不同硬件厂商可主动支持这些DSL,因此它们既可能丰富CUDA生态,也可能服务其他芯片。赵晨阳拒绝断言DeepSeek投入一定超过其他公司,因为闭源实现不可见。这种“不确信”应保留,而不是换成国产替代已经完成的叙事。
FP4、FP8、BF16的数字表示数值位宽。降低位宽可减少存储与数据读取压力,并可能利用相应硬件计算能力;但“峰值算力得到缓解”更准确说是存储、带宽和部分计算瓶颈有机会改善,实际收益依赖缩放策略、kernel和硬件。FP4范围更窄,训练中容易发生溢出或归零,因此不能只按4÷8推导端到端速度翻倍。
赵晨阳重点解释RL中的QAT。训练侧保留高精度主权重,将其模拟量化到FP4再反量化至较高精度计算,让量化误差进入训练过程;他另提blockwise scale处理离群点。采样rollout侧则真正用FP4权重生成数据,减少访存瓶颈。由于大模型、长预算下采样可能占70%以上时间,采样提速能影响RL总周期。发布checkpoint也是FP4,使采样与部署格式更一致,降低“训练完再一次性量化”的额外落差。主权重、伪量化权重、真实采样权重是不同对象,不能笼统说整个训练都以FP4完成。
嘉宾还把团队INT4 QAT的W4A16与DeepSeek的W4A4作比较。W4A4按定义为4位权重、4位激活,转录随后说“激活八位宽”与标记冲突,本稿保留A4定义并登记回听,不擅自改成W4A8。最后,赵晨阳认为FP4开始走出硬件厂商PPT,同时承认GPT-oss等也在使用、闭源情况未知,因此“成为工业标准”是他的趋势判断,不是全行业统一认证。
QAT(量化感知训练) 训练中模拟低精度误差,使模型适应部署时的量化;本期RL语境还包括rollout时真实使用低精度权重加速采样。高精度主权重与低精度采样权重不能混为一谈。
W4A4与W4A16 W4表示4位权重,A4或A16分别表示4位或16位激活。节目转录把W4A4的A4说成8位,存在明显冲突,本稿不猜改成W4A8。
on-policy distillation 在学生自己产生的状态或轨迹上利用教师输出进行学习。本期用于把多个专项专家的能力整合进统一学生,具体目标和采样细节需查原技术报告,不在审读中补造。
evaluation与benchmark benchmark是具体任务和分数,可能饱和;evaluation是持续评估系统能否在目标场景可靠完成工作的过程。Agent还需观察多步、工具、人工协作和真实交付。
赵晨阳(机制解释);本文整理 · 01:03:22–01:05:19
QAT中高精度主权重、模拟量化的训练权重与真实FP4采样权重分别作用,不能把“FP4训练”理解为所有状态只有4位。
赵晨阳(团队对照);本文标注冲突 · 01:06:40–01:07:03
团队W4A16与DeepSeek W4A4对照保留;A4按4位激活解释,“八位宽”登记为口误或转录疑点。
赵晨阳、刘益枫 · 01:09:15–01:09:58
赵晨阳同时提到GPT-oss也使用FP4、闭源情况未知,故不把DeepSeek写成唯一使用者。
话题推进: FP4之后,主持人问官方推理框架与通用开源框架的关系,以及RL链路开源为何重要。
01:07:04–01:10:11 开源推理与训练框架:多模型整合、本地部署和RL全链路如果DeepSeek开源自己的推理框架,它和其他开源框架是什么关系? 支持很多模型的开源框架给开发者和用户什么价值? 报告最后关于训练过程的部分有什么亮点? 赵晨阳把通用开源推理框架的核心难题概括为“众口难调”:既要支持DeepSeek,也要支持小米、MiniMax、Kimi等不同模型及其缓存、并行和精度要求;官方内部框架则可以围绕自己的模型和硬件深入优化。两者不是简单的先进与落后关系,而是通用整合与专用优化的目标不同。
开源框架的直接价值包括本地部署、可控改造和公开学习,性能进步也会倒逼闭源系统。赵晨阳判断推理侧开闭源差距不大,训练侧闭源通常领先,这是他基于行业经验的观察,不是所有模型和硬件的统一测量。过去一个新模型发布后,开源RL框架可能几个月才能跑通;他称团队此次在V4发布当天支持了完整RL链路。
这里需要把RL与普通推理分清:普通推理主要执行不更新参数的前向生成;RL还要让模型采样、给轨迹评分、计算训练更新并回传参数。推理与RL链路共享采样基础设施,但增加了训练状态、同步与一致性问题。赵晨阳所称Day0支持属于其团队工程成果,不等于外部所有环境都能零改造复现。
主持人最后把话题交给训练报告的后训练部分,为“多专家训练+on-policy distillation”作铺垫。
赵晨阳(框架比较) · 01:07:04–01:07:56
通用框架需支持多模型,官方框架可围绕单一模型优化,体现整合性与专用性的不同工程目标。
赵晨阳(团队成果) · 01:08:41–01:09:24
Day0跑通V4推理与RL链路是团队自述,不代表所有开源用户立即获得同等性能和一致性。
话题推进: 训练部分首先讨论如何把不同能力的专家先分别训好,再用在策略蒸馏汇成一个模型。
01:10:11–01:13:20 多专家训练与on-policy蒸馏:把多目标冲突拆成专家学习与统一拟合刘益枫指出V4后训练先分别训练不同能力的专家,再做on-policy distillation。与过去把更强、更大的教师蒸馏到小模型不同,这里更强调将多个专家的专项能力整合进统一学生。嘉宾以“先让小专家学好,再提取精华”概括其容量与最终参数量的取舍;具体专家规模、数据源和蒸馏目标未在对话中完整展开,不能自行补成同规模无损耗复制。
赵晨阳把它解释为多目标优化:同时提升coding、数学和指令遵循时,梯度方向可能冲突,一个能力的改善可能损伤另一个能力。先分别训练专家,是在各自目标上寻找较好的局部解;再让学生拟合多个教师的输出分布,把联合搜索改成较可控的知识整合。他用“在收敛离散点之间插值”作类比,这是帮助理解的比喻,并不意味着蒸馏只是在参数空间线性平均。
on-policy说明学生在自己生成的状态或轨迹上接受教师信号,重点不是只背静态答案;但本段未给出目标函数、采样配比与教师调用方式,不应补写公式。嘉宾还提到Qwen的多阶段专家聚合和更早的模型合并研究,说明这不是凭空出现的全新思想。闭源实验室是否采用同类策略多为推测,公开细节有限。
这一机制的边界同样明确:专家可能都学到错误或有偏模式,学生也可能在能力冲突中折中,蒸馏不保证保留每个专家的最佳表现。是否比直接多目标训练更好,需要比较最终任务能力、遗忘、训练成本和采样成本。
赵晨阳(机制类比) · 01:11:58–01:12:42
先训多个专家再让学生拟合教师分布,被类比为在收敛点之间插值;这是解释性类比,不是参数线性平均声明。
赵晨阳(相关工作观察) · 01:12:26–01:13:16
嘉宾提到Qwen多阶段专家聚合与更早模型合并研究,用于定位技术连续性;闭源采用情况不确定。
话题推进: 主持人转向评测,嘉宾进一步讨论为什么具体benchmark会饱和,而真实evaluation不能停止。
01:13:20–01:19:24 评测危机:静态榜单会饱和,Agent需要持续、任务级且可复核的评估赵晨阳引用“不能优化无法评测的东西”,区分benchmark与evaluation:前者是具体任务与榜单,可能在一两年后被刷满;后者是持续判断系统是否真正改善的过程。Agent的任务包含多步决策、工具调用、环境反馈和人工协作,单次标准答案很难覆盖全部结果,因此不能只追求静态分数。
他以Claude Code更新后部分用户觉得变差为例,追问新增feature是否经过量化验收。Agent功能越多不一定越好,增加上下文、工具或步骤也会引入新的失败路径。赵晨阳主张用evaluation约束优化,而不是只凭少量惊艳案例或“vibe checking”。他同时承认当前agentic evaluation尚无共识,需要更好的评估基础设施。
回到V4,他提到多步任务稳定性、长程对话、人格一致和工具调用鲁棒性等报告内容,认为这些更接近第一梯队的真实门槛。刘益枫补充,发现和定义新的能力领域比在一个已有benchmark上继续加分更重要;这与他前面对V4不够震撼的评价一致。赵晨阳另给出积极观察:近几代模型在他关注的任务上没有明显degradation,这是一种个人观察,不是所有能力的系统证明。
他还介绍自己关于模型在GitHub上与reviewer多轮沟通、修改PR并最终merge的研究,用来展示与修单测不同的真实工程评估。该工作及“刷满”说法是个人研究经历;转录中的会议名ITDEAR无法确认,不直接改成ICLR。最后他提到关注OpenClaude场景下用户满意度的“Claude Bench”,同样保留为节目中的项目名观察,不补造官方定义。
赵晨阳、程曼祺(行业观察) · 01:14:06–01:16:42
模型更新后部分用户想退回旧版,说明榜单高分与具体工作流体感可能脱节,不能单凭个案证明整体退步。
赵晨阳(个人研究经历) · 01:17:57–01:19:24
GitHub多轮reviewer互动、修改并merge PR,比单次修单测更接近真实工程验收,是嘉宾自己的研究例。
本文整理两位嘉宾观点 · 01:16:50–01:19:24
刘益枫强调新能力领域,赵晨阳强调持续评估,两者分别回答“做什么”与“如何判断做得更好”。
话题推进: 评测之后,主持人把视野扩展到近期模型:架构和优化器是否趋同,Agent商业化是否形成共同方向。
01:19:24–01:24:33 近期模型趋势:架构部分趋同,Agent与AIGC商业模式仍未定型近期密集发布的模型有哪些共同的努力方向? 各家的差异是什么,中美之间会出现怎样的分化? 为什么没有提到阶跃和混元? 刘益枫认为开源模型在基座与优化器上部分趋同:MoE被广泛使用,Muon及其变体增加;转录中的“基座MRA”含义不清,本稿只采用shownotes与上下文可确认的MoE,不猜改架构名。Agent能力成为共同焦点,是因为编程Agent等产品展示了持续消耗token并创造收入的可能,但不能直接等同于已经盈利。
赵晨阳偏好订阅或“订阅+超额token”模式,理由是许多用户用不满额度;刘益枫指出定价过低会导致高用量用户亏损、过高又影响购买。两种观点说明,商业模式需要在用户预算、使用分布与实际推理成本之间匹配,订阅并不天然更赚。赵晨阳也明确说Claude Code是否盈利仍待观察,主持人关于未来IPO和财务可见性的说法属于当时预期。
视频和语音AIGC被作为另一组对照。主持人观察影视用户对订阅加积分接受度较高,赵晨阳认为开源视频、语音与闭源差距大,并据此猜测这些领域可能更赚钱;这是推论,不是财务证据。刘益枫认为视频用户黏性更适合订阅,主持人则指出通用coding吸走关注,垂直AIGC可能给创业公司留下空间。
赵晨阳将DeepSeek与Kimi概括为大型MoE、低激活、长上下文和激进成本路线,将Qwen与MiniMax概括为RL训练和长上下文落地扎实,并补充小米模型的榜单表现。他把这看作百花齐放,也说明开源推理引擎需要不断适配。主持人最后追问阶跃与混元,答案在下一段,而不是本段结束或问题遗漏。
刘益枫、赵晨阳(商业讨论);本文整理 · 01:20:22–01:21:40
Agent带来token收入可能性不等于已经盈利;订阅、按量和混合计费仍需结合实际用量与成本。
赵晨阳(商业推测) · 01:22:06–01:22:58
赵晨阳由开闭源视频、语音差距推测这些模型可能赚钱,是嘉宾明确标注的推论。
赵晨阳(国内模型观察) · 01:23:37–01:24:30
DeepSeek/Kimi、Qwen/MiniMax与小米的路线概括是嘉宾观察,不是对所有公司完整技术路线的定论。
话题推进: 下一段先补答阶跃与混元,再讨论中美路径、V4的技术遗产和两位嘉宾接下来的工作。
01:24:33–01:33:52 连续对话 401:24:33–01:33:52 中美路径与V4技术遗产:不同资源与反馈条件下的工程选择中美模型的发展路径有什么差异? V4最可能留下什么技术遗产? 两位嘉宾接下来准备做什么研究? 刘益枫把美国代表团队概括为更偏向开辟新能力领域,例如原生多模态与Agent,同时保持高定价;中国代表团队更强调在相似能力下的性价比。他认为这与人才、算力与商业环境有关。赵晨阳结合自己的实习观察,补充Anthropic等团队在long-horizon Agent上的进步,以及多年积累的高质量反馈数据与RLHF/RLAIF方法论如何形成持续迭代闭环。
这些观察有助于解释为什么美国团队可能先追求‘此前做不到’,中国团队更密集地优化架构与成本,但不能把个别公司经验推广成所有中美团队的固定本质。美国团队也做稀疏与效率,中国团队也做新能力与Agent。真正的差异应落在具体数据、算力、客户、组织与反馈条件,而不是国别标签。
主持人进一步问,是否因为稀疏化太难,美国才不采用。刘益枫给出的解释是:充裕算力降低了极致省成本的必要性,且先冲能力后再降本更容易;赵晨阳部分同意。这里的因果仍是嘉宾判断,不是对所有美国模型战略的证据。
V4的遗产则有两层:刘益枫看重token-wise极致压缩在工业模型上的落地,赵晨阳看重长上下文、低激活比例与低单token成本的组合。mHC、混合注意力、TileLang等具体组件可能被更优雅方案替代,但把算法、训练、kernel与部署共同跑通的工程配方,为后续开源模型提供了参考。
最后,刘益枫希望在工业环境继续研究CSA/HCA类压缩,在学术环境研究Hyper-Connection和Muon改进;赵晨阳计划把AI生成PR的评估标准用于开源维护,并把语言模型的工程优化经验用于降低语音模型首响延迟。个人研究计划不是V4团队的官方路线,也不是已经实现的成果。
数据闭环 用户或评测产生反馈,反馈用于训练、评估和改进模型,新的模型又产生新任务与数据。闭环质量取决于反馈是否独立、有效,而非仅积累调用量。
技术遗产 本期指V4可能留下的可复用工程经验与评价标准,包括压缩、低激活、低成本与系统协同,不等于每个具体组件长期不变。
刘益枫、赵晨阳(行业观察) · 01:24:33–01:26:48
美国代表团队强调新能力与数据闭环,中国代表团队强调架构与性价比,是嘉宾基于代表案例的概括,不是国别定律。
刘益枫、赵晨阳 · 01:26:48–01:28:00
‘先冲能力再降本’解释美国为何未普遍极致稀疏,是嘉宾推断;算力与商业目标只是其中一种条件。
两位嘉宾(技术判断) · 01:28:00–01:31:00
V4遗产包括token-wise压缩、长上下文低激活与低成本的组合,以及算法—训练—kernel—部署共同落地的工程配方。
刘益枫、赵晨阳(个人规划) · 01:31:00–01:33:52
两位嘉宾分别规划压缩与连接机制研究、开源PR评估和语音首响优化,属于个人计划,不是V4官方路线图。
话题推进: 全篇回到同一条主线:V4的意义不只在组件名称,而在能力、效率、工程验证和持续评估怎样共同成立。
以上是原对话的分段阅读。下面才开始提炼论证、解释机制并给出本文自己的判断。
主要论证:观点怎样由经历与例子支撑 DeepSeek V4的发布延期,很可能是因为一次性引入了四个高度耦合且前沿的新特性(混合稀疏注意力、mHC、Muon优化器、FP4训练),导致工程调试难度呈“组合爆炸”式增长。 赵晨阳, 刘益枫 · 00:09:23;00:09:37;00:10:40
赵晨阳从Infra角度分析,这四个特性中任何一个单独上线都需要大规模调试。Muon优化器在大规模MoE上的稳定性、生产级别的FP4训练,在公开层面都是极为前沿的尝试,将它们耦合在一起会产生巨大的工程挑战。刘益枫补充,V4原生支持国产芯片(华为昇腾)也可能增加了研发时间,因为适配国产芯片的底层算子和接口常需从零编写。
成立条件: 此论证是基于嘉宾工程经验的推测,其成立前提是这四项技术确实是并行开发和集成的,而非分阶段引入。同时,也假设了适配国产芯片的工作与主体研发并行且构成了关键路径上的延迟。
V4虽然大幅降低了单token的计算成本和KV cache占用,但其整体效率提升存在一个关键权衡:解决同一问题消耗的总token量反而增加了。 刘益枫, 赵晨阳 · 00:23:00;00:25:53;00:26:58
刘益枫首先提出该现象。他推测原因有二:1) 训练目标更倾向于“完成任务获得高奖励”,而未充分考虑token消耗的惩罚;2) V4激进的token-wise压缩机制(如CSA/HCA)导致信息损失,模型需要生成更多token来补足缺失信息或推理过程。赵晨阳表示赞同,并用“高压水枪浇花”比喻,认为模型忠实反映了训练数据中“用更长回答解决问题”的模式,形成了一个负面循环。
成立条件: 此论证基于用户反馈和嘉宾的分析。其成立需要确认“解决同一问题消耗更多token”是一个普遍现象,而非仅限于特定任务或用户习惯。对原因的推测也需要通过更具体的实验(如对比有无长度惩罚的训练效果)来验证。
DeepSeek V4将激活参数比例降至3%(1.6T总参数,49B激活),体现了行业通过MoE架构将“知识容量”与“推理成本”解耦并推向极致的工程信念。 赵晨阳 · 00:28:41;00:29:04;00:30:15
MoE的核心价值在于通过增大总参数量来提升模型知识容量,同时通过稀疏激活一小部分“专家”来降低单次推理成本。V4的3%激活比,相比V3的5.5%及同期其他模型(如Kimi K2.6的3.2%)是最低的。赵晨阳强调,将激活比例从5%降到3%,工程难度是指数级上升的,这需要算法和底层算子(如哈希路由)的协同优化,以保证专家训练和路由的均衡,是极致工程追求的体现。
成立条件: 此论证成立的前提是,激活参数比例是衡量MoE效率的关键指标,且降低该比例确实能带来显著的推理成本节约。同时,也假设了V4在降低激活比的同时,没有显著牺牲模型在关键任务上的性能。
采用Muon优化器已成为检验大模型团队工程能力上限的试金石,因为它需要用巨大的工程复杂性去换取显存和收敛效率的提升。 刘益枫, 赵晨阳 · 00:39:37;00:41:25;00:47:16;00:48:08
刘益枫解释,Muon将参数矩阵视为整体优化,能加速收敛,但使用不便。Kimi的Muon-Lite简化了调参,推动了其应用。赵晨阳从Infra角度补充,Muon的并行策略远比AdamW复杂,其更新涉及矩阵计算,在分布式训练(如张量并行)中需要复杂的通信聚合被切分的权重。这导致优化器层状态混杂,调度和checkpoint等都变得非常困难。因此,切换到Muon并非简单替换,而是一项复杂的系统工程,能完成的团队说明其具备很强的底层工程能力。
成立条件: 此论证的成立条件是,Muon优化器带来的收益(显存节省、收敛加速)确实显著,足以让顶尖团队愿意投入巨大的工程资源去克服其复杂性。如果未来出现更简单、效果相当的优化器,Mu.on作为“试金石”的地位可能会被动摇。
DeepSeek V4在后训练阶段采用的“多专家训练+在策略蒸馏”策略,是将一个复杂的多目标优化问题,转化为一个更稳定可控的工程问题的有效实践。 赵晨阳, 刘益枫 · 01:10:11;01:11:47
赵晨阳指出,同时优化多个冲突目标(如代码、数学能力)非常困难。DeepSeek的策略是:1) 先针对不同能力分别训练出多个“专家”模型,在单一目标上找到局部最优解;2) 然后训练一个统一的“学生”模型,去拟合(蒸馏)这些已收敛的专家模型的输出分布。这相当于将一个复杂的函数优化问题,降解为在几个已知点之间做“插值”。刘益枫补充,V4的创新在于将此技术用于同等规模模型的“精华”提取,而非传统的强模型蒸馏到弱模型,目的是在节约最终参数量的同时最大化模型能力。
成立条件: 此论证的有效性取决于“先分裂再聚合”的工程实践确实比直接进行多目标优化的训练过程更稳定、最终效果更好。这需要假设各个“专家”模型能够被有效训练,并且蒸馏过程能够无损或低损地继承各位专家的核心能力。
中美AI发展路径出现分野:美国团队利用数据闭环优势开辟新能力领域(如Agent),而中国团队则在架构创新和工程极限上追求极致性价比。 赵晨阳, 刘益枫 · 01:24:33;01:25:18;01:26:18;01:26:48
刘益枫指出,美国模型(如Gemini)开辟原生多模态等新领域,定价高昂。赵晨阳补充,美国团队(如Anthropic)凭借多年积累的高质量人类反馈数据和RLHF/RLAIF方法论,在需要多轮交互的Agentic任务上进步巨大。相比之下,中国模型更注重性价比,收费低一个数量级。中国团队的强项在于工程执行力,如DeepSeek V4一次性整合多种复杂新技术,在架构上追求极致稀疏和成本优化。这反映了双方在算力成本、人才储备和数据积累上的不同禀赋和战略选择。
成立条件: 此论证是一个宏观观察,其成立基于对话中列举的代表性公司和产品(DeepSeek, Kimi vs. Anthropic, Google)能够反映两国AI产业的主流趋势。它不排除个别公司或团队采取不同策略的可能性。