Podcast Interview · 逐期深读

DeepSeek V4技术报告深度解读:架构、效率与行业趋势

本期背景与内容导览

本期由赵晨阳与刘益枫共同解读DeepSeek V4:重点不是简单宣布范式革新,而是分析混合稀疏注意力、低激活MoE、Muon、mHC、TileLang与FP4怎样共同影响长上下文、训练与推理成本。 对话先讨论V4放弃MLA和多项复杂特性同时引入的工程挑战,再解释单token成本降低与完成同一任务总token增加之间可能存在的矛盾。效率必须按整个任务的总成本衡量,不能只看token每秒或单次KV cache。 技术部分分别说明SWA/CSA/HCA的分工、Muon矩阵优化的分布式复杂性、mHC对层间信息流的拓宽与稳定约束、TileLang在CUDA和Triton之间的抽象取舍,以及FP4 QAT在RL采样中的作用。后训练的多专家与on-policy蒸馏用于处理多目标冲突,evaluation则持续检查Agent在真实任务中的完成,而非只追静态榜单。 结尾保留中美代表团队在能力开拓、数据闭环与工程性价比上的不同侧重,但不把国别当固定本质。V4的持久价值更可能在算法—训练—kernel—部署共同落地的工程经验,具体组件仍可能随硬件和架构演进。

晚点聊 LateTalk · #163 · 2026-04-30 · 1:33:52

原对话:沿提问、回答和转折完整展开

下面先按节目顺序重建。主持人在追问什么,嘉宾如何以自己的经历、例子和推理作答,尽量保留在具体语境中;案例中的事实、数字和判断先归属于发言人。随后才进入本文的机制解释与独立判断。

00:00:05–00:28:40连续对话 1

00:00:05–00:02:36开场与嘉宾介绍:算法架构与Infra两种现场视角

节目先用三段后文快评建立问题意识:赵晨阳认为“范式变化”已被叙事滥用,刘益枫关注DeepSeek放弃V3的MLA,赵晨阳又用“拿着高压水枪浇花”形容当前token浪费。随后,主播程曼祺说明,本期以DeepSeek V4技术报告为对象,讨论它如何沿R1的“测试时扩展”范式,以组合创新和工程优化把百万上下文从理论能力推向可承受的实际应用。这里的“实用”是节目提出的判断,后文还要通过长度条件、任务成功率与总token成本继续限定,不能直接理解成任何百万token任务都稳定有效。

刘益枫自我介绍为UCLA博士生,主要研究预训练中的优化器和模型架构,也有后训练及Agent项目经历。赵晨阳自我介绍为RadixArk工程师、SGLang开源推理框架开发者,具有强化学习系统背景。他称SGLang可能已部署在全球超过40万张GPU上,团队在V4发布当天跑通了推理与强化学习两条链路;这些数字和适配结果都是嘉宾自述,不是本期独立审计。两种经历使后续讨论形成一条互补链:刘益枫解释模型、优化器和训练选择,赵晨阳解释这些选择落到缓存、算子、分布式训练和推理系统时要付出的工程代价。

MLA与MQAMLA(Multi-head Latent Attention)以低秩潜在表示压缩KV信息,减少缓存;MQA(Multi-Query Attention)让多个Query头共享Key/Value,也降低KV cache。V4回到MQA并叠加序列级压缩,不等于证明MLA在其他模型中失效。
KV cache自回归生成时保存历史token的Key/Value状态,避免重复计算。上下文越长,缓存通常越占显存并增加读写压力;V4的压缩目标之一是降低这项成本。
单token计算量与任务总成本单token计算量回答“生成一步需要多少计算”,任务总成本还要乘上输入输出长度,并加入并发、硬件、时延、失败重试和成功率。节目语境中的flops按计算量理解,不把每秒浮点运算率FLOPS混作同一指标。
Arena式评测对同一问题展示匿名模型答案,由用户比较偏好,再汇总为排名。它提供开放任务中的主观比较,仍受提示、样本、投票者和时间影响,不等同统一的真实工作验收。

话题推进:主持人指出两位嘉宾分别覆盖算法架构与Infra,随后先问他们亲自使用和适配V4的体验。

00:02:36–00:07:44上手体验与MLA转向:能力体感、Infra适配和架构未收敛

  • V4发布后,你们作为一线AI从业者,自己的上手使用体验怎样?
  • 为V4做Day0 Infra适配的过程中有什么有意思的发现?
  • ICLR会场上的研究者如何讨论V4?
  • MLA和MQA的简单区别是什么?

刘益枫先从用户视角报告:他在Arena对比中感觉V4的数学推理、代码和Agent指令遵循比V3更好,幻觉也更少;但与国外第一梯队相比,代码仍有差距,尤其不如Claude,体感更接近Kimi K2.6等国内模型。这些是个人使用感受,不是统一任务集上的测量结论。

赵晨阳从适配者视角回应。他把DeepSeek发布称为给开源Infra“续命”,认为V2到V3主要是将MLA与MoE规模化,V4的SWA加双压缩则改变了注意力本身,需要重做前缀缓存和采样相关优化。他称团队最终取得领先效果,但此处没有统一基准、硬件配置和对照组,应保留为其工程自述。

刘益枫随后转述ICLR现场的讨论:Kimi K2、GLM5等仍采用MLA,一些研究继续改进MLA,而DeepSeek V4回到MQA,使“架构是否已经收敛到MLA”再次成为开放问题。主持人追问区别时,他解释,MLA通过对KV做低秩压缩减少缓存,MQA则让多个Query头共享Key/Value,从另一条路径减少KV存储。V4还引入沿序列的token-wise压缩;刘益枫明确以“我猜测”提出,若再与MLA叠加,底层实现可能过于复杂,因此团队放弃MLA。这是机制推测,不能写成DeepSeek公开确认的唯一原因,更不能据此证明MLA整体失效。

话题推进:讨论完架构变化后,主持人转向报告中消失的训练成本数字,并继续追问多模态和延期。

00:07:44–00:14:32成本、延期与范式:单次数值之外,系统工程的代价和边界

  • V3曾给出557万美元训练成本,这次报告和官方博客都没有明确数字,两位怎么看?
  • 你们怎么看V4没有上多模态能力?
  • 为什么V4比原计划的春节发布晚了两个多月?
  • V4是否不像R1那样构成范式变化,而主要是工程创新的组合?

主持人以V3曾披露的557万美元为对照,问V4为何不再披露训练成本。赵晨阳将不公开解读为DeepSeek不再依赖成本叙事、转而让模型能力说话,这是他对团队动机的判断。刘益枫则指出,最后一次训练只是一部分成本,前沿探索、对照实验、人力和数据也需要计入;他给出的“研发成本可能是最后一次训练几十倍”是粗略估算,不能当成公司财务数字。两位共同提示的是:最后一次训练成本与完整研发成本不是同一个分母。

关于未上多模态,刘益枫提出两种可能:团队更专注文本,或在复杂模型和国产硬件适配之上再叠加多模态,会进一步提高Infra难度。关于延期,赵晨阳先说明外界无法知道真实发布计划,再推测混合注意力、mHC、Muon和FP4四项耦合改动需要分别调试,组合后还会互相影响,尤其是大规模MoE上的Muon稳定性和生产级FP4前后向。刘益枫补充国产芯片适配也可能增加时间。

主持人在此收窄了“原生支持国产芯片”的表述:她读到的报告只在EP并行方案处提到华为昇腾上的技术验证,属于推理;训练是否使用并未披露。刘益枫确认这一点,也说外界多数推测仍是英伟达。于是,昇腾推理验证、训练硬件未知和适配可能导致延期,必须保持为三个不同层次。

节目还保留一段团队文化观察:主持人转述DeepSeek博客引用《荀子·非十二子》的“不宥于欲,不恐于傍,率道而行,端然正己”,嘉宾用其他古籍句子回应。刘益枫根据作者致谢名单估计离职人员约5%,进而认为团队稳定;该比例是名单观察,不等于严格年度离职率,也不证明延期原因。最后,赵晨阳把范式限定为Transformer、Scaling Law、RLHF、Test Time Scaling等较大的思想变化,认为R1是在开源世界走通长尺度推理,V4则沿此方向继续解决困难问题。他预测系统级耦合工程会是未来一两年的“处悬地”,并相信百万token可以拆成许多局部优化再组合。这属于对工程路线的判断和预测,而不是已经证实的普遍产业规律。

话题推进:刘益枫随后从“是否提出新能力领域”重新定义范式,赵晨阳则把注意力转向减少不必要的推理和上下文浪费。

00:14:32–00:16:41新能力与上下文效率:从“能做什么”追问到“该做什么”

  • 有没有现在没被充分关注、之后可能很有潜力的能力?
  • 你关心的是不是模型已经在做的事,其实可以用更高效率完成?

刘益枫把范式变化解释为开辟新的能力领域,而不只是换一种训练技巧。他以长上下文、Agent和幻觉等问题为例,强调研究瓶颈正从“能不能做到”转向“还不知道哪些事情值得做”。他判断,新能力一旦被明确提出,模型和评测可能在半年到一年内迅速跟进;这是经验性预测。主持人追问潜在方向,他举出AI意识与自主行为能力,属于开放的科学问题,节目没有提供模型已经具有意识的证据。

赵晨阳给出另一条更贴近工程的回答:减少不必要的推理。百万上下文扩展了模型能接收和处理的信息量,却不能自动说明每一份上下文都值得保留。编程Agent累积的系统提示、工具结果、历史对话和中间推理,可能让token消耗远超任务本身需要。因而他把问题拆成两层:Infra能否以可承受成本处理长上下文,以及Agent能否在相同上下文预算内完成更多有效工作。主持人据此确认,他关心的是现有任务的完成效率,而不只是更长的窗口。

这段也为后文“单token更便宜、总token可能更多”的矛盾埋下伏笔。不能把“被Infra惯坏”当成对所有开发者的定量指控,它是一位Infra从业者对上下文使用方式的强烈批评。

话题推进:主持人把讨论拉回V4的具体表现,先问基准和内部使用,再问效率数字。

00:16:41–00:23:00性能、采用与数据:内部盲测、第三方榜单和数据归属不能混谈

  • 这次V4的benchmark有什么表现值得关注?
  • 开源模型的私有化部署会不会让厂商拿不到真实使用数据,影响数据飞轮?
  • 你从Claude换成Codex,真的没有感到明显差别吗?

赵晨阳先区分两类评测:离线benchmark把回答与参考答案按规则比较;Arena式在线评测让使用者在不知道模型身份时比较两个答案。DeepSeek内部实验进一步让工程师面对自己的任务,自行选择模型并反馈。按他对报告的转述,V4约在Opus 4.5附近,与Opus 4.6和GPT 5.5仍有差距,9%的工程师不会把V4 Pro作为编程首选。版本号按节目当时口径保留,重点不是把排名绝对化,而是报告公开了内部不完全采用这一反向信息。样本、任务构成和投票方式仍会影响解释范围。

赵晨阳由内部采用连接到编程数据飞轮:真实使用、反馈、筛选和再训练可能形成循环。刘益枫追问开源是否因私有部署而失去数据,赵晨阳回答,万亿级模型部署昂贵,许多调用仍经第三方云API,因此会留下trace。这里需要再细分:第三方服务商看到调用记录,不等于DeepSeek等原模型研发方自动拥有这些记录,更不等于可以无授权用于训练。私有部署、云API、日志可见性、数据使用权和能否回流到模型作者,是五个不同条件。赵晨阳随后补充,国内也大量使用美国闭源模型,这是他的行业观察。

刘益枫给出当时的第三方数字:Arena中V4 Pro约23名,Artificial Analysis的Intelligence Index约52,均落后于若干同期模型;它们是特定时点和榜单口径的快照。赵晨阳则以一次因账单从Claude Code改用Codex的经历说明,在自己的工作流中二者差异不明显,排名很近时个人体感未必能区分。主持人进一步转述一些企业考虑更换底层模型,说明绑定特定模型的产品优势需要持续能力支撑。一个个案或企业传闻都不能替代可复现任务评测。

话题推进:主持人接着把“用得好”与“算得省”分开,询问V4的27%计算量和10% KV cache数字究竟意味着什么。

00:23:00–00:28:40效率的真实分母:单token更省,完整任务未必同比例更省

  • 单token推理flops为V3.2的27%、KV cache为10%,这是什么水平?
  • 这种提升在长上下文Agent上会不会特别明显?
  • 为什么解决同样的问题,token消耗反而变多了?

主持人引述的效率数字是:在特定比较口径下,V4单token推理flops为V3.2的27%,KV cache占用为10%。赵晨阳强调,压缩和稀疏带来的优势随上下文变长而放大;若只测8K输入、4K输出,不能完整反映长序列架构的收益。他也不把几千token说成完全没有提升,而是提醒不能把27%和10%直接兑换成所有请求都提速约4倍或省显存90%。价格、吞吐、时延、显存和能耗是不同结果变量,还受硬件、并行方式与输出长度影响。

对长Agent,他预期接近百万token的场景会更受益。刘益枫随即补上反例:有用户反馈,V4解决同一问题所需token比过去更多。这样,单位token成本下降不等于任务总成本同比例下降。可比较的指标应是完成同类任务并达到同等成功率时,总输入输出token、实际计算、等待时间和费用,而不是只看单步flops或每秒输出token。

刘益枫提出两种可能解释:训练奖励偏重任务完成而缺少长度约束,或token-wise压缩损失信息,模型不得不用更多推理补足。两者都是待实验检验的假说,不能据访谈断定压缩就是原因。赵晨阳认为训练数据与目标也可能鼓励更长回答,用“高压水枪浇花”强调浪费;他提到K1.5报告中的长度惩罚说明行业已有应对方法,但没有证明V4是否使用、使用多强,更不能把“不可逆增长”当成统计结论。

话题推进:主持人随后按技术报告的脉络进入模型架构、Infra、预训练和后训练,先看MoE与MTP主线下的极致稀疏。

00:28:41–00:57:34连续对话 2

00:28:41–00:33:44极致稀疏:49B/1.6T、哈希路由与未被采用的Engram

  • V4架构上的整体思路是什么?
  • V3约5.5%的激活比例降到V4约3%,工程难度意味着什么?
  • Engram是什么,为什么这次没有用到V4?

赵晨阳先概括V4保留DeepSeek MoE与MTP主线,同时改注意力、残差和优化器,并在Infra引入TileLang与FP4。其共同目标是把长上下文从“理论上能处理”推进到成本可接受。这里的重点不是某一项孤立技术,而是稀疏化在模型和系统上的联合实施。

V4 Pro按节目口径有1.6T总参数、49B激活参数,49÷1600约为3.06%。MoE把知识容量与单次激活量部分解耦:总专家参数提供容量,单次只选取部分专家参与计算,因此不必让每个token都走过全部1.6T参数。但49B并不是完整请求成本,仍需计入注意力、通信、缓存、并发和输出长度。主持人补充V3约5.5%、Kimi K2.6约3.2%及另两个模型的4.3%和5.3%,这些是节目列举的横向数字,不能脱离各自参数统计口径直接判成统一效率排名。

赵晨阳认为从5%到4%再到3%的难度显著上升,同时承认其他团队不是做不到,只是技术取舍不同。他所说的“指数级上升”是工程感受,不是测得的复杂度函数。刘益枫进一步解释,接近40:1的总参数/激活参数比,要求不同专家都得到充分训练,token能合理路由到专家,再把结果合并;前几层采用哈希路由,是为避免训练初期路由过度集中。

刘益枫还讨论了未被采用的Engram:它额外编码连续N-gram片段,希望补充局部短语信息;嘉宾称其参数与Infra成本较大、能力提升有限,因此短期不看好前沿实验室采用。这是嘉宾对效果和趋势的判断,不等于DeepSeek公开宣布Engram永远无用。旧稿擅自替换的模型版本名均撤回,保留节目可辨识的名称与数字。

MoE与激活参数比例MoE让不同专家子网络处理被路由来的token。激活参数比例是单次实际参与计算的专家参数量占总参数量的比例,V4按节目约为49B/1.6T≈3.06%。它是效率指标之一,不是完整任务成本。
SWA、CSA与HCASWA在局部窗口内计算注意力;CSA将序列按4:1压缩后由Query选Top-k;HCA将序列按128:1压缩后做稠密注意。不同层预定义采用哪种长距路径,分别偏重于关键定位与高度压缩的全局表示。
Muon面向矩阵参数的优化方法。嘉宾强调其矩阵整体更新、部分状态显存节省和收敛收益,同时需要更复杂的分布式矩阵计算、通信与混合优化器状态管理。
mHCManifold-Constrained Hyper-Connections。它加宽层间信息通道,并以双随机矩阵约束信息流尺度,目标是改善HC的训练稳定性。实际能力增量仍需同配置消融。

话题推进:明确MoE的容量与成本取舍后,主持人进入注意力机制,追问V4为何采用混合稀疏而非MLA或纯线性路线。

00:33:45–00:39:37混合稀疏注意力:SWA保局部,CSA找关键,HCA给概览,Infra管一致

  • 这次CSA与HCA混合注意力的具体改进是什么,背后的思路和业界启发是什么?

赵晨阳把V4的注意力拆成局部与长距两路:每层运行SWA,在窗口内保留附近token的细粒度交互;不同层再按预定义配置使用CSA或HCA处理长距离信息。CSA沿序列做4:1压缩,Query再以Top-k选取相关部分;HCA做128:1压缩,Query对全部压缩token做稠密注意力。由此,CSA用较少候选寻找关键长程信息,HCA用高度压缩的全局表示降低成本。赵晨阳称HCA可能提供“语义概览”,这是他的功能解释,不应写成官方对每层作用的严格证明。

这套设计也把系统问题从“少算多少”变成“多套状态如何一致”。赵晨阳所在团队的Shadow Redis为SWA、C4和C128建立三个异构KV cache池,并在prefill、decode和speculative decoding之间同步。前缀缓存若把不同窗口、不同压缩率的状态混用,理论上的计算节省就可能转化为错误输出。这里体现的是模型与硬件协同:算法决定哪些信息保存,Infra决定这些状态如何驻留、复用和同步。

与线性注意力比较时,刘益枫认为循环更新若不断把历史压入有限状态,长程精确回忆可能受损;SWA跨层传递则提供另一条路径。他给出“1024个token、128窗口只需跳8次”的直观例子,用来说明局部连接经多层传播可以比连续压缩保留更多精确路径。该例是解释性简化,不是对线性注意力信息损失或“近无损”的普遍证明。MiniMax从线性方案回到全注意力的业界例子,也被用来说明效率、能力与系统成本没有免费午餐,但不能据一个模型选择否定整条线性路线。

赵晨阳最后介绍团队的High Sparse:把稀疏注意力的KV cache卸载到host memory,在长上下文自述吞吐提升5倍以上。这个倍数属于其团队特定工作的结果,配置未在对话展开,不能外推成V4本身的加速。

话题推进:注意力之后,主持人转入另外两项架构变化,先问为什么Muon会从优化器选择变成Infra能力试金石。

00:39:37–00:48:51Muon优化器:用矩阵整体更新换收敛与显存,用通信和混合状态付工程成本

  • 优化器在训练中起什么作用,为什么越来越多团队使用Muon?
  • Infra需要怎样配合从AdamW转向Muon?
  • 能否把采用Muon看成判断模型团队Infra能力的标志之一?

刘益枫先解释,优化器根据梯度更新参数,使损失下降。按他的概括,AdamW以动量和逐元素归一化稳定更新,Muon则对二维参数矩阵整体处理,以利用矩阵内部元素的关系。这里应理解为嘉宾帮助非专业听众建立的直觉,不应进一步写成AdamW必然收敛慢或Muon对所有模块、所有模型都更优。

早期Muon需要为不同模块分别调学习率。嘉宾将Kimi的Muon Lite贡献概括为让Muon与AdamW协作:一维参数仍走AdamW,二维矩阵使用Muon,并以0.2的比例协调两类学习率,使用户主要调整一个全局学习率;V4采用0.18。这些数值按节目保留,具体含义属于其所述优化器配置,不是“精度更高所以模型更好”的直接证据。主持人提到的作者与团队历史属于背景转述。

赵晨阳纠正“AdamW不需要复杂并行”的过强说法:大模型训练无论用哪种优化器都要并行,只是Muon更复杂。AdamW的动量和二阶状态可按元素切分;Muon省去一部分状态显存,却要在矩阵更新中处理牛顿—舒尔茨迭代和矩阵计算。如果TP或FSDP把矩阵切碎,就需要聚合相应权重再计算,带来通信、调度和checkpoint resume的复杂度。嵌入、LayerNorm、bias等仍可能使用AdamW,使系统同时管理不同优化器状态。

因此,Muon的价值不是免费节省显存,而是用更多Infra工作换显存与收敛效率。是否值得取决于模型规模、硬件、团队实现和实际训练结果。两位嘉宾认可它是工程能力的试金石,但这不意味着“使用Muon”本身证明模型先进,没采用也不必然说明团队落后。

话题推进:讨论完参数如何更新,主持人转向层与层之间怎样传递信息:mHC与Attention Residuals。

00:48:52–00:54:23mHC与Attention Residuals:拓宽信息流,约束稳定性,也增加新算子

  • mHC是什么改进,为什么引入,解决什么问题?
  • mHC与Kimi的Attention Residuals有什么区别,未来上限怎么看?
  • mHC会影响推理框架适配吗?

刘益枫解释,Hyper-Connection在原有隐藏表示之外增加通道,使层间信息不再只沿单一路径传递;他把宽度写成d×c,其中c是新增通道带来的倍数。朴素HC的问题是训练时前向与反向数值尺度可能失稳。mHC通过双随机矩阵约束信息流,shownotes明确其每行、每列之和为1,目的是避免传播中的爆炸或消失。转录中的“synchron crop”不能确认具体算法名,本稿只采用官方可核的双随机约束,不猜补为某个名字。

主持人追问能力证据时,刘益枫先说直观上推理能力大幅提升,随后承认单独论文主要比较benchmark,并未提供足以定位全部因果的精确控制实验。因此,不能把“通道更宽”直接写成推理能力必然大幅提升。更准确的表述是:它提供了增加层间信息交换并控制训练稳定性的路径,实际效果需看同配置消融。

他将mHC与Kimi的Attention Residuals作对照:前者拓宽层间信息通道,后者借鉴DenseNet让较早层直接影响较后层。二者都改变layer-wise信息流,但连接结构不同。刘益枫认为mHC实现较易、Attention Residuals上限可能更高,这是他的研究判断,不是已经完成的横向胜负实验。他还提到自己的相关工作,应与DeepSeek的结果区分。

赵晨阳补充推理侧成本:原本简单的残差add变为归一化与混合计算,旧算子效率不足,需要专用kernel。其团队用TileLang写mHC的split kernel,以改善小批量解码的GPU利用率。这再次说明,架构上的信息通路变化必须伴随底层算子实现,不能只在公式层面计算收益。

话题推进:mHC需要新kernel,顺势引出Infra的第一个关键词:TileLang在CUDA与Triton之间提供什么抽象。

00:54:24–00:57:34TileLang:把算法意图翻译成高效硬件执行,抽象不等于免费性能

  • Infra的两个关键词TileLang与FP4,能否先展开介绍TileLang?

赵晨阳将Infra的任务概括为:在给定计算路径下怎样更快执行。kernel是底层实际运行矩阵乘法、注意力等计算的函数,需要把较大的计算拆成适合硬件的块,并考虑显存、带宽、并行核和调度。他举4096×4096矩阵按128或256拆分的例子,说明同一数学运算可以因硬件与分块不同而表现不同;转录中的“250、256”不据此创造精确配置。

三种工具按嘉宾经验形成一组取舍:CUDA底层控制力与极限性能强,开发维护成本高;Triton用抽象降低门槛,但可能限制部分表达和极限优化;TileLang以tile级DSL/编译框架走中间路线,希望兼顾表达力、控制与开发效率。这里的性能高低是嘉宾的工程概括,不是每种kernel都必然成立的排序。

赵晨阳接着解读报告中的价值:某些kernel启动开销降到微秒级,并改善位级可复现性。可复现性帮助工程师判断两次forward差异来自实现错误还是允许的数值波动,但不能把它写成任何硬件和采样设置下都逐token完全一致。TileLang的长期意义在于降低新算法定制高性能kernel的成本,使mHC这类新结构更容易从论文走向生产和推理系统。

话题推进:下一部分继续讨论TileLang生态、硬件支持,再进入FP4的量化感知训练。

00:57:34–01:24:33连续对话 3

00:57:34–01:09:58TileLang生态与FP4 QAT:从可写kernel到训练—采样—部署一致

  • TileLang与CUDA等开源生态是什么关系,能否与英伟达之外的芯片结合?
  • DeepSeek在TileLang上的投入是否比其他公司更多?
  • FP4为什么能节省资源,QAT怎样在RL中实现训练时模拟量化、采样时真实量化?

赵晨阳认为TileLang的长期价值是降低新算法高性能kernel的开发成本:DeepSeek为mHC写过混合精度kernel,SGLang团队也为small-batch decoding实现split-k版本。他称TileLang已成为部分前沿实验室的选择之一,但不能由此推成所有实验室的统一默认。主持人补充项目发起与社区背景,并回忆底层编译人才难找;嘉宾强调编译器工作过去艰苦、离商业远,现在因模型结构快速变化而更重要。

关于生态,他把TileLang和Triton视作DSL,而CUDA是更完整的软硬件体系;刘益枫用高级语言与底层语言的类比说明抽象层级。不同硬件厂商可主动支持这些DSL,因此它们既可能丰富CUDA生态,也可能服务其他芯片。赵晨阳拒绝断言DeepSeek投入一定超过其他公司,因为闭源实现不可见。这种“不确信”应保留,而不是换成国产替代已经完成的叙事。

FP4、FP8、BF16的数字表示数值位宽。降低位宽可减少存储与数据读取压力,并可能利用相应硬件计算能力;但“峰值算力得到缓解”更准确说是存储、带宽和部分计算瓶颈有机会改善,实际收益依赖缩放策略、kernel和硬件。FP4范围更窄,训练中容易发生溢出或归零,因此不能只按4÷8推导端到端速度翻倍。

赵晨阳重点解释RL中的QAT。训练侧保留高精度主权重,将其模拟量化到FP4再反量化至较高精度计算,让量化误差进入训练过程;他另提blockwise scale处理离群点。采样rollout侧则真正用FP4权重生成数据,减少访存瓶颈。由于大模型、长预算下采样可能占70%以上时间,采样提速能影响RL总周期。发布checkpoint也是FP4,使采样与部署格式更一致,降低“训练完再一次性量化”的额外落差。主权重、伪量化权重、真实采样权重是不同对象,不能笼统说整个训练都以FP4完成。

嘉宾还把团队INT4 QAT的W4A16与DeepSeek的W4A4作比较。W4A4按定义为4位权重、4位激活,转录随后说“激活八位宽”与标记冲突,本稿保留A4定义并登记回听,不擅自改成W4A8。最后,赵晨阳认为FP4开始走出硬件厂商PPT,同时承认GPT-oss等也在使用、闭源情况未知,因此“成为工业标准”是他的趋势判断,不是全行业统一认证。

QAT(量化感知训练)训练中模拟低精度误差,使模型适应部署时的量化;本期RL语境还包括rollout时真实使用低精度权重加速采样。高精度主权重与低精度采样权重不能混为一谈。
W4A4与W4A16W4表示4位权重,A4或A16分别表示4位或16位激活。节目转录把W4A4的A4说成8位,存在明显冲突,本稿不猜改成W4A8。
on-policy distillation在学生自己产生的状态或轨迹上利用教师输出进行学习。本期用于把多个专项专家的能力整合进统一学生,具体目标和采样细节需查原技术报告,不在审读中补造。
evaluation与benchmarkbenchmark是具体任务和分数,可能饱和;evaluation是持续评估系统能否在目标场景可靠完成工作的过程。Agent还需观察多步、工具、人工协作和真实交付。

话题推进:FP4之后,主持人问官方推理框架与通用开源框架的关系,以及RL链路开源为何重要。

01:07:04–01:10:11开源推理与训练框架:多模型整合、本地部署和RL全链路

  • 如果DeepSeek开源自己的推理框架,它和其他开源框架是什么关系?
  • 支持很多模型的开源框架给开发者和用户什么价值?
  • 报告最后关于训练过程的部分有什么亮点?

赵晨阳把通用开源推理框架的核心难题概括为“众口难调”:既要支持DeepSeek,也要支持小米、MiniMax、Kimi等不同模型及其缓存、并行和精度要求;官方内部框架则可以围绕自己的模型和硬件深入优化。两者不是简单的先进与落后关系,而是通用整合与专用优化的目标不同。

开源框架的直接价值包括本地部署、可控改造和公开学习,性能进步也会倒逼闭源系统。赵晨阳判断推理侧开闭源差距不大,训练侧闭源通常领先,这是他基于行业经验的观察,不是所有模型和硬件的统一测量。过去一个新模型发布后,开源RL框架可能几个月才能跑通;他称团队此次在V4发布当天支持了完整RL链路。

这里需要把RL与普通推理分清:普通推理主要执行不更新参数的前向生成;RL还要让模型采样、给轨迹评分、计算训练更新并回传参数。推理与RL链路共享采样基础设施,但增加了训练状态、同步与一致性问题。赵晨阳所称Day0支持属于其团队工程成果,不等于外部所有环境都能零改造复现。

主持人最后把话题交给训练报告的后训练部分,为“多专家训练+on-policy distillation”作铺垫。

话题推进:训练部分首先讨论如何把不同能力的专家先分别训好,再用在策略蒸馏汇成一个模型。

01:10:11–01:13:20多专家训练与on-policy蒸馏:把多目标冲突拆成专家学习与统一拟合

  • 报告的训练过程有什么值得注意的亮点?

刘益枫指出V4后训练先分别训练不同能力的专家,再做on-policy distillation。与过去把更强、更大的教师蒸馏到小模型不同,这里更强调将多个专家的专项能力整合进统一学生。嘉宾以“先让小专家学好,再提取精华”概括其容量与最终参数量的取舍;具体专家规模、数据源和蒸馏目标未在对话中完整展开,不能自行补成同规模无损耗复制。

赵晨阳把它解释为多目标优化:同时提升coding、数学和指令遵循时,梯度方向可能冲突,一个能力的改善可能损伤另一个能力。先分别训练专家,是在各自目标上寻找较好的局部解;再让学生拟合多个教师的输出分布,把联合搜索改成较可控的知识整合。他用“在收敛离散点之间插值”作类比,这是帮助理解的比喻,并不意味着蒸馏只是在参数空间线性平均。

on-policy说明学生在自己生成的状态或轨迹上接受教师信号,重点不是只背静态答案;但本段未给出目标函数、采样配比与教师调用方式,不应补写公式。嘉宾还提到Qwen的多阶段专家聚合和更早的模型合并研究,说明这不是凭空出现的全新思想。闭源实验室是否采用同类策略多为推测,公开细节有限。

这一机制的边界同样明确:专家可能都学到错误或有偏模式,学生也可能在能力冲突中折中,蒸馏不保证保留每个专家的最佳表现。是否比直接多目标训练更好,需要比较最终任务能力、遗忘、训练成本和采样成本。

话题推进:主持人转向评测,嘉宾进一步讨论为什么具体benchmark会饱和,而真实evaluation不能停止。

01:13:20–01:19:24评测危机:静态榜单会饱和,Agent需要持续、任务级且可复核的评估

  • 测评部分前面已经聊过,还有什么补充?

赵晨阳引用“不能优化无法评测的东西”,区分benchmark与evaluation:前者是具体任务与榜单,可能在一两年后被刷满;后者是持续判断系统是否真正改善的过程。Agent的任务包含多步决策、工具调用、环境反馈和人工协作,单次标准答案很难覆盖全部结果,因此不能只追求静态分数。

他以Claude Code更新后部分用户觉得变差为例,追问新增feature是否经过量化验收。Agent功能越多不一定越好,增加上下文、工具或步骤也会引入新的失败路径。赵晨阳主张用evaluation约束优化,而不是只凭少量惊艳案例或“vibe checking”。他同时承认当前agentic evaluation尚无共识,需要更好的评估基础设施。

回到V4,他提到多步任务稳定性、长程对话、人格一致和工具调用鲁棒性等报告内容,认为这些更接近第一梯队的真实门槛。刘益枫补充,发现和定义新的能力领域比在一个已有benchmark上继续加分更重要;这与他前面对V4不够震撼的评价一致。赵晨阳另给出积极观察:近几代模型在他关注的任务上没有明显degradation,这是一种个人观察,不是所有能力的系统证明。

他还介绍自己关于模型在GitHub上与reviewer多轮沟通、修改PR并最终merge的研究,用来展示与修单测不同的真实工程评估。该工作及“刷满”说法是个人研究经历;转录中的会议名ITDEAR无法确认,不直接改成ICLR。最后他提到关注OpenClaude场景下用户满意度的“Claude Bench”,同样保留为节目中的项目名观察,不补造官方定义。

话题推进:评测之后,主持人把视野扩展到近期模型:架构和优化器是否趋同,Agent商业化是否形成共同方向。

01:19:24–01:24:33近期模型趋势:架构部分趋同,Agent与AIGC商业模式仍未定型

  • 近期密集发布的模型有哪些共同的努力方向?
  • 各家的差异是什么,中美之间会出现怎样的分化?
  • 为什么没有提到阶跃和混元?

刘益枫认为开源模型在基座与优化器上部分趋同:MoE被广泛使用,Muon及其变体增加;转录中的“基座MRA”含义不清,本稿只采用shownotes与上下文可确认的MoE,不猜改架构名。Agent能力成为共同焦点,是因为编程Agent等产品展示了持续消耗token并创造收入的可能,但不能直接等同于已经盈利。

赵晨阳偏好订阅或“订阅+超额token”模式,理由是许多用户用不满额度;刘益枫指出定价过低会导致高用量用户亏损、过高又影响购买。两种观点说明,商业模式需要在用户预算、使用分布与实际推理成本之间匹配,订阅并不天然更赚。赵晨阳也明确说Claude Code是否盈利仍待观察,主持人关于未来IPO和财务可见性的说法属于当时预期。

视频和语音AIGC被作为另一组对照。主持人观察影视用户对订阅加积分接受度较高,赵晨阳认为开源视频、语音与闭源差距大,并据此猜测这些领域可能更赚钱;这是推论,不是财务证据。刘益枫认为视频用户黏性更适合订阅,主持人则指出通用coding吸走关注,垂直AIGC可能给创业公司留下空间。

赵晨阳将DeepSeek与Kimi概括为大型MoE、低激活、长上下文和激进成本路线,将Qwen与MiniMax概括为RL训练和长上下文落地扎实,并补充小米模型的榜单表现。他把这看作百花齐放,也说明开源推理引擎需要不断适配。主持人最后追问阶跃与混元,答案在下一段,而不是本段结束或问题遗漏。

话题推进:下一段先补答阶跃与混元,再讨论中美路径、V4的技术遗产和两位嘉宾接下来的工作。

01:24:33–01:33:52连续对话 4

01:24:33–01:33:52中美路径与V4技术遗产:不同资源与反馈条件下的工程选择

  • 中美模型的发展路径有什么差异?
  • V4最可能留下什么技术遗产?
  • 两位嘉宾接下来准备做什么研究?

刘益枫把美国代表团队概括为更偏向开辟新能力领域,例如原生多模态与Agent,同时保持高定价;中国代表团队更强调在相似能力下的性价比。他认为这与人才、算力与商业环境有关。赵晨阳结合自己的实习观察,补充Anthropic等团队在long-horizon Agent上的进步,以及多年积累的高质量反馈数据与RLHF/RLAIF方法论如何形成持续迭代闭环。

这些观察有助于解释为什么美国团队可能先追求‘此前做不到’,中国团队更密集地优化架构与成本,但不能把个别公司经验推广成所有中美团队的固定本质。美国团队也做稀疏与效率,中国团队也做新能力与Agent。真正的差异应落在具体数据、算力、客户、组织与反馈条件,而不是国别标签。

主持人进一步问,是否因为稀疏化太难,美国才不采用。刘益枫给出的解释是:充裕算力降低了极致省成本的必要性,且先冲能力后再降本更容易;赵晨阳部分同意。这里的因果仍是嘉宾判断,不是对所有美国模型战略的证据。

V4的遗产则有两层:刘益枫看重token-wise极致压缩在工业模型上的落地,赵晨阳看重长上下文、低激活比例与低单token成本的组合。mHC、混合注意力、TileLang等具体组件可能被更优雅方案替代,但把算法、训练、kernel与部署共同跑通的工程配方,为后续开源模型提供了参考。

最后,刘益枫希望在工业环境继续研究CSA/HCA类压缩,在学术环境研究Hyper-Connection和Muon改进;赵晨阳计划把AI生成PR的评估标准用于开源维护,并把语言模型的工程优化经验用于降低语音模型首响延迟。个人研究计划不是V4团队的官方路线,也不是已经实现的成果。

数据闭环用户或评测产生反馈,反馈用于训练、评估和改进模型,新的模型又产生新任务与数据。闭环质量取决于反馈是否独立、有效,而非仅积累调用量。
技术遗产本期指V4可能留下的可复用工程经验与评价标准,包括压缩、低激活、低成本与系统协同,不等于每个具体组件长期不变。

话题推进:全篇回到同一条主线:V4的意义不只在组件名称,而在能力、效率、工程验证和持续评估怎样共同成立。

以上是原对话的分段阅读。下面才开始提炼论证、解释机制并给出本文自己的判断。

主要论证:观点怎样由经历与例子支撑

DeepSeek V4的发布延期,很可能是因为一次性引入了四个高度耦合且前沿的新特性(混合稀疏注意力、mHC、Muon优化器、FP4训练),导致工程调试难度呈“组合爆炸”式增长。

赵晨阳, 刘益枫 · 00:09:23;00:09:37;00:10:40

赵晨阳从Infra角度分析,这四个特性中任何一个单独上线都需要大规模调试。Muon优化器在大规模MoE上的稳定性、生产级别的FP4训练,在公开层面都是极为前沿的尝试,将它们耦合在一起会产生巨大的工程挑战。刘益枫补充,V4原生支持国产芯片(华为昇腾)也可能增加了研发时间,因为适配国产芯片的底层算子和接口常需从零编写。

成立条件:此论证是基于嘉宾工程经验的推测,其成立前提是这四项技术确实是并行开发和集成的,而非分阶段引入。同时,也假设了适配国产芯片的工作与主体研发并行且构成了关键路径上的延迟。

V4虽然大幅降低了单token的计算成本和KV cache占用,但其整体效率提升存在一个关键权衡:解决同一问题消耗的总token量反而增加了。

刘益枫, 赵晨阳 · 00:23:00;00:25:53;00:26:58

刘益枫首先提出该现象。他推测原因有二:1) 训练目标更倾向于“完成任务获得高奖励”,而未充分考虑token消耗的惩罚;2) V4激进的token-wise压缩机制(如CSA/HCA)导致信息损失,模型需要生成更多token来补足缺失信息或推理过程。赵晨阳表示赞同,并用“高压水枪浇花”比喻,认为模型忠实反映了训练数据中“用更长回答解决问题”的模式,形成了一个负面循环。

成立条件:此论证基于用户反馈和嘉宾的分析。其成立需要确认“解决同一问题消耗更多token”是一个普遍现象,而非仅限于特定任务或用户习惯。对原因的推测也需要通过更具体的实验(如对比有无长度惩罚的训练效果)来验证。

DeepSeek V4将激活参数比例降至3%(1.6T总参数,49B激活),体现了行业通过MoE架构将“知识容量”与“推理成本”解耦并推向极致的工程信念。

赵晨阳 · 00:28:41;00:29:04;00:30:15

MoE的核心价值在于通过增大总参数量来提升模型知识容量,同时通过稀疏激活一小部分“专家”来降低单次推理成本。V4的3%激活比,相比V3的5.5%及同期其他模型(如Kimi K2.6的3.2%)是最低的。赵晨阳强调,将激活比例从5%降到3%,工程难度是指数级上升的,这需要算法和底层算子(如哈希路由)的协同优化,以保证专家训练和路由的均衡,是极致工程追求的体现。

成立条件:此论证成立的前提是,激活参数比例是衡量MoE效率的关键指标,且降低该比例确实能带来显著的推理成本节约。同时,也假设了V4在降低激活比的同时,没有显著牺牲模型在关键任务上的性能。

采用Muon优化器已成为检验大模型团队工程能力上限的试金石,因为它需要用巨大的工程复杂性去换取显存和收敛效率的提升。

刘益枫, 赵晨阳 · 00:39:37;00:41:25;00:47:16;00:48:08

刘益枫解释,Muon将参数矩阵视为整体优化,能加速收敛,但使用不便。Kimi的Muon-Lite简化了调参,推动了其应用。赵晨阳从Infra角度补充,Muon的并行策略远比AdamW复杂,其更新涉及矩阵计算,在分布式训练(如张量并行)中需要复杂的通信聚合被切分的权重。这导致优化器层状态混杂,调度和checkpoint等都变得非常困难。因此,切换到Muon并非简单替换,而是一项复杂的系统工程,能完成的团队说明其具备很强的底层工程能力。

成立条件:此论证的成立条件是,Muon优化器带来的收益(显存节省、收敛加速)确实显著,足以让顶尖团队愿意投入巨大的工程资源去克服其复杂性。如果未来出现更简单、效果相当的优化器,Mu.on作为“试金石”的地位可能会被动摇。

DeepSeek V4在后训练阶段采用的“多专家训练+在策略蒸馏”策略,是将一个复杂的多目标优化问题,转化为一个更稳定可控的工程问题的有效实践。

赵晨阳, 刘益枫 · 01:10:11;01:11:47

赵晨阳指出,同时优化多个冲突目标(如代码、数学能力)非常困难。DeepSeek的策略是:1) 先针对不同能力分别训练出多个“专家”模型,在单一目标上找到局部最优解;2) 然后训练一个统一的“学生”模型,去拟合(蒸馏)这些已收敛的专家模型的输出分布。这相当于将一个复杂的函数优化问题,降解为在几个已知点之间做“插值”。刘益枫补充,V4的创新在于将此技术用于同等规模模型的“精华”提取,而非传统的强模型蒸馏到弱模型,目的是在节约最终参数量的同时最大化模型能力。

成立条件:此论证的有效性取决于“先分裂再聚合”的工程实践确实比直接进行多目标优化的训练过程更稳定、最终效果更好。这需要假设各个“专家”模型能够被有效训练,并且蒸馏过程能够无损或低损地继承各位专家的核心能力。

中美AI发展路径出现分野:美国团队利用数据闭环优势开辟新能力领域(如Agent),而中国团队则在架构创新和工程极限上追求极致性价比。

赵晨阳, 刘益枫 · 01:24:33;01:25:18;01:26:18;01:26:48

刘益枫指出,美国模型(如Gemini)开辟原生多模态等新领域,定价高昂。赵晨阳补充,美国团队(如Anthropic)凭借多年积累的高质量人类反馈数据和RLHF/RLAIF方法论,在需要多轮交互的Agentic任务上进步巨大。相比之下,中国模型更注重性价比,收费低一个数量级。中国团队的强项在于工程执行力,如DeepSeek V4一次性整合多种复杂新技术,在架构上追求极致稀疏和成本优化。这反映了双方在算力成本、人才储备和数据积累上的不同禀赋和战略选择。

成立条件:此论证是一个宏观观察,其成立基于对话中列举的代表性公司和产品(DeepSeek, Kimi vs. Anthropic, Google)能够反映两国AI产业的主流趋势。它不排除个别公司或团队采取不同策略的可能性。

机制与术语:对象、输入输出和中间过程

混合稀疏注意力机制 (SWA + CSA/HCA)

这是DeepSeek V4为平衡长上下文处理能力和计算成本而设计的核心注意力机制。

输入:一个长序列的token embeddings。

过程:

1. 分层分工:模型在每一层都使用SWA(滑动窗口注意力)来处理局部上下文信息。

2. 长距处理:同时,根据预先定义的层级分工,一部分层会额外运行CSA(压缩稀疏注意力),另一部分层则运行HCA(高度压缩注意力)。

* CSA层:将整个序列按4:1的比例进行压缩,然后Query从压缩后的序列中通过Top-k选择最相关的部分进行注意力计算。这层负责“精确锁定”长距离的关键信息。

* HCA层:将整个序列按128:1的比例进行更激进的压缩,然后Query与所有压缩后的token进行稠密注意力计算。这层负责提供一个“语义概览”或全局上下文的模糊印象。

3. 信息融合:每层的结果(来自SWA和CSA/HCA)被整合,传递给下一层。

输出:经过多层异构注意力处理后的序列表示,既保留了局部细节,又捕获了长距离依赖。

失败条件:如果CSA的Top-k选择机制频繁出错,或者HCA的过度压缩导致关键信息完全丢失,模型在需要精确长程依赖的任务上(如“大海捞针”测试)性能会下降。此外,如果SWA、CSA、HCA三者的KV cache管理(特别是前缀缓存)出现不一致,会导致推理错误。

对应节目:00:33:45;00:34:26

FP4量化感知训练 (QAT) for RL

这是一种在强化学习(RL)中应用FP4低精度技术以加速采样的工程方案,核心是“训练时模拟量化、采样时真实量化”。

输入:一个使用高精度(如FP32)权重进行训练的模型。

过程:

1. 训练阶段 (伪量化):在进行RL的优化步骤时,优化器内部维持一份FP32精度的“主权重”。

a. 在计算梯度前,将FP32主权重“伪量化”:先模拟压缩到FP4的数值范围,然后再无损地“反量化”回FP8或更高精度进行前向和反向计算。

b. 这个“伪量化”过程的目的是让模型在训练中提前感知并学习适应真实量化可能带来的精度损失和误差。

2. 采样阶段 (真实量化):在RL中需要大量生成数据(rollout/采样)时,将FP32主权重真实地量化为FP4格式。

a. 使用这个FP4精度的模型进行大规模、高并行的采样。由于权重和激活值(在DeepSeek的实现中是W4A4)都是低精度的,这能极大降低显存占用和访存带宽,从而显著提升采样速度(在RL中采样可能占70%以上的时间)。

输出:一个既能在低精度(FP4)下高效采样,又在训练中通过模拟补偿了精度损失,从而保持了较高性能的模型。最终部署的模型权重与采样时使用的FP4权重一致,避免了训练-量化分离带来的额外性能下降。

失败条件:如果FP4的数值范围过窄,导致关键的权重信息在真实量化时完全丢失(梯度消失或爆炸),即使有QAT也无法恢复,模型性能会严重下降。此外,实现W4A4(4位权重,4位激活值)对底层算子(kernel)的要求极高,如果算子实现不佳,可能无法获得预期的加速效果。

对应节目:01:03:00;01:05:19;01:06:40

独立判断:这些对话改变了什么理解

DeepSeek V4放弃自家提出的MLA架构,不仅是技术迭代,更反映了AI工程领域“开放式探索”向“收敛优化”的阶段性转变。

推理:对话中提到,V3时代的MLA曾被Kimi、GLM等多个模型采用,代表了一种有前景的探索方向。V4放弃它,说明DeepSeek通过内部大规模实验发现,在新的“极致稀疏”目标下,MLA与token-wise压缩等新机制的组合实现过于复杂或效果不佳。这表明,当行业对长上下文的需求从“能否实现”变为“如何低成本实现”时,评价技术路线的标准从“新颖性”转向了“系统耦合下的综合效费比”。V4选择回归到基于MQA的传统但更易于优化的架构上进行“魔改”,是一种务实的工程选择。

竞争解释与边界:另一种解释是,MLA本身可能存在难以克服的理论上限或工程瓶颈,只是DeepSeek率先遇到了这个天花板。如果其他团队(如Kimi)未来能通过改进(如并行MLA)解决这些问题,并证明其综合效费比优于V4的混合稀疏方案,那么V4放弃MLA就可能被视为一次过早的战略收缩,而非行业趋势的必然。

嘉宾提出的“单token成本降低但总token消耗增加”的现象,揭示了当前大模型优化中一个深刻的矛盾:局部效率优化与全局任务效率的脱节。

推理:V4在单步计算(flops/token)和存储(KV cache)上做了极致优化,这是典型的局部效率提升。然而,如果这种优化(如激进压缩)导致信息损失,迫使模型用更长的“推理链”或更啰嗦的语言来补偿,那么完成整个任务所需的总计算量和时间可能并没有减少,甚至增加。这说明,单纯优化推理引擎的吞吐量指标(tokens/秒)可能具有误导性。真正的效率应以“任务完成成本”(总计算量/任务)来衡量。这个矛盾也反映了当前模型训练目标(通常是下一个token预测或基于奖励的完成度)与用户对简洁高效解决方案的期望之间存在差距。

竞争解释与边界:“总token消耗增加”也可能是一个暂时的、可被解决的后训练问题。例如,通过更强的长度惩罚、指令微调或RLHF,可以教会模型在保持能力的同时使用更少的token。如果后续版本通过这些方法解决了该问题,那么它就只是V4初期版本的一个瑕疵,而非其核心架构带来的根本性矛盾。

对话中对中美AI路径的“新领域开拓 vs. 工程极限”的划分是深刻的,但这可能是一种共生而非互斥的动态关系。

推理:美国团队凭借先发优势和数据壁垒开辟新能力(如Agent),定义了下一阶段的竞争“赛场”和“规则”。中国团队则凭借强大的工程能力和对成本的敏感,迅速跟进并在这个新赛场上探索更高效、更具性价比的实现路径(如V4的极致稀疏)。这种模式下,中国团队的工程创新(如FP4训练、TileLang)反过来降低了前沿技术的门槛,可能加速整个行业的迭代,甚至为美国团队下一轮的降本增效提供参考。因此,这并非两条完全平行的路径,而更像是一个全球化AI生态系统中的不同分工,相互影响、螺旋上升。

竞争解释与边界:这种分工模式的持续性依赖于中国团队能够持续“跟进”并“优化”。如果美国团队未来的创新形成了极高的技术壁垒(例如,依赖于无法获取的私有数据、或与特定硬件深度绑定的架构),导致中国团队无法有效跟进,那么这种“共生”关系可能会被打破,路径差异会演变成真正的技术代差。

尚未解决的问题与可检验的下一步

待解问题:V4的混合稀疏注意力机制中,CSA层和HCA层的具体分工和比例是如何确定的?这种预定义的、固定的分工策略,相比于动态或可学习的策略,其优势和劣势分别是什么?

下一步信息或小实验:需要DeepSeek披露更多关于模型架构设计的细节,或者通过对开源模型的逆向分析来推断。可以设计消融实验,例如训练一个所有长距注意力层都用CSA(或HCA)的模型,或者一个动态决定使用哪种注意力的模型,然后对比它们在不同类型长上下文任务上的性能和效率。

怎样的结果会改变判断:如果实验表明,固定的、异构的分工策略在性能上显著优于单一策略或动态策略,且训练更稳定,这将证实DeepSeek的工程选择是当前最优解。反之,如果动态策略能以可控的成本实现更好的性能,则说明V4的预定义策略只是一个有效的“次优解”,未来还有改进空间。

待解问题:“解决同一问题消耗更多token”这一现象的根本原因是什么?它多大程度上源于压缩导致的信息损失,多大程度上源于训练数据偏差或后训练策略的不足?

下一步信息或小实验:可以设计一个对比实验:1) 使用V4的架构,但在训练中关闭或减弱CSA/HCA的压缩率;2) 使用V4的完整架构,但在后训练阶段加入更强的长度惩罚或针对简洁性的指令微调。然后,在相同的评测集上比较这两个版本与原始V4在完成任务时的平均token消耗和回答质量。

怎样的结果会改变判断:如果减弱压缩能显著减少token消耗而对质量影响不大,说明信息损失是主因。如果后训练能有效解决该问题,则说明这是个“对齐”问题而非架构的根本缺陷。这将决定对V4效率优化的最终评价,并影响未来模型设计中对压缩与信息保真度之间权衡的考量。

待解问题:mHC通过加宽层间“车道”来增强信息流,它与Kimi的Attention Residuals(建立跨层“高速公路”)相比,在不同类型的任务上(如长程推理 vs. 复杂逻辑)各有什么优劣?

下一步信息或小实验:需要对这两种机制进行更细致的理论分析和受控实验。理想的证据是,在相同的基座模型、训练数据和算力下,分别只加入mHC和Attention Residuals,然后在一系列精心设计的、专门测试不同维度能力的benchmark上进行评测。例如,使用“大海捞针”测试长程记忆,使用多步数学或代码题测试复杂逻辑推理。

怎样的结果会改变判断:如果发现mHC在需要全局信息整合的任务上表现更好,而Attention Residuals在需要精确传递早期信息的任务上更优,这将证实两者是针对不同信息流模式的优化,各有适用场景。如果一种机制在所有任务上都一致性地优于另一种,那么它可能代表了更根本的改进方向。

影响理解的转录疑点

建议优先收听 00:28:41 - 01:09:58 这一部分(对应分段2和3)。这部分系统性地拆解了DeepSeek V4的四大核心技术创新:极致稀疏的MoE思路、混合稀疏注意力、Muon优化器、mHC、TileLang与FP4低精度训练。两位嘉宾分别从算法原理和Infra实现的角度进行了深入浅出的讲解和交叉对谈,不仅解释了“是什么”,更探讨了“为什么”这么做以及实现的“难点在哪”,信息密度极高,是理解V4技术内核和当前大模型工程前沿挑战的最佳入口。

证据边界与资料索引

本页依据整期机器转录、官方节目介绍与章节逐段重建,未宣称逐字人工听审。说话人、专名、数字和时间可能存在识别误差;原声仍是最终核对依据。嘉宾关于公司、市场、研究、个人经历与未来的说法按口述保留,不自动等于独立核验的事实。

原节目:163: 详解DeepSeekV4:Infra巨鲸、百万上下文走进现实、极致效率优化

本页使用的公开文字或字幕来源

返回顶部