原对话:沿提问、回答和转折完整展开 下面先按节目顺序重建。主持人在追问什么,嘉宾如何以自己的经历、例子和推理作答,尽量保留在具体语境中;案例中的事实、数字和判断先归属于发言人。随后才进入本文的机制解释与独立判断。
00:00:05–00:29:49 连续对话 100:00:05–00:02:01 片头:效率主线、四个环节与尚待验证的分布式未来片头先交代两位嘉宾与论文:刘知远是清华计算机系副教授、面壁智能首席科学家,肖朝军是清华博士后、MiniCPM系列文本模型负责人。节目讨论《Densing law of LLMs》,重点是用更少资源获得相当或更多智能,但能力比较必须保留参考模型与评测口径。
预告归纳四个效率环节:架构、数据、学习算法与软硬协同。肖朝军提出RL规模化仍不清楚,刘知远把个人终端、眼镜、耳机和便携NAS放在分布式智能愿景中;正式访谈里便携NAS例子由肖朝军展开,两种归属在本稿分别保留。这里的分布式不等于所有小配件各自运行大模型,也不证明持续学习已经解决。
开场还带出刘知远对技术探索的乐观:担心人类因恐惧而束缚前进。后文主持人会用裁员与个人家庭冲击反问,因此这段是嘉宾的价值立场,不是对所有人就业结果的保证。
Densing law(密度法则) 论文和shownotes使用的正式拼写是Densing law,中文称密度法则。它描述研究者观察到的开源基座模型最大相对能力密度随时间指数增长,并提出把单位参数所承载的能力作为研发目标;不是物理定律,也不等同于任意成本、任意任务上的统一增速。
相对能力密度(论文口径补核) 不能直接用跑分除以参数量。论文先拟合参考模型的参数量N与条件语言建模损失、损失与下游表现S的关系,得到S=f(N),再求达到目标模型同等表现时参考模型所需的等效参数量N_eff=f^{-1}(S),以rho=N_eff/N_actual衡量相对密度。它依赖参考模型、拟合曲线和评测任务,不是跨任务不变的物理量。
3.5个月翻倍的评测范围(论文口径补核) 论文分析51个开源预训练基座模型,用MMLU(知识)、BBH(逻辑推理)、MATH(数学)、HumanEval与MBPP(代码)五项基准,拟合随发布时间变化的最大密度包络线,得到约3.5个月翻倍。它既不是所有模型的平均值,也不是预训练数据量、总能耗、后训练RL或端侧完整系统成本都按3.5个月减半。
Scaling Law与推理时计算扩展 本期主要把Scaling Law用于讨论预训练中数据、参数、计算与能力之间可预测的关系;o1、R1所代表的后训练/推理时计算扩展则涉及更多RL训练和更长的测试时思考。当前能力密度没有完整纳入后者,不能把它误写成‘o1只提升推理速度’。
话题推进: 从效率与分布式愿景,主持人先请嘉宾评论近期模型,再进入密度指标、四个效率环节和长输出反例。
00:02:04–00:04:31 新模型的两条观察:Agent任务与统一多模态生成仍是开放问题最近行业里有很多新模型,包括GPT-5.1、Grok 4.1、Gemini 3等,你们看到了哪些比较有意思的部分或亮点? 程曼祺先请两人评论GPT-5.1、Grok 4.1、Gemini 3等近期模型。肖朝军的第一条观察是模型都在向智能体任务倾斜,行业常用‘能解决多少代码bug’来直观检验能力。他没有据此证明模型已能独立完成全部软件工程,后文还会专门区分竞赛题和真实开发。
第二条观察来自Nano Banana和NotebookLM:图像中的文字生成明显更准确,他把GPT-4o视作较早的曙光,把Nano Banana视作进一步放大这一趋势的产品。这里真正的问题不是‘图像效果更漂亮’,而是统一自回归的视觉与语言生成,是否能让多模态数据像文本数据一样支持智能跃升。过去增加多模态数据并未自然带来这一结果,所以他提出一个可能性,而非宣布新Scaling方向已成立。
程曼祺随即追问:Gemini 3究竟怎样实现尚不知道,对吗?肖朝军明确说,需要区分产品层优化和一体化模型改进,可能要再等一两个月观察。这个保留意见很重要:图中文字准确是可讨论的产品现象,‘统一自回归架构导致智能提升’则仍是待公开细节检验的解释。
话题推进: 从产品现象转向长期脉络,刘知远把能力增强称为明线,把效率提升称为暗线。
00:04:31–00:10:23 能力与能效两条主线:效率不是规模路线的反面在效率这条主线上,你觉得最近业界的这些进展有什么体现? 刘知远把2018年预训练模型、2022年底ChatGPT的指令微调,以及2024年底至2025年初的大规模RL看作能力增强的连续节点。他把Scaling Law理解为用更多数据、算力和参数换取能力提升的路径,同时指出训练与使用成本会随之增加。由此提出第二条主线:不是放弃更强能力,而是在相同目标下减少参数、计算与能耗,让能力可以在更多场景部署。
程曼祺追问,近期发布更像性能提升,效率究竟体现在哪里。刘知远承认能力的公众显示度更高,但昂贵、只能经API使用的模型会限制普及;他把效率与智能的广泛分布连接起来。肖朝军补充了开源侧的MiniMax、Qwen3 Next、DeepSeek V3.2和面壁稀疏注意力,以及闭源侧的Mini系列和Gemini文本生成速度宣传。闭源实现无法核实,因此这些例子说明的是行业共同追求,而不是各方案已被同口径验证。
刘知远最后用大型机、PC到智能手机的小型化作类比:设备普及是明线,芯片效率提升是暗线。他想寻找的是大模型的类似效率坐标,而刘知远随后明确说,规模法则与密度法则相辅相成。不能将本期简化为‘小模型取代大模型’:强模型也需要效率,效率研究也仍可服务更大的模型。
话题推进: 主持人接着提出最关键的概念质疑:效率提高看似常识,为什么值得建立定量法则?
00:10:23–00:18:43 为什么叫‘法则’:定量目标与对抗唯算力论的行业叙事我最初看到这个研究时有个疑惑:模型效率随时间提高,这似乎是不言自明的现象。你们做这项定量研究的背景、意义和核心问题意识是什么? 程曼祺的疑问是:效率随时间提高似乎不言自明,这项研究除定量描述外还有什么问题意识。刘知远回答了两层。第一,高效若没有指标就容易停在口号,需要客观尺度帮助研究者分析影响因素。第二,他回顾2022—2024年的主流话语常把‘有10万张卡’当作参与前沿模型竞争的门槛;他反对由此推出的唯算力论,并以DeepSeek V3说明绝对投入仍大、但技术路线可以改变资源转化效率。这里的10万张卡是他描述的行业叙事,不是研究测出的AGI准入线。
程曼祺借《芯片战争》提出,摩尔定律也不是简单物理规律,而是协调产业目标的共识。刘知远赞同,并解释团队中文选择‘法则’而非‘定律’,正是要避免把law理解成掌管万物的物理定律。他把摩尔定律和密度法则都称为‘人工的自我实现’:先观察并公开目标,研发、产业协同与竞争再推动目标延续。肖朝军以有限能源下的人脑和企业竞争补充,刘知远则再次强调规模与效率不冲突。
肖朝军还把密度直观解释为计算量换智能的‘斜率/转化率’,并以OpenAI资源分配争论说明头部机构同样受约束。Ilya离职原因仅是嘉宾转述,不能当作已核人物史。更重要的是,斜率只是帮助理解的说法,论文的密度不是把跑分简单除以参数,而需借助参考模型估计等效参数量;这决定它既有定量意义,也受评测口径约束。
话题推进: 理念明确后,主持人要求回到论文的实际发现:倍增周期是多少、怎样随样本更新而变化?
00:18:44–00:25:46 3.5个月从何而来:研究时间线、商业抉择与MiniCPM实践回到你们这一次的研究,它的一些核心洞察和结论是什么? 你们是24年底做完这个研究,所以最开始有这个想法做这个研究时间是更早的,对吧? 肖朝军先强调,论文真正想立的目标,是单位参数或单位开销转化出的能力,而不是只看最高performance。工作于2024年底正式完成,加入2025年数据后,刘知远把原先约3.3个月的倍增周期修正为约3.5个月,并把变化称作可能的正常抖动;同时他们观察到ChatGPT之后密度增长速度加快。肖朝军特意说,3.5个月还是一年本身不是唯一重点,重点是效率目标。论文口径进一步限定:51个开源预训练基座模型、五项基准、最大相对密度的包络线,不是全行业所有系统平均3.5个月翻倍。
主持人追问研究想法为何早于论文完成时间,刘知远将源头拉回2023年下半年。当时国内一线团队逐渐复现ChatGPT,下一步自然想追GPT-4。面壁估算需要约140B参数和大几千万元,又判断到2024年上半年至少五家国内一线团队可能达到相近能力;如果配方不变,只放大参数与数据,他们找不到收回成本的确定商业答案。这些数字和竞争判断均是团队当时的估算,不能事后当成精确行业统计。
团队由此把主要精力转向‘模型风洞’,并在2024年1月发布第一代2.4B MiniCPM。刘知远称其可比当时的Llama 2 13B和Mistral 7B,并能看到手机部署可能;转录中的Mixtral 7B具体名称和完整评测未核,本稿不扩写成全能力等同。这个实践让团队一方面推动端侧智能,另一方面在2024年寻找‘知识密度/能力密度’的通用规律。它是从商业约束到技术实践再到指标抽象的过程,而不是先有3.5个月公式再推导出公司战略。
肖朝军、刘知远 · 00:20:18—00:21:02
3.3到3.5个月来自加入2025年数据后的修正;保留‘抖动’和ChatGPT后加速两个不同说法,不把数字当精确预言。
刘知远(2023年团队估算) · 00:23:07
约140B、大几千万元、至少五家潜在同质竞争者,是放弃简单追大模型决策的背景。
话题推进: 主持人随后用o1、R1反问:为什么后训练出现后,密度曲线没有再次明显变陡?
00:25:46–00:29:49 当前指标不覆盖什么:后训练、推理时计算与四个效率环节我看到你们数据里,ChatGPT之前和之后,从计算到能力的斜率是变陡了。为什么在24年9月的o1和R1之后,就是强化学习后训练的方法被引入之后,它没有类似的这种斜率变化? 具体怎么去实现密度的提升,就可以展开说一说。 程曼祺观察到ChatGPT前后计算到能力的斜率变陡,追问为何o1、R1之后没有类似变化,是方法本身还是时间太短。肖朝军的回答主要是指标定义:当时的版本面向基座模型,o1、R1代表的后训练进步没有直接计入;团队正在研究2.0版本,希望纳入后训练,但建模仍在进行。他还把当前指标对应的预训练Scaling与推理时计算扩展区分开。因而不能说‘o1、R1只是提升推理效率’:它们也涉及后训练能力与测试时更多计算,当前图形未显示斜率变化并不等于技术没有密度贡献。
随后他把提升效率拆成四个环节。架构决定‘智能的容器’,如稀疏注意力与细粒度MoE;数据治理决定模型拿什么当教材;学习算法与规律包括RL,也包括刘知远所说的模型风洞,即通过小模型实验预测大模型配置与上限;软硬协同则要求训练和使用都面向具体硬件共同设计。刘知远同时承认,四者对密度的定量影响尚不特别清晰,目前只有经验性结果。
所以四个环节不是已经各自证明贡献比例的加性公式,更不能用‘数据减少到1/10’等单一案例乘出总体密度增长。它们提供的是研发检查表:同一目标能力下,架构需要多少实际计算,数据需要多少有效样本,学习规律能否减少试错,算法和硬件结合后真正省多少时间与能耗。
话题推进: 下一部分按这四个环节逐一展开,先用MoE的历史争论说明‘被发明’与‘被规模化验证’的区别。
00:29:49–00:57:10 连续对话 200:29:49–00:40:23 架构与数据:MoE的共识形成、L0—L4管线与不到十分之一的数据你可以解释一下FFN。 为什么MoE这个事是DeepSeek揭示给大家的,不是像Mistral这些不更早做MoE吗? 所以它是一个就是DeepSeek的揭示的意思是说,它从一个大家已经做了一段时间的这种想法和理念,然后它给它在一个比较大的规模上实现了,然后大家觉得这事很有效。 这点上你们可以分享自己是怎么做的吗? 您说的这个数据的开源是指开源最后数据的就是这个结果,还是说这个pipeline本身会开源? 架构部分先拆Transformer的FFN和Attention。肖朝军说,FFN的行业共识是细粒度、稀疏的MoE:把较大的计算层切为多个专家,每次只选其中一部分计算。程曼祺立即反问,Mistral和MiniMax不是更早就做了MoE吗?刘知远补充,MoE概念可追溯到上世纪90年代,约2020年已有Google及其团队用于Transformer,自己也指导过相关研究;DeepSeek的贡献是把方案在很大模型上做work、解决规模化工程问题并公开,使它从非共识转成共识。这个反问纠正了‘DeepSeek发明MoE’的误读。
Attention的压力则来自Agent和深思考:代码仓、Deep Research等需要大量输入,也会产生大量输出,因此线性和稀疏方案都在探索。肖朝军将架构比作‘智能的容器’,但具体收益仍需看保留哪些信息及实际硬件。关于闭源模型采用何种窗口/混合注意力,他只提到传闻,本稿不将其写成已证实架构。
数据部分由程曼祺追问‘你们自己怎么做’而展开。刘知远给出L0—L4:原始收集、过滤、选择、合成/改写、形式化或人工验证。这套管线并非原稿补出的固定‘每层数据分别用于何处’方案,而是覆盖原始网络数据到教材级数据的处理流程。他称团队把FinWeb精炼为不到原始量1/10的Ultra-FinWeb,后者训练效果更好,因此训练成本可下降到约1/10;这是嘉宾案例自述,节目没有列出同参数、同训练步数和全部工程成本,不能直接写成严格十倍端到端降本。
程曼祺继续追问开源的是数据结果还是pipeline。刘知远回答将以报告呈现数据结果和整体架构、开放数据体系,肖朝军补充‘可能开源一部分’,两人还提到UltraChat、UltraFeedback。最后刘知远以DeepSeek V3报告一百多位贡献者说明大模型研发是复杂协作系统,四环节只是主要分解,每项内部还有大量细节。
FFN与MoE FFN是Feed-Forward Network,Transformer中的前馈网络;MoE(Mixture of Experts)把多个专家放进该计算部分,每个token只激活其中一部分。因此总参数量与单次激活计算量需要分开,不能只看一个‘模型多大’。DeepSeek在对话中的作用是推动大规模实践成为共识,不是发明MoE。
L0—L4数据管线 嘉宾给出的内部层次是L0收集原始数据,L1去重和过滤垃圾,L2筛选高质量内容,L3合成或改写,L4以形式化或人工方式验证‘教材级’数据。它没有承诺每一层都用于每种训练,也不等于低层数据没有价值。
RL Scaling在本期的确切问题 不是增加RL步数完全无效,而是:在特定可验证任务上继续增加算力、数据和环境可以变好,但资源增加能否像预训练那样稳定带来跨任务泛化,仍不清楚。环境数量、多样性、奖励质量和防钻空子能力是必要讨论条件,不是简单的步数曲线。
可验证奖励与环境工程 数学答案和竞赛代码容易通过规则或测试判分,真实软件还涉及依赖、代码库、工具、长期状态和需求。环境工程是构造模型可交互、可获得反馈的任务世界;奖励工程是决定什么行为得到何种评价,两者都不能只写成更多人工标签。
程曼祺追问、两位嘉宾回答 · 00:31:20—00:33:18
Mistral和MiniMax是MoE更早实践的反例;DeepSeek的定位是大规模做成、公开并推动共识。
刘知远(Ultra-FinWeb案例自述) · 00:35:59
不到1/10的数据、效果更好及约1/10训练成本都是口述结论;缺少本轮同设置复现,保留具体数字与验证边界。
话题推进: 架构和数据已有具体案例,算法环节却转向一个更基础的问题:RL扩大规模究竟是在优化单任务,还是也能产生泛化?
00:40:24–00:49:20 RL Scaling Law的边界:单任务可进步,跨任务泛化尚无稳定规律这个可以展开讲一讲,就是强化学习它没有Scaling这是指什么。 所以现在有的人会认为RL没有Scaling,是指比如说我给它加更多的算力,然后让它训更多的步数,它并不一定带来一个更好的效果。 但是它没有,它没有就是比如说在更多的下游任务上带来更好的,它只能针对那个环境的任务它的效果更好了。 所以就是你认为它继续去RL这个方式,可能不是我们一般想象中的AGI,但是有可能它在一些具体的场景是有很多用处的,对吧? 我有一个小白的天真的问题,就是RL你不能给它构造一个就是很复杂的任务,很多样的环境吗? 那你们自己现在就是在这个算法的去怎么提升的能力密度上,比如说你们接下来可能会重点做的方向是什么? 你说这个商是商增商减那个商还是? 混乱度的变化吗? 肖朝军说‘RL还没有Scaling Law’,并不是‘RL不能通过训练变好’。他用数量级对照说明现状:预训练可用几十T token、几十万步,R1公开报告中的RL不到一万步,却已能在特定任务取得好效果。问题是如何继续训下去,以及资源增加与能力之间有什么可预测关系。步数不是统一单位:一次RL更新包含多少 rollout、环境和token差异很大,这些数字只是嘉宾说明规模差距的直观例子。
程曼祺连续把问题压实:加算力、加步数是否只让特定任务更好,而不能改善更多下游任务?肖朝军确认这是当前担忧。数学和竞赛代码有可验证奖励,但真实软件开发还涉及第三方库和复杂环境,不能把竞赛成绩等同于工程完成。主持人又提到面向真实商业环境的RL2B,嘉宾承认特定业务可通过充足数据和反馈变精通,但这还不符合他对人类式高效学习的期待。
他因此给出两条仍未分胜负的路线。第一,继续在足够多、足够复杂且不易被模型钻空子的环境中Scaling,看是否像预训练一样产生泛化;肖朝军明确反对过早否定这条路,因为预训练也曾从已有监督学习中通过规模化出现新能力。第二,寻找更高样本效率的新学习范式,用更少环境反馈和人工标注学会新任务。两条路线的判断对象是新任务泛化与学习效率,而不是能否在一个基准继续加分。
主持人的‘天真问题’——为什么不能直接构造复杂、多样环境——引出最难的限制:人类从表情、情境和多目标世界得到反馈,RL却需要把评价变成奖励。若一个系统已能为世界任何行为给出恰当价值,它本身可能已具备很强的通用智能,于是出现‘需要AGI来创造AGI’的循环。团队当前尝试包括研究熵/输出多样性与准确率的关系、提高RL框架算力利用率、探索写论文等开放域奖励;肖朝军明确说开放域尚无成熟共识。
肖朝军(两条路线) · 00:45:40—00:46:15
继续多环境Scaling仍可能产生泛化,不能写成嘉宾已否定RL;另一条是提高新任务样本效率。
程曼祺追问、肖朝军回答 · 00:46:15—00:47:41
构造多样环境的难点是奖励和价值函数;‘通用奖励模型本身是否已近AGI’是必须保留的循环反例。
话题推进: 算法路线仍有争议,第四个环节则落到更实际的约束:算法能否利用真实硬件,而不是只在理论FLOPs上便宜。
00:49:21–00:57:10 软硬协同与InfLLM-V2:原生稀疏的收益、NSA反例与长输出缺口那最后可以讲最后一层就是软硬的深度优化,软硬这些协调一体的深度优化。 因为你们自己其实今年10月也更新了你们在这个应该算是模型架构上的一个变化,就是这个稀疏注意力InfLLM的第二代,对吧?它这个相比你们之前的的第一代的更新和提升是什么? 你刚才也讲到就是这个DeepSeek里面出的那个NSA,它是一个块状的,就是去选这个token的这么一个方式。然后我看到他们9月更新的DeepSeek V3.2,它的里面的注意力又改了,他们又新取了一个名字叫DeepSeek Sparse Attention,DSA。 然后当时杨松霖也提到他觉得下一个方向,就大家在探索的是说我直接用线性注意力去混稀疏注意力,你们是不是也有这方面的一些探索? 肖朝军把软硬协同概括为两个方向:面向现有硬件设计算法,以及面向AI需求设计硬件。他用GPU只用满一半会浪费资源作直观例子,以Transformer利于GPU并行、FlashAttention适配硬件、集群通信优化、手机NPU和DeepSeek深入底层优化作说明。这里的重点不是‘Transformer唯一目的就是打满GPU’,而是理论架构需要与计算、存储和通信共同设计,否则标称稀疏或低FLOPs不一定变成实际速度。
程曼祺问InfLLM-V2在10月更新了什么。肖朝军先纠正时间:6月随MiniCPM 4已使用,10月开放技术报告、部分训练数据和基座模型等,不是10月才首次开源使用。核心变化是把稀疏从主要发生在推理阶段推进到训练阶段,即‘原生稀疏’,收益包括训练加速和降低实际关注比例;第一代约关注50%,主要改善长输入的prefill,对长输出不够好。
他给出的V2口径是128K上下文实际attend约4K—6K token,也就是保留约3.1%—4.7%、不到5%的上下文,并支持长输出。原稿‘稀疏度从50%降至5%以下’容易混淆关注率与剪除率,本稿不沿用。关于DeepSeek从NSA到DSA,他提出两个NSA局限:三个注意力组件让短文本成本上升,以及不适合短文本预训练后接长文本后训练;DSA及InfLLM-V2都试图适应这种训练范式。他还提醒,DeepSeek架构的特定计算/访存条件不必然适用于其他模型和部署场景。
主持人再问线性注意力能否与稀疏注意力结合。肖朝军认为方向自然,但更急的是长输出验证不足:Agent做第二步时不能忘记第一步,深思考也需要维持长轨迹。他以MiniMax曾按1层全注意力对7层线性注意力的激进比例探索、后来转向全注意力为可能现象,明确使用‘估计/可能’解释性能损失,不能写成厂商已公开承认的原因。对下一代面壁架构,他只确定FFN与Attention都会稀疏,具体Attention方案仍在试验。
肖朝军(InfLLM-V2指标自述) · 00:53:06
128K中关注4K—6K,保留不到5%的上下文;这不是把所有成本统一下降95%的证明。
肖朝军(架构判断与保留) · 00:58:17—00:58:52
1:7混合与转向全注意力的原因属个人估计;下一代只确定全稀疏方向,具体方案仍在试。
话题推进: 技术路线之后,主持人要求检验‘法则’的实际影响:它怎样改变团队目标,又如何被外部行业使用?
00:57:10–01:25:15 连续对话 300:57:10–00:58:52 长输出为何不是长输入的附属问题:记忆、混合比例与架构未定长输出的重要性至今还不是行业共识吗? 线性注意力在长输出任务上,即使混合了全注意力(Full Attention)也无法解决遗忘问题吗? 面壁智能在下一代旗舰模型上会采取什么样的架构? 这段把长输出的问题进一步讲透。肖朝军认为,业界常以‘给模型一本书,再回答问题’验证长文本,却较少验证持续思考和多步规划。长输入主要要求读进并检索大量已有信息,长输出则要求模型在自己不断生成的轨迹上工作:推理链变长、计划步骤增多,早期步骤仍是后续决策的上下文。主持人口头把这个挑战概括为线性注意力容易遗忘,肖朝军认同,但这并未证明所有线性架构都必然失败。
主持人追问,混入全注意力也不能解决吗?肖朝军回答‘得看混多少’,并用MiniMax曾采用1层全注意力对7层线性注意力作例。关于后来为何转向全注意力,他说的是‘估计有点没绷住’‘可能性能上有损失’,因此只能保留为嘉宾对行业选择的解释,不是厂商披露。他仍认为线性—稀疏混合有未来,只是还需要时间。
对下一代旗舰模型,肖朝军没有交付确定答案:能确定的是FFN与Attention都稀疏,Attention具体怎样做仍需更多实验。这一保留直接防止把‘全稀疏’写成已验证的最终架构,也提示研究评估必须分别测量长输入检索、长输出一致性和真实Agent多步完成,而不能只报一个上下文窗口长度。
InfLLM-V2的原生稀疏 相对第一代主要在推理时稀疏,第二代把稀疏计算放到训练阶段,目标是同时加速训练、降低实际关注的上下文比例并支持长输出。128K中约关注4K—6K意味着保留约3.1%—4.7%的上下文,不把‘稀疏度不到5%’误作唯一标准定义。
长输入与长输出 长输入是读入代码库、书或大量外部信息;长输出是持续生成思维链、计划和多步Agent轨迹。后者要求模型执行第二步时仍能利用第一步的信息,不能以一次长文阅读问答的成绩代替长输出可靠性的验证。
线性、稀疏与全注意力 嘉宾把线性注意力与滑动窗口放在‘有限状态/局部处理’一侧讨论,把稀疏注意力与全注意力放在‘从较大上下文中选择或利用信息’一侧讨论。混合比例会影响遗忘和效果,不能只听名称就判断架构一定更快或更强。
端侧‘大脑/小脑’ 节目用‘小脑’比喻自动驾驶等底层控制,用‘大脑’比喻座舱理解、交互和上层规划。二者当前仍相对独立;机器人连底层控制都尚未稳定,端侧语言模型参数够大也不证明具身系统已经可工作。
程曼祺追问、肖朝军回答 · 00:58:06—00:58:35
遗忘是候选解释,混合效果取决于比例;MiniMax案例的原因仍是推测,不能写成定论。
话题推进: 架构讨论之后,主持人把视角拉高,询问密度法则是否已改变内部研发与外部行业行为。
00:58:52–01:02:40 法则的实际作用:统一内部评价,外部引用不等于独立验证“密度法则”这个定量描述,对研究界和业界产生了什么影响?你们观察到自己或其他行业角色的行为有何变化? (密度法则)是否在帮助具身智能领域预测,能够跑在端侧、性能又强的模型何时到来? 程曼祺问,定量描述发布以后,对研究界、业界和团队行为有什么实际影响。肖朝军先回答内部:架构、数据、模型风洞和软硬一体有了共同评价标准,上百人团队更容易协同。他把整套研发体系比作‘大模型的光刻机’,这里强调的是复杂工艺链需要共同目标,不是声称面壁掌握类似唯一设备的垄断地位。
对外,他观察到多位行业参与者和报告开始强调成本,具身智能报告尤其常引用密度相关图。程曼祺补充原因:机器人对延迟要求高,不能完全依赖云。肖朝军提到,MiniCPM-V论文中把密度法则与摩尔定律结合的图,被一些机器人专家用来讨论端侧‘具身大脑’何时可行。
这些反馈可以证明一个指标正在进入研发沟通与行业叙事,却不能证明密度趋势已独立复现,也不能证明机器人能力会按曲线自然到来。原稿把‘法理依据’直接留下容易误导,本稿改为讨论技术路线图的参考。引用者、行业成本关注与密度研究之间也未建立单向因果,可能共同来自模型落地成本的真实压力。
程曼祺与肖朝军 · 01:01:35—01:02:29
具身延迟与端侧需求使密度—芯片图受到引用;‘经常被引用’是嘉宾所见的反馈,非采用率统计。
话题推进: 主持人随即要求把图上的趋势变成具体时间表:怎样的端侧模型、在哪一年能够支持具身和个人使用?
01:02:40–01:06:23 端侧路线图:60B/8B与五年目标都是外推,不是已实现能力按照你们对开源模型的预测,能支持具身大脑的、性能强大的端侧模型,会在什么时候出现? 程曼祺问,性能强、能支持具身大脑的端侧模型什么时候出现。肖朝军先说明预测方法:参考英伟达、华为等芯片团队至2030年的路线图,估计端侧芯片可加载的模型尺寸和激活参数。他给出的线性外推是,到2030年端侧可部署超过60B总参数、8B以上激活参数的模型,并明确说不排除非线性突破。随后再叠加密度法则,他估计未来五年可把GPT-4到GPT-5水平的能力放到端侧。
这些数字不能当事实。第一,芯片路线图可能改变;第二,总参数与激活参数并不完整决定显存、带宽、延迟、功耗和散热;第三,‘GPT-4~5水平’没有在本期给出统一基准和版本;第四,五年预测还默认密度趋势延续,而节目本身已说后训练口径未纳入。它是一张有条件的研究与产品路线图,不是交付承诺。
设备顺序也体现现实约束:车因空间较大、功耗限制相对宽松而推进快,之后是PC和手机;机器人虽有空间,但自身功耗大,高算力模型仍待探索。主持人又指出,手机、PC、车上的语言模型用途容易想象,具身模型本身怎么做还未解决。肖朝军以汽车为例区分自动驾驶‘小脑’和座舱‘大脑’,认为二者当前仍独立;机器人连小脑都未稳定,谈不上成熟的大小脑协同,VLA只是探索之一,行业仍在‘战国时代’。
肖朝军(预测) · 01:02:53—01:04:23
2030年60B总参数/8B激活及五年GPT-4~5级端侧能力,均为基于路线图和密度趋势的估计,保留‘线性预测’原话。
程曼祺反问、肖朝军回答 · 01:05:17—01:06:23
具身模型本身尚无定论,汽车大小脑仍独立,机器人底层控制都未稳定;端侧参数够大不是具身可用的充分条件。
话题推进: 接下来不再讨论抽象路线,主持人要求面壁给出汽车合作、量产、功能点和适配流程的具体情况。
01:06:23–01:10:33 大模型上车:量产自述、100多个功能点与标准化SFT适配你们在端侧有很多应用吗?可以讲讲和车企的合作,或者在汽车场景的落地情况吗? 面壁的多模态模型用在车上可以做什么? 模型与智能座舱的众多功能点如何适配结合?这个微调过程是你们做还是车企做?大概需要多少人调多久? 肖朝军认为当前汽车进展快于手机,手机端仍受算力限制,他提到Apple Intelligence的整体效果仍有限,并预计未来两三年会出现跃迁。这个判断仍是预测。汽车合作方面,他称团队在访谈当年上半年开始合作,下半年已在长安马自达一款车和吉利一款车上量产,次年预计有超过6款不同车企车型搭载。原稿把今年/明年机械换成2024/2025,与2025年12月访谈时点不符;本稿保留当年/次年,并在日期说明中对应2025/2026,车型和量产结果未独立核验。
他把推进逻辑与密度相连:每款车型先确定芯片、响应时间与功耗,可部署的参数规模因此受到约束,团队希望在相同规模下提供更强能力。这解释了为什么能力密度可能有商业价值,但‘行业领先’仍是肖朝军自述,本期没有同芯片、同功能和同微调条件下的竞品对照。
程曼祺继续问多模态到底做什么。回答是车内外环境感知、与不同位置乘员自然语言交互、满足需求并提醒;复杂座舱需求可超过100个功能点,但不同车厂定义差异大,行业尚未标准化。主持人又连续追问这些功能由谁微调、需要多少人多久。肖朝军说当前由面壁做,依赖标准化SFT工具链和数据合成规范以提高效率,却没有给出具体人数和天数。保留这个未答细节很重要:不能把‘相对高效’补成精确交付周期,也不能把100多个功能点当成100多个已验证的通用AI能力。
肖朝军(商业落地自述) · 01:06:55—01:07:39
当年两款车型量产、次年超过6款为团队口径,未在本轮独立核对交付、装车量和实际使用。
肖朝军回答功能问题 · 01:08:27—01:09:51
车内外感知和自然语言交互是当前主要用途;部分复杂需求超过100个功能点,但行业尚无统一标准。
程曼祺连续追问、肖朝军回答 · 01:09:51—01:10:34
适配由面壁完成,使用标准化SFT与数据合成工具链;多少人、多久未给出,不能自行补齐。
话题推进: 从当前交付回到2023年的选择,主持人追问:为何不做云端API,又为何没有复制DeepSeek的公众影响?
01:10:34–01:15:07 为何选择端侧:云端价格战、资源禀赋与‘别人得到不等于你失去’回到2023年中,你们面临抉择:是花几千万追GPT-4,还是做更高效的模型。这个判断背后的商业逻辑是怎样的?您会参与决策吗? 你们追求高效的路线,为什么没有形成像DeepSeek那样的舆论声势? 程曼祺把问题拉回2023年的战略抉择,并问肖朝军是否参与决策。肖朝军确认参与,回忆当时云端API确在选项内,但团队认为其差异化不足:即便高密度模型能降低API成本,资金雄厚的大厂仍可用其他业务利润补贴,不计成本推广。主持人将其与2024年5月DeepSeek引发、火山引擎和阿里等跟进的价格战相连;这段是双方对行业历史的回顾,不是面壁单独预言了所有价格变化。
肖朝军进一步比较面壁和DeepSeek:两者都追求高效,后者能以更低价格提供服务,但他认为DeepSeek家底厚、可以不以盈利为首要约束,而多数创业公司必须考虑商业闭环。这里有关DeepSeek盈利约束的判断是嘉宾观点,不应外推为该公司正式战略声明。
主持人没有只接受成功叙事,而是反问:面壁也追求高效,为何没有形成DeepSeek在2025年1月那样的声势?肖朝军承认公众更关注最高能力,通常需要更大模型;面壁选择的是适合自身禀赋的路径,不追求‘一炮而红’,避免把全部融资孤注一掷。他还说‘AGI一定会在未来5—10年到来’,这是个人信念,不是事实或共识。
最终他用‘别人得到的,不见得是你失去的’解释不跟随云端热点的心态:AGI既可在云端,也可在端侧,创业公司可提前布局当时较少人关注的方向。‘百分之百达成目标’表达的是不愿赌上公司生存,‘充满不确定性的确定性’是战略态度,都不能当作成功率或端侧必然胜出的证据。
肖朝军回答主持追问 · 01:10:54—01:12:04
云端API差异化不足、大厂补贴与2024年价格战共同构成其商业风险解释,不是‘API技术上必然低效’。
肖朝军(战略心态) · 01:14:11—01:15:07
‘别人得到不等于你失去’及‘充满不确定性的确定性’,说明避开拥挤赛道的选择,而非证明端侧没有竞争。
话题推进: 战略选择最后落到个人硬件:手机何时能持续学习,眼镜是否也必须放下大模型?
01:15:07–01:17:40 个人计算终端:2027年持续学习设想与‘便携NAS’的真实归属根据密度法则,手机上的模型能力何时能变得足够强大,支持非常有意思、能提升效率的事? 如果要在眼镜这么小的设备上实现类似能力,是不是要更久? 程曼祺问手机上的模型何时能做真正有用的事。肖朝军给出的节点是2027年:他预计端侧可以支持大规模RL,让模型利用个人数据作为学习环境,逐渐成长为专属助手。这里同时叠加了端侧算力、RL可行性和个人数据学习三层假设,不是仅凭密度公式就能得出的日期;大规模RL的能耗、奖励来源、数据权限和灾难性遗忘都没有在本期解决。
程曼祺追问,眼镜体积这么小是否会更晚。肖朝军的回答反而改变了问题:不一定要在每副眼镜里装模型。他以自己为控制体重佩戴的血糖监测硬件为例,小型设备可主要采集数据,再传给用户自己的终端盒子处理。由此,眼镜、耳机、手表等共同围绕一个人工作,核心设备像‘可以随身携带的NAS’。
这一段在转录中明确由肖朝军发言,而片头将相似画面剪辑归给刘知远。审读稿不能因原synthesis不确定就改写正文归属,也不能把肖朝军全部AGI设想都归给刘知远。更准确的共同点是‘分布式’:不是让每个小配件都有大算力,而是让感知终端与个人计算终端分工;这与刘知远后面说的端侧个人模型加云端专家模型仍有差别。
肖朝军(正文实际发言人) · 01:16:29—01:17:40
以血糖监测器解释采集与计算分工,便携NAS由肖朝军在本段展开;片头刘知远相似表述另作保留。
话题推进: 个人终端之后,主持人问预训练加RL之后的新方法,肖朝军和刘知远分别从学习能力与算力分布回答。
01:17:40–01:25:15 AGI三步设想与分布式智能:肖朝军谈学习,刘知远谈端云协同预训练加强化学习之后,下一个不同的方法可能是什么? 在线学习是这个意思吗? 在这个未来的设想里,它的经济模式是怎么运转的? 肖朝军把下一阶段称为自主学习、自我学习、自我进化或持续学习,认为在线学习只是一部分。他设想的模型不是一次训练后静态交付,而是像实习生一样在用户环境中学会剪播客、写代码等专业技能。转录提到的‘世界模型/事件模型’和未具名‘强化学习之父’无法确认,本稿不借权威称呼补强结论。
他的三步设想依次是:第一步,模型在用户手中成为不同专家;第二步,不同专家的AI协作,例如AI researcher与infra researcher共同让模型更快;第三步,形成创新的元能力,不只重组人类已有语言符号,还能创造新符号及关系。他以牛顿体系到爱因斯坦相对论作类比,并承认当前AI做不到。‘届时所有智能工作可能被取代’是这一远景中的推论,不是当前能力判断。
刘知远随后从算力分布补充‘暗线’。他引用中国电信研究院2024年初的统计,称2023年全国手机端侧算力加总是数据中心的12倍;又用‘世界只需要几个大模型’与IBM‘五台主机’的历史说法类比,主张未来智能也会分布在个人终端。12倍的硬件类型、精度、利用率和统计口径未提供,IBM引语也未核史,因此它只能作为嘉宾引用的启发,不证明这些闲置异构算力能被统一调度。
刘知远的具体图景是:端侧模型利用个人数据成为终身助手,云端有美团、滴滴、抖音等领域专家模型,二者协同形成‘智能体的互联网’。他认为密度法则会降低个人使用成本。这里不是肖朝军单独提出的完整愿景,也不是‘未来必然分布’的已证结论;隐私、安全、网络成本、持续学习和端云责任划分,仍是实现条件。
肖朝军(AGI三步设想) · 01:17:56—01:20:47
自主学习、专家AI协作、创新元能力是其提出的阶段性远景;当前AI不能创造新符号体系是嘉宾用于划差距的判断。
刘知远(引用与类比) · 01:21:04—01:22:55
12倍来自其引用的中国电信研究院统计,IBM类比未核;不能写成端侧有效AI算力已被证明是云端12倍。
刘知远(端云协同预测) · 01:23:24—01:24:46
个人终身助手加云端领域专家模型构成智能体互联网,是刘知远的愿景,不与肖朝军三步设想混为一人。
话题推进: 主持人接着追问最现实的问题:如果智能分布在个人手中,个人究竟靠什么工作、收费和维持竞争力?
01:25:15–01:41:52 连续对话 401:25:15–01:32:30 个人如何获得收入:AI增强竞争力的设想与失业、分配的反问如果重复性的脑力劳动被AI取代,个人要如何赚钱? 在生产力极高的未来,是否会产生严重的生产过剩? 肖朝军先把本轮智能革命与工业革命的体力劳动替代作类比,认为机械化、重复化的脑力劳动会更多交给AI。程曼祺立刻问‘那我怎么赚钱’。他的第一阶段的回答是,个人终端提高工作效率和质量,让人更有市场竞争力;他用代码模型辅助程序员说明这一点,再设想个人用自己的知识库和代码经验带出独特助手,完成别人做不了的工作。这里有个未被证明的分配前提:生产率提高是否会转化为该劳动者更高收入,而不是只转化为企业利润或价格下降。
程曼祺说很难想象那个世界还需要货币和工作,又举出亚马逊当年裁员1.4万人的现实事件。肖朝军没有直接分析这次裁员是否由AI造成,而是继续提出第二阶段:AI成为个人知识技能的外化替身,别人可能因为‘你的AI很强’而付费;个人也可能开一家公司,员工是自己的AI。此设想保留了人机协同和技能传承的重要性,却没有回答初始经验不足者如何获得第一张入场券。
刘知远认为,未来仍能工作的人将是高水平知识工作者,低水平知识工作已被替代,而医学、心理咨询、金融、教育、法律等领域仍需要人。程曼祺随即追问:低水平工作者如何成长为高水平者?他的回答主要说AI先辅助、再从行为和反馈中成长,并未给出培训、认证、收入过渡或社会保障的机制。
当话题转向生产过剩,刘知远给出强烈的长期乐观:人类知识总量已让个人只能占据很小拼图,AI for Science可能加速材料、能源、宇宙、智能与大脑机制的探索,所以未知需求远未耗尽。他用知识球边缘的小凸起和《乡村教师》的知识传递比喻说明为何需要AI。程曼祺最后明确提醒,她担心的不是宏观生产力,而是失业对个人和家庭的冲击;刘知远回答‘对全人类是一次大解放’。两种回答层面不同,不能用长期科学可能性抹平短期转型成本。
自主/持续/在线学习 肖朝军把这些名字放在一起讨论,重点是模型在用户环境中持续获得新技能,像带实习生一样逐渐成长。他认为在线学习只是其中一部分;本期没有给出统一算法,也没有证明人工奖励减少就自然产生自主奖励判断。
分布式智能 两位嘉宾谈的是互补愿景:肖朝军设想个人便携计算终端连接眼镜、耳机和手表,未必每件设备都运行大模型;刘知远设想端侧个人模型与云端领域专家模型协作。它不是所有计算都放在手机上,也不是手机总算力大就自动形成可用网络。
生产AI的AI 肖朝军提出的AGI形态设想:通用系统接到‘需要一个自动驾驶模型’的目标后,能收集/生成数据、训练并在指定算力上优化专用模型。刘知远以‘用机器制造机器’类比。它目前是用来反问‘AGI必须亲自做所有事’的定义设想,不是已完成系统。
Reward Engineering到自主学习 刘知远设想先在数学、代码和物理等可形式化领域由人设计奖励,再逐渐减少人工、扩展环境,最后让一个模型学会更高层的奖励判断。前两步有部分实践线索,跨领域汇聚和自主奖励判断仍是预测,不能混写为已发生。
程曼祺追问、肖朝军回答 · 01:25:42—01:27:09
个人AI助手可提高生产率和独特性的设想,并不自动证明每个人都能获得更高收入。
刘知远与程曼祺 · 01:29:49—01:32:30
知识球和《乡村教师》支持长期探索乐观;主持人把个人/家庭失业冲击与全人类的长期收益区分。
话题推进: 主持人于是问嘉宾究竟担心什么,并把未来一年希望验证的技术问题收束到自主学习和AGI形态。
01:32:30–01:39:24 未来一两年:监管分歧、AGI‘生产AI’形态与自主学习的未证实跳跃关于未来,你有什么担心的地方吗? 未来一年内,你们有什么想验证的问题吗? 最早到来的AGI的形态会是什么样,这是指什么? 明年就会出现自主学习吗?业界似乎没有很多信号。 (自主学习)最先会从数学和代码扩展到什么领域? 刘知远被问担心什么时说,担心人类因恐惧束缚前进。他用早期计算机因军事用途而可能被反对作类比,主张可以审慎,但应支持提升世界探索能力的研究。程曼祺补充,当前主张更强约束的声音在业界仍是少数,刘知远同意。这是嘉宾对监管与技术探索的价值判断,不是‘审慎无必要’,也不能代替具体风险讨论。
肖朝军未来一年想验证的是RL能走多远、自主学习以何种形式存在,以及最早AGI会是什么形态。他反对‘AGI必须亲自完成人类所有任务’的定义:自动驾驶很可能由专用小模型做得更好,大模型不会开车不应直接否定其通用性。于是他提出‘生产AI的AI’:通用系统接到需求后,收集或生产数据、训练并优化专用模型,使其在指定算力上运行。他明确说这不是最终答案,只是未来一两年需要思考的方向。刘知远以工业革命‘用机器制造机器’类比,认为‘用AI制造AI’可能是智能时代大生产的本质。
刘知远最想验证的是自主学习,并期待最早次年、最晚后年看到学习能力提升。程曼祺追问:业界似乎还没有很多信号,明年真会出现吗?他回答的线索是reward engineering——先由人在可形式化领域设计奖励,从数学、代码扩展至物理等理科,再逐渐减少人工。肖朝军此时补充‘核心还是那几个学科’,构成对‘已广泛扩展’的即时限定。
主持人又将‘明年’确认成信号或苗头而非大众普及,刘知远进一步说,各行业RL积累后可能汇聚到一个模型,形成更高层的自主奖励判断。这里必须区分三件事:特定任务持续变好、奖励工程扩展到更多理科、跨领域汇聚后自主判断奖励。前两项是有限实践和近期期待,第三项仍是机制上未证明的跳跃;不能把整段写成‘明年实现通用自主学习’或确定AGI日程。
刘知远与程曼祺 · 01:32:34—01:33:55
嘉宾主张审慎但继续探索,主持指出强约束声音仍是少数;这是价值判断和行业状态描述的组合。
肖朝军(AGI形态设想) · 01:34:31—01:36:15
自动驾驶专用小模型反驳‘AGI亲自做所有事’;生产AI的AI是开放的定义设想,肖朝军明确说不是最终答案。
程曼祺质疑、刘知远与肖朝军回答 · 01:37:13—01:38:26
明年看到自主学习受到追问;物理等理科奖励被举为线索,肖朝军限定核心仍是少数学科,嘉宾说的是可能较弱的雏形。
刘知远(待验证假设) · 01:38:26—01:39:24
从人工奖励减少到多环境汇聚、再到自主判断奖励,是其预测路径,不能当成已演示的能力链。
话题推进: 主持人最后总结效率主线,并用两期往期节目把注意力机制与AI for Science重新连起来。
01:39:24–01:41:52 结尾:往期节目回链与本期证据边界程曼祺总结本期从密度法则出发,讨论怎样以更高效方式获得更多智能,以及这一共同目标如何影响模型研发和行业落地。这里的总结不等于节目中所有端侧和AGI预测已经验证,正文应把前述技术实践、个人估计和长期愿景分别阅读。
‘连点成线’推荐第143期DeltaNet核心贡献者杨松琳的对话,涉及Qwen3 Next、Kimi KDA、DeepSeek DSA和面壁InfLLM等不同注意力改进,也呼应线性与稀疏注意力混合。第103期则由肖朝军单人担任嘉宾,回顾Attention优化史;他当时已提出把稀疏做到预训练阶段,本期InfLLM-V2是这一想法的后续实践。
主持人再次强调,思维链和RL让长输出与长输入同样重要,时隔10个月肖朝军仍认为长输出没有形成充分共识。第103期还讨论AI for Science,与本期的长期探索愿景呼应。节目最后进入听友互动与关注信息,没有新增技术证据。
程曼祺(往期回链) · 01:40:03—01:41:23
第143期用于比较线性/稀疏注意力,第103期用于追踪原生稀疏与长输出问题的来源;回链不构成额外性能验证。
话题推进: 节目结束。完整审读稿的剩余不确定专名、预测与外部数字集中保留在issues和回执,不通过删去原材料来制造确定感。
以上是原对话的分段阅读。下面才开始提炼论证、解释机制并给出本文自己的判断。