Podcast Interview · 逐期深读

刘知远、肖朝军谈Densing law:能力密度、RL Scaling与分布式智能

本期背景与内容导览

本期由程曼祺采访刘知远与肖朝军,围绕《Densing law of LLMs》讨论一个比‘模型最大跑分多少’更具体的问题:在同等能力目标下,需要多少参数、计算、数据和工程成本。节目中的‘密度法则’有两层含义:一是对开源基座模型效率历史的定量观察,二是希望行业共同追求智能转化率的研发目标。它不是物理定律,也不与Scaling Law对立。 shownotes所链Nature正文可帮助校准当前指标:论文并不直接以跑分除以参数,而是拟合参考模型的参数与条件损失、损失与下游表现之间的关系,求达到同等表现所需的等效参数量,再除以目标模型实际参数量。研究范围是51个开源预训练基座模型、MMLU、BBH、MATH、HumanEval和MBPP五项基准,拟合最大相对密度随发布时间的包络线,得到约3.5个月翻倍。加入2025年数据后,节目中的3.3个月修正为3.5个月,被刘知远称为可能的正常抖动。o1、R1所代表的后训练与推理时计算扩展尚未完整纳入当前指标,2.0仍在研究,所以‘当前曲线未明显变陡’不是RL没有密度贡献的证明。 技术讨论沿四个环节展开。架构包括MoE和稀疏注意力,主持人以Mistral、MiniMax纠正‘DeepSeek发明MoE’的可能误读,嘉宾把DeepSeek定位为大规模做成并公开、促成共识。数据管线L0—L4覆盖收集、过滤、选择、合成/改写和验证;刘知远称Ultra-FinWeb用不到1/10数据取得更好效果,但本轮没有同设置复现,不将其直接写成十倍端到端降本。算法环节的核心不是RL完全无法Scaling,而是单任务进步尚未稳定转化为跨任务泛化:一条路线是在更多、更复杂、不易被钻空子的环境继续Scaling,另一条是寻找更高样本效率的新学习范式。软硬协同则把算法放到真实GPU、带宽、通信和端侧芯片中检验。 InfLLM-V2把稀疏推进到训练阶段,肖朝军称其6月已随MiniCPM 4使用、10月开放报告与相关材料;128K实际关注约4K—6K,即保留不到5%的上下文。长输出被单独提出:Agent第二步不能忘记第一步,长输入问答成绩不能替代长轨迹一致性。NSA的短文本与后训练不适配、线性注意力混合比例、MiniMax路线变化等保留为具体反例或嘉宾估计,而非绝对架构结论。 端侧部分必须按证据层级阅读。肖朝军以芯片路线图外推2030年可部署超过60B总参数、8B激活参数,并估计五年内端侧达到GPT-4~5级能力;这些是预测,且尚未定义统一能力评测。他称团队在访谈当年有长安马自达、吉利车型量产,次年超过6款,部分座舱需求超过100个功能点,适配由面壁以标准化SFT工具链完成;车型、装车效果、人数周期与竞品对照未提供。汽车先行是因为空间和功耗较宽松,机器人则连底层‘小脑’都未稳定。 AGI愿景的归属也在本稿中纠正:肖朝军提出自主学习、专家AI协作、创新元能力三步设想,并以2027年端侧RL和便携NAS解释个人计算终端;刘知远引用其所述中国电信研究院统计,称2023年手机端侧算力为数据中心12倍,主张端侧个人模型与云端领域专家模型协作。12倍的精度、硬件、利用率和调度口径未核,不能证明有效AI算力已经可统一使用。肖朝军还提出AGI可能是‘生产AI的AI’,刘知远以‘用机器制造机器’呼应;这些都是用来挑战‘AGI必须亲自做所有任务’的设想,不是已完成产品。 结尾保留主持人对乐观叙事的现实追问:亚马逊裁员1.4万人、低水平工作者如何成长、个人与家庭怎样承受失业冲击。刘知远以AI for Science和人类未知领域回应长期价值,但这不能自动回答分配与转型。对自主学习,他把奖励工程从数学、代码向物理等理科扩展看作线索,并预测未来一两年出现学习能力提升;肖朝军及时限定‘核心还是那几个学科’。特定任务持续改善、多领域奖励工程、跨领域汇聚后自主判断奖励,是三个不同证据层级,不能合并成AGI即将到来。

晚点聊 LateTalk · #144 · 2025-12-12 · 1:41:54

原对话:沿提问、回答和转折完整展开

下面先按节目顺序重建。主持人在追问什么,嘉宾如何以自己的经历、例子和推理作答,尽量保留在具体语境中;案例中的事实、数字和判断先归属于发言人。随后才进入本文的机制解释与独立判断。

00:00:05–00:29:49连续对话 1

00:00:05–00:02:01片头:效率主线、四个环节与尚待验证的分布式未来

片头先交代两位嘉宾与论文:刘知远是清华计算机系副教授、面壁智能首席科学家,肖朝军是清华博士后、MiniCPM系列文本模型负责人。节目讨论《Densing law of LLMs》,重点是用更少资源获得相当或更多智能,但能力比较必须保留参考模型与评测口径。

预告归纳四个效率环节:架构、数据、学习算法与软硬协同。肖朝军提出RL规模化仍不清楚,刘知远把个人终端、眼镜、耳机和便携NAS放在分布式智能愿景中;正式访谈里便携NAS例子由肖朝军展开,两种归属在本稿分别保留。这里的分布式不等于所有小配件各自运行大模型,也不证明持续学习已经解决。

开场还带出刘知远对技术探索的乐观:担心人类因恐惧而束缚前进。后文主持人会用裁员与个人家庭冲击反问,因此这段是嘉宾的价值立场,不是对所有人就业结果的保证。

Densing law(密度法则)论文和shownotes使用的正式拼写是Densing law,中文称密度法则。它描述研究者观察到的开源基座模型最大相对能力密度随时间指数增长,并提出把单位参数所承载的能力作为研发目标;不是物理定律,也不等同于任意成本、任意任务上的统一增速。
相对能力密度(论文口径补核)不能直接用跑分除以参数量。论文先拟合参考模型的参数量N与条件语言建模损失、损失与下游表现S的关系,得到S=f(N),再求达到目标模型同等表现时参考模型所需的等效参数量N_eff=f^{-1}(S),以rho=N_eff/N_actual衡量相对密度。它依赖参考模型、拟合曲线和评测任务,不是跨任务不变的物理量。
3.5个月翻倍的评测范围(论文口径补核)论文分析51个开源预训练基座模型,用MMLU(知识)、BBH(逻辑推理)、MATH(数学)、HumanEval与MBPP(代码)五项基准,拟合随发布时间变化的最大密度包络线,得到约3.5个月翻倍。它既不是所有模型的平均值,也不是预训练数据量、总能耗、后训练RL或端侧完整系统成本都按3.5个月减半。
Scaling Law与推理时计算扩展本期主要把Scaling Law用于讨论预训练中数据、参数、计算与能力之间可预测的关系;o1、R1所代表的后训练/推理时计算扩展则涉及更多RL训练和更长的测试时思考。当前能力密度没有完整纳入后者,不能把它误写成‘o1只提升推理速度’。

话题推进:从效率与分布式愿景,主持人先请嘉宾评论近期模型,再进入密度指标、四个效率环节和长输出反例。

00:02:04–00:04:31新模型的两条观察:Agent任务与统一多模态生成仍是开放问题

  • 最近行业里有很多新模型,包括GPT-5.1、Grok 4.1、Gemini 3等,你们看到了哪些比较有意思的部分或亮点?

程曼祺先请两人评论GPT-5.1、Grok 4.1、Gemini 3等近期模型。肖朝军的第一条观察是模型都在向智能体任务倾斜,行业常用‘能解决多少代码bug’来直观检验能力。他没有据此证明模型已能独立完成全部软件工程,后文还会专门区分竞赛题和真实开发。

第二条观察来自Nano Banana和NotebookLM:图像中的文字生成明显更准确,他把GPT-4o视作较早的曙光,把Nano Banana视作进一步放大这一趋势的产品。这里真正的问题不是‘图像效果更漂亮’,而是统一自回归的视觉与语言生成,是否能让多模态数据像文本数据一样支持智能跃升。过去增加多模态数据并未自然带来这一结果,所以他提出一个可能性,而非宣布新Scaling方向已成立。

程曼祺随即追问:Gemini 3究竟怎样实现尚不知道,对吗?肖朝军明确说,需要区分产品层优化和一体化模型改进,可能要再等一两个月观察。这个保留意见很重要:图中文字准确是可讨论的产品现象,‘统一自回归架构导致智能提升’则仍是待公开细节检验的解释。

话题推进:从产品现象转向长期脉络,刘知远把能力增强称为明线,把效率提升称为暗线。

00:04:31–00:10:23能力与能效两条主线:效率不是规模路线的反面

  • 在效率这条主线上,你觉得最近业界的这些进展有什么体现?

刘知远把2018年预训练模型、2022年底ChatGPT的指令微调,以及2024年底至2025年初的大规模RL看作能力增强的连续节点。他把Scaling Law理解为用更多数据、算力和参数换取能力提升的路径,同时指出训练与使用成本会随之增加。由此提出第二条主线:不是放弃更强能力,而是在相同目标下减少参数、计算与能耗,让能力可以在更多场景部署。

程曼祺追问,近期发布更像性能提升,效率究竟体现在哪里。刘知远承认能力的公众显示度更高,但昂贵、只能经API使用的模型会限制普及;他把效率与智能的广泛分布连接起来。肖朝军补充了开源侧的MiniMax、Qwen3 Next、DeepSeek V3.2和面壁稀疏注意力,以及闭源侧的Mini系列和Gemini文本生成速度宣传。闭源实现无法核实,因此这些例子说明的是行业共同追求,而不是各方案已被同口径验证。

刘知远最后用大型机、PC到智能手机的小型化作类比:设备普及是明线,芯片效率提升是暗线。他想寻找的是大模型的类似效率坐标,而刘知远随后明确说,规模法则与密度法则相辅相成。不能将本期简化为‘小模型取代大模型’:强模型也需要效率,效率研究也仍可服务更大的模型。

话题推进:主持人接着提出最关键的概念质疑:效率提高看似常识,为什么值得建立定量法则?

00:10:23–00:18:43为什么叫‘法则’:定量目标与对抗唯算力论的行业叙事

  • 我最初看到这个研究时有个疑惑:模型效率随时间提高,这似乎是不言自明的现象。你们做这项定量研究的背景、意义和核心问题意识是什么?

程曼祺的疑问是:效率随时间提高似乎不言自明,这项研究除定量描述外还有什么问题意识。刘知远回答了两层。第一,高效若没有指标就容易停在口号,需要客观尺度帮助研究者分析影响因素。第二,他回顾2022—2024年的主流话语常把‘有10万张卡’当作参与前沿模型竞争的门槛;他反对由此推出的唯算力论,并以DeepSeek V3说明绝对投入仍大、但技术路线可以改变资源转化效率。这里的10万张卡是他描述的行业叙事,不是研究测出的AGI准入线。

程曼祺借《芯片战争》提出,摩尔定律也不是简单物理规律,而是协调产业目标的共识。刘知远赞同,并解释团队中文选择‘法则’而非‘定律’,正是要避免把law理解成掌管万物的物理定律。他把摩尔定律和密度法则都称为‘人工的自我实现’:先观察并公开目标,研发、产业协同与竞争再推动目标延续。肖朝军以有限能源下的人脑和企业竞争补充,刘知远则再次强调规模与效率不冲突。

肖朝军还把密度直观解释为计算量换智能的‘斜率/转化率’,并以OpenAI资源分配争论说明头部机构同样受约束。Ilya离职原因仅是嘉宾转述,不能当作已核人物史。更重要的是,斜率只是帮助理解的说法,论文的密度不是把跑分简单除以参数,而需借助参考模型估计等效参数量;这决定它既有定量意义,也受评测口径约束。

话题推进:理念明确后,主持人要求回到论文的实际发现:倍增周期是多少、怎样随样本更新而变化?

00:18:44–00:25:463.5个月从何而来:研究时间线、商业抉择与MiniCPM实践

  • 回到你们这一次的研究,它的一些核心洞察和结论是什么?
  • 你们是24年底做完这个研究,所以最开始有这个想法做这个研究时间是更早的,对吧?

肖朝军先强调,论文真正想立的目标,是单位参数或单位开销转化出的能力,而不是只看最高performance。工作于2024年底正式完成,加入2025年数据后,刘知远把原先约3.3个月的倍增周期修正为约3.5个月,并把变化称作可能的正常抖动;同时他们观察到ChatGPT之后密度增长速度加快。肖朝军特意说,3.5个月还是一年本身不是唯一重点,重点是效率目标。论文口径进一步限定:51个开源预训练基座模型、五项基准、最大相对密度的包络线,不是全行业所有系统平均3.5个月翻倍。

主持人追问研究想法为何早于论文完成时间,刘知远将源头拉回2023年下半年。当时国内一线团队逐渐复现ChatGPT,下一步自然想追GPT-4。面壁估算需要约140B参数和大几千万元,又判断到2024年上半年至少五家国内一线团队可能达到相近能力;如果配方不变,只放大参数与数据,他们找不到收回成本的确定商业答案。这些数字和竞争判断均是团队当时的估算,不能事后当成精确行业统计。

团队由此把主要精力转向‘模型风洞’,并在2024年1月发布第一代2.4B MiniCPM。刘知远称其可比当时的Llama 2 13B和Mistral 7B,并能看到手机部署可能;转录中的Mixtral 7B具体名称和完整评测未核,本稿不扩写成全能力等同。这个实践让团队一方面推动端侧智能,另一方面在2024年寻找‘知识密度/能力密度’的通用规律。它是从商业约束到技术实践再到指标抽象的过程,而不是先有3.5个月公式再推导出公司战略。

话题推进:主持人随后用o1、R1反问:为什么后训练出现后,密度曲线没有再次明显变陡?

00:25:46–00:29:49当前指标不覆盖什么:后训练、推理时计算与四个效率环节

  • 我看到你们数据里,ChatGPT之前和之后,从计算到能力的斜率是变陡了。为什么在24年9月的o1和R1之后,就是强化学习后训练的方法被引入之后,它没有类似的这种斜率变化?
  • 具体怎么去实现密度的提升,就可以展开说一说。

程曼祺观察到ChatGPT前后计算到能力的斜率变陡,追问为何o1、R1之后没有类似变化,是方法本身还是时间太短。肖朝军的回答主要是指标定义:当时的版本面向基座模型,o1、R1代表的后训练进步没有直接计入;团队正在研究2.0版本,希望纳入后训练,但建模仍在进行。他还把当前指标对应的预训练Scaling与推理时计算扩展区分开。因而不能说‘o1、R1只是提升推理效率’:它们也涉及后训练能力与测试时更多计算,当前图形未显示斜率变化并不等于技术没有密度贡献。

随后他把提升效率拆成四个环节。架构决定‘智能的容器’,如稀疏注意力与细粒度MoE;数据治理决定模型拿什么当教材;学习算法与规律包括RL,也包括刘知远所说的模型风洞,即通过小模型实验预测大模型配置与上限;软硬协同则要求训练和使用都面向具体硬件共同设计。刘知远同时承认,四者对密度的定量影响尚不特别清晰,目前只有经验性结果。

所以四个环节不是已经各自证明贡献比例的加性公式,更不能用‘数据减少到1/10’等单一案例乘出总体密度增长。它们提供的是研发检查表:同一目标能力下,架构需要多少实际计算,数据需要多少有效样本,学习规律能否减少试错,算法和硬件结合后真正省多少时间与能耗。

话题推进:下一部分按这四个环节逐一展开,先用MoE的历史争论说明‘被发明’与‘被规模化验证’的区别。

00:29:49–00:57:10连续对话 2

00:29:49–00:40:23架构与数据:MoE的共识形成、L0—L4管线与不到十分之一的数据

  • 你可以解释一下FFN。
  • 为什么MoE这个事是DeepSeek揭示给大家的,不是像Mistral这些不更早做MoE吗?
  • 所以它是一个就是DeepSeek的揭示的意思是说,它从一个大家已经做了一段时间的这种想法和理念,然后它给它在一个比较大的规模上实现了,然后大家觉得这事很有效。
  • 这点上你们可以分享自己是怎么做的吗?
  • 您说的这个数据的开源是指开源最后数据的就是这个结果,还是说这个pipeline本身会开源?

架构部分先拆Transformer的FFN和Attention。肖朝军说,FFN的行业共识是细粒度、稀疏的MoE:把较大的计算层切为多个专家,每次只选其中一部分计算。程曼祺立即反问,Mistral和MiniMax不是更早就做了MoE吗?刘知远补充,MoE概念可追溯到上世纪90年代,约2020年已有Google及其团队用于Transformer,自己也指导过相关研究;DeepSeek的贡献是把方案在很大模型上做work、解决规模化工程问题并公开,使它从非共识转成共识。这个反问纠正了‘DeepSeek发明MoE’的误读。

Attention的压力则来自Agent和深思考:代码仓、Deep Research等需要大量输入,也会产生大量输出,因此线性和稀疏方案都在探索。肖朝军将架构比作‘智能的容器’,但具体收益仍需看保留哪些信息及实际硬件。关于闭源模型采用何种窗口/混合注意力,他只提到传闻,本稿不将其写成已证实架构。

数据部分由程曼祺追问‘你们自己怎么做’而展开。刘知远给出L0—L4:原始收集、过滤、选择、合成/改写、形式化或人工验证。这套管线并非原稿补出的固定‘每层数据分别用于何处’方案,而是覆盖原始网络数据到教材级数据的处理流程。他称团队把FinWeb精炼为不到原始量1/10的Ultra-FinWeb,后者训练效果更好,因此训练成本可下降到约1/10;这是嘉宾案例自述,节目没有列出同参数、同训练步数和全部工程成本,不能直接写成严格十倍端到端降本。

程曼祺继续追问开源的是数据结果还是pipeline。刘知远回答将以报告呈现数据结果和整体架构、开放数据体系,肖朝军补充‘可能开源一部分’,两人还提到UltraChat、UltraFeedback。最后刘知远以DeepSeek V3报告一百多位贡献者说明大模型研发是复杂协作系统,四环节只是主要分解,每项内部还有大量细节。

FFN与MoEFFN是Feed-Forward Network,Transformer中的前馈网络;MoE(Mixture of Experts)把多个专家放进该计算部分,每个token只激活其中一部分。因此总参数量与单次激活计算量需要分开,不能只看一个‘模型多大’。DeepSeek在对话中的作用是推动大规模实践成为共识,不是发明MoE。
L0—L4数据管线嘉宾给出的内部层次是L0收集原始数据,L1去重和过滤垃圾,L2筛选高质量内容,L3合成或改写,L4以形式化或人工方式验证‘教材级’数据。它没有承诺每一层都用于每种训练,也不等于低层数据没有价值。
RL Scaling在本期的确切问题不是增加RL步数完全无效,而是:在特定可验证任务上继续增加算力、数据和环境可以变好,但资源增加能否像预训练那样稳定带来跨任务泛化,仍不清楚。环境数量、多样性、奖励质量和防钻空子能力是必要讨论条件,不是简单的步数曲线。
可验证奖励与环境工程数学答案和竞赛代码容易通过规则或测试判分,真实软件还涉及依赖、代码库、工具、长期状态和需求。环境工程是构造模型可交互、可获得反馈的任务世界;奖励工程是决定什么行为得到何种评价,两者都不能只写成更多人工标签。

话题推进:架构和数据已有具体案例,算法环节却转向一个更基础的问题:RL扩大规模究竟是在优化单任务,还是也能产生泛化?

00:40:24–00:49:20RL Scaling Law的边界:单任务可进步,跨任务泛化尚无稳定规律

  • 这个可以展开讲一讲,就是强化学习它没有Scaling这是指什么。
  • 所以现在有的人会认为RL没有Scaling,是指比如说我给它加更多的算力,然后让它训更多的步数,它并不一定带来一个更好的效果。
  • 但是它没有,它没有就是比如说在更多的下游任务上带来更好的,它只能针对那个环境的任务它的效果更好了。
  • 所以就是你认为它继续去RL这个方式,可能不是我们一般想象中的AGI,但是有可能它在一些具体的场景是有很多用处的,对吧?
  • 我有一个小白的天真的问题,就是RL你不能给它构造一个就是很复杂的任务,很多样的环境吗?
  • 那你们自己现在就是在这个算法的去怎么提升的能力密度上,比如说你们接下来可能会重点做的方向是什么?
  • 你说这个商是商增商减那个商还是?
  • 混乱度的变化吗?

肖朝军说‘RL还没有Scaling Law’,并不是‘RL不能通过训练变好’。他用数量级对照说明现状:预训练可用几十T token、几十万步,R1公开报告中的RL不到一万步,却已能在特定任务取得好效果。问题是如何继续训下去,以及资源增加与能力之间有什么可预测关系。步数不是统一单位:一次RL更新包含多少 rollout、环境和token差异很大,这些数字只是嘉宾说明规模差距的直观例子。

程曼祺连续把问题压实:加算力、加步数是否只让特定任务更好,而不能改善更多下游任务?肖朝军确认这是当前担忧。数学和竞赛代码有可验证奖励,但真实软件开发还涉及第三方库和复杂环境,不能把竞赛成绩等同于工程完成。主持人又提到面向真实商业环境的RL2B,嘉宾承认特定业务可通过充足数据和反馈变精通,但这还不符合他对人类式高效学习的期待。

他因此给出两条仍未分胜负的路线。第一,继续在足够多、足够复杂且不易被模型钻空子的环境中Scaling,看是否像预训练一样产生泛化;肖朝军明确反对过早否定这条路,因为预训练也曾从已有监督学习中通过规模化出现新能力。第二,寻找更高样本效率的新学习范式,用更少环境反馈和人工标注学会新任务。两条路线的判断对象是新任务泛化与学习效率,而不是能否在一个基准继续加分。

主持人的‘天真问题’——为什么不能直接构造复杂、多样环境——引出最难的限制:人类从表情、情境和多目标世界得到反馈,RL却需要把评价变成奖励。若一个系统已能为世界任何行为给出恰当价值,它本身可能已具备很强的通用智能,于是出现‘需要AGI来创造AGI’的循环。团队当前尝试包括研究熵/输出多样性与准确率的关系、提高RL框架算力利用率、探索写论文等开放域奖励;肖朝军明确说开放域尚无成熟共识。

话题推进:算法路线仍有争议,第四个环节则落到更实际的约束:算法能否利用真实硬件,而不是只在理论FLOPs上便宜。

00:49:21–00:57:10软硬协同与InfLLM-V2:原生稀疏的收益、NSA反例与长输出缺口

  • 那最后可以讲最后一层就是软硬的深度优化,软硬这些协调一体的深度优化。
  • 因为你们自己其实今年10月也更新了你们在这个应该算是模型架构上的一个变化,就是这个稀疏注意力InfLLM的第二代,对吧?它这个相比你们之前的的第一代的更新和提升是什么?
  • 你刚才也讲到就是这个DeepSeek里面出的那个NSA,它是一个块状的,就是去选这个token的这么一个方式。然后我看到他们9月更新的DeepSeek V3.2,它的里面的注意力又改了,他们又新取了一个名字叫DeepSeek Sparse Attention,DSA。
  • 然后当时杨松霖也提到他觉得下一个方向,就大家在探索的是说我直接用线性注意力去混稀疏注意力,你们是不是也有这方面的一些探索?

肖朝军把软硬协同概括为两个方向:面向现有硬件设计算法,以及面向AI需求设计硬件。他用GPU只用满一半会浪费资源作直观例子,以Transformer利于GPU并行、FlashAttention适配硬件、集群通信优化、手机NPU和DeepSeek深入底层优化作说明。这里的重点不是‘Transformer唯一目的就是打满GPU’,而是理论架构需要与计算、存储和通信共同设计,否则标称稀疏或低FLOPs不一定变成实际速度。

程曼祺问InfLLM-V2在10月更新了什么。肖朝军先纠正时间:6月随MiniCPM 4已使用,10月开放技术报告、部分训练数据和基座模型等,不是10月才首次开源使用。核心变化是把稀疏从主要发生在推理阶段推进到训练阶段,即‘原生稀疏’,收益包括训练加速和降低实际关注比例;第一代约关注50%,主要改善长输入的prefill,对长输出不够好。

他给出的V2口径是128K上下文实际attend约4K—6K token,也就是保留约3.1%—4.7%、不到5%的上下文,并支持长输出。原稿‘稀疏度从50%降至5%以下’容易混淆关注率与剪除率,本稿不沿用。关于DeepSeek从NSA到DSA,他提出两个NSA局限:三个注意力组件让短文本成本上升,以及不适合短文本预训练后接长文本后训练;DSA及InfLLM-V2都试图适应这种训练范式。他还提醒,DeepSeek架构的特定计算/访存条件不必然适用于其他模型和部署场景。

主持人再问线性注意力能否与稀疏注意力结合。肖朝军认为方向自然,但更急的是长输出验证不足:Agent做第二步时不能忘记第一步,深思考也需要维持长轨迹。他以MiniMax曾按1层全注意力对7层线性注意力的激进比例探索、后来转向全注意力为可能现象,明确使用‘估计/可能’解释性能损失,不能写成厂商已公开承认的原因。对下一代面壁架构,他只确定FFN与Attention都会稀疏,具体Attention方案仍在试验。

话题推进:技术路线之后,主持人要求检验‘法则’的实际影响:它怎样改变团队目标,又如何被外部行业使用?

00:57:10–01:25:15连续对话 3

00:57:10–00:58:52长输出为何不是长输入的附属问题:记忆、混合比例与架构未定

  • 长输出的重要性至今还不是行业共识吗?
  • 线性注意力在长输出任务上,即使混合了全注意力(Full Attention)也无法解决遗忘问题吗?
  • 面壁智能在下一代旗舰模型上会采取什么样的架构?

这段把长输出的问题进一步讲透。肖朝军认为,业界常以‘给模型一本书,再回答问题’验证长文本,却较少验证持续思考和多步规划。长输入主要要求读进并检索大量已有信息,长输出则要求模型在自己不断生成的轨迹上工作:推理链变长、计划步骤增多,早期步骤仍是后续决策的上下文。主持人口头把这个挑战概括为线性注意力容易遗忘,肖朝军认同,但这并未证明所有线性架构都必然失败。

主持人追问,混入全注意力也不能解决吗?肖朝军回答‘得看混多少’,并用MiniMax曾采用1层全注意力对7层线性注意力作例。关于后来为何转向全注意力,他说的是‘估计有点没绷住’‘可能性能上有损失’,因此只能保留为嘉宾对行业选择的解释,不是厂商披露。他仍认为线性—稀疏混合有未来,只是还需要时间。

对下一代旗舰模型,肖朝军没有交付确定答案:能确定的是FFN与Attention都稀疏,Attention具体怎样做仍需更多实验。这一保留直接防止把‘全稀疏’写成已验证的最终架构,也提示研究评估必须分别测量长输入检索、长输出一致性和真实Agent多步完成,而不能只报一个上下文窗口长度。

InfLLM-V2的原生稀疏相对第一代主要在推理时稀疏,第二代把稀疏计算放到训练阶段,目标是同时加速训练、降低实际关注的上下文比例并支持长输出。128K中约关注4K—6K意味着保留约3.1%—4.7%的上下文,不把‘稀疏度不到5%’误作唯一标准定义。
长输入与长输出长输入是读入代码库、书或大量外部信息;长输出是持续生成思维链、计划和多步Agent轨迹。后者要求模型执行第二步时仍能利用第一步的信息,不能以一次长文阅读问答的成绩代替长输出可靠性的验证。
线性、稀疏与全注意力嘉宾把线性注意力与滑动窗口放在‘有限状态/局部处理’一侧讨论,把稀疏注意力与全注意力放在‘从较大上下文中选择或利用信息’一侧讨论。混合比例会影响遗忘和效果,不能只听名称就判断架构一定更快或更强。
端侧‘大脑/小脑’节目用‘小脑’比喻自动驾驶等底层控制,用‘大脑’比喻座舱理解、交互和上层规划。二者当前仍相对独立;机器人连底层控制都尚未稳定,端侧语言模型参数够大也不证明具身系统已经可工作。

话题推进:架构讨论之后,主持人把视角拉高,询问密度法则是否已改变内部研发与外部行业行为。

00:58:52–01:02:40法则的实际作用:统一内部评价,外部引用不等于独立验证

  • “密度法则”这个定量描述,对研究界和业界产生了什么影响?你们观察到自己或其他行业角色的行为有何变化?
  • (密度法则)是否在帮助具身智能领域预测,能够跑在端侧、性能又强的模型何时到来?

程曼祺问,定量描述发布以后,对研究界、业界和团队行为有什么实际影响。肖朝军先回答内部:架构、数据、模型风洞和软硬一体有了共同评价标准,上百人团队更容易协同。他把整套研发体系比作‘大模型的光刻机’,这里强调的是复杂工艺链需要共同目标,不是声称面壁掌握类似唯一设备的垄断地位。

对外,他观察到多位行业参与者和报告开始强调成本,具身智能报告尤其常引用密度相关图。程曼祺补充原因:机器人对延迟要求高,不能完全依赖云。肖朝军提到,MiniCPM-V论文中把密度法则与摩尔定律结合的图,被一些机器人专家用来讨论端侧‘具身大脑’何时可行。

这些反馈可以证明一个指标正在进入研发沟通与行业叙事,却不能证明密度趋势已独立复现,也不能证明机器人能力会按曲线自然到来。原稿把‘法理依据’直接留下容易误导,本稿改为讨论技术路线图的参考。引用者、行业成本关注与密度研究之间也未建立单向因果,可能共同来自模型落地成本的真实压力。

话题推进:主持人随即要求把图上的趋势变成具体时间表:怎样的端侧模型、在哪一年能够支持具身和个人使用?

01:02:40–01:06:23端侧路线图:60B/8B与五年目标都是外推,不是已实现能力

  • 按照你们对开源模型的预测,能支持具身大脑的、性能强大的端侧模型,会在什么时候出现?

程曼祺问,性能强、能支持具身大脑的端侧模型什么时候出现。肖朝军先说明预测方法:参考英伟达、华为等芯片团队至2030年的路线图,估计端侧芯片可加载的模型尺寸和激活参数。他给出的线性外推是,到2030年端侧可部署超过60B总参数、8B以上激活参数的模型,并明确说不排除非线性突破。随后再叠加密度法则,他估计未来五年可把GPT-4到GPT-5水平的能力放到端侧。

这些数字不能当事实。第一,芯片路线图可能改变;第二,总参数与激活参数并不完整决定显存、带宽、延迟、功耗和散热;第三,‘GPT-4~5水平’没有在本期给出统一基准和版本;第四,五年预测还默认密度趋势延续,而节目本身已说后训练口径未纳入。它是一张有条件的研究与产品路线图,不是交付承诺。

设备顺序也体现现实约束:车因空间较大、功耗限制相对宽松而推进快,之后是PC和手机;机器人虽有空间,但自身功耗大,高算力模型仍待探索。主持人又指出,手机、PC、车上的语言模型用途容易想象,具身模型本身怎么做还未解决。肖朝军以汽车为例区分自动驾驶‘小脑’和座舱‘大脑’,认为二者当前仍独立;机器人连小脑都未稳定,谈不上成熟的大小脑协同,VLA只是探索之一,行业仍在‘战国时代’。

话题推进:接下来不再讨论抽象路线,主持人要求面壁给出汽车合作、量产、功能点和适配流程的具体情况。

01:06:23–01:10:33大模型上车:量产自述、100多个功能点与标准化SFT适配

  • 你们在端侧有很多应用吗?可以讲讲和车企的合作,或者在汽车场景的落地情况吗?
  • 面壁的多模态模型用在车上可以做什么?
  • 模型与智能座舱的众多功能点如何适配结合?这个微调过程是你们做还是车企做?大概需要多少人调多久?

肖朝军认为当前汽车进展快于手机,手机端仍受算力限制,他提到Apple Intelligence的整体效果仍有限,并预计未来两三年会出现跃迁。这个判断仍是预测。汽车合作方面,他称团队在访谈当年上半年开始合作,下半年已在长安马自达一款车和吉利一款车上量产,次年预计有超过6款不同车企车型搭载。原稿把今年/明年机械换成2024/2025,与2025年12月访谈时点不符;本稿保留当年/次年,并在日期说明中对应2025/2026,车型和量产结果未独立核验。

他把推进逻辑与密度相连:每款车型先确定芯片、响应时间与功耗,可部署的参数规模因此受到约束,团队希望在相同规模下提供更强能力。这解释了为什么能力密度可能有商业价值,但‘行业领先’仍是肖朝军自述,本期没有同芯片、同功能和同微调条件下的竞品对照。

程曼祺继续问多模态到底做什么。回答是车内外环境感知、与不同位置乘员自然语言交互、满足需求并提醒;复杂座舱需求可超过100个功能点,但不同车厂定义差异大,行业尚未标准化。主持人又连续追问这些功能由谁微调、需要多少人多久。肖朝军说当前由面壁做,依赖标准化SFT工具链和数据合成规范以提高效率,却没有给出具体人数和天数。保留这个未答细节很重要:不能把‘相对高效’补成精确交付周期,也不能把100多个功能点当成100多个已验证的通用AI能力。

话题推进:从当前交付回到2023年的选择,主持人追问:为何不做云端API,又为何没有复制DeepSeek的公众影响?

01:10:34–01:15:07为何选择端侧:云端价格战、资源禀赋与‘别人得到不等于你失去’

  • 回到2023年中,你们面临抉择:是花几千万追GPT-4,还是做更高效的模型。这个判断背后的商业逻辑是怎样的?您会参与决策吗?
  • 你们追求高效的路线,为什么没有形成像DeepSeek那样的舆论声势?

程曼祺把问题拉回2023年的战略抉择,并问肖朝军是否参与决策。肖朝军确认参与,回忆当时云端API确在选项内,但团队认为其差异化不足:即便高密度模型能降低API成本,资金雄厚的大厂仍可用其他业务利润补贴,不计成本推广。主持人将其与2024年5月DeepSeek引发、火山引擎和阿里等跟进的价格战相连;这段是双方对行业历史的回顾,不是面壁单独预言了所有价格变化。

肖朝军进一步比较面壁和DeepSeek:两者都追求高效,后者能以更低价格提供服务,但他认为DeepSeek家底厚、可以不以盈利为首要约束,而多数创业公司必须考虑商业闭环。这里有关DeepSeek盈利约束的判断是嘉宾观点,不应外推为该公司正式战略声明。

主持人没有只接受成功叙事,而是反问:面壁也追求高效,为何没有形成DeepSeek在2025年1月那样的声势?肖朝军承认公众更关注最高能力,通常需要更大模型;面壁选择的是适合自身禀赋的路径,不追求‘一炮而红’,避免把全部融资孤注一掷。他还说‘AGI一定会在未来5—10年到来’,这是个人信念,不是事实或共识。

最终他用‘别人得到的,不见得是你失去的’解释不跟随云端热点的心态:AGI既可在云端,也可在端侧,创业公司可提前布局当时较少人关注的方向。‘百分之百达成目标’表达的是不愿赌上公司生存,‘充满不确定性的确定性’是战略态度,都不能当作成功率或端侧必然胜出的证据。

话题推进:战略选择最后落到个人硬件:手机何时能持续学习,眼镜是否也必须放下大模型?

01:15:07–01:17:40个人计算终端:2027年持续学习设想与‘便携NAS’的真实归属

  • 根据密度法则,手机上的模型能力何时能变得足够强大,支持非常有意思、能提升效率的事?
  • 如果要在眼镜这么小的设备上实现类似能力,是不是要更久?

程曼祺问手机上的模型何时能做真正有用的事。肖朝军给出的节点是2027年:他预计端侧可以支持大规模RL,让模型利用个人数据作为学习环境,逐渐成长为专属助手。这里同时叠加了端侧算力、RL可行性和个人数据学习三层假设,不是仅凭密度公式就能得出的日期;大规模RL的能耗、奖励来源、数据权限和灾难性遗忘都没有在本期解决。

程曼祺追问,眼镜体积这么小是否会更晚。肖朝军的回答反而改变了问题:不一定要在每副眼镜里装模型。他以自己为控制体重佩戴的血糖监测硬件为例,小型设备可主要采集数据,再传给用户自己的终端盒子处理。由此,眼镜、耳机、手表等共同围绕一个人工作,核心设备像‘可以随身携带的NAS’。

这一段在转录中明确由肖朝军发言,而片头将相似画面剪辑归给刘知远。审读稿不能因原synthesis不确定就改写正文归属,也不能把肖朝军全部AGI设想都归给刘知远。更准确的共同点是‘分布式’:不是让每个小配件都有大算力,而是让感知终端与个人计算终端分工;这与刘知远后面说的端侧个人模型加云端专家模型仍有差别。

话题推进:个人终端之后,主持人问预训练加RL之后的新方法,肖朝军和刘知远分别从学习能力与算力分布回答。

01:17:40–01:25:15AGI三步设想与分布式智能:肖朝军谈学习,刘知远谈端云协同

  • 预训练加强化学习之后,下一个不同的方法可能是什么?
  • 在线学习是这个意思吗?
  • 在这个未来的设想里,它的经济模式是怎么运转的?

肖朝军把下一阶段称为自主学习、自我学习、自我进化或持续学习,认为在线学习只是一部分。他设想的模型不是一次训练后静态交付,而是像实习生一样在用户环境中学会剪播客、写代码等专业技能。转录提到的‘世界模型/事件模型’和未具名‘强化学习之父’无法确认,本稿不借权威称呼补强结论。

他的三步设想依次是:第一步,模型在用户手中成为不同专家;第二步,不同专家的AI协作,例如AI researcher与infra researcher共同让模型更快;第三步,形成创新的元能力,不只重组人类已有语言符号,还能创造新符号及关系。他以牛顿体系到爱因斯坦相对论作类比,并承认当前AI做不到。‘届时所有智能工作可能被取代’是这一远景中的推论,不是当前能力判断。

刘知远随后从算力分布补充‘暗线’。他引用中国电信研究院2024年初的统计,称2023年全国手机端侧算力加总是数据中心的12倍;又用‘世界只需要几个大模型’与IBM‘五台主机’的历史说法类比,主张未来智能也会分布在个人终端。12倍的硬件类型、精度、利用率和统计口径未提供,IBM引语也未核史,因此它只能作为嘉宾引用的启发,不证明这些闲置异构算力能被统一调度。

刘知远的具体图景是:端侧模型利用个人数据成为终身助手,云端有美团、滴滴、抖音等领域专家模型,二者协同形成‘智能体的互联网’。他认为密度法则会降低个人使用成本。这里不是肖朝军单独提出的完整愿景,也不是‘未来必然分布’的已证结论;隐私、安全、网络成本、持续学习和端云责任划分,仍是实现条件。

话题推进:主持人接着追问最现实的问题:如果智能分布在个人手中,个人究竟靠什么工作、收费和维持竞争力?

01:25:15–01:41:52连续对话 4

01:25:15–01:32:30个人如何获得收入:AI增强竞争力的设想与失业、分配的反问

  • 如果重复性的脑力劳动被AI取代,个人要如何赚钱?
  • 在生产力极高的未来,是否会产生严重的生产过剩?

肖朝军先把本轮智能革命与工业革命的体力劳动替代作类比,认为机械化、重复化的脑力劳动会更多交给AI。程曼祺立刻问‘那我怎么赚钱’。他的第一阶段的回答是,个人终端提高工作效率和质量,让人更有市场竞争力;他用代码模型辅助程序员说明这一点,再设想个人用自己的知识库和代码经验带出独特助手,完成别人做不了的工作。这里有个未被证明的分配前提:生产率提高是否会转化为该劳动者更高收入,而不是只转化为企业利润或价格下降。

程曼祺说很难想象那个世界还需要货币和工作,又举出亚马逊当年裁员1.4万人的现实事件。肖朝军没有直接分析这次裁员是否由AI造成,而是继续提出第二阶段:AI成为个人知识技能的外化替身,别人可能因为‘你的AI很强’而付费;个人也可能开一家公司,员工是自己的AI。此设想保留了人机协同和技能传承的重要性,却没有回答初始经验不足者如何获得第一张入场券。

刘知远认为,未来仍能工作的人将是高水平知识工作者,低水平知识工作已被替代,而医学、心理咨询、金融、教育、法律等领域仍需要人。程曼祺随即追问:低水平工作者如何成长为高水平者?他的回答主要说AI先辅助、再从行为和反馈中成长,并未给出培训、认证、收入过渡或社会保障的机制。

当话题转向生产过剩,刘知远给出强烈的长期乐观:人类知识总量已让个人只能占据很小拼图,AI for Science可能加速材料、能源、宇宙、智能与大脑机制的探索,所以未知需求远未耗尽。他用知识球边缘的小凸起和《乡村教师》的知识传递比喻说明为何需要AI。程曼祺最后明确提醒,她担心的不是宏观生产力,而是失业对个人和家庭的冲击;刘知远回答‘对全人类是一次大解放’。两种回答层面不同,不能用长期科学可能性抹平短期转型成本。

自主/持续/在线学习肖朝军把这些名字放在一起讨论,重点是模型在用户环境中持续获得新技能,像带实习生一样逐渐成长。他认为在线学习只是其中一部分;本期没有给出统一算法,也没有证明人工奖励减少就自然产生自主奖励判断。
分布式智能两位嘉宾谈的是互补愿景:肖朝军设想个人便携计算终端连接眼镜、耳机和手表,未必每件设备都运行大模型;刘知远设想端侧个人模型与云端领域专家模型协作。它不是所有计算都放在手机上,也不是手机总算力大就自动形成可用网络。
生产AI的AI肖朝军提出的AGI形态设想:通用系统接到‘需要一个自动驾驶模型’的目标后,能收集/生成数据、训练并在指定算力上优化专用模型。刘知远以‘用机器制造机器’类比。它目前是用来反问‘AGI必须亲自做所有事’的定义设想,不是已完成系统。
Reward Engineering到自主学习刘知远设想先在数学、代码和物理等可形式化领域由人设计奖励,再逐渐减少人工、扩展环境,最后让一个模型学会更高层的奖励判断。前两步有部分实践线索,跨领域汇聚和自主奖励判断仍是预测,不能混写为已发生。

话题推进:主持人于是问嘉宾究竟担心什么,并把未来一年希望验证的技术问题收束到自主学习和AGI形态。

01:32:30–01:39:24未来一两年:监管分歧、AGI‘生产AI’形态与自主学习的未证实跳跃

  • 关于未来,你有什么担心的地方吗?
  • 未来一年内,你们有什么想验证的问题吗?
  • 最早到来的AGI的形态会是什么样,这是指什么?
  • 明年就会出现自主学习吗?业界似乎没有很多信号。
  • (自主学习)最先会从数学和代码扩展到什么领域?

刘知远被问担心什么时说,担心人类因恐惧束缚前进。他用早期计算机因军事用途而可能被反对作类比,主张可以审慎,但应支持提升世界探索能力的研究。程曼祺补充,当前主张更强约束的声音在业界仍是少数,刘知远同意。这是嘉宾对监管与技术探索的价值判断,不是‘审慎无必要’,也不能代替具体风险讨论。

肖朝军未来一年想验证的是RL能走多远、自主学习以何种形式存在,以及最早AGI会是什么形态。他反对‘AGI必须亲自完成人类所有任务’的定义:自动驾驶很可能由专用小模型做得更好,大模型不会开车不应直接否定其通用性。于是他提出‘生产AI的AI’:通用系统接到需求后,收集或生产数据、训练并优化专用模型,使其在指定算力上运行。他明确说这不是最终答案,只是未来一两年需要思考的方向。刘知远以工业革命‘用机器制造机器’类比,认为‘用AI制造AI’可能是智能时代大生产的本质。

刘知远最想验证的是自主学习,并期待最早次年、最晚后年看到学习能力提升。程曼祺追问:业界似乎还没有很多信号,明年真会出现吗?他回答的线索是reward engineering——先由人在可形式化领域设计奖励,从数学、代码扩展至物理等理科,再逐渐减少人工。肖朝军此时补充‘核心还是那几个学科’,构成对‘已广泛扩展’的即时限定。

主持人又将‘明年’确认成信号或苗头而非大众普及,刘知远进一步说,各行业RL积累后可能汇聚到一个模型,形成更高层的自主奖励判断。这里必须区分三件事:特定任务持续变好、奖励工程扩展到更多理科、跨领域汇聚后自主判断奖励。前两项是有限实践和近期期待,第三项仍是机制上未证明的跳跃;不能把整段写成‘明年实现通用自主学习’或确定AGI日程。

话题推进:主持人最后总结效率主线,并用两期往期节目把注意力机制与AI for Science重新连起来。

01:39:24–01:41:52结尾:往期节目回链与本期证据边界

程曼祺总结本期从密度法则出发,讨论怎样以更高效方式获得更多智能,以及这一共同目标如何影响模型研发和行业落地。这里的总结不等于节目中所有端侧和AGI预测已经验证,正文应把前述技术实践、个人估计和长期愿景分别阅读。

‘连点成线’推荐第143期DeltaNet核心贡献者杨松琳的对话,涉及Qwen3 Next、Kimi KDA、DeepSeek DSA和面壁InfLLM等不同注意力改进,也呼应线性与稀疏注意力混合。第103期则由肖朝军单人担任嘉宾,回顾Attention优化史;他当时已提出把稀疏做到预训练阶段,本期InfLLM-V2是这一想法的后续实践。

主持人再次强调,思维链和RL让长输出与长输入同样重要,时隔10个月肖朝军仍认为长输出没有形成充分共识。第103期还讨论AI for Science,与本期的长期探索愿景呼应。节目最后进入听友互动与关注信息,没有新增技术证据。

话题推进:节目结束。完整审读稿的剩余不确定专名、预测与外部数字集中保留在issues和回执,不通过删去原材料来制造确定感。

以上是原对话的分段阅读。下面才开始提炼论证、解释机制并给出本文自己的判断。

主要论证:观点怎样由经历与例子支撑

密度法则把‘单位参数所承载的能力’变成研发目标;3.5个月是特定基座模型与基准上的最大相对密度历史拟合,不是普适自然定律。

刘知远、肖朝军(研究目标);Nature论文(指标补核) · 00:10:23-00:21:02;shownotes及所链Nature论文s42256-025-01137-0

相对密度通过参考模型的等效参数量N_eff与实际参数量N_actual之比计算,而非跑分除以参数。论文使用51个开源预训练基座模型和五项基准,拟合发布时间—最大密度包络线;节目中加入2025年数据后从约3.3个月修正为约3.5个月,并强调ChatGPT之后增速提高。

成立条件:结果依赖参考模型、拟合方法、任务和模型样本,且不完整覆盖后训练、推理时计算、总能耗和真实产品表现。不能外推为所有模型平均3.5个月翻倍,或所有训练/部署成本都按同周期减半。

效率提升需要架构、数据、学习算法与软硬协同共同推进,不能归因于单一‘小模型技巧’。

刘知远、肖朝军(研发框架与团队案例) · 00:27:08-00:40:23;00:49:21-00:58:52

MoE减少单次激活计算,数据管线提高有效样本质量,模型风洞用小实验预测大配置,软硬协同把理论节省变成真实训练/推理收益。Ultra-FinWeb和InfLLM-V2分别提供数据与架构案例,但刘知远明确说各因素对密度的定量影响尚不特别清晰。

成立条件:四环节不是已完成贡献分解的加性公式。数据1/10、128K关注4K—6K等各自对应不同分母,不能相乘得到总成本下降;MoE总参数、激活参数、实际延迟和存储也要分别衡量。

RL的未解问题主要是跨任务泛化与样本效率,而非在特定任务上完全不能继续提升。

肖朝军(RL研究判断);程曼祺(连续追问) · 00:40:24-00:49:20

数学和竞赛代码有可验证奖励,真实开发仍有依赖和复杂环境;特定业务可凭大量反馈变强,却不等于人类式少反馈学习。路线一是多环境、复杂且不易被hack的RL Scaling,路线二是新学习范式。主持人追问为何不能多造环境,引出奖励模型本身可能接近AGI的循环。

成立条件:肖朝军明确保留RL规模化带来泛化的可能,没有断言RL不可Scaling。环境多样性、奖励可靠性、防hack、训练量和未参与任务评价必须同时控制;开放域论文奖励等探索尚无成熟共识。

长模型评价应从长输入扩展到长输出,原生稀疏和混合注意力必须经多步Agent与深思考检验。

肖朝军(InfLLM-V2与长输出判断) · 00:52:02-00:58:52

V2把稀疏引入训练,目标是训练加速、减少实际关注比例并支持长输出。128K中关注4K—6K代表保留不到5%的上下文;长输出则要求后续步骤利用早期生成信息。NSA的短文本成本和训练范式问题、混合比例导致的性能权衡,说明单一架构名称不能保证效果。

成立条件:关注比例下降不等于全系统成本同比例下降。MiniMax转向全注意力的原因是肖朝军估计,下一代面壁Attention也未定;需要真实长输出成功率、状态保持和端到端成本数据。

高密度模型可能推动个人终端与云端专家协作,但端侧时间表、总算力与AGI形态均是预测或愿景。

肖朝军(端侧预测与公司自述)、刘知远(分布式愿景) · 01:02:40-01:06:23;01:15:07-01:24:46;01:33:59-01:36:58

肖朝军用芯片路线图估计2030年60B/8B及五年GPT-4~5级端侧能力,设想2027年个人终端持续学习;刘知远以手机算力12倍的引用和IBM类比支持分布式智能,并提出个人模型加领域专家模型。肖朝军的三步AGI与生产AI的AI属于另一条能力形态讨论。

成立条件:参数外推未覆盖全部功耗、显存、带宽、延迟、奖励和数据条件;12倍算力统计口径未核,异构手机芯片不能视作统一可调度资源。量产和100功能点是团队自述,AGI时间表与‘生产AI’均不是事实。

个人AI与AI for Science可能提高生产率和探索能力,但长期技术潜力不能替代对劳动者转型和收入分配的回答。

刘知远、肖朝军(长期乐观);程曼祺(现实反问) · 01:24:46-01:32:30;01:37:13-01:39:24

肖朝军设想个人以经验训练AI替身并凭其竞争力获得收入,刘知远强调材料、能源、宇宙和智能本身仍有大量未知。程曼祺以裁员、低水平者成长和个人家庭冲击连续追问,使讨论不停止在宏观丰裕想象。

成立条件:生产率提升并不自动变成每个劳动者更高收入,裁员的AI因果本期也未核。奖励工程扩展到少数学科、特定任务持续学习与跨领域自主奖励判断之间有未证明的机制跳跃。

机制与术语:对象、输入输出和中间过程

相对能力密度:先找等效参数,再与实际参数比较

【shownotes所链Nature论文补核】设参考模型在参数量N下的下游表现为S=f(N)。论文实际用两步拟合降低直接预测下游分数的难度:先拟合参数N与答案条件损失L=-log P(answer|instruction)的关系,再拟合该损失与下游表现S的关系。对目标模型M,先由其实际评测分数S_M反求参考模型达到同等表现所需的等效参数量N_eff=f^{-1}(S_M),再计算rho(M)=N_eff/N_actual。密度大于1表示在该参照和评测口径下,目标模型以较少实际参数达到参考模型更大参数的表现。最大密度的时间包络线再用于估计3.5个月倍增。

对应节目:00:18:44-00:27:08;Nature论文Methods及Results(shownotes公开链接)

本文自拟示意,不是嘉宾实验

【本文自拟算例,仅说明公式,不是论文实验数据】若目标模型实际为2B参数,其在同一五项评测上的表现对应参考曲线中的10B参数模型,则相对密度为10B/2B=5。它不表示目标模型‘总体智能是别人的5倍’,也不表示训练成本必为1/5;换参考曲线、任务或后训练方式,等效参数可能变化。

L0—L4数据管线:从原始收集到教材级验证

【嘉宾原述】L0收集抓取或采买的原始数据;L1去重、过滤垃圾;L2选择高质量内容;L3合成或改写,产生原世界没有的新样本;L4以形式化或人工方式验证‘教材级’数据。输入是来源和质量不一的数据,输出是不同处理层次的数据集合。它服务的目标不是盲目追求少,而是在目标能力下减少无效学习。失败可来自筛选偏置、合成错误、验证器过窄或训练/评测泄漏,本期没有逐项质量审计。

对应节目:00:34:29-00:40:23

本文自拟示意,不是嘉宾实验

【嘉宾案例重述,未独立复现】刘知远称团队将FinWeb精炼成不到原始量1/10的Ultra-FinWeb,并训练出比原始数据版本更好的模型。他进一步把训练成本估计为约1/10。严格比较仍需同一模型初始化、训练token数、计算预算和评测,并分别统计数据处理成本、训练成本和推理成本。

RL Scaling的条件链:环境—奖励—探索—跨任务验收

【依据嘉宾讨论整理】模型在环境中采样行为,奖励函数给反馈,RL更新策略;扩大环境、rollout、步数或算力,首先证明的是训练分布内或相近任务的表现。要主张类似预训练的泛化Scaling,还需让环境足够多样、奖励不易被hack,并在未参与训练的新任务上观察可预测收益。若奖励模型为了评价一切而必须理解整个世界,它可能本身就需要接近AGI的能力,这是嘉宾提出的循环。另一条路径则直接提高样本效率,减少反馈与人工标注。

对应节目:00:40:24-00:49:20

本文自拟示意,不是嘉宾实验

【本文自拟对照】竞赛代码题可用单元测试判0/1,模型在该分布继续训练可能提高通过率;真实仓库还包含依赖安装、跨文件状态、工具调用和模糊需求。如果只在原竞赛题加分,不能推断真实issue完成率提升。需要在未见仓库上固定工具与预算,测端到端解决率、人工接管、错误修复和成本,才能检验泛化。

InfLLM-V2与长输出:稀疏计算不是只省KV Cache

【嘉宾原述加概念澄清】第一代主要在推理时稀疏,V2在训练阶段引入稀疏,使模型从学习过程就适应该计算方式。对128K上下文,实际attend约4K—6K,保留约3.1%—4.7%的上下文;真正端到端收益还受选择开销、算子、内存访问和硬件影响。长输出场景不断把新推理和计划加入上下文,模型必须维持早期步骤,不能只以一次长文检索问答评估。NSA被嘉宾批评的短文本三组件开销和短预训练—长后训练适配,也说明稀疏方案要与完整训练流程共同设计。

对应节目:00:49:21-00:58:52

本文自拟示意,不是嘉宾实验

【嘉宾Agent例子重述】Agent先规划1—5步,执行第二步时若忘记第一步做了什么,就会回头重做。评估应记录长轨迹中早期信息能否被正确使用、任务是否完成、重复操作率和实际时延;仅测‘读一本书后回答一个问题’不能覆盖这个失败。

端侧能力外推:模型密度与芯片路线必须同时满足

【嘉宾预测方法与本文边界整理】肖朝军先由未来芯片规格估计可加载的总参数与激活参数,再假定模型能力密度延续增长,推得2030年60B/8B及五年GPT-4~5级端侧能力。刘知远另以手机端侧总算力引用支持分布式方向。实际可用性还需模型质量、存储、内存带宽、功耗、散热、延迟、操作系统、数据权限和云端协同共同满足;端侧总算力相加不等于一台设备可使用的能力。

对应节目:01:02:40-01:06:23;01:15:07-01:24:46

本文自拟示意,不是嘉宾实验

【本文条件核对,不是性能预测】即使某设备能存下60B MoE、每token只激活8B,也仍需确认60B以何种精度存放、加载是否超内存、8B激活能否满足时延与功耗,以及目标GPT级能力用什么任务判定。只给出两个参数量不能回答这些条件。

从奖励工程到自主学习:已有线索与未证明的汇聚

【刘知远预测路径】当前先由人在数学、代码、物理等可形式化领域构造奖励,使模型在特定任务持续学习;随后希望减少人工、扩大环境范围,最终让一个模型习得更高层的自主奖励判断。肖朝军的个人终端设想则要求模型从用户数据与反馈中逐渐掌握专业技能。这里最容易省略的是:不同领域奖励能否对齐、一个模型能否迁移评价标准、个人数据是否足以提供可靠反馈,均没有由‘奖励工程’名称自动回答。

对应节目:01:17:40-01:21:04;01:36:16-01:39:24

本文自拟示意,不是嘉宾实验

【本文自拟判别】数学最终答案可自动判定,代码可跑测试,物理问题也可能形式化;把三者放进同一训练集只证明模型接触了三种反馈。若要证明自主奖励判断,还需给出未见领域,让模型自行选择或修正评价标准,再检验其学习是否优于固定奖励与人工奖励基线。

独立判断:这些对话改变了什么理解

【本文推断】密度法则最重要的贡献是提供一个可证伪的效率坐标,但它同时也把‘能力’压缩进特定基准,不能把坐标当成智能本身。

推理:等效参数法避免跑分/参数的直接线性化,能比较不同规模模型,这是实质方法设计;但参考曲线和五项基准决定了‘同等能力’的含义。MMLU、BBH、MATH与代码基准上的等效,不自动等于长输出Agent、真实开发或车内交互的等效。论文也区分最大密度包络与个体模型,更大模型的最高跑分不必然有最高密度。

竞争解释与边界:不应反向得出‘指标没有意义’。更有用的做法是按目标应用重新明确能力集合、参考模型与成本分母,再检验3.5个月趋势是否稳定。将后训练、推理时计算、数据生产与硬件能耗纳入时,需分别披露,不能用一个更复杂的总数掩盖口径变化。

【本文推断】本期对RL最严谨的理解是‘泛化规律未被建立’,而不是‘RL没有未来’;两条路线之间也需要可判别实验。

推理:预训练的历史说明同一学习方式在规模扩大后可能出现新性质,所以嘉宾保留多环境RL的可能。真正缺失的是跨环境训练量与未见任务收益的稳定曲线,以及奖励被钻空子时的失效界限。把竞赛代码直接换成真实仓库,就是环境复杂度和反馈可信度同时变化的例子。

竞争解释与边界:样本效率路线也不是天然更通用:一个算法可以少量样本适应单任务,却仍依赖精心选择的人类反馈。比较时应同时报告新任务数量、反馈总量、人工参与、训练计算和未见任务表现;只报RL步数或只报最终benchmark都无法区分两条路线。

【本文推断】四环节框架有利于定位效率收益来源,但局部效率数字最容易被误拼成全局收益。

推理:MoE关注激活参数,数据案例关注训练样本量,InfLLM-V2关注注意力实际保留比例,软硬协同关注利用率;它们分别作用于不同资源。数据缩到1/10不代表模型参数也缩到1/10,关注不到5%不代表全模型计算不到5%,芯片利用率提高也不代表任务能力提高。

竞争解释与边界:实际评估应固定目标任务和能力阈值,分别报告数据处理、预训练、后训练、推理的token/FLOPs/时延/能耗/金钱成本。否则‘效率提高’可能只是把成本从训练转移到数据生产,或从计算转移到内存与人工微调。

【本文推断】长输出是本期最值得单独补入评测体系的反例,它暴露了仅以长输入benchmark判断架构的盲点。

推理:长输入常考察从静态上下文找答案,长输出则让模型自身生成内容成为新上下文,错误和遗忘会沿轨迹积累。线性/稀疏方案在短问答上的优势不能直接迁移到多步Agent;混合全注意力能否补救也取决于比例、训练方式和硬件。

竞争解释与边界:这并不证明全注意力必然胜出。应在相同质量目标下比较长输入检索、长输出一致性、任务完成、重复操作、时延和能耗,并分别测试短预训练接长后训练。肖朝军对MiniMax的解释只是待核线索,不能替代这种对照。

【本文推断】端侧分布式愿景的关键瓶颈不是‘小模型能否跑起来’,而是持续学习、隐私和端云责任如何形成可靠闭环。

推理:便携NAS把计算集中于个人终端,端云协同又把个人模型与专家模型连接起来,二者都能减少每个配件重复部署大模型的需要。但个人模型要从数据中成长,必须有奖励、权限、纠错、遗忘控制与故障回退;总算力12倍也不说明这些系统条件已经存在。

竞争解释与边界:云端并不会因密度提高而消失,反而可能承担训练、专家能力和跨设备协调。评价路线时应比较完整任务质量、个人数据外发量、断网可用性、能耗、每次任务成本和失败责任,而不是只比本地参数规模。

【本文推断】本期最薄弱的社会论证,是从生产率提高直接跳到个人收入提高、从长期科学未知跳到短期失业不必担忧。

推理:个人AI确实可能扩大单个工作者的产出,但收入还取决于稀缺性、议价权、组织所有权和市场价格。主持人关于低水平者如何成长的追问,揭示‘靠个人经验训练强AI’对缺少经验者并不自动成立。刘知远对AI for Science的乐观可以支持新的长期需求,却没有给出转型时间与分配机制。

竞争解释与边界:也不必从这一缺口推出技术只会减少就业。应分别测量任务自动化、职业需求、工资、工作重组和劳动者学习通道。对个人更可执行的策略是积累能指导、验收并承担责任的领域能力,但这只是应对建议,不是对所有人收入结果的保证。

尚未解决的问题与可检验的下一步

待解问题:将后训练与推理时计算纳入密度2.0后,3.5个月趋势、模型排序和‘同等能力’定义会如何变化?

下一步信息或小实验:在同一参考模型和任务集合上,分别披露基座预训练、RL训练、测试时token与工具调用成本,比较不同后训练模型的等效参数和真实时延;保留旧口径作为对照,避免换指标后仍沿用旧增长率。

怎样的结果会改变判断:若趋势只在旧基座口径成立,说明密度法则的适用范围需要收窄;若多口径下仍稳定且能预测未见模型,才支持更一般的效率规律。

待解问题:RL在更多环境中Scaling,究竟何时只提高训练任务,何时能提高未见真实任务?

下一步信息或小实验:设置数学、竞赛代码、真实仓库及非形式化任务的环境梯度,固定基座和评测预算,报告环境数量、rollout、奖励可靠性、hack率与未见任务完成率,比较新样本效率方法。

怎样的结果会改变判断:若增加环境只能改善训练分布,支持优先改进学习方式;若未见任务随环境规模呈可预测提升,则支持继续RL Scaling。

待解问题:InfLLM-V2及线性/稀疏混合在长输出Agent任务上的质量—成本帕累托如何?

下一步信息或小实验:在同一基座、上下文长度与硬件上,比较长输入问答、长链推理和多步工具任务,记录早期状态保持、重复操作、任务成功、训练适配成本、推理时延和能耗。

怎样的结果会改变判断:若稀疏方案只在长输入占优而在长输出持续掉点,应限制其应用或调整训练;若多步任务质量不降且端到端成本下降,才支持原生稀疏的实际优势。

待解问题:60B/8B端侧路线图能否转化为用户可感知的GPT级能力,而非仅能加载参数?

下一步信息或小实验:按年度记录真实设备的存储、量化、内存带宽、持续功耗、首发与持续token速度、目标任务质量、断网可用性和个人数据外发量,并明确‘GPT级’的固定任务套装。

怎样的结果会改变判断:若参数目标达成但持续功耗、延迟或能力不达标,五年预测需要下修;若各条件同时满足,才支持高密度个人终端路线。

待解问题:车载量产中的体验提升,多少来自高密度基座,多少来自功能级SFT和整车工程?

下一步信息或小实验:在同一车规芯片、相同100余功能需求、相同SFT数据与工具链下比较不同基座,测意图理解、环境感知、延迟、功耗、人工接管和真实用户使用;补充量产与次年车型的正式交付资料。

怎样的结果会改变判断:若同规模高密度基座稳定占优,支持其技术壁垒;若差异主要来自适配和数据工程,则公司优势应更多归于交付体系。

待解问题:多领域奖励工程能否自然汇聚成自主奖励判断,个人AI替身又能否改善普通劳动者收入和成长通道?

下一步信息或小实验:技术上在未见领域检验模型是否能选择、修正奖励并优于固定奖励;社会层面分别跟踪任务自动化、职业需求、工资、工作重组和低经验者培训结果,不以少数高技能AI使用者替代整体。

怎样的结果会改变判断:若跨领域仍需大量人工定义奖励,应降低通用自主学习近期预期;若生产率收益主要归企业且低经验者通道恶化,就需要调整对‘个人AI自然提高收入’的判断。

影响理解的转录疑点

先读00:10:23—00:30:42,理解Densing命名、3.3/3.5个月、基座指标与四环节总图;再读00:40:24—00:58:52,抓住RL泛化边界、环境奖励循环、InfLLM-V2与长输出反例;最后读01:02:40—01:39:24,把端侧外推、量产自述、肖朝军与刘知远各自的AGI愿景和主持现实追问分开。完整19段均已按552条转录审读,不能只读综合摘要代替原文主线。

证据边界与资料索引

本页依据整期机器转录、官方节目介绍与章节逐段重建,未宣称逐字人工听审。说话人、专名、数字和时间可能存在识别误差;原声仍是最终核对依据。嘉宾关于公司、市场、研究、个人经历与未来的说法按口述保留,不自动等于独立核验的事实。

原节目:144: “大而强”到“小而强”|与刘知远、肖朝军聊密度法则、RL 的 Scaling Law 和智能的分布式未来

本页使用的公开文字或字幕来源

返回顶部