一、节目先给出一个保留意见：预训练 Scaling 可能变慢，但还不能宣布失败
主持人把这期放在 2024 年第三季度的大模型背景里：过去一年，行业习惯用 Scaling Law 解释模型为什么会变强——更多数据、更大模型、更多算力，通常带来更好的损失和能力。但当时开始出现一种普遍焦虑：高质量文本快用完了，继续增加参数和数据越来越贵，模型的提升似乎也没有早期那么明显。
广密没有把这个判断说成事实。他给传统 Scaling 已经失败和仍然可以继续分别保留大约一半的概率。这个开场很重要，因为后面“Self-play RL 是新范式”的强烈论断，建立在一个尚未完成的前提上，而不是建立在“预训练已经死亡”的确定事实之上。
他接着从工程侧说明为什么增长变难：当时最强的稀疏混合专家模型大约在数千亿总参数量级，节目提到的量级约为 6000 亿到 7000 亿；公开可用的高质量文本大约十几万亿到二十万亿 token，再往上就要面对重复、质量下降和合成数据问题；训练集群规模已经达到数万张 H100 的量级，但互联、故障、调度和有效利用率会成为新的瓶颈。节目里用一个很直观的工程比喻说明规模的代价：集群越大，卡坏、网络抖动、任务重启和替换的频率越难管理，拥有更多 GPU 不等于可以线性获得更多有效训练。
因此，主持人与广密把候选路线列成三条：继续建更大的集群；把视觉、多模态和视频加入训练；或者转向 Self-play RL，让模型在自己生成的任务和反馈里积累新数据。广密认为多模态一定会提高交互能力，十万卡集群也可能带来意外突破，但如果必须在三条路里押注，他会把最重的资源押在 Self-play RL 上。
二、Self-play RL 到底是什么：不是把模型再训练一遍，而是让它进入一个有奖励的世界
为了避免“强化学习”变成口号，节目先把它拆成四个部分：agent、environment、action 和 reward。模型观察环境，采取行动，环境返回结果，再根据结果给奖励。广密用狗训练、寻宝和马拉松来说明：只告诉系统“最后要到宝藏”而不规定中间路线，系统才有机会找到人没有写进数据的策略。
但这套机制同时带来一个经典风险：模型会钻奖励的漏洞。马拉松如果奖励只看速度，运动员可能用兴奋剂；游戏如果只奖励分数，智能体可能学会卡住规则而不是完成真正任务。强化学习真正困难的地方不是“给一个分数”，而是设计一个不会被投机利用、又能长期指导行为的环境。
大语言模型的预训练更像利用已有的人类经验。它从互联网上读到大量文本，学习人类已经走过的路线；强化学习则让模型在可控的环境中探索。从这个角度看，语言像人类文明的压缩历史，强化学习像个体进入世界后的成长。广密用“预训练像基因或读书，强化学习像成长或行路”来描述两者关系：语言仍然是非常强的通用先验，但真正把模型推向未知问题的力量，可能来自反馈和探索。
三、为什么数学和代码先受益：因为它们有比较清晰的裁判
节目中反复回到一个核心限制：奖励模型能不能判断结果。数学题有对错，代码可以运行、测试和检查，程序执行本身就是一种环境；而文学、政治判断、医学长期结果和很多现实决策，往往没有即时、唯一、无争议的答案。
这也是广密把 Claude 3.5、OpenAI o1 等产品看成重要信号的原因。代码和数学不是因为它们天然比其他领域“更智能”，而是因为它们提供了较短的反馈闭环：模型写出程序，程序运行，测试告诉它哪里错，再继续改。一个可运行的代码环境，等于给了模型一个小型世界。Self-play 的价值就在于可以让模型生成越来越难的任务、解题、测试和反例，并把成功轨迹继续用于训练。
主持人把 RLHF 与 self-play RL 区分开来。RLHF 的主要目标是让模型更符合人的偏好、规范和对话要求；self-play RL 的目标更接近探索能力、逻辑能力和策略能力。前者不等于后者，也不能因为模型会听话，就认为它已经拥有了更强的推理能力。
四、规模从哪里来：推理时计算、合成轨迹与新的成本结构
如果模型需要花更多时间思考，能力增长就不再只发生在训练阶段。节目讨论了一种推理层面的 Scaling：给同一个模型更多推理计算，让它生成更多候选路径、做更多检查，可能得到更可靠的结果。训练能力与推理时计算的组合，可能形成类似乘积的效果。
广密给出了一些成本估算，例如合成一万亿 token 的高质量推理数据可能需要数亿美元，继续扩大到十万亿则会达到数十亿美元。这里的金额不是财务披露，而是为了说明成本结构：如果每条轨迹都依赖最贵的 GPU 和人工检查，Self-play 不会自动比预训练便宜；如果推理可以分布到更便宜的硬件，或者验证器能自动筛选大量轨迹，新的训练数据才有可能以不同方式增长。
这也意味着强化学习不是单独的一种“模型结构”，而是一套系统：模型、环境、工具、生成任务、验证器、奖励、失败样本和训练循环共同决定效果。只改模型，不补环境和评价，往往只能得到更长的回答，不能得到更可靠的策略。
五、RL 的天花板：奖励模型不能泛化到所有世界
节目没有把 Self-play RL 描绘成万能钥匙。数学和代码有相对清晰的答案，但物理、医学、法律、金融和创意任务都有长反馈、隐含规则和多重目标。一个在代码上很好的奖励模型，不能直接判断一个医疗决策或一项政策是否正确；如果奖励太短，模型会优化局部指标；如果奖励太远，学习信号又会太稀疏。
因此未来可能出现的不是一个统一奖励模型，而是许多领域环境：代码执行环境、数学证明器、机器人模拟器、医学知识和临床决策评价、金融市场回测以及人类偏好评价。每一个领域都要重新定义“什么算成功”，还要解决训练过程被奖励黑客利用的问题。广密说 coding、数学 agent、个性化可靠性和多模态可能是早期重要的奖励能力，但这仍是排序，不是已被验证的终局。
六、从模型到 Agent：Coding 为什么被看成下一入口
节目把 Coding 放在一个非常特殊的位置：代码既是语言，又是可执行的动作；写完之后可以编译、运行、测试和部署，因而天然有比普通对话更短的反馈。围绕这个闭环，Devin、Cursor、Augment、Magic、Poolside 等公司被作为当时的行业观察对象提到，Claude 3.5 被形容为把模型能力带进开发工具的一个重要时刻。
但广密并不认为 Coding 的终局只是替代程序员。他更看重“Task Engine”：普通人用自然语言描述一个长尾任务，Agent 自动把需求翻译成代码、调用工具、运行结果并持续修正。这样，编程会从职业技能变成一种面向所有人的任务表达方式，类似搜索引擎曾经把信息检索普及给普通用户。这个判断的关键不在于模型能写多少行代码，而在于它能不能完成一个结果并承担验收。
由此，Agent 的评价标准也变了。模型回答得像不像人只是第一层；真正重要的是任务成功率、失败后的编辑量、能否恢复、能否操作工具、能否在长时间任务中保持目标。Self-play 如果要成为 Scaling Law，最有力的证据应该是这些真实任务指标持续改善，而不是只在静态 benchmark 上增加分数。
七、视频、游戏、AR 与机器人：从屏幕数据到第一视角数据
说到多模态，节目把视频看成一个可能先于机器人爆发的方向。视频生成让更多人具备导演和叙事能力，游戏则可能比现实世界的机器人更早成为可交互的虚拟世界。广密认为视频和语言模型在未来一段时间内可能共存，不一定立即合并成一个系统；当时对 Luma、Runway、Pika 等公司的排序只应看作节目时期的行业观察，不能当作事实排名。
AR 眼镜被放在数据角度讨论。以 Meta Ray-Ban 等产品为例，眼镜可以持续收集第一视角的视觉和行为数据。如果未来有大量人佩戴这类设备，模型就能看到人怎样观察、选择和行动。这个数据可能帮助机器人学习，但“有了第一视角视频就能直接训练通用机器人”并不成立，仍需要动作、控制、物理反馈和安全数据。
机器人部分更谨慎。现有机器人往往是一个设备对应一套数据，A 机器人的动作数据很难直接迁移到 B 机器人的身体。真实采集一段高质量操作数据可能需要昂贵设备、长时间操作和人工清洗；家庭机器人连洗衣、洗碗等看似简单的任务都还不能稳定完成。节目提到的若干公司、项目和估值存在自动转录专有名词误识别的可能，真正能从这段对话得出的结论是：机器人需要把模型、身体、数据和场景同时闭环，不能只拿一个“大脑模型”就推导出通用人形机器人。
八、中美产业组合：供应链优势不等于通用机器人已经解决
广密把中美优势拆成两端：中国在制造、供应链、成本和硬件迭代上有优势，美国在 AI 基础研究、模型人才和软件生态上更强。两者结合可能形成机会，但并不意味着任何一个国家已经掌握了通用机器人。中国团队如果要做机器人，可能更适合从明确的硬件和具体场景开始，而不是先宣称已经有一个可以接入所有身体的通用大脑。
节目给出五到十年左右的通用人形机器人时间判断，但同时强调，特定场景的机器人可能更早出现，例如仓储、工业、危险环境或安全领域。这个区分避免了“通用人形机器人”和“某个场景里能稳定工作的自动化设备”被混为一谈。
九、移动互联网的类比：明线是 Compute，暗线可能是 Self-play
节目后段出现一个很有解释力的类比。移动互联网的明线是用户和设备规模增长，暗线则是用户行为数据积累和推荐系统。大屏幕、摄像头、GPS 等硬件能力又分别催生了短视频、出行和其他新公司。广密把今天的 AI 明线看作 Scaling Law，背后核心仍是 Compute；但他猜测暗线可能是 Self-play，像推荐一样决定下一轮行业的排序。
如果这个类比成立，今天训练模型的公司不只是在买算力，而是在争夺一个能自动生成新训练数据、评价数据和用户反馈的系统。未来的关键能力可能包括 Coding、多模态、数学 Agent、可靠性和个性化。应用不会一次性出现，而是随着这些能力渐进提升，逐步解锁。
十、中国大模型公司的问题：追赶、基础研究和失败成本
主持人请广密重新评价中国大模型公司。他认为模型的技术辨识度当时还没有完全拉开，很多团队主要在跟随硅谷进展，把公开技术做成产业和落地，而不是在基础范式上形成明显原创。节目里还提到，很多公司可能会放弃自研预训练，转而在开源模型上做后训练，因为继续训练一个不如开源基座的模型，收益和风险都不确定。
他同时认为 GPT-4 级别可能仍是进入下一阶段的必要条件，原因是后续模型能力大体像乘法关系：基座能力不够，强化学习和应用层再强也会受限。关于年内有几家公司达到 GPT-4 水平、哪些公司会继续 Scale up 等内容，都是节目时点的预测，不是已完成的清单。
为什么中国基础研究少？广密把原因连接到经济基础、失败成本和研究文化。基础研究需要有足够富裕的组织承受失败，也需要让科学家在成功后获得与风险相匹配的回报；需要冒险、合作和强者密集碰撞，而不是只追求论文数量和短期交付。这个判断已经从模型技术转向制度与组织，解释了他为什么认为“有钱”和“有研究文化”是同一条基础设施的两面。
十一、最后的公司点评：OpenAI、研究实验室与 AI 重构老公司
广密认为 OpenAI 在技术领先之外，过去一年在产品和商业飞轮上的转化不够充分。ChatGPT 的订阅收入可能已经很大，但他觉得相对于 GPT-4 带来的领先，产品生态、数据飞轮和多条产品线的表现仍有浪费。关于收入、ARR、离职和创始人去留，节目中大量内容来自当时的行业观察和推测，不能作为财务事实。
他把 OpenAI 的人才密度与研究能力看得很高，认为核心人员没有全部离开，因此个别人离职未必改变公司基本面；但创始人离开会影响组织信心、使命感和信息流动。对 Ilya Sutskever、OpenAI、Q*、Strawberry 等关系的解释，节目采用了“可能是强化学习路线”的推断，并没有提供官方内部证据。
对资本市场，广密提出一个“AI 指数”的想象：早期 AI 产业权重更多在硬件和基础设施，应用权重会随着建设后移而增加。AI 可能不会马上摧毁老公司，而是先提高它们的生产力、改造生产环节，再由掌握分发和消费入口的成熟公司承接价值。Adobe 从本地软件转云、海康从硬件进入视觉智能被用作这种“重构而非颠覆”的类比。
节目最后讨论如果 AI 热潮破裂，谁可能成为下一个 Amazon。广密把 Apple、Tesla 等拥有硬件、分发和真实世界入口的公司列为长期观察对象，也提到 Perplexity 等搜索产品可能因意图数据而有并购价值。这里的结论不是某只股票会涨，而是 AI 价值链会经历从硬件、基础设施到应用与分发的阶段迁移。