#97 广密：Pre-training 叙事回归与 AGI 的登山路线

原文讲解：从“预训练还没结束”一路爬到 AI for Science 的主峰

以下按照访谈推进解释问题和回答，不把后来的技术结果提前写回 2025 年第一季度的语境。节目里有大量强预测，先标成“广密的判断”，之后再进入外部资料和本文分析。

一、开场的最大非共识：预训练并没有走完，甚至可能刚刚开始

节目从 DeepSeek、Grok、GPT-4o、Claude 3.7 等当时的模型竞争开始。广密提出的第一条主张是：过去一段时间大家把注意力从预训练转向后训练、推理时计算和强化学习，但这不意味着预训练的能力上限已经被挖空。预训练负责让模型获得新的世界知识、抽象能力和能力上限；后训练和 RL 更像激活、塑形和放大，让模型知道什么时候思考、怎样遵循任务、如何调用工具。

他并不把两者看成互相排斥。合成数据、RL 产生的轨迹和环境反馈，最终也可能被整理回预训练，让模型在参数里吸收新的能力；因此所谓“预训练 vs 后训练”更像数据与反馈进入模型的不同阶段，而不是两个互斥阵营。真正的瓶颈可能是数据质量、训练基础设施和如何把有效的探索结果变成可迁移的学习信号。

“预训练还没结束”在节目中是非共识和研究判断，不是被访谈自身证明的事实。它的含义也不是简单地增加网页数量，而是继续寻找能带来新能力的任务、环境和反馈。后文谈 Agent 时，广密反复回到这个问题：如果模型只在静态语料里看到答案，它难以学习长期行动；如果让模型在可执行环境中尝试、失败、修复，就可能产生新的训练材料。

二、为什么 Coding 被当作通往 AGI 的优先环境

广密把工具使用和 Computer Use 看成下一步关键变化。模型不再只生成一段文字，而是要在浏览器、电脑、手机或虚拟机里操作：打开页面、读文件、运行代码、检查结果、修复错误，再继续完成目标。早期 Agent 像一只刚拿起棍子的大猩猩，能做出令人惊讶的动作，但对环境状态、长链计划和失败恢复仍然很脆弱。

他之所以把 Coding 放在特殊位置，是因为代码既是表达数字世界的语言，也是一个可以即时执行和验证的环境。模型写错代码，测试会失败；修对后，程序可以运行；复杂任务可以拆成函数、文件、工具和数据。对他来说，Coding 接近数字经济的“手”，模型的智能是大脑，二者结合后才有可能把语言能力转成真实生产力。未来产品的外观不一定叫 Coding，可能是搜索、推荐、设计或科学实验，但内部仍可能通过代码操纵数字环境。

在此基础上，他给出极强的嘉宾预测：AGI 可能在两年内到来，并把 Coding 作为最有利的突破环境。这个时间判断是节目当时的概率表达，不是已发生事实；更稳妥的可复述内容是，广密认为数字环境的可执行性、反馈密度和任务覆盖范围，使 Coding 比现实机器人更容易规模化验证智能。

三、OpenAI 与 Anthropic：流量、研究和平台路线的分歧

节目把 OpenAI 和 Anthropic 作为两种战略倾向来对比。广密认为 OpenAI 更重视 O 系列推理、Resident/ChatGPT 以及面向 C 端的大规模用户入口，核心问题是如何把智能交给十亿级普通用户；Anthropic 更接近预训练、基础模型和 Coding/Agent 生态，优先服务开发者和企业。这里不是说两家公司只做其中一件事，而是用主航道来说明“研究优先”和“平台/流量优先”的不同下注。

他倾向于预训练和基础模型路线，称之为对 AGI 原始问题的坚持；但又承认模型能力最终可以改变流量分配，一个更强的基础模型可能重新吸走用户。因而应用层和平台层的护城河都不是绝对的：ChatGPT 的入口、Claude 的 Coding 体验、Google 的分发、xAI 的执行速度、Cursor 的界面和自研训练，都可能在模型能力变化后重新排序。

他还把 Manus、Perplexity、Cursor 等放进同一张图里：Manus 像一个大量消耗 token 的任务容器，Perplexity 抓住了搜索与答案之间的窗口，Cursor 把编程界面和模型训练结合起来。这里的“公司位置”是嘉宾在 2025 年一季度的判断，不是投资建议，也不代表节目后续实际结果。访谈的价值在于提醒读者，模型公司和应用公司的边界正在被工具、数据、反馈与用户入口不断重画。

四、AGI 的登山路线：从语言，到代码、Agent、科学，最后是机器人

广密用一座山来描述主线。底部是 GPT-3.5、GPT-4 这类语言模型；再往上是代码能力和 Coding Agent；随后是能操作多种软件与环境的通用 Agent；更高处是 AI for Science，即帮助人类发现新的药物、材料、数学和物理规律；机器人则要把这些智能放进真实世界的身体里。

AI for Science 被他称为接近山顶的能力，因为科学问题需要长期探索、假设、实验、失败、反事实和跨领域组合。模型可以先在虚拟实验室、自驾实验室和生物基础模型中扩大搜索空间，再把候选结果交给真实实验验证。这里的“虚拟化地球”不是把物理世界删除，而是让 AI 在数字环境里预先探索更多路线，把昂贵的现实实验留给最有价值的候选。

机器人排在后面，并不代表它不重要，而是现实世界的反馈更稀疏、更贵、更危险。每个身体、传感器、摩擦和环境都可能不同，纯粹增加语言 token 不能替代物理数据。广密认为，如果模型架构、数据规模和在线学习继续进步，机器人仍可能被纳入同一条智能主线；但截至这期节目，虚拟环境明显比真实机器人更适合快速迭代。

他对“智能本质”的解释也从技术转向文明：生命通过生存、探索、自动化和奖励来扩展行动空间，AI 把探索和执行的规模放大。财富、知识、科学发现和新公司都可以看成智能被部署后的结果。因此他预测 2030 年前可能出现多个万亿美元级新公司，但这仍属于强烈的未来判断，不能被写成经济事实。

五、Agent 的三项能力和四层基础设施：聪明不等于能完成任务

节目把 Agent 的能力拆成三项：长期上下文推理、工具使用和指令遵循。仅有语言理解，模型会把任务讲得很漂亮却不行动；仅有工具调用，模型会乱点按钮；仅有指令遵循，模型又可能机械执行错误目标。真正的 Agent 需要在一段时间内维持任务状态，知道自己做到了哪一步，能根据工具反馈改变计划，并在不确定时向用户请求信息。

对应的基础设施至少有四层：环境（虚拟机、操作系统、浏览器或代码运行时）、工具（搜索、数据库、API、文件和控制器）、记忆（上下文压缩、长期状态和用户偏好）、计划/行动（拆解、排序、执行、检查和重试）。MCP 被讨论成一种“接线”或“插座”，让模型与外部工具连接；但协议本身不会自动产生长期记忆、好的评价器或安全责任。

他把 token 消耗速度当作观察 Agent 进步的一个信号：聊天机器人可能只消耗几千 token，搜索和研究任务会到几万，Manus 类任务可能达到几十万甚至更多。可是 token 多不等于任务完成，模型写出人类看不懂但能运行的代码，也不等于结果可靠。真正有意义的指标是每一段上下文是否减少了不确定性、推进了状态、产生了可验证的交付物。

在线学习是下一道难题。它可以通过更新参数、写入记忆、组合多 Agent 或记录环境经验来实现，但前提是系统知道什么反馈值得吸收。奖励定义不清时，Agent 可能为了完成表面指标而钻漏洞；长期任务还会把错误积累到后面才暴露。广密因此把上下文、工具、环境和评价看成同一个系统，而不只是给模型外挂几个 API。

六、模型与产品的关系：研究不能被产品节奏拖成“能力租赁”

广密认为，真正的大型 AI 应用不能只是把现成模型包一层 UI，然后等待模型公司替它研究。产品遇到复杂任务时，必须能把用户反馈、失败轨迹和领域问题反哺到模型或训练系统；否则模型升级后，产品仍然停留在旧提示词和旧工作流里。反过来，模型公司也不能只优化 benchmark，因为用户的偏好数据不一定等于能力数据，很多反馈只是“我喜欢哪种表达”，并不能告诉系统如何解决更难的任务。

定价也会随 token 密度改变。传统 SaaS 每月 20 美元的价格，可能无法覆盖长程 Agent 的模型、浏览器、执行、人工审核和失败重试成本；研究人员和企业可能愿意为真正完成的任务支付更高价格。价值定价不是简单把月费涨到 300 美元，而是区分一次性回答、持续工作流、可交付结果与责任服务。

价值链因此从 Nvidia、AWS、基础模型扩展到应用、运行时和数据。嘉宾更看好能长期掌握模型与研究能力的公司，但也承认应用层会通过界面、用户入口、领域数据和工作流形成价值。两者之间不是“谁吃掉谁”的单向关系，真正的竞争在于谁能把用户需求变成可持续的训练和交付反馈。

七、最后的下注：人才密度、组织文化和中国的 AGI 可能性

谈到中美，他认为技术和产品最终没有国界，中国团队如果沿着当前路线持续推进，也有机会复制或追上 AGI；DeepSeek 和字节被他当作具备模型、产品和执行能力的代表。但他不建议简单复制硅谷产品，而要把趋势推到极致，做出全球用户真正愿意使用的产品。组织文化、计算资源、人才密度和敢不敢下注，比国籍标签更重要。

他把人才优先级放在 AGI/Researcher、AI 和能把研究转成产品的人身上，认为组织首先要容纳愿意长期押注的人，也要让不同观点真正发生冲突。节目中提到的 Anthropic、ByteDance、OpenAI、Mira、xAI、Manus 等组合和百分比，是嘉宾的个人投资/竞争判断，不是建议或事实排名；最重要的不是复述比例，而是理解他怎样用“研究路径 + 组织承诺 + 资源投入”来判断公司。

访谈最后把 AGI 称为可能到来的科学文艺复兴：现在的产品、公司和商业模式都不是终点，新的 Google、Windows、Office 或 Meta 可能还没有出现。广密最稳定的结论不是某个日期，而是“智能升级是主线”，所有其他问题都要问自己：它是否让系统更好地理解、探索、行动、验证和学习？

原文讲解到这里。下面才进入结构化判断、证据核验与独立分析。

核心判断：AGI 路线的关键不是“更长的回答”，而是可持续的环境反馈

广密把预训练、后训练、工具使用、Agent 和 AI for Science 串起来，实际上是在重新定义训练数据：数据不只是静态文本，也可以是模型在环境里提出假设、调用工具、运行代码、得到反馈、修复错误和最终交付的完整轨迹。若这些轨迹能被评价、筛选和迁移，模型就有可能从“知道答案”走向“知道如何完成任务”。

证据账本：嘉宾判断、官方资料和预测要分层

本期 ASR 说话人标签不稳定，本文以主持人提出的问题和回答内容的连续性组织章节，不对每一句做强归属；节目内的估值、token 数量、公司排序和时间判断均保留为嘉宾口径。

深度分析：这套路线最有价值的地方与最危险的跳跃

第一，预训练叙事真正需要的是“新任务”，不是旧数据的无止境堆积

如果预训练仍然有价值，关键在于模型能否从更高质量、更具反馈结构的数据中学到新能力。代码执行、科学实验和长期 Agent 轨迹比普通文本更接近“任务—行动—结果”的闭环，但也更容易被奖励漏洞、数据污染和模板化策略误导。判断预训练是否重新获得增量，必须比较同一模型、同一算力和同一数据预算下，轨迹质量是否带来跨任务迁移，而不是只看一个基准分数。

第二，Coding 是好环境，但不是完整世界

代码有执行器和测试，因而适合训练计划、工具和错误恢复；然而真实任务还有模糊目标、社会协作、长期价值和责任后果。一个能修复测试的 Agent 不必然能决定什么值得做，也不必然能理解客户或科学家的隐含约束。Coding 更像通往通用能力的高密度训练场，而不是 AGI 的充分条件。

第三，真正的 AGI 竞争可能发生在 harness，而不是模型排行榜

模型之外的环境、工具、上下文压缩、记忆、规划、评价、权限和成本，会决定同一个模型能否完成不同任务。一个小模型在设计良好的环境里可能超过大模型的裸聊能力；一个强模型如果不能恢复失败、不能保留状态，也可能只是昂贵的自动补全。模型公司与应用公司的边界，最终取决于谁能掌握这个反馈系统。

把访谈转成可执行的 Agent 研究检查表

• 环境：模型是否拥有可执行、可重置、可观测的工具环境，而不是只生成自然语言？
• 任务：任务是否足够开放，能区分真正泛化和对固定模板的记忆？
• 评价：系统能否验证中间步骤、最终结果和长期副作用？
• 记忆：哪些经验写入参数，哪些保存为可撤回的外部记忆，依据是什么？
• 成本：token、工具调用、浏览器、人工复核和失败重试是否被完整计账？
• 迁移：在 Coding 环境里获得的能力，能否迁移到研究、办公、机器人或现实任务？

后续怎样证伪或修正这套判断

• 如果预训练规模继续增加只带来窄基准收益，且不能产生跨任务新能力，“预训练回归”需要收缩。
• 如果 Agent 的长程轨迹主要通过提示词和模板获得，离开原环境就失败，不能称为通用能力。
• 如果更强的 Computer Use 仍无法解决目标含糊、权限、责任和长期反馈，Coding 路线不能直接推出 AGI。
• 如果 AI for Science 的候选生成无法通过真实实验验证，虚拟搜索空间不会自动带来科学发现。
• 如果模型公司无法把环境反馈反哺训练，应用层的用户数据也可能只是偏好数据，而不是能力飞轮。

证据边界与资料索引

正文以 #97 YouTube 节目和公开 Scripod 句级转录为主；广密的 AGI 时间、公司概率、token 数量、2030 年公司规模和中美竞争判断均是节目中的个人预测。外部资料用于核对当时公开的模型、工具协议和产品背景，不把它们当成对嘉宾预测的事后证明。

• Zhang Xiaojun Podcast #97：25 年 Q1 大模型季报与广密：原始视频入口。
• Scripod #97 公开转录页：句级转录和章节入口，页面内容可能更新。
• DeepSeek-R1 论文：2025 年 1 月公开的强化学习推理模型报告，核对节目时代背景。
• OpenAI Deep Research 官方说明：2025 年 2 月公开的研究 Agent 产品表达。
• OpenAI GPT-4.5 官方说明：节目时代的模型背景资料。
• Anthropic MCP 官方说明：模型与外部工具连接的协议背景。
• Anthropic MCP 文档：公开协议与工具接入说明。

证据顺序：节目原始材料 → 官方论文/产品/协议资料 → 本文分析。本文提供面向未读原文读者的连续讲解，不复刻整期逐字稿。