第一性原理
减少局部雕花，寻找既通用又可规模化的底层规律。Scaling 不是结论，而是资源如何转成能力的假设。
原文讲解：两次访谈如何拼成一条创业路线
主持人张小珺先介绍杨植麟：清华本科、卡内基梅隆博士，长期从事 AI 研究，后来创办月之暗面并推出 Kimi。节目第一段在 2024 年初录制，关注他从学术研究、Google 实习、ChatGPT 发布到融资、组队和产品的过程；春节后 OpenAI 发布 Sora，节目又补录第二段，转向视频生成、世界模型、技术差距和当年产业预测。
转写与时间边界
本页依据完整音频和小宇宙公开章节重建。杨植麟谈到的融资规模、团队人数、算力价格、模型能力和未来时间表，全部保留为 2024 年访谈时点的口述或预测；Sora 的技术判断只在有官方报告支持的窄范围内使用，不把“视频生成模型可以作为世界模拟器的路径”写成已经证明的通用世界模型。
| 节目阶段 | 主持人追问 | 嘉宾回答推进 |
|---|---|---|
| 00:00–13:15 | 为什么从语言模型开始？AGI 为什么需要新组织？ | 语言模型从语音排序器变成世界概率模型；AGI 需要科学、工程、产品和商业共同构成的登月型公司。 |
| 13:15–30:21 | 你从 Google 和学术合作中学到什么？创业如何获得资本、人才和算力？ | 释放自己，不要无限雕花；ChatGPT 让资本和人才变量同时出现，第一轮融资和组队存在短窗口，算力供应要动态管理。 |
| 30:21–45:34 | 为什么做长文本、为什么 to C、如何看追赶 GPT-4？ | 长上下文是新计算机的内存和个性化基础；追赶综合能力是必经之路，但还要寻找 GPT 之外的非共识维度。 |
| 45:34–64:20 | PMF、用户 Scaling、开源和长期主义之间如何平衡？ | 应用既是目的也是手段；用户反馈与模型 Scaling 要同时推进，不能只为一两年的 PMF 放弃十到二十年的能力建设。 |
| 64:20–结束 | Sora 改变了什么？中美差距、安全和 2024 年会怎样？ | Sora 的一致性和规模化证明重要，但统一架构仍未解决；文本/视频/人类行为是不同压缩，未来要连接数字世界与物理世界。 |
一、从语言模型到世界模型：杨植麟为什么把语言看成“唯一重要的问题”
杨植麟回忆自己从本科到博士早期做过图、多模态等方向，2017 年开始收敛到语言模型。那时语言模型常被理解为语音识别之后的排序器：给定多个识别结果，判断哪一个概率更大。他看到的却是更底层的事情：语言是在给世界的某种投影分配概率；如果 token space 足够大、能表示更多现象，模型就可能从语言走向更通用的世界模型。
这让他不把 AGI 当成某个短期产品功能，而是把它视作“对世界规律的可扩展建模”。但他也不认为只要有一群纯研究者就够了。传统实验室可能产生 Transformer 这样的原理，却未必能把它变成 GPT 那样的巨大系统；AGI 需要算法、工程、产品、商业和用户一起工作。于是他把 OpenAI 看成一种登月型组织：有自上而下的终极目标，同时为未知技术保留自下而上的创新空间。
他不愿把目标说成“中国的 OpenAI”。在他的判断里，真正的 AGI 最终必须全球化，区域市场可以是起点，但不能成为终局；OpenAI 值得学习的也不是国别身份，而是在早期被很多人认为“不靠谱”时，仍坚持技术立场主义。所有人都觉得一个理想正常，往往意味着这个理想已经被共识预先削平。
二、Google 的一课：从无限雕花里释放出来
主持人问他与学术大佬合作、在 Google 实习学到了什么。杨植麟把最重要的经验概括为：不要在小数据集和局部指标上无限雕花，要寻找足够通用、足够可规模化的第一性原理。Scaling Law 之所以重要，不是因为它提供一个漂亮的曲线，而是因为它同时满足两个条件：能把不同问题放进同一个框架，又能随着算力和数据投入持续变好。
他认为 Google 里有很多人理解这个方向，却没有把它变成全组织的“Moonshot”。不同团队各自追求自己的第一性原理，不等于公司拥有一个可以调动资源的统一目标。这也解释了他为什么把组织设计放在 AGI 讨论的前面：技术生产方式变了，学校、大厂部门和传统研究院的组织形态未必还能自然适配。
他还把与不同研究者合作看成一种“多样观点的集成”。多个有差异的脑子共同工作，可能像 ensemble 一样产生单个研究者没有的路径。这个经验后来也被迁移到创业团队：AGI 需要天才研究者，也需要把研究变成系统、产品和用户反馈的人。
三、ChatGPT 之后：资本、人才和算力三个生产要素同时松动
杨植麟说，2022 年底到 2023 年初，ChatGPT 让他第一次感觉“做真正的 AGI 公司”变得可行。以前这个方向有技术信仰，但缺少足够的资本和人才流动；ChatGPT 既教育了市场，也让许多人意识到未来十年可能只有这件事值得全力投入。
他在美国住处做过一笔精确计算：如果要训练一个大模型，需要多少 FLOPs、训练成本、推理成本和用户量；结论是几个月内至少要拿到约一亿美元的资金。他把融资窗口形容得很短：太早，市场还没相信；太晚，人才和资本已经被先行者吸走。2023 年 2 月开始的融资、3–4 月的人才聚集，就是他理解的时间窗口。
团队策略也随市场变化。早期先找真正有超大模型经验的研究者，追求人才密度和上限；后来补充产品、运营、管理和能把事情极致执行的人。节目中他按当时口径说团队约 80 人，资本效率比许多大团队更高。算力则不是一次性解决的基础设施，而是要根据价格、供给、地缘政策、机器交付和市场情绪不断调整的动态变量。
四、为什么第一步是长文本：它不是功能，而是新计算机的内存
月之暗面没有先把所有资源都投入“综合能力榜单”，而是先做长文本和无损压缩。杨植麟的解释有三层。
- 长文本像新计算机的内存。旧计算机的内存容量在几十年里增长了许多数量级；如果新计算机要承载更通用的任务，也需要更大的上下文。
- 长上下文是通用世界模型的前提。只看窗口长度不够，还要同时提高推理、忠实性和指令遵循；“几百万 token”本身不是能力。
- 长上下文提供一种新的个性化。个体与机器的历史、偏好和任务过程可以成为持续上下文，比一次性微调更直接，也更难被简单复制。
因此 Kimi 的长文本能力在他看来不是追逐一个风口，而是提前布局一个新维度。追赶 GPT-4 仍然必要，因为综合能力决定产品下限；但只追赶就会把公司变成后发复制者。更大的机会，是在综合能力之上形成 GPT 尚未解决的维度，并把这个维度真正接到用户任务。
五、为什么坚持 to C：应用不是模型的终点，而是 AGI 的实验场
月之暗面从第一天就选择 to C，而不是等技术做完再找场景。杨植麟不把应用理解成“有一个模型，再找个地方商业化”；应用既是目的，也是实现 AGI 的手段。真实用户会拿产品去筛选简历、读论文、翻译、学习、准备考试、做心理咨询，甚至发明团队从未预想过的场景。那些使用行为反过来告诉模型应该往哪里变。
他把这称为 User Scaling：模型 Scaling 扩大能力，用户 Scaling 扩大真实任务和反馈。两者需要同时增长。只做应用、不再提升模型能力，可能在一年后被更强模型降维打击；只做模型、不接用户，也无法知道能力到底改变了什么。
他承认有些小应用可以只依赖当前能力获得商业成功，例如文案生成或图像生成；但如果目标是能够改变世界的超级应用，就不能离开长期 AGI。长期与短期不是互相排斥：短期收入和用户让公司活下来，长期能力建设决定不会错过下一轮能力跃迁。
六、从“追赶 GPT-4”到“寻找有概率的非共识”
杨植麟承认追赶 GPT-4 是后发者的必经之路，但他认为“去年追赶 3.5、今年追赶 4”只是正确但片面的描述。综合能力必须追，除此之外还要寻找新的维度：长上下文、图像生成、个性化、统一多模态、工具使用和未来的世界模型，都可能成为不同公司的侧面突破。
所谓“有概率的非共识”，不是故意反共识，而是用自己的技术积累判断一个多数人尚未相信、但有可行路径的方向。已经被 OpenAI 做出来的东西很快会变成共识，复制它不能构成非共识；完全没有路径的幻想也不算非共识。长文本之所以值得做，是因为它既有技术路线，也能形成具体用户体验。
他因此不太看重模型榜单，认为最好的榜是用户真实使用和投票。榜单可以帮助比较局部能力，但无法替代用户是否愿意长期使用一个产品，更不能直接证明一个公司的终局价值。
七、Sora 出现之后：视频生成解决了什么，还没有解决什么
春节补录部分从 Sora 开始。杨植麟认为视频生成达到这个效果本来在方向上不意外，意外的是时间比预估更早。Sora 最关键的进步之一，是在较长时间窗口内保持生成内容的一致性；这证明视频生成可以规模化，也让世界模拟器的想法更具体。
但他不认为 Sora 已经解决了“统一架构”。视频模型可以很好地建模视觉信号的边缘分布，却未必已经成为可以统一语言、视觉、动作和世界规律的新计算机。文本模型与视频模型像两种压缩：视频在压缩原始世界，语言在压缩经过人类大脑加工的行为和知识。未来更强的系统需要把这两种压缩结合起来，而不是把一种简单替换另一种。
如果 Sora 与 GPT 真正结合，模型就可能在数字世界完成更端到端的任务，并进一步连接自动驾驶、机器人和家务等物理任务。但这只是桥梁的方向，不是已经完成的能力。数字世界的进展更容易先发生，连接物理世界还要面对传感器、动作、可靠性和责任。
八、最后的问题：差距、安全、巨头和孤独
面对“国内还在追 GPT-4，Sora 又来了”的焦虑，杨植麟承认差距客观存在，但认为技术曲线有陡峭阶段，也有逐渐放缓阶段。中国公司若能在基础设施、人才和组织文化上积累两三年，可能在某些维度形成领先；通用能力大概率相似，产品和商业生态则可能不同。
他预测 2024 年会出现更多新能力、更大的用户产品和更强的路线分化，头部公司仍会领先，巨头与创业公司的关系会同时包含竞争和合作。关于安全，他把 Hinton、Yann LeCun 等人的担忧理解成一种反向信号：只有当技术能力可能真的变强，安全才会从抽象议题变成现实问题。最终，杨植麟说自己并不害怕创业失败，因为能有机会参与一个改变人生的过程已经很幸运；“大几十、一百号人一起战斗”也减轻了孤独感。
结构化提炼：杨植麟的生产函数
双重 Scaling
Model Scaling 提供能力，User Scaling 提供真实任务和反馈；两条腿同时走，才可能把模型变成产品。
有概率的非共识
在被验证之前坚持一个有技术路径、有用户价值、但尚未成为共识的方向；长文本就是本期的代表案例。
长期 AGI 路线 = 能力建设 × 用户反馈 × 组织学习 × 时间窗口
如果任何一个因素为零，长期主义会变成烧钱口号，用户增长会变成短期幻觉，技术突破也无法稳定进入社会。
机制分析：从“长文本功能”到“持续学习系统”
| 层次 | 节目里的判断 | 真正需要验证的东西 |
|---|---|---|
| 模型 | 长上下文、压缩、推理和多模态能力持续扩展。 | 窗口变长后，忠实性、指令遵循、推理和延迟是否同步改善。 |
| 产品 | Kimi 通过真实用户把长文本变成阅读、学习、翻译和咨询体验。 | 用户是否持续使用，任务质量是否优于短上下文模型，价值是否能收费。 |
| 组织 | 研究、工程、产品、商业和用户共同构成 AGI 公司。 | 目标是否能让不同团队共享优先级，而不是各自追求局部指标。 |
| 社会 | 模型逐渐连接数字世界和物理世界，安全会变得重要。 | 模型能否在权限、责任、失败恢复和监管框架下稳定运行。 |
长上下文的真正价值是“状态预算”
把长上下文只理解成“能塞更多字”会错过本期的核心。它更像一个状态预算：用户历史、任务过程、规则、资料、工具结果和反馈可以在同一状态中被保留。状态连续，个性化才不会每次从零开始；但状态越长，检索错误、隐私泄露和错误累积也可能越严重。因此长度必须和忠实性、权限治理、可恢复性一起评价。
“非共识”必须通过反馈闭环
非共识方向不能只靠创始人的信仰保护。它至少要通过四道门：有可行的技术路线，有真实用户任务，有比替代方案更好的结果，有继续投入的经济回报。长文本如果只有展示意义，就会被更大模型快速吞掉；只有在用户数据、评估集和产品习惯共同沉淀后，它才会成为真正的能力维度。
模型公司为何容易被降维打击
杨植麟反复提到过去客服、对话、槽位填充等系统被新技术替代。它们的问题不是曾经没有商业价值，而是把一个暂时的技术形态误当成终局。今天的产品如果不能随着基础能力、用户任务和新接口一起升级，就会成为新模型的功能，而不是自己的资产。
证据审计：技术判断与产业预测要分开
| 主张 | 证据等级 | 谨慎用法 |
|---|---|---|
| 长文本是新计算机的内存，并支持更强个性化。 | 嘉宾的技术解释与产品路线；“内存”是类比，不是已被证明的计算机体系结论。 | 作为路线假设，需用窗口长度、忠实性、任务成功率和成本共同验证。 |
| 用户 Scaling 与 Model Scaling 同样重要。 | 机制性判断。 | 要观察真实用户反馈能否改善模型和产品，而不是只看用户数量。 |
| Sora 证明视频生成具有规模化潜力。 | 官方 Sora 报告与嘉宾解读可以支持“可规模化路径”的窄结论。 | 不能直接推出已经有通用世界模型，或物理世界任务已解决。 |
| 国内公司两三年后可能在部分维度领先。 | 节目时期预测。 | 作为可回溯预测记录，不当成事实或投资建议。 |
| OpenAI、Google、创业公司和巨头会进一步整合/分化。 | 产业观察与推测。 | 需要后续融资、产品、模型、组织和监管事实持续检验。 |
| 模型能力提升会让场景数量指数式增加。 | 嘉宾的“场景摩尔定律”式判断。 | 应拆成每个场景的可靠性、成本、责任和支付意愿来观察。 |
关于“世界模型”
本页把世界模型区分成三层：节目中的宏大目标、Sora 报告中的视频生成模拟器表述、以及真实物理任务中的可操作模型。三者不能因为都使用“world model”这个词就视为同一证据等级。
术语解释：把这期的技术路线讲清楚
Long Context
更长的上下文窗口，让模型读取更多材料、保留更长历史并执行更复杂的指令；长度不是可靠性的同义词。
Next-token prediction
根据前文预测下一个 token 的训练目标。节目把它看成当前最有效的可规模化基础，但不等于系统已经拥有完整世界模型。
User Scaling
通过更多真实用户、任务和反馈扩大产品学习信号，与模型参数/数据/算力的 Scaling 并行。
技术立场主义
在共识尚未形成时，仍围绕一个长期技术目标组织资源；它需要技术路径和组织纪律，不能等同于盲目乐观。
统一架构
把语言、视觉、动作或其他模态放入更通用的模型/计算框架。目前节目明确认为这一问题仍未被完全验证。
世界模拟器
用模型预测世界状态变化的系统。Sora 报告使用这一表达，但“能生成视频”与“能可靠行动于物理世界”之间仍有多层距离。
局限与可证伪条件
- 如果长上下文的窗口增加不能稳定带来更高的忠实性、任务成功率和用户留存，那么“新计算机内存”只能保留为有启发性的比喻。
- 如果用户反馈无法进入模型改进，或者只带来偏好噪声和隐私风险，那么 User Scaling 不能与 Model Scaling 视为同等学习机制。
- 如果统一多模态架构迟迟没有出现，或者视频模型无法迁移到动作和物理任务，那么从 Sora 到 AGI 的桥梁仍只是方向性假设。
- 节目里的融资、80 人团队、算力价格、3.5/4 能力时间表和产业预测都属于 2024 年口述；不能用它们推断当前公司的真实状态。
独立 insight：长文本的核心不是“更大窗口”，而是“更长的责任链”
我认为本期最重要的判断并不是“长文本会成为风口”，而是上下文长度让模型第一次有机会持续携带一个任务的历史、资料、规则、工具结果和失败记录。能力从一次回答变成一条责任链：它要记得自己看过什么、依据什么判断、哪一步失败、如何恢复，以及用户是否允许它继续行动。
这会把模型公司的竞争从参数和榜单推向状态治理。谁能把长状态变成可验证、可回滚、可授权的工作过程，谁才可能把长文本转成长期产品资产；否则更长的上下文只会让错误更长、成本更高、隐私边界更模糊。
我的判断
杨植麟的路线最有说服力的部分，是把长期 AGI、用户产品和组织生产方式放进同一张图；最需要警惕的部分，是把“当前最有效的路线”外推成“最终唯一的路线”。真正的检验不在于谁更早喊出世界模型，而在于系统能否在真实任务中持续学习、承担责任并产生增量价值。
证据边界与资料索引
本页先按完整音频重建两次访谈的顺序，再用节目章节和官方技术资料核对窄事实。杨植麟的公司路线、融资、人数、算力和预测保留为节目时点口述；技术背景链接不为嘉宾所有判断背书。
- YouTube：#59 和杨植麟聊大模型创业这一年（节目入口与公开标题）。
- 小宇宙：#59 节目页（两次访谈说明与 24 个章节）。
- Kimi 官方入口（用于核对产品入口，不为节目时期能力与未来判断背书）。
- OpenAI：Video generation models as world simulators（用于核对 Sora 报告的原始表述）。
- OpenAI：Sora（用于核对 Sora 的公开产品/研究背景）。
- Scaling Laws for Neural Language Models（用于核对节目反复提到的 Scaling Law 背景）。
“有概率的非共识”“场景摩尔定律”“User Scaling”是嘉宾在节目中的概念表达或本文归纳，不是经过统一行业定义的标准指标。