Podcast Interview · Sora, Multimodal Models & AI Application Ecology

#60 戴雨森与季逸超:Sora 的信息拼图与大模型淘汰赛

这期节目发生在 Sora 发布后不久。戴雨森和季逸超没有把演示视频直接等同于“世界模拟器已经完成”,而是从公开 Tech Report、研究者讨论和投资经验出发,一块一块拼出 Sora 可能的团队、数据、模型、算力与组织结构;随后再追问:当模型能力越过有用门槛,应用会怎样扩散,大模型公司如何收回价值,人类又应该如何面对。

#60 · YouTube 1:39:16 · 戴雨森 / 季逸超(Peak)/ 张小珺 · 自动转录无法可靠区分说话人;涉及 Sora 的技术和成本数字均按节目时期的推测处理

原文讲解:这不是 Sora 技术说明书,而是一次“如何在信息不完整时判断前沿技术”的访谈

主持人先交代节目的时间点:OpenAI 刚发布 Sora,Google 刚推出 Gemma,行业正从文本模型转向视频、多模态和 Agent。嘉宾一位是天使投资人,一位有 NLP、搜索和检索增强模型背景,因此整期始终在两种视角之间来回:技术上能否复现,商业上是否值得押注。

节目时间原文推进核心问题
00:00–08:00嘉宾介绍与 Sora 震撼它为什么超预期,却没有神秘到不可理解
08:00–18:30核心团队、人才与组织OpenAI 的优势是人还是组织文化
18:30–27:30学术与工业、模型规模和数据Sora 可能用了什么资源
27:30–34:30技术报告与已知突破长视频、原生分辨率、一致性意味着什么
34:30–45:00世界模拟器与因果视频生成是否等于理解世界
45:00–58:00数据平台、多模态与 GPT-5统一模型是目标还是工具选择
58:00–1:18:30应用生态、投资和模型淘汰赛能力越过门槛后,产品何时爆发
1:18:30–1:39:15Gemma、人才、个人建议与未知如何在高速变化中保持判断力

一、先认识两位嘉宾:一个看资本和组织,一个看模型和接口

戴雨森先介绍自己:他是真格基金管理合伙人,曾是聚美优品联合创始人,真格做了十多年天使投资,投过上千个项目。AI 浪潮起来后,他参与过月之暗面、光年之外等大模型公司,也看中间层基础设施和应用项目。季逸超自称 Peak,是技术背景的创业者和真格被投者,长期做 NLP、知识图谱、信息检索和智能搜索,现在关注大模型与检索增强。

主持人把两人放在同一张桌子上,是因为他们在过去一周多里密集访谈研究者、投资人和创业团队,试图从极少的公开信息中拼出 Sora 的实现方式。两人一开始就承认:很多判断来自采样和推测,不是 OpenAI 的内部资料。这个限定非常重要,后面出现的模型大小、显卡数量、训练成本和时间表,都不能当作官方事实。

二、Sora 为什么让他们震撼:不是方向没人想到,而是时间来得太早

两位嘉宾都记得 Sora 在北京时间凌晨发布。和 ChatGPT 初次出现时的“原来对话模型可以做到这样”不同,2024 年初行业已经预期视频生成会进步,所以他们并不是完全没有心理准备。真正超预期的是:在当年还没有过完的时候,OpenAI 已经拿出了可以生成长视频、镜头连续、分辨率可变且画面稳定性很高的系统。

季逸超的第一反应不是“这是不是新的神秘架构”,而是“已知的模型结构是否已经足以做到”。从公开信息看,Sora 仍然像 Diffusion Transformer 一类路线,只是数据处理、工程技巧、模型规模和训练组织都走在前面。这让他们同时得到两个结论:第一,Sora 并非完全超出行业理解范围;第二,知道大方向不等于能在一年内做出来,因为真正决定结果的往往是未公开的 know-how。

由于普通人只看到官方精选视频和 OpenAI 员工根据网友 Prompt 返回的样本,嘉宾刻意提醒 cherry-picking 的可能。没有真正使用产品之前,任何人都只能评价展示窗口,而不能评价模型在任意提示下的稳定性。

三、Sora 背后是什么样的团队:精干、年轻,而且能把小实验迅速放大

访谈把人才放在技术之前。嘉宾根据公开信息推测,Sora 核心团队并不庞大,可能只有十几位关键成员;其中 Tim、Bill 等人与伯克利和 DALL·E 3 团队有研究和师承关系。Bill 在 Meta 实习期间做过 DiT 相关工作,最初并没有得到最大资源支持,更像是出于兴趣和技术直觉推进。

这里的重点不是把成功归因于某个天才,而是观察组织如何对待年轻人的探索。一个视频生成方向人人都知道重要,但只有少数组织同时具备数据、训练工程、研究人才和快速追加资源的能力。OpenAI 被描述为一种“顶层有 AGI 愿景、底层允许探索”的组织:负责人能理解前沿技术,研究团队可以在多个方向试错,某个方向一旦显出突破,就能获得足够算力继续 scale。

两人也保留了另一条路线的可能性。他们提到 VideoPoet 等更偏自回归或多模态组合的探索,提醒听众不要因为 Sora 领先,就把 Diffusion 路线当作最终答案。研究方向需要像训练模型一样保留多个样本,而不是全行业立即复制一个已经公开的结果。

四、人才地图与组织文化:学术提供种子,工业负责把种子长成树

嘉宾列举了北美和中国的 AI 人才来源:斯坦福、伯克利、MIT、CMU、多伦多、滑铁卢,以及清华、上海交大、中科大等学校和实验室。他们做的不只是列学校,而是交叉观察师承、实验室、同行评价和研究贡献,寻找“优中选优”的研究者。

但戴雨森又把创业者要求向前推进了一步:技术强不等于会做公司。研究员需要愿意学习产品、商业、组织和客户;他认为研究能力向企业家能力转化相对可行,反过来让普通企业家变成顶尖研究员则困难得多。这个判断并不是说研究者天然更好,而是说技术门槛的不可逆性很强:先有深技术,再补商业能力,通常比先有商业能力、再补一线研究能力更现实。

学术界与工业界的关系也被重新解释。学术研究可以在没有立刻商业目标的地方发现“种子”,工业组织则提供大规模数据、算力和工程化,把种子长成产品。谢赛宁从工业界回到学术界的选择,在嘉宾看来不一定是失败或退出,而可能是他更喜欢探索尚未有直接用途的方向。

五、大厂为什么拥有钱、卡和数据,却不一定最快

访谈用 Google 与 YouTube 的例子说明,资源所有权不等于资源可用。理论上 Google 有全世界最丰富的视频数据,但 YouTube 的用户协议、部门利益和内容版权,可能使内部训练生成模型变得非常困难。外部团队可能在抓取同样的公开素材,而大厂内部反而要先解决合规与利益冲突。

这也是为什么嘉宾不认为“大厂拥有钱、人才和数据,所以必然碾压创业公司”。初创公司更容易让一个小团队快速做实验,决策链更短,组织负责人可能直接理解技术。大厂若不能把 AI 项目放到一线前沿人才手里,或者仍然用传统部门边界管理新技术,就会把自己的规模优势变成摩擦。

两人也提到人才流动和公司文化:有人从 OpenAI 离开,有人从 Google 去 TikTok,有人回到学术界。这些变化不能简单解读成哪家公司出了问题。更值得关注的是,一个组织是否真的重视新技术,是否允许研究员做前沿探索,是否让懂技术的人参与一号位判断。

六、Sora 可能用了多大模型和多少算力:公开信息能告诉我们的上限很有限

嘉宾依据 Sora Tech Report、DiT 论文中的 scaling 关系和生成时延做推测。节目里出现过“约 6B”“约 6 到 10B”一类模型规模说法,也讨论过实验阶段可能使用一两千张 H100、更多卡并行做试验,以及训练成本达到数千万美元量级的可能性。它们都不是 OpenAI 财务或算力披露,应该被理解为模型从生成质量、速度和规模倒推出来的量级估计。

两人把真正的秘密放在容易被忽视的部分:Tokenizer、Encoder、Decoder、latent space、Positional Encoding,以及如何把视频切成 patch 并重新组合。技术报告对 Diffusion Transformer 和 scaling 讲得相对清楚,但对这些“看起来像工程细节”的环节一笔带过。对于真正训练过模型的人来说,细节决定最终效果;同样的架构,如果数据清洗、编码方式、训练目标和采样策略不同,结果可能完全不同。

节目还提到,生成一分钟视频可能需要现实中约二十分钟。这个时延是访谈时点的嘉宾判断,不是稳定产品指标。它反而帮助说明 Sora 当时更像一个能力展示和研究系统,而不是已经完成交互、成本和可靠性优化的消费产品。

七、Sora 到底解决了什么:长时长、原生分辨率和时空一致性

在原文推进里,嘉宾不把“画面漂亮”当成唯一突破,而是列出几个可观察的变化。过去商业视频生成往往只能输出三到五秒,Sora 可以连续生成约六十秒,而且一段视频可能包含多个镜头。它支持多种分辨率,能够更贴合手机竖屏等原生设备形态,而不是先用固定尺寸训练再强行裁剪。

更难量化的是一致性:物体被遮挡后仍能出现,人物和场景在镜头中保持相对稳定,狗从一个窗台走到另一个窗台时,每条腿会落在合理的位置,而不是踩在空气里。Minecraft 等示例显示,模型似乎学到了一部分虚拟世界的规则。但“似乎学到”仍然不是“已经理解”,因为视频很容易被精选、剪辑和短时间窗口掩盖错误。

两位嘉宾把 Sora 称作“GPT 时刻”,而不是“ChatGPT 时刻”:GPT-3 让人看到模型能力的涌现,ChatGPT 才把能力变成可交互的产品。Sora 当时更像一个涌现了火花的模型,距离用户可以反复使用、修改、延展和控制的产品形态,还有很远。

八、“世界模拟器”要分层看:生成幻想不等于预测因果

主持人追问 Sora 是否已经是世界模拟器。嘉宾没有直接接受宏大叙事,而是把“理解世界”拆成多个层级。

第一层是静态合理性,例如生成一个航拍空景。第二层是物理因果,例如杯子掉地上会碎、水会洒出;Sora 的杯子破碎案例仍然不稳定。第三层是社会因果:人看到海豚、鲨鱼和鳄鱼的反应不同,婴儿打父亲和壮汉打瘦人的后果也不同。第四层是长时间叙事,电影开头埋下的线索,是否会在结尾产生呼应。把这些层级一次性都叫“世界模型”,会夸大能力。

嘉宾提出一个更严格的测试:不要只给模型一段完整 Prompt,让它从头生成一个容易在训练数据里见过的食物特写;应该给它视频前五秒,让它继续预测后五秒。前缀确定之后,后续搜索空间大幅增加,模型必须处理因果、状态和时间连续性。生成一个新奇幻想和预测已发生事件的后续,可能需要不同能力,未来甚至可能对应不同模型和产品。

这段讨论的结论是:Sora 可能形成了某种对世界的“足够好”的直觉,而不必先写出牛顿定律;但目前的官方样片不足以证明它能长期、可控、可证伪地模拟物理和社会世界。

九、视频平台的数据优势:有数据还不够,关键是能否筛出好数据

主持人问抖音、B 站、YouTube 等内容平台是否天然拥有视频模型优势。嘉宾的回答有两面。一方面,拥有视频数据肯定比没有数据更有利;另一方面,原始视频数量不是关键,真正困难的是从海量视频里筛出质量高、版权清楚、隐私可用、适合训练的样本。

大平台还会面对一个反直觉问题:自己的内容生态可能因为生成模型而受损。训练者需要创作者授权,平台需要保护广告和内容分发业务,不能把“有数据”直接等同于“可以拿来训练”。长期看,内容平台的优势可能不只在历史数据,还在实时知识:新的游戏、新的主播、新的事件可以更快通过自有平台进入模型,减少知识截止日期问题。

主持人和嘉宾也讨论了视频模型与语言模型是否应该统一。语言是离散 token,图像和音频是连续信号;每种模态有不同的编码器、训练目标和 loss。强行把它们放到一个模型里,未必立即带来质变。短期更可能是“拼接”:语言模型承担理解、规划和导演角色,Diffusion 模型负责生成视频,接口之间通过更详细的 Prompt 连接起来。

十、多模态大一统的价值:工具越专越好,主体越需要完整感知

节目没有把“大一统”当作唯一正确方向。对一个工具来说,越专越强可能更有用:只要它把视频生成、翻译或某个专业任务做得极好,不必同时承担所有模态。对一个拥有自主学习能力的主体来说,多模态输入可能更重要,因为它需要把语言、视觉、动作和环境状态结合起来。

嘉宾用自动驾驶和机器人说明融合的潜在价值:语言模型更擅长抽象知识、工具调用和人性判断,视觉模型更擅长感知周围运动和物理信号。真正有用的统一模型,不能是“每个模态都一般”,而需要在各自模态上足够强,再在跨模态任务上产生增益。

他们同时提醒,越端到端、越大一统,系统越像黑盒,可解释性和可控性可能下降。最好的架构未必是最统一的架构,而是根据场景选择:哪些能力需要统一训练,哪些能力需要可解释模块和硬安全边界。

十一、从 GPT-5 到 AI 投资:能力进步很快,应用落地可能更慢

谈到下一代模型,嘉宾预测的方向包括更少随机性、更高可靠性、更长上下文、更好的工具使用与 Agent 能力、更低推理成本,以及操作电脑界面的能力。他们不敢给 GPT-5 的具体发布时间和能力做确定预测,但认为 Sora 已经提高了市场对模型曲线的期待。

与模型投资热情相对的是应用落地速度。戴雨森用“智商 80、90 还不够,必须越过 100 的有用门槛”来解释 AI 的突变性:传统互联网可以在底层不完美时先上线网站、邮件和电商;AI 助手只有在可靠性达到某个门槛后,用户才会愿意把工作交给它。自动驾驶从 2005 年挑战赛到产生可观察收入也用了近二十年,技术进步和商业化并不同步。

两人仍然看好基础设施投资,因为国家、平台和大公司不敢错过通用技术;但他们对应用出现的速度更谨慎。泡沫会浪费很多钱,却可能留下训练集群、人才、数据治理和基础软件,为未来应用铺路。投资人既不能等泡沫破灭后才开始学习,也不能因为泡沫破灭就放弃行业。

十二、大模型淘汰赛:像芯片一样分化,而不是永远有很多通用冠军

节目把通用大模型比作芯片产业。通用模型需要极高技术难度和资本开支,消费者会偏向更好的模型,因此不太可能长期存在大量同质化的通用模型公司。但这不代表只有一个赢家,嘉宾提出三种可能的分化路径。

第一是更经济的模型,能力略低但成本大幅下降,适合大量调用;第二是更小、更低功耗的端侧模型,部署在手机、电脑和设备上;第三是垂直模型,在金融、医疗、代码等领域牺牲通用能力,换取更高的专业精度。模型公司的商业价值最终取决于它能否帮助别人创造价值,并从价值中收取一部分 take rate;如果没有自己的应用,也需要和拥有入口的平台形成强合作。

OpenAI 被比作“超级大脑”,微软提供身体、基础设施和分发。节目借 ChatGPT 的产品化说明一个关键事实:GPT 最初只是 autocomplete,ChatGPT 通过对话把用户输入、模型输出和反馈连接起来,才真正形成产品。Sora 如果只生成一次视频就结束,还没有完成从 GPT 到 ChatGPT 的产品跃迁,需要让用户继续修改、延展、互动和调用。

十三、应用生态什么时候爆发:先是新瓶装旧酒,再出现全新的商业模式

嘉宾把 AI 应用的演进分成两个阶段。第一阶段是用新技术解决旧问题:AI 写文章、画图、写代码,相当于把报纸、画笔和程序员的部分工作迁移到新工具。原有平台往往有分发和数据优势,因此创业公司会很难在旧功能上直接取代它。

第二阶段是当大多数人都能使用 AI 后,出现旧技术无法表达的新组织方式。例如个人真正拥有自己的 Agent,内容主要由 AI 产生,人与 AI、AI 与 AI 之间协作,机器人进入现实世界。届时价值分配、内容消费和企业组织都会变化,这才可能产生超越“AI 加在旧功能上”的大公司。

因此 Sora 应用不是“不靠谱”,很多只是太早。移动互联网早期如果有人预测抖音,方向可能正确,但在黑莓和早期网络条件下无法落地。技术革命通常短期被高估、长期被低估;看到一个演示就认为一年后所有公司都能复现,是把软件复制速度误套到模型训练上。

十四、投资人的选择:看人、看产品化能力,但不假装比研究员更懂技术

戴雨森解释真格为什么投月之暗面和光年之外:两位创始人都是长期关注的技术人才,但投资并不是“把所有模型公司都买一遍”。真正知道谁能进入淘汰赛,需要先花时间看候选人,不能事后看到冠军再倒推自己应该全投。

对应用创业者,两人看重三点:真的理解 AI,不一定是研究员但不能只会包装;有国际视野,因为当时创新仍在全球同步发生;足够年轻、AI native,并能把技术、产品和组织整合起来。他们认为研究员向企业家转型是少数但重要的能力,不能把“技术大牛”当作创业完成态。

作为投资人,他们会学习论文、跟踪 SOTA 和关键问题,但不把自己放在技术判断的最高位置。既然过去多数人没有预测到 ChatGPT 这样快的跃迁,就应该承认预测能力有限,把注意力放在驱动变化的根本条件和最优秀的人身上。

十五、最后的两个建议:好奇心与个人数据

戴雨森给普通人的建议是,不要把自己的工作变成 AI 最擅长的“拼接”:从这里复制一点、那里整理一点、再把信息缝在一起。越容易被训练数据覆盖的重复内容,越可能被机器完成;人类更需要走向原创思考、真实关系和必须由人承担的互动。他同时建议,无论是记者、律师还是投资人,都应该把自己的职业与 AI 建立连接。

季逸超给了一个更私人、也更可操作的建议:从现在开始记录生活。他因为担心未来 AI 越来越强,而人的身体和认知状态会衰退,开始写日记,后来升级成图文并茂的多媒体日记。这样做不是把“数字永生”当成已实现的技术,而是把自己当下的经验、判断和生活数据保存下来,未来的 AI 才可能更好地理解这个具体的人。

节目最后承认仍有两个未知:Sora 到底用了哪些尚未公开的数据处理方法;它对真实世界的模拟能走到什么程度。季逸超还希望看到开发者接口:如果 Sora 不仅生成视频,还能通过少量示例完成视觉任务,它才可能像 ChatGPT 一样成为新的通用平台。

原文讲解的落点Sora 在这期节目里既不是“世界模型已经完成”,也不是“只是漂亮视频”。它是一个已知范式被工程、数据和组织能力推到新阶段的证据:能力可以突然涌现,产品却需要交互、可靠性、成本和开发者接口才能完成。

结构化抽象:把 Sora 的“信息拼图”拆成四层

能力

长视频、原生分辨率、时空一致性和部分规则合理性。

来源

年轻研究团队、DALL·E 3 经验、数据处理、编码器和算力。

产品

从 GPT 时刻到 ChatGPT 时刻,需要交互、控制和开发者接口。

扩散

先解决旧问题,再在基础设施成熟后产生全新的组织和商业模式。

1. “模型已经被理解”与“公司能够复现”是两件事

节目最值得保留的技术判断是:Sora 的基本架构可能在行业理解范围内,但可复现性仍被大量细节阻断。公开论文给出方向,未公开的数据清洗、编码、采样、训练配方、工程系统和组织协作决定最后几公里。把论文看懂、把 Demo 做出来、把模型稳定部署,分别是三个不同难度的任务。

2. 世界模拟器不是二元标签,而是一组递进测试

层级测试问题Sora 在节目中的状态
视觉合理性画面是否像真实世界大量样片已经很强,但存在精选偏差
时空一致性物体遮挡、移动后是否保持连续相较旧模型明显进步
物理因果杯子破碎、水流、碰撞是否符合规律仍有明显失败案例
社会因果不同人物、动物和情境是否引发不同反应需要更严格的交互测试
长期预测给定前五秒,能否可靠生成后五秒节目认为这是更有区分度的未来测试

3. 统一模型是“主体能力”与“工具效率”的取舍

大一统多模态模型可能带来跨模态推理、机器人和自动驾驶的突破,但统一本身不是价值。对于工具,专业、可控、低成本更重要;对于需要自主行动的主体,完整感知、记忆和行动闭环更重要。工程上应按任务选择统一程度,而不是被“大一统”叙事牵着走。

4. AI 应用的真正拐点来自可靠性门槛,而不是模型发布日

AI 应用不会因为一个新模型发布就自动爆发。它要先越过用户愿意把任务交给它的可靠性门槛,再依靠既有硬件和分发基础设施快速扩散。前者可能比移动互联网慢,后者一旦发生可能比移动互联网快,因为手机、网络和支付已经存在。

证据审计与独立判断

节目中比较扎实的部分

需要降权或等待后续核验的部分

我的判断:Sora 真正改变的是“等待下一个模型”的经济学

在 Sora 之前,很多视频应用可以把模型效果差归咎于底层能力不足;在 Sora 之后,应用团队必须面对一个更尖锐的问题:如果未来会有神一样的模型,我今天构建的价值究竟是什么?这会把应用创业从“把 Demo 做出来”推向“把任务、数据、交互、控制和结果闭环做出来”。

同时,Sora 也改变了基础模型公司的竞争结构。由于大方向可能被复现,竞争不会只由参数量决定,而会分化为数据处理、低成本推理、端侧部署、垂直能力、开发者生态和价值分成。能够把一次涌现能力转成持续反馈的产品,才更可能留下。

可证伪条件如果更大规模和更长时间训练不能稳定改善视频延展、物理因果和跨场景一致性;如果大一统多模态模型没有在机器人、自动驾驶等任务上产生可测量的增益;或者生成能力越来越强却始终无法形成可控、可交互、可收费的产品,那么节目中的“GPT 时刻将通向多模态应用爆发”判断就需要降权。

证据边界与资料索引

本文以节目音视频和对应公开文字转录为第一材料,按时间段重建主持人与戴雨森、季逸超的问答推进。自动转录没有可靠的说话人标签,且存在英文专名、模型名、单位和数字误识别;技术、成本、人才流动和组织判断均按节目时期的嘉宾推测处理。

回到顶部 ↑