原对话:沿提问、回答和转折完整展开 下面先按节目顺序重建。主持人在追问什么,嘉宾如何以自己的经历、例子和推理作答,尽量保留在具体语境中;案例中的事实、数字和判断先归属于发言人。随后才进入本文的机制解释与独立判断。
00:00:05–00:27:34 连续对话 100:00:05–00:09:57 世界模型是什么:从模糊概念到决策核心“世界模型”这个宽泛概念可以怎样分类? Action 是什么?外部用户的文本编辑和世界内部主体的动作需要区分吗? 未来机器人、车辆能够直接通信,多智能体世界模型会怎样发展? 开场先播放高深远关于物理模拟、动作控制和自进化循环的几段预告。正式访谈中,程曼祺依据官方介绍引入刚从港科大博士毕业、即将正式加入英伟达 GEAR 的高深远;他自述从自动驾驶、游戏世界模型转向机器人世界模型。主持人的第一个问题不是让嘉宾罗列成果,而是厘清“世界模型”为何成了容纳多种含义的 buzzword。
高深远区分两类说法:一类把拥有大量 world knowledge、能回答世界问题的多模态模型称为世界模型;另一类是决策语境下的环境模拟器。本期主要讨论后者:输入过去的世界状态和 action,输出在该动作条件下预测的未来状态。他引用 Sora 发布时“video generation as world simulator”的表述,说明文本也能被理解为一种外部干预;但视频看起来逼真,不等于其物理预测已被真实世界验证。对机器人决策,仅有文本层面的编辑不够,还要接收机器人动作、游戏技能或车辆轨迹等具体控制条件。
主持人继续追问 action 的主体:用户从外部修改视频,与机器人、车辆在世界内部行动是否相同?高深远认为,通用具身智能体通常只能控制自己的动作,因此最通用的是接收自身动作的世界模型;能控制第三方 Agent 或环境的模型则适合构造异常测试情形,在游戏、自动驾驶和多智能体研究中另有价值。由此谈到机器人、车辆直接通信的可能性时,他保留了一个条件:不能假设部署后的每个环境都允许通信,所以单体模型仍是必要基础。主持人用中国早期 V2X 车路协同作类比,这是她对技术路线背景的联系,并非本期对车联网路线的独立复盘。
世界模型(World Model,决策语境) 输入历史世界状态与动作条件,输出未来状态预测的模型。视频路线的输入、输出可都是视频;它提供的是模拟后果,不等于真实世界已经验证该后果。拥有 world knowledge 的多模态模型是开场区分的另一种用法。
Action(动作/干预) 使世界状态发生变化的条件。可以是机器人动作、车辆轨迹、游戏技能,也可以是外部用户的文本编辑。本体自身的低层动作与外部高阶指令都可叫 action,但控制主体和决策用途不同。
Policy/策略模型 根据观察到的状态和任务条件输出动作的模型。与世界模型交互时,Policy 输出 action,世界模型返回预测状态,Policy 再决定后续动作。VLA、WAM 在本期主要被用作 Policy。
WAM(World-Action Model,世界动作模型) 按嘉宾对 DreamZero 的介绍,输入文本任务,同时输出未来视频和动作;平时作为 Policy,因也能预测世界状态而兼具世界模型功能。它不是与 DreamDojo 完全同义的模型。
话题推进: 在明确了世界模型的核心是“以动作为条件预测未来”后,对话自然地转向了实现这一功能的不同技术路径,即如何表征(represent)世界状态。
00:09:57–00:19:36 世界模型的四种技术流派及其优劣你刚才讲到世界模型可以按派别分,可以继续说这个吗? Yann LeCun提倡的JPA(隐空间)方法是端到端的吗? 在英伟达GEAR Lab内部,大家是都看好视频生成路线,还是会尝试不同方向? 高深远按“世界状态用什么来表示”把决策世界模型分成四类,比较的不是谁生成的画面更好看,而是输入状态怎样编码、预测在什么空间发生、怎样接入决策。
第一类是抽象几何或图结构:用点、图、几何关系描述物体和结构。它把问题压缩得很小,模拟高效、所需数据相对少,但遇到不同材质和物体时可能要重新设计表征,通用性受限。第二类是显式 3D:把环境重建为点云、高斯泼溅等三维表示,决策需要观测时再渲染成二维画面。他提到李飞飞的 World Labs,并说 occupancy 在自动驾驶中较常见;坐标明确有利于空间编辑和保持长程一致性,但“观测→重建→渲染”的多阶段流程及 3D 标注需求,使大规模数据驱动更困难。这里是他对这些路线的分析,不是对某个团队全部技术栈的核验。
第三类是隐空间:模型不直接预测像素,而在压缩后的表征中保留与决策相关的信息。高深远借用 Yann LeCun 的例子:人在街上不需要预测每个陌生人的脸,只要知道那里大致有人,就能规划自己的行动。转录将该架构记作“JPA”,拼写待回听,本稿不扩写全称。高深远认可其效率潜力,也指出一个新隐空间不能直接被现有语言或视频基座模型读取,需要额外对齐;主持人概括这会削弱其利用行业基座进步的能力,他认同这一风险但没有否定路线本身。
第四类是视频表征,输入、输出均为视频。高深远最看好这一路线的理由是数据和模型基础:互联网视频规模大,可以直接监督预测,还能与已有视频基座衔接,再把知识迁移到 action 数据稀缺的机器人领域。他认为像素预测不必被理解为准确写出唯一未来,模型可以采样多种细节;但这是他针对“预测所有像素浪费计算”的回应,不是证明视频模型已拥有可靠物理理解。GEAR 内部并非只许做视频路线,他同时承认真机部署中隐空间的效率优势。
高深远(转述 Yann LeCun 常举的例子) · 00:13:04–00:13:45
行人面容的例子说明,隐空间可以舍弃与当前决策无关的细节;代价是后续模型必须理解这套新表征,不能直接假定语言或视频基座能读取它。
话题推进: 在分析了不同技术路线后,主持人自然地引出了下一个问题:为什么世界模型这个概念在近一两年突然变得如此火热?它的核心价值和应用场景是什么?
00:19:36–00:27:34 世界模型为何兴起:数据、策略进步与 WAM 的双重定位为什么世界模型从去年到今年变得更火热了?它的价值和用途是什么? 这里的Policy(策略)具体指什么? 世界模型需要部署在机器人上吗?它和Policy的大小限制有何不同? 英伟达提出的WAM(世界动作模型)和VLA(视觉语言动作模型)是什么关系?WAM是策略还是世界模型? 主持人问世界模型为何在近一两年升温。高深远给出三个相互关联的条件:视频生成能力提高,让较逼真的未来预测成为可能;机器人和其他来源的数据增多,使模型不再只有成功专家轨迹,也有机会学习失败或随意动作的后果;策略模型变强后,输出动作不再完全混乱,世界模型需要覆盖的在线动作分布更可处理,同时策略对新场景、新任务的泛化需求变得更突出。这是他对领域变化的解释,不是本期给出的行业统计。
Policy 是从当前状态与任务条件产生动作的模型,VLA 是例子。它与动作条件世界模型的接口是:Policy 输出 action,世界模型结合过去状态和 action 预测下一状态,预测状态再成为 Policy 下一次决策的输入。世界模型和 Policy 都可以部署在端侧或云端,取决于网络与运行环境;主持人关于“端侧策略必须小、云端世界模型可以大”的推断被嘉宾限定为部署选择,而不是架构定律。
随后主持人厘清 DreamZero 所代表的 WAM 与 VLA。按嘉宾的功能定位,WAM 接收文本任务指令,同时输出未来视频和动作,通常作为 Policy 使用;它比 VLA 多了视频预测,比只接收低层动作的世界模型多了动作生成。若把文本也视为一种高阶 action,WAM 又能被理解为在文本条件下预测世界状态的世界模型,因此“它是策略还是世界模型”取决于讨论的是主要用途还是功能覆盖。主持人一度把未来状态复述成文本,嘉宾随即澄清输出状态是视频。
两者还能串联:DreamZero 可先针对候选文本步骤预测后果并做高阶搜索,再把具体动作轨迹交给 DreamDojo 等动作条件世界模型,模拟速度、抓取角度等低层选择的后果。这里提供的是行动前搜索的机制设想;是否能提升真实机器人表现,仍受预测误差和真实迁移效果约束。
话题推进: 在解释了世界模型的核心价值是服务于策略模型后,对话进一步深入,探讨了由世界模型、策略模型和Agent构成的“自进化循环”的具体机制。
00:27:34–00:53:46 连续对话 200:27:34–00:33:42 世界模型的四大价值:决策、评测、数据工程与虚拟强化学习DreamZero 的高阶规划与 DreamDojo 的低层动作模拟怎样衔接? 世界模型除了行动前预测,长期还能为策略提供什么价值? 虚拟遥操作还需要传感器或遥操作设备吗? 高深远先把两层搜索接起来:DreamZero 可在文本步骤层面比较不同子任务,DreamDojo 再根据低层动作轨迹预测后果,用于优化接近速度、抓取角度等具体选择。主持人把这理解为行动前的想象,并追问长期价值。嘉宾认为,预演可以减少盲目行动,但模拟得准才有意义。
他进一步列出三类服务策略的用途。第一是评测:真实机器人测试需要布置、看护和重置,失败还可能打碎物品;光照、摆放和传感器校准也随时间改变。如果世界模型可靠,就能从相同模拟初始状态重复测试,以算力换效率与可控性。“完全公平”是嘉宾对理想模拟器的表述,实际还多了模拟是否忠实的公平性问题。第二是数据工程:实时世界模型可连接原有遥操作设备,让人控制虚拟机器人并记录轨迹,也能在策略运行时由人干预,收集纠正数据;这省去真实机器人本体,并不表示遥操作设备、人工和数据验证都消失。
第三是虚拟强化学习:若模拟与真实差距足够小,策略可在虚拟环境中大量试错,用更多算力增加并行环境和迭代次数,减少真实时间、人员值守与安全损耗。嘉宾用 QQ 农场说明虚拟时间不必等于真实时间,随后明确“现在还远远没有到那个阶段”。因此,本段前三类用途的成熟程度并不相同:DreamDojo 的实时遥操作是团队报告的具体实践,而依靠无差距模拟实现大规模自进化仍是愿景。
自进化循环(Self-improving Loop) 嘉宾提出的研究愿景:Agent 规划并评价任务表现,Policy 产生动作,World Model 预测动作后的状态;评价用于优化 Policy,Policy 新采集的数据又可训练 World Model。它不是本期已完成的全任务自训练系统。
Reward/反馈 Agent 根据任务和预测视频给出的数值或可转换的文本评价,优化对象是 Policy。它衡量预测情境中的策略表现,不自动等于世界模型的物理真实性分数;具体更新算法未在本期给出。
级联误差(Cascade Error) Agent 评价、Policy 动作和 World Model 预测串联时,各自偏差会传递到后续步骤。若生成视频失真,Agent 即使准确理解视频,也可能基于错误后果给出错误训练信号。
动作空间(Action Space) 智能体可执行动作及其控制格式的集合,与本体结构、自由度和控制接口有关。不同动作空间增加世界模型横评和跨本体迁移成本。
话题推进: 主持人引用DeepMind创始人哈萨比斯的观点,即用世界模型(Genie)和智能体(SIMA)的组合来加速科学发现,并由此引出一个“鸡生蛋还是蛋生鸡”的问题:要实现一个完美的世界模型,是否意味着AGI已经实现了?这开启了下一段关于“自进化循环”的讨论。
00:33:43–00:43:07 自进化循环:世界模型、策略与Agent的协同进化如果世界模型能完美模拟世界,那是不是AGI已经实现了? 你提到今年(2026年)某个时间点循环会跑通,是看到了什么迹象吗? 在英伟达,这个自进化循环的三个要素分别对应哪些已发布成果? 主持人先转述哈萨比斯关于 Genie、SIMA 与模拟科学发现的设想,包括可控核聚变,再提出关键反问:如果模型已经能完美模拟世界,是否意味着 AGI 和具身智能早已解决?高深远认同这一远景,但主张不等完美模拟器出现才开始连接组件,而是在受限任务上让组件循环改进。主持转述的科研愿景不能当作这些系统已经能加速相关科学发现的证据。
嘉宾描述的循环包含三个角色。通用 Agent(例如 VLM)接收任务、给 Policy 文本规划,并读取世界模型生成的视频,对策略行为是否有利于任务给出数值或可转换为分数的文本反馈。Policy(如 VLA、DreamZero)根据观察和规划输出动作;World Model(如 DreamDojo、Genie)结合状态与动作生成未来视频,视频既交给 Agent 评价,也可作为 Policy 下一时刻的观察。这里 Agent 评价的是“预测情境下的策略表现”,不是单凭一段生成视频验证世界模型对真实物理的预测准确性。原对话没有具体给出本期自进化实验的奖励函数、更新算法或训练结果。
当前失败来自三个组件共同形成的级联误差:Agent 可能给错任务评价,Policy 在新场景中提出不可靠动作,世界模型也可能生成错误后果。嘉宾判断 2026 年可能在简单任务上初步连通,主持人追问迹象时,他只表示许多论文和文章也在讨论,并补充“至少我觉得已经有信心”在简单任务上连接;后文又说明先在单任务走通理论路线。这不是已经展示通用自进化的验收结果。
他的正反馈假设还有第二条数据链:更强的 Policy 能较安全地进入新环境自动采集数据,数据用于改善世界模型的物理模拟和动作控制;更可靠的世界模型再提供策略反馈。随着 Policy 动作分布变窄,世界模型可集中模拟它实际会提出的动作,学习难度可能降低。这是待验证的因果假设,也隐含探索数据变窄、误差相互强化的风险。最后,他把 DeepMind 的 Genie、SIMA、Gemini 与英伟达的 DreamDojo、DreamZero、Cosmos 基座放进同一接口图:Agent→Policy 用文本,Policy→World Model 用 action,World Model→Agent/Policy 用视频。SIMA 在此对应游戏策略,不应与连接循环的评价 Agent 混为一谈。
高深远 · 00:35:09–00:36:29;00:40:56–00:43:07
通用 Agent 做任务规划和结果评价,Policy 产生动作,世界模型预测动作后的状态;三者接口分别是文本、动作和视频。反馈的用途是优化 Policy,而非自动证明模拟物理正确。
高深远 · 00:39:24–00:40:22;01:10:16–01:11:06
嘉宾对 2026 年的判断是从简单任务初步连通开始,后续再扩展到更多任务和场景;他没有把这一预测表述为已完成的全场景循环。
话题推进: 在明确了自进化循环的图景后,主持人自然地将话题转向当前实现这一目标所面临的最大瓶颈。
00:43:07–00:51:48 世界模型当前的三大瓶颈:泛化性、长程稳定性与效率现在整个世界模型探索中最大的瓶颈是什么? 你提到的长程、效率问题,和泛化相比优先级如何? 可以举一个长程任务的例子吗? 机器人什么时候能掌握像人类管家一样,对家中物品位置的长期记忆? 高深远把研究方向按优先级排为泛化、长程稳定性和效率,其中泛化最决定应用上限。他把泛化拆成两条可区分的链:物理模拟泛化关注新物体、新场景是否遵循合理物理,例如机器人训练只见过玩具时,抹布和倒水可能无法被正确模拟;动作控制泛化关注不同动作是否产生相应后果。如果只用成功专家轨迹训练,输入“抓偏”的动作,模型也可能仍生成“抓住”的未来,两种动作就得不到有区分度的反馈。他认为包含更多随意动作的人类视频和策略自动采集数据能缓解后一问题,但这并不等于已解决所有新物理现象。
长程问题不只是生成更长的视频,还包括多轮预测后的状态一致性与记忆。嘉宾举出 DreamDojo 当前的失败边界:把物体放进柜子并关门后,再预测开门,物体是否仍在可能成为随机猜测;对需要依靠这段模拟训练策略的任务,反馈会因此失真。他把长程稳定性和效率排在泛化之后,理由是通用视频生成也在推动更长的生成与更快的推理,但他仍承认长程记忆对通用机器人重要,当前尚未到解决阶段。
主持人把问题延伸到家庭管家:机器人能否长期记住不同碗、剪刀的位置?高深远将跨很长时光的抽象位置记忆与执行动作时的模拟区分开,认为前者可以在文本或大模型上下文中保存,而后者是机器人研究当前更关注的“明确任务后怎样高成功率执行”。这是他对研究分工的判断,不是证明文本上下文已经解决家庭长期记忆,也没有回答具体落地时间。
话题推进: 在讨论了世界模型的价值和瓶颈后,主持人提出了一个非常实际的问题:世界模型本身的好坏如何评测?这引出了下一段关于该领域缺乏统一基准的讨论。
00:51:48–00:53:46 世界模型评测的困境:为何难以建立统一Benchmark世界模型本身怎么做测评?这个领域有公认的benchmark吗? 主持人把“世界模型可评测 Policy”反过来追问:世界模型本身怎样横评?高深远认为,领域缺少统一 benchmark 的首要原因是 action 与机器人本体绑定。不同硬件的自由度和控制接口不同,为一款机器人训练的模型不能直接理解另一款机器人的动作。相比之下,语言模型的文本输入输出、文本到视频模型的统一接口更便于直接调用和横评。
他给出两种可能改善横评的条件:出现能零样本接入多种动作空间的世界模型,或者研究团队逐渐采用同一本体。现阶段要比较别人的模型,往往需要取得模型并针对自己的本体和动作空间重新训练,成本使论文只能比较少数模型、使用自建测试集。这里比较的是接口和适配成本,不能由此推出任何视觉模型都天然有完全统一的语义或公平 benchmark。
话题推进: 本段深入探讨了世界模型评测的根本困难,为后续讨论不同团队的具体进展和策略差异埋下了伏笔。
00:53:46–01:20:47 连续对话 300:53:46–01:02:44 业界主要玩家的世界模型布局与路线之争业界如何评估谁的世界模型做得更好? OpenAI和Anthropic在世界模型与自进化循环上做了什么? 你觉得Anthropic不做这个方向会是一个miss吗? 在你最看好的video-based世界模型路线里,谁最有可能做成? 主持人先补问:动作空间相同是否就能比较?高深远指出还要统一观测条件,即使使用同一款机器人,相机安装位置和改装不同,也会影响世界模型的零样本使用。因此,现阶段研究者往往只能试用少数模型形成主观判断,这对投资判断同样构成信息限制。
随后是嘉宾基于个人关注的行业路线梳理,而不是独立核验后的公司排名。他提到英伟达;转录为“AMI/ARMI”的 Yann LeCun 相关团队走隐空间路线,机构名无法据此确认;李飞飞的 World Labs 偏显式 3D,嘉宾认为适合游戏、自动驾驶等空间应用。他还谈到 General Intuition 及一位转录为“Anthony Wu”的人,具体人名待核;其所述思路是利用游戏数据不受真实物理时间限制、游戏包含人工构建的 3D 知识来研究决策。他称团队早期 NaturalGen 工作尝试把机器人 VLA 的思路用于游戏策略,但不能由此简化成已经证明游戏与现实双向等价迁移。
高深远最愿意跟进的是 Google DeepMind 的“向基座对齐”思路:Agent 借助 Gemini,策略也可向 Gemini 对齐,世界模型借助视频模型 Veo,把决策数据接到数据丰富的语言和视频模态上,并先在游戏里验证循环。这是他对该团队研究风格的概括。谈到 OpenAI,他转述 Sora 团队重组进 robotics lab,并由此猜测其可能加强世界模型;对 Anthropic 较少做机器人,他认为不必然是错失,因为先做强大的虚拟多模态 Agent、最后再接机器人也是一条可能路线。此处的组织调整和投入程度均是他的访谈说法与推断,未在本期核验。
主持人引用此前与陈哲的讨论,把视频生成所需的数据、算力以及 Google、字节、快手等公司的数据条件带入竞争问题。高深远认可强视频基座的重要性,但补充电影级生成优化的分布不一定最适合机器人决策;英伟达的开源路线则可能让创业公司从已有基座出发。他并没有给出确定的最终赢家。
Ego-centric Video(第一视角视频) 从行动者视角记录的交互视频,本期用于提供人类操作中的场景、物体和动作知识。它与第三人称通用视频、目标机器人数据在 DreamDojo 训练链中处于不同阶段。
Cosmos 基座继续训练 DreamDojo 并非从零开始:先使用英伟达 Cosmos 视频基座权重,再以人类第一视角视频继续预训练,最后在机器人数据上微调。嘉宾称基座预训练包含第三人称视频,但未给出完整数据清单。
Physical AGI(通用物理智能) 对话中的长期目标,指能在物理世界完成广泛任务的智能。嘉宾讨论了两条可能路径:尽早使用机器人数据,或先做强虚拟多模态基座再接入机器人,均未在本期被证明必然成功。
话题推进: 在梳理了世界模型领域的宏观格局和主要玩家后,主持人将话题转向嘉宾自己团队的具体研究成果,即DreamDojo和DreamZero项目。
01:02:44–01:14:12 从自动驾驶到具身智能:DreamDojo的研发历程与核心突破可以讲讲你自己的研究变化吗?到了DreamDojo和DreamZero主要在关注和解决什么问题? 你加入GearLab的背景是他们当时也比较看重世界模型吗? 你们是怎么接触上的? DreamDojo和DreamZero具体是谁发起的?你在其中想解决什么问题? 为什么你觉得自进化循环的爆点在5年后,而不是今年? DreamDojo的输入输出是什么,达到了什么效果? 把第一人称视频数据迁移到机器人上,之前的难点在哪? 主持人把宏观路线转回高深远的个人研究线。按他的自述,他在 2023 年下半年开始做世界模型,早期因多智能体感知数据稀缺而尝试图像生成,受特斯拉世界模型启发后转向更通用的单车决策模拟。他认为当时学界常用的一个约 5 小时、新加坡采集的数据集难以支持跨城市泛化,于是用 YouTube 驾驶视频训练 GenAD,后续 Vista 再改进生成质量和动作控制。他把“开源社区较早/第一个使用互联网驾驶视频”作为个人回顾,本文不将其扩大为已独立确认的首创结论。
他离开学界自动驾驶世界模型方向的理由很具体:车企有高质量视频和车辆动作记录,而学界还要处理互联网视频、补动作标签,数据条件不对称。他对特斯拉领先学界的评价也是个人强判断。2024 年他在西雅图学术会议接触一位转录为“Gene Fan”的 GEAR 成员,但当时博二,希望先做自己的一作论文;2025 年在新加坡会议遇到一位被称为“宇可”的成员,临近毕业且此前面试已通过,随后开始实习。转录还出现“Joe Zhang”“Sun Yang Ye”等合作者称谓,均不猜测正式姓名。
在 GEAR,他把工作分成视频模型做 Policy 的主线和 Dreams 世界模型主线,后者据其转述由“Joe”发起;DreamGen 已探索用视频 backbone 做策略。他个人预测 DreamZero 类 WAM 可能在 2–3 年内形成较成熟架构,而 DreamDojo 类动作条件世界模型也许需要约 5 年才能产生大范围影响。主持人指出这与“2026 年循环跑通”表面冲突,嘉宾澄清:前者是更大范围的爆发,后者是单任务初步走通,再扩到更多任务和场景。
DreamDojo 的目标是提供可针对新机器人微调的通用预训练世界模型:结合历史视频与动作条件,预测未来视频。团队报告的主要进展是把大规模人类第一视角视频中的场景和物体交互知识迁移到机器人数据未覆盖的情况,同时做到实时交互。嘉宾认为,只有约 10 小时人类数据时,物体覆盖和跨本体迁移信号可能很弱;规模扩大后才更有机会学到通用知识。实时性使遥操作和行动前候选搜索更实用,但“团队报告有较好泛化”不等于任意新场景已解决,也没有在本段给出实时延迟数值。
高深远(个人研究回顾) · 01:03:21–01:06:30
GenAD/Vista 的研究脉络从互联网驾驶数据扩泛化,再提高生成质量和动作控制;嘉宾认为车企的数据与动作标注条件使学界继续竞争处于劣势。
话题推进: 在解释了DreamDojo如何通过大规模第一人称视频数据实现泛化和实时性突破后,对话自然地转向了数据本身,探讨了更大规模、更多样的数据(如第三方称视频)是否能以及如何被用于训练世界模型。
01:14:12–01:20:47 世界模型的数据策略:从第一人称到第三人称视频的可能性你们用了4.5万小时的数据,这个量级是怎么定的?数据是怎么获得的? 处理这个量级的数据难吗? 什么时候可以用第三人称的视频数据来训练世界模型?现在的瓶颈在哪? 第三人称视频数据放在预训练的第二阶段有必要吗? 主持人问为何数据规模约 4.5 万小时、怎样获得。高深远更正口径为约 4.4 万小时:团队在内部验证方法可行后,为覆盖不可预知的开源使用场景,把训练最后一版时已有数据全部用上,并非先由一条 scaling law 推出这个阈值。他也明确承认没有精细调整数据分布,调整后迁移可能更好。访谈没有完整交代具体采集流程,因此不能把它补写成全部由团队佩戴摄像头自行拍摄。
他把 Policy 与世界模型的数据需求区分开:Policy 希望模仿较优决策,另一个基于同批数据的 EgoScale 工作会筛选数据;世界模型需要模拟现实动作的后果,失败、随意或不优行为也可成为学习材料。但“任何数据都合理”不等于无需动作对应、视频质量检查或分布设计,嘉宾也强调模型需要 action。人类第一视角数据可用于 Policy 的说法是团队研究实践,不能扩大成任意互联网视频都能直接监督机器人动作。
第三人称视频并非完全没用。DreamDojo 从已包含大量第三人称视频的 Cosmos 权重出发,再用人类第一视角视频继续预训练,最后在机器人数据上微调。嘉宾报告,不用 Cosmos 预训练权重会使效果变差,他把这解释为第三人称通用知识有益;但文本中没有给出独立隔离第三人称数据的消融,因此不能把权重差异完全归因于单一视角。
对于把第三人称与第一视角视频合并到同一阶段,嘉宾只说直觉上可能有利于保持通用知识,并以 VLA 同时训练动作预测和视觉问答作类比。团队没有做这项实验,主要限制是计算量与研究问题的边界。他明确表示,若有资源可以尝试;本稿不把这个设想写成 DreamDojo 已采用的训练步骤。
话题推进: 在深入探讨了DreamDojo的数据策略和未来可能性后,接下来的对话将转向另一个关键问题:如何评测世界模型,特别是DreamDojo为此自建的评测基准(benchmark)。
01:20:48–01:48:15 连续对话 401:20:48–01:23:36 Latent Action:无人工动作标签的视频表示及其边界DreamDojo使用Latent action(潜在动作)这种不需要动作标签的方法,在实现上是否有难度?它现在是主流方法还是新方法? 主持人把 DreamDojo 的 Latent Action 概括为“不用打动作标签”,嘉宾则回顾其来源:早期 AdaWorld 在 1000 多个游戏中持续生成无人工动作标签的视频,用 Latent Action 学习动作表示并预训练世界模型;DreamDojo 将经过验证的思路扩展到人和机器人数据。这里的“标签”不是人工逐条写出动作类别,而是从连续视频中学习到的潜在表示,视频仍要经过模型处理。
它的优势是可随视频规模扩展,并为人和不同机器人提供一种共同的动作中介;代价是表示有噪声,未必精确对应某个本体的真实控制量。高深远虽然自认为是这个方向的推动者之一,却主动保留反问:如果未来高质量显式动作标签足够多,且机器人形态趋于拟人、跨本体不再是主要痛点,直接使用人手等具体动作表示可能更合适,Latent Action 不一定是永久必需的组件。
Latent Action(潜在动作) 从无人工动作标签的连续视频中学习的潜在动作表示,用于给世界模型提供动作条件。它便于利用大量视频和连接不同本体,但表示有噪声,并不等价于精确机器人控制标签。
本体/跨本体(Embodiment/Cross-embodiment) 本体是智能体的身体形态、动力学和控制方式;跨本体是让知识或模型适配不同身体。Latent Action 可能提供共同中介,但本体接近且有高质量显式标签时不一定需要它。
本期所说的分布外(OOD) DreamDojo 评测中的“新”以机器人训练数据为参照,指其中未见的物体和环境;嘉宾承认这些物体在人类视频中可能见过或有类似物,因此不能表述为所有训练阶段都未见。
话题推进: 主持人从科幻作品和现实案例出发,讨论了“跨本体”能力的直觉合理性,引出嘉宾对Latent action作为“中间媒介”的进一步解释。
01:23:36–01:26:44 跨本体能力的价值与数据标注趋势的冲突不考虑跨本体是不是痛点,它(跨本体能力)对动物和人来说似乎是一种很自然的直觉。 现在打标签很便宜吗? 主持人用《冰与火之歌》中布兰进入狼或乌鸦身体的设定,以及一些失去双臂者能用脚完成精细操作的现象,说明“适应另一个身体”直觉上并非不可能。这是帮助理解跨本体的类比,不是 Latent Action 有效性的实验证据。
高深远据此把 Latent Action 描述为一个有噪声但相对居中的先验:它不精确描述任何一个本体,却可能为映射到不同动作空间提供共同起点。若训练数据已有高质量标签,而且与目标机器人差距很小,绕过这层中介更直接。主持人追问“不用标签不是能用更多视频吗”,嘉宾承认这一优势,同时指出带标签数据也在快速增长。
他设想数据采集会从实验室反复摆场、重置,转向机器人或人在实际工作中顺带记录,借助便携外设得到较精确动作标签;主持人补充合成数据也能自带标签。这是对未来数据供给的判断,尚不能据此推出标注成本已经普遍很低,或跨本体问题即将消失。
话题推进: 对话自然转向了DreamDojo项目本身的数据集和硬件选择问题。
01:26:44–01:28:40 DreamDojo的数据集与机器人本体选择DreamDojo对应的数据集DreamDojo-HV为什么还没开源? 你们这次DreamDojo用的本体是傅利叶的GR-1,在本体选择上现在是怎么考虑的? 关于 DreamDojo-HV 数据集,高深远说“会开”,但团队希望先继续做研究,可能随后续项目发布;这是当时的计划,不是已经开源的事实。主持人接着问为什么主要测试本体是傅利叶 GR-1,而不是研究机构常用的宇树 G1。
高深远两次强调,本次选 GR-1 主要因为内部已有相关数据,构建测试集更方便,并非认定它优于其他本体。一般而言,他提到研究机构会考虑故障率、易用性、社区使用情况,以及与已有跨本体数据的接近程度;若使用大量人类数据,带灵巧手的本体可能更接近人。但这些一般因素不能反过来改写成 GR-1 本次入选的实际原因。
话题推进: 在讨论完硬件选择后,话题转向了DreamDojo的评测方法。
01:28:41–01:34:50 DreamDojo的评测基准与泛化能力讨论你们自己做了6个benchmark,主要考察世界模型的哪些能力? 评测中的“分布外”(out of distribution)数据指的是什么范围?如果一个情景连视频基座模型(Cosmos)的数据分布里都没有,它能做到吗? 你们测过在人类数据里也没见过的环境吗? 你们最后是用成功率来考察吗? 如果直接看世界模型的反馈好不好? 主持人提到团队自建 6 个 benchmark。高深远将评价分为物理预测是否真实合理、生成结果是否跟随输入 action 两个维度,因为它们共同决定模拟能否提供有区分度的策略反馈。他回顾研发顺序:先用内部 GR-1 数据看到初步信号,再用转录为“EgoDex”的开源第一视角数据集检查更多物体上的迁移,随后扩大人类数据采集。数据集名称待回听;6 个 benchmark 的具体组成和数值没有在本期展开,不能补写。
“分布外”在这里严格指机器人训练数据未见过的新物体、新环境,而不是 Cosmos 或人类视频都未见过。主持人连续追问这一点,嘉宾明确回答测试物体至少应在 4.4 万小时人类数据中出现过,或有类似物体。因此,团队报告的是“人类视频知识迁移到机器人未见情形”,不是对所有训练数据都未见过之物理世界的零样本泛化。他还提出一个更强的个人预测:数据足够大后,许多看似分布外的问题可转为大数据覆盖内的插值。这是他的 scaling 信念,不应写成 OOD 概念已经在学界失去意义。
对反馈质量的最终检查要接回 Policy:让 Policy 提出多个动作,世界模型预测并帮助选择,比较加入世界模型前后真实任务成功率。如果模型总是选到更好的动作,说明反馈有用;若接近随机,增加它就没有收益。对话说“我们也有实验”,但未给出数值。物理真实性和动作跟随可作为研发中间指标,不能替代真实任务验收,也不能把一次候选选择实验等同于自进化循环已长期稳定训练。
话题推进: 在解释完评测逻辑后,主持人询问DreamDojo的未来发展方向,引出了关于“自进化循环”的讨论。
01:34:50–01:41:36 自进化循环:世界模型的终极愿景与创业公司的机会接下来准备怎么发展DreamDojo? 你说的“纯做策略就可以”这一派的代表是谁? 如果这条路(自进化循环)变得更主流,创业公司有多大机会参与?是不是只有大公司才能做? 如果创业公司不掌握视频基座模型(如Cosmos),对效果影响大吗? DreamDojo的速度会是问题吗? 谈及 DreamDojo 后续发展,高深远再次把长期目标限定为建立自进化循环:Agent 提任务并对预测世界状态中的策略表现打分,World Model 连接 Policy 的动作与 Agent 的评价。他认为只做 Policy 的一派担心世界模型更难,因为不仅要模拟成功专家动作,也要模拟其他动作;他的回应是世界模型不必完美,在部分情形有噪声也可能足以改善 Policy。这是有明确反方条件的路线判断,并没有指明某个公司或受访者,转录在此处也无法恢复其引述对象。
对于创业公司的机会,他认为数据供应商竞争、GPU 与模型效率进步会降低参与门槛,各组件也可在合理的小规模设置中验证;一个团队可先从家居等专门领域构建循环,再根据数据与模型规模的 scaling 结果决定是否扩大。他把“率先验证后仍有胜算”表述为个人判断,不是小公司成功率的证据。
主持人随即指出资源差异:不掌握 Cosmos 这类视频基座,只做人视频与机器人阶段是否会失去竞争力?高深远承认有影响,自有基座可让预训练分布偏向机器人和自动驾驶,内部基础设施也更有利于继续训练;外部团队不能及时使用最强预训练模型会产生延迟。这意味着他前面的乐观并不等于否认基础模型优势。对 DreamDojo、DreamZero 的速度,他则较乐观,因为机器人和通用视频生成都需要效率优化;这是领域共同推进的预期,不是当前延迟已满足所有真机部署的证明。
话题推进: 主持人询问嘉宾博士毕业后的个人职业规划和研究重点,引向对当前阶段研究重心的思考。
01:41:36–01:45:38 个人选择:在规模化时代投身工业界,推动泛化能力突破你博士毕业后的计划是什么?为什么这么选? 你接下来自己想探索的具体方向是什么? 高深远确认博士毕业后将正式加入英伟达。他解释个人选择时,把学校更偏向原创探索、工业界更善于规模化已见成功迹象的路线作对照,并判断当前 AI 已有多条较成熟路线,关键资源是数据、算力、正确训练目标和目标一致的团队。他甚至说现阶段可能不再那么需要原创探索、是否需要世界模型也不是通往 Physical AGI 的唯一决定因素。这是解释其职业选择的个人强观点,与他此前支持世界模型的立场并存,不能改成整个行业已经无需原创研究。
未来一年,他仍想推动 DreamDojo 这类动作条件世界模型能实际支持什么应用,最终指向自进化循环。他认为当前主要瓶颈是各组件泛化:单任务上即使从头训练也可能把流程做通,却没有发挥语言、视频基座最值得利用的泛化能力;只有扩展到更多任务,才证明基座路线带来了额外价值。效率在他的优先级中较低,因为这是整个视频生成领域共同推动的问题。主持人最后将“策略—世界模型—评价 Agent”的循环概括为本期最清晰、也最值得期待的框架,但期待仍指向未来观察。
话题推进: 主持人进行节目总结,并推荐往期相关节目。
01:45:44–01:48:15 节目总结与概念梳理:自进化循环的图景主持人在“连点成线”中推荐第 157 期具身季报和自己的 2025 年末 AI 回顾。转录将后者期数也记为 157,官方简介列为第 150 期,本稿仅据此标注差异,不猜测口播原因。她复述 DreamZero、EagleSkill、SIMA 是产生动作的策略,DreamDojo、Genie 更接近预测环境的世界模拟器;其中相关团队与产品名按主持人口播保留,未另作专名校订。
她随后把自进化循环画成三条信息边:Agent 用文本给 Policy 规划任务;Policy 用 action 驱动 World Model;World Model 的视频/图像既回到 Policy,也交给 Agent,Agent 的输出再用于优化 Policy。原口播有“评估世界模型对未来状态的策略是否准确”这一含混说法,结合官方图注和 00:35:09 的详细解释,应理解为 Agent 评价预测状态对应的策略任务表现,而非独立验证了物理预测真伪。数值或文本反馈怎样具体转成参数更新,本期没有展开。
主持人最后明确说,由于三类模型泛化不足,循环“并没有转起来”,接下来要观察它是否以及多久能够跑起来。这与嘉宾关于简单任务可能近期初步连通的预测并不完全同义:前者描述通用循环尚未实现,后者是对受限任务研究前景的判断,不能用其一替代另一层边界。
程曼祺(依据官方图注复述) · 01:47:09–01:48:15
结尾的 Agent 评价用于优化 Policy,物理真实性仍需真实数据或下游任务检验;不能把“评价预测视频”写成物理正确性已经自动核验。
话题推进: 本段为节目总结,无后续内容。
01:48:15–01:49:02 连续对话 501:48:15–01:49:02 节目结尾:对自进化循环的展望程曼祺以“未来再看这个循环是否跑起来、多久跑起来”收尾。她说,如果自进化实现,虚拟环境可能突破物理时空限制,支持大量实验和训练;这是明确带有条件的前景展望。随后她邀请听众分享观察、疑问、主题和嘉宾建议,并介绍《晚点聊 LateTalk》和《晚点 LatePost》的关注渠道。结尾没有新增技术结论或实验结果。
话题推进: 本段为节目结尾,没有引向下一段。
以上是原对话的分段阅读。下面才开始提炼论证、解释机制并给出本文自己的判断。