Podcast Interview · 逐期深读

高深远谈世界模型、自进化循环与 DreamDojo:从模拟预测到策略反馈

本期背景与内容导览

高深远与程曼祺从“世界模型”这个词为何被不同研究路线共用谈起,逐步落到具身决策中的具体定义:输入历史世界状态与一个动作,预测执行动作后的世界状态。主持人先追问文本编辑、机器人动作和多智能体控制是否属于同一类 action,再请嘉宾比较抽象几何、显式 3D、隐空间和视频四种状态表征。对话随后转向世界模型怎样服务策略:行动前搜索、可重置的模拟评测、虚拟遥操作与干预数据,以及嘉宾期待的 Agent—Policy—World Model 自进化循环。这里的 Agent 负责规划与任务评价,反馈对象是策略;它不是仅凭生成视频就验证了真实物理。嘉宾判断,当前瓶颈在物理模拟与动作控制的泛化,此外还有长程记忆和效率问题。后半段回到他的研究经历与 GEAR 实践:他介绍 DreamZero 的世界动作模型定位、DreamDojo 利用 Cosmos 权重、约 4.4 万小时人类第一视角视频和机器人数据分阶段训练的做法,以及团队报告的新物体/新环境泛化与实时交互。最后,他解释 Latent Action 的便利与噪声、跨本体价值可能被高质量标注削弱,并把 2026 年单任务初步连通、约五年形成更大影响都表述为个人预测,而非已经实现的通用自进化能力。

晚点聊 LateTalk · #165 · 2026-05-18 · 1:49:03

原对话:沿提问、回答和转折完整展开

下面先按节目顺序重建。主持人在追问什么,嘉宾如何以自己的经历、例子和推理作答,尽量保留在具体语境中;案例中的事实、数字和判断先归属于发言人。随后才进入本文的机制解释与独立判断。

00:00:05–00:27:34连续对话 1

00:00:05–00:09:57世界模型是什么:从模糊概念到决策核心

  • “世界模型”这个宽泛概念可以怎样分类?
  • Action 是什么?外部用户的文本编辑和世界内部主体的动作需要区分吗?
  • 未来机器人、车辆能够直接通信,多智能体世界模型会怎样发展?

开场先播放高深远关于物理模拟、动作控制和自进化循环的几段预告。正式访谈中,程曼祺依据官方介绍引入刚从港科大博士毕业、即将正式加入英伟达 GEAR 的高深远;他自述从自动驾驶、游戏世界模型转向机器人世界模型。主持人的第一个问题不是让嘉宾罗列成果,而是厘清“世界模型”为何成了容纳多种含义的 buzzword。

高深远区分两类说法:一类把拥有大量 world knowledge、能回答世界问题的多模态模型称为世界模型;另一类是决策语境下的环境模拟器。本期主要讨论后者:输入过去的世界状态和 action,输出在该动作条件下预测的未来状态。他引用 Sora 发布时“video generation as world simulator”的表述,说明文本也能被理解为一种外部干预;但视频看起来逼真,不等于其物理预测已被真实世界验证。对机器人决策,仅有文本层面的编辑不够,还要接收机器人动作、游戏技能或车辆轨迹等具体控制条件。

主持人继续追问 action 的主体:用户从外部修改视频,与机器人、车辆在世界内部行动是否相同?高深远认为,通用具身智能体通常只能控制自己的动作,因此最通用的是接收自身动作的世界模型;能控制第三方 Agent 或环境的模型则适合构造异常测试情形,在游戏、自动驾驶和多智能体研究中另有价值。由此谈到机器人、车辆直接通信的可能性时,他保留了一个条件:不能假设部署后的每个环境都允许通信,所以单体模型仍是必要基础。主持人用中国早期 V2X 车路协同作类比,这是她对技术路线背景的联系,并非本期对车联网路线的独立复盘。

世界模型(World Model,决策语境)输入历史世界状态与动作条件,输出未来状态预测的模型。视频路线的输入、输出可都是视频;它提供的是模拟后果,不等于真实世界已经验证该后果。拥有 world knowledge 的多模态模型是开场区分的另一种用法。
Action(动作/干预)使世界状态发生变化的条件。可以是机器人动作、车辆轨迹、游戏技能,也可以是外部用户的文本编辑。本体自身的低层动作与外部高阶指令都可叫 action,但控制主体和决策用途不同。
Policy/策略模型根据观察到的状态和任务条件输出动作的模型。与世界模型交互时,Policy 输出 action,世界模型返回预测状态,Policy 再决定后续动作。VLA、WAM 在本期主要被用作 Policy。
WAM(World-Action Model,世界动作模型)按嘉宾对 DreamZero 的介绍,输入文本任务,同时输出未来视频和动作;平时作为 Policy,因也能预测世界状态而兼具世界模型功能。它不是与 DreamDojo 完全同义的模型。

话题推进:在明确了世界模型的核心是“以动作为条件预测未来”后,对话自然地转向了实现这一功能的不同技术路径,即如何表征(represent)世界状态。

00:09:57–00:19:36世界模型的四种技术流派及其优劣

  • 你刚才讲到世界模型可以按派别分,可以继续说这个吗?
  • Yann LeCun提倡的JPA(隐空间)方法是端到端的吗?
  • 在英伟达GEAR Lab内部,大家是都看好视频生成路线,还是会尝试不同方向?

高深远按“世界状态用什么来表示”把决策世界模型分成四类,比较的不是谁生成的画面更好看,而是输入状态怎样编码、预测在什么空间发生、怎样接入决策。

第一类是抽象几何或图结构:用点、图、几何关系描述物体和结构。它把问题压缩得很小,模拟高效、所需数据相对少,但遇到不同材质和物体时可能要重新设计表征,通用性受限。第二类是显式 3D:把环境重建为点云、高斯泼溅等三维表示,决策需要观测时再渲染成二维画面。他提到李飞飞的 World Labs,并说 occupancy 在自动驾驶中较常见;坐标明确有利于空间编辑和保持长程一致性,但“观测→重建→渲染”的多阶段流程及 3D 标注需求,使大规模数据驱动更困难。这里是他对这些路线的分析,不是对某个团队全部技术栈的核验。

第三类是隐空间:模型不直接预测像素,而在压缩后的表征中保留与决策相关的信息。高深远借用 Yann LeCun 的例子:人在街上不需要预测每个陌生人的脸,只要知道那里大致有人,就能规划自己的行动。转录将该架构记作“JPA”,拼写待回听,本稿不扩写全称。高深远认可其效率潜力,也指出一个新隐空间不能直接被现有语言或视频基座模型读取,需要额外对齐;主持人概括这会削弱其利用行业基座进步的能力,他认同这一风险但没有否定路线本身。

第四类是视频表征,输入、输出均为视频。高深远最看好这一路线的理由是数据和模型基础:互联网视频规模大,可以直接监督预测,还能与已有视频基座衔接,再把知识迁移到 action 数据稀缺的机器人领域。他认为像素预测不必被理解为准确写出唯一未来,模型可以采样多种细节;但这是他针对“预测所有像素浪费计算”的回应,不是证明视频模型已拥有可靠物理理解。GEAR 内部并非只许做视频路线,他同时承认真机部署中隐空间的效率优势。

话题推进:在分析了不同技术路线后,主持人自然地引出了下一个问题:为什么世界模型这个概念在近一两年突然变得如此火热?它的核心价值和应用场景是什么?

00:19:36–00:27:34世界模型为何兴起:数据、策略进步与 WAM 的双重定位

  • 为什么世界模型从去年到今年变得更火热了?它的价值和用途是什么?
  • 这里的Policy(策略)具体指什么?
  • 世界模型需要部署在机器人上吗?它和Policy的大小限制有何不同?
  • 英伟达提出的WAM(世界动作模型)和VLA(视觉语言动作模型)是什么关系?WAM是策略还是世界模型?

主持人问世界模型为何在近一两年升温。高深远给出三个相互关联的条件:视频生成能力提高,让较逼真的未来预测成为可能;机器人和其他来源的数据增多,使模型不再只有成功专家轨迹,也有机会学习失败或随意动作的后果;策略模型变强后,输出动作不再完全混乱,世界模型需要覆盖的在线动作分布更可处理,同时策略对新场景、新任务的泛化需求变得更突出。这是他对领域变化的解释,不是本期给出的行业统计。

Policy 是从当前状态与任务条件产生动作的模型,VLA 是例子。它与动作条件世界模型的接口是:Policy 输出 action,世界模型结合过去状态和 action 预测下一状态,预测状态再成为 Policy 下一次决策的输入。世界模型和 Policy 都可以部署在端侧或云端,取决于网络与运行环境;主持人关于“端侧策略必须小、云端世界模型可以大”的推断被嘉宾限定为部署选择,而不是架构定律。

随后主持人厘清 DreamZero 所代表的 WAM 与 VLA。按嘉宾的功能定位,WAM 接收文本任务指令,同时输出未来视频和动作,通常作为 Policy 使用;它比 VLA 多了视频预测,比只接收低层动作的世界模型多了动作生成。若把文本也视为一种高阶 action,WAM 又能被理解为在文本条件下预测世界状态的世界模型,因此“它是策略还是世界模型”取决于讨论的是主要用途还是功能覆盖。主持人一度把未来状态复述成文本,嘉宾随即澄清输出状态是视频。

两者还能串联:DreamZero 可先针对候选文本步骤预测后果并做高阶搜索,再把具体动作轨迹交给 DreamDojo 等动作条件世界模型,模拟速度、抓取角度等低层选择的后果。这里提供的是行动前搜索的机制设想;是否能提升真实机器人表现,仍受预测误差和真实迁移效果约束。

话题推进:在解释了世界模型的核心价值是服务于策略模型后,对话进一步深入,探讨了由世界模型、策略模型和Agent构成的“自进化循环”的具体机制。

00:27:34–00:53:46连续对话 2

00:27:34–00:33:42世界模型的四大价值:决策、评测、数据工程与虚拟强化学习

  • DreamZero 的高阶规划与 DreamDojo 的低层动作模拟怎样衔接?
  • 世界模型除了行动前预测,长期还能为策略提供什么价值?
  • 虚拟遥操作还需要传感器或遥操作设备吗?

高深远先把两层搜索接起来:DreamZero 可在文本步骤层面比较不同子任务,DreamDojo 再根据低层动作轨迹预测后果,用于优化接近速度、抓取角度等具体选择。主持人把这理解为行动前的想象,并追问长期价值。嘉宾认为,预演可以减少盲目行动,但模拟得准才有意义。

他进一步列出三类服务策略的用途。第一是评测:真实机器人测试需要布置、看护和重置,失败还可能打碎物品;光照、摆放和传感器校准也随时间改变。如果世界模型可靠,就能从相同模拟初始状态重复测试,以算力换效率与可控性。“完全公平”是嘉宾对理想模拟器的表述,实际还多了模拟是否忠实的公平性问题。第二是数据工程:实时世界模型可连接原有遥操作设备,让人控制虚拟机器人并记录轨迹,也能在策略运行时由人干预,收集纠正数据;这省去真实机器人本体,并不表示遥操作设备、人工和数据验证都消失。

第三是虚拟强化学习:若模拟与真实差距足够小,策略可在虚拟环境中大量试错,用更多算力增加并行环境和迭代次数,减少真实时间、人员值守与安全损耗。嘉宾用 QQ 农场说明虚拟时间不必等于真实时间,随后明确“现在还远远没有到那个阶段”。因此,本段前三类用途的成熟程度并不相同:DreamDojo 的实时遥操作是团队报告的具体实践,而依靠无差距模拟实现大规模自进化仍是愿景。

自进化循环(Self-improving Loop)嘉宾提出的研究愿景:Agent 规划并评价任务表现,Policy 产生动作,World Model 预测动作后的状态;评价用于优化 Policy,Policy 新采集的数据又可训练 World Model。它不是本期已完成的全任务自训练系统。
Reward/反馈Agent 根据任务和预测视频给出的数值或可转换的文本评价,优化对象是 Policy。它衡量预测情境中的策略表现,不自动等于世界模型的物理真实性分数;具体更新算法未在本期给出。
级联误差(Cascade Error)Agent 评价、Policy 动作和 World Model 预测串联时,各自偏差会传递到后续步骤。若生成视频失真,Agent 即使准确理解视频,也可能基于错误后果给出错误训练信号。
动作空间(Action Space)智能体可执行动作及其控制格式的集合,与本体结构、自由度和控制接口有关。不同动作空间增加世界模型横评和跨本体迁移成本。

话题推进:主持人引用DeepMind创始人哈萨比斯的观点,即用世界模型(Genie)和智能体(SIMA)的组合来加速科学发现,并由此引出一个“鸡生蛋还是蛋生鸡”的问题:要实现一个完美的世界模型,是否意味着AGI已经实现了?这开启了下一段关于“自进化循环”的讨论。

00:33:43–00:43:07自进化循环:世界模型、策略与Agent的协同进化

  • 如果世界模型能完美模拟世界,那是不是AGI已经实现了?
  • 你提到今年(2026年)某个时间点循环会跑通,是看到了什么迹象吗?
  • 在英伟达,这个自进化循环的三个要素分别对应哪些已发布成果?

主持人先转述哈萨比斯关于 Genie、SIMA 与模拟科学发现的设想,包括可控核聚变,再提出关键反问:如果模型已经能完美模拟世界,是否意味着 AGI 和具身智能早已解决?高深远认同这一远景,但主张不等完美模拟器出现才开始连接组件,而是在受限任务上让组件循环改进。主持转述的科研愿景不能当作这些系统已经能加速相关科学发现的证据。

嘉宾描述的循环包含三个角色。通用 Agent(例如 VLM)接收任务、给 Policy 文本规划,并读取世界模型生成的视频,对策略行为是否有利于任务给出数值或可转换为分数的文本反馈。Policy(如 VLA、DreamZero)根据观察和规划输出动作;World Model(如 DreamDojo、Genie)结合状态与动作生成未来视频,视频既交给 Agent 评价,也可作为 Policy 下一时刻的观察。这里 Agent 评价的是“预测情境下的策略表现”,不是单凭一段生成视频验证世界模型对真实物理的预测准确性。原对话没有具体给出本期自进化实验的奖励函数、更新算法或训练结果。

当前失败来自三个组件共同形成的级联误差:Agent 可能给错任务评价,Policy 在新场景中提出不可靠动作,世界模型也可能生成错误后果。嘉宾判断 2026 年可能在简单任务上初步连通,主持人追问迹象时,他只表示许多论文和文章也在讨论,并补充“至少我觉得已经有信心”在简单任务上连接;后文又说明先在单任务走通理论路线。这不是已经展示通用自进化的验收结果。

他的正反馈假设还有第二条数据链:更强的 Policy 能较安全地进入新环境自动采集数据,数据用于改善世界模型的物理模拟和动作控制;更可靠的世界模型再提供策略反馈。随着 Policy 动作分布变窄,世界模型可集中模拟它实际会提出的动作,学习难度可能降低。这是待验证的因果假设,也隐含探索数据变窄、误差相互强化的风险。最后,他把 DeepMind 的 Genie、SIMA、Gemini 与英伟达的 DreamDojo、DreamZero、Cosmos 基座放进同一接口图:Agent→Policy 用文本,Policy→World Model 用 action,World Model→Agent/Policy 用视频。SIMA 在此对应游戏策略,不应与连接循环的评价 Agent 混为一谈。

话题推进:在明确了自进化循环的图景后,主持人自然地将话题转向当前实现这一目标所面临的最大瓶颈。

00:43:07–00:51:48世界模型当前的三大瓶颈:泛化性、长程稳定性与效率

  • 现在整个世界模型探索中最大的瓶颈是什么?
  • 你提到的长程、效率问题,和泛化相比优先级如何?
  • 可以举一个长程任务的例子吗?
  • 机器人什么时候能掌握像人类管家一样,对家中物品位置的长期记忆?

高深远把研究方向按优先级排为泛化、长程稳定性和效率,其中泛化最决定应用上限。他把泛化拆成两条可区分的链:物理模拟泛化关注新物体、新场景是否遵循合理物理,例如机器人训练只见过玩具时,抹布和倒水可能无法被正确模拟;动作控制泛化关注不同动作是否产生相应后果。如果只用成功专家轨迹训练,输入“抓偏”的动作,模型也可能仍生成“抓住”的未来,两种动作就得不到有区分度的反馈。他认为包含更多随意动作的人类视频和策略自动采集数据能缓解后一问题,但这并不等于已解决所有新物理现象。

长程问题不只是生成更长的视频,还包括多轮预测后的状态一致性与记忆。嘉宾举出 DreamDojo 当前的失败边界:把物体放进柜子并关门后,再预测开门,物体是否仍在可能成为随机猜测;对需要依靠这段模拟训练策略的任务,反馈会因此失真。他把长程稳定性和效率排在泛化之后,理由是通用视频生成也在推动更长的生成与更快的推理,但他仍承认长程记忆对通用机器人重要,当前尚未到解决阶段。

主持人把问题延伸到家庭管家:机器人能否长期记住不同碗、剪刀的位置?高深远将跨很长时光的抽象位置记忆与执行动作时的模拟区分开,认为前者可以在文本或大模型上下文中保存,而后者是机器人研究当前更关注的“明确任务后怎样高成功率执行”。这是他对研究分工的判断,不是证明文本上下文已经解决家庭长期记忆,也没有回答具体落地时间。

话题推进:在讨论了世界模型的价值和瓶颈后,主持人提出了一个非常实际的问题:世界模型本身的好坏如何评测?这引出了下一段关于该领域缺乏统一基准的讨论。

00:51:48–00:53:46世界模型评测的困境:为何难以建立统一Benchmark

  • 世界模型本身怎么做测评?这个领域有公认的benchmark吗?

主持人把“世界模型可评测 Policy”反过来追问:世界模型本身怎样横评?高深远认为,领域缺少统一 benchmark 的首要原因是 action 与机器人本体绑定。不同硬件的自由度和控制接口不同,为一款机器人训练的模型不能直接理解另一款机器人的动作。相比之下,语言模型的文本输入输出、文本到视频模型的统一接口更便于直接调用和横评。

他给出两种可能改善横评的条件:出现能零样本接入多种动作空间的世界模型,或者研究团队逐渐采用同一本体。现阶段要比较别人的模型,往往需要取得模型并针对自己的本体和动作空间重新训练,成本使论文只能比较少数模型、使用自建测试集。这里比较的是接口和适配成本,不能由此推出任何视觉模型都天然有完全统一的语义或公平 benchmark。

话题推进:本段深入探讨了世界模型评测的根本困难,为后续讨论不同团队的具体进展和策略差异埋下了伏笔。

00:53:46–01:20:47连续对话 3

00:53:46–01:02:44业界主要玩家的世界模型布局与路线之争

  • 业界如何评估谁的世界模型做得更好?
  • OpenAI和Anthropic在世界模型与自进化循环上做了什么?
  • 你觉得Anthropic不做这个方向会是一个miss吗?
  • 在你最看好的video-based世界模型路线里,谁最有可能做成?

主持人先补问:动作空间相同是否就能比较?高深远指出还要统一观测条件,即使使用同一款机器人,相机安装位置和改装不同,也会影响世界模型的零样本使用。因此,现阶段研究者往往只能试用少数模型形成主观判断,这对投资判断同样构成信息限制。

随后是嘉宾基于个人关注的行业路线梳理,而不是独立核验后的公司排名。他提到英伟达;转录为“AMI/ARMI”的 Yann LeCun 相关团队走隐空间路线,机构名无法据此确认;李飞飞的 World Labs 偏显式 3D,嘉宾认为适合游戏、自动驾驶等空间应用。他还谈到 General Intuition 及一位转录为“Anthony Wu”的人,具体人名待核;其所述思路是利用游戏数据不受真实物理时间限制、游戏包含人工构建的 3D 知识来研究决策。他称团队早期 NaturalGen 工作尝试把机器人 VLA 的思路用于游戏策略,但不能由此简化成已经证明游戏与现实双向等价迁移。

高深远最愿意跟进的是 Google DeepMind 的“向基座对齐”思路:Agent 借助 Gemini,策略也可向 Gemini 对齐,世界模型借助视频模型 Veo,把决策数据接到数据丰富的语言和视频模态上,并先在游戏里验证循环。这是他对该团队研究风格的概括。谈到 OpenAI,他转述 Sora 团队重组进 robotics lab,并由此猜测其可能加强世界模型;对 Anthropic 较少做机器人,他认为不必然是错失,因为先做强大的虚拟多模态 Agent、最后再接机器人也是一条可能路线。此处的组织调整和投入程度均是他的访谈说法与推断,未在本期核验。

主持人引用此前与陈哲的讨论,把视频生成所需的数据、算力以及 Google、字节、快手等公司的数据条件带入竞争问题。高深远认可强视频基座的重要性,但补充电影级生成优化的分布不一定最适合机器人决策;英伟达的开源路线则可能让创业公司从已有基座出发。他并没有给出确定的最终赢家。

Ego-centric Video(第一视角视频)从行动者视角记录的交互视频,本期用于提供人类操作中的场景、物体和动作知识。它与第三人称通用视频、目标机器人数据在 DreamDojo 训练链中处于不同阶段。
Cosmos 基座继续训练DreamDojo 并非从零开始:先使用英伟达 Cosmos 视频基座权重,再以人类第一视角视频继续预训练,最后在机器人数据上微调。嘉宾称基座预训练包含第三人称视频,但未给出完整数据清单。
Physical AGI(通用物理智能)对话中的长期目标,指能在物理世界完成广泛任务的智能。嘉宾讨论了两条可能路径:尽早使用机器人数据,或先做强虚拟多模态基座再接入机器人,均未在本期被证明必然成功。

话题推进:在梳理了世界模型领域的宏观格局和主要玩家后,主持人将话题转向嘉宾自己团队的具体研究成果,即DreamDojo和DreamZero项目。

01:02:44–01:14:12从自动驾驶到具身智能:DreamDojo的研发历程与核心突破

  • 可以讲讲你自己的研究变化吗?到了DreamDojo和DreamZero主要在关注和解决什么问题?
  • 你加入GearLab的背景是他们当时也比较看重世界模型吗?
  • 你们是怎么接触上的?
  • DreamDojo和DreamZero具体是谁发起的?你在其中想解决什么问题?
  • 为什么你觉得自进化循环的爆点在5年后,而不是今年?
  • DreamDojo的输入输出是什么,达到了什么效果?
  • 把第一人称视频数据迁移到机器人上,之前的难点在哪?

主持人把宏观路线转回高深远的个人研究线。按他的自述,他在 2023 年下半年开始做世界模型,早期因多智能体感知数据稀缺而尝试图像生成,受特斯拉世界模型启发后转向更通用的单车决策模拟。他认为当时学界常用的一个约 5 小时、新加坡采集的数据集难以支持跨城市泛化,于是用 YouTube 驾驶视频训练 GenAD,后续 Vista 再改进生成质量和动作控制。他把“开源社区较早/第一个使用互联网驾驶视频”作为个人回顾,本文不将其扩大为已独立确认的首创结论。

他离开学界自动驾驶世界模型方向的理由很具体:车企有高质量视频和车辆动作记录,而学界还要处理互联网视频、补动作标签,数据条件不对称。他对特斯拉领先学界的评价也是个人强判断。2024 年他在西雅图学术会议接触一位转录为“Gene Fan”的 GEAR 成员,但当时博二,希望先做自己的一作论文;2025 年在新加坡会议遇到一位被称为“宇可”的成员,临近毕业且此前面试已通过,随后开始实习。转录还出现“Joe Zhang”“Sun Yang Ye”等合作者称谓,均不猜测正式姓名。

在 GEAR,他把工作分成视频模型做 Policy 的主线和 Dreams 世界模型主线,后者据其转述由“Joe”发起;DreamGen 已探索用视频 backbone 做策略。他个人预测 DreamZero 类 WAM 可能在 2–3 年内形成较成熟架构,而 DreamDojo 类动作条件世界模型也许需要约 5 年才能产生大范围影响。主持人指出这与“2026 年循环跑通”表面冲突,嘉宾澄清:前者是更大范围的爆发,后者是单任务初步走通,再扩到更多任务和场景。

DreamDojo 的目标是提供可针对新机器人微调的通用预训练世界模型:结合历史视频与动作条件,预测未来视频。团队报告的主要进展是把大规模人类第一视角视频中的场景和物体交互知识迁移到机器人数据未覆盖的情况,同时做到实时交互。嘉宾认为,只有约 10 小时人类数据时,物体覆盖和跨本体迁移信号可能很弱;规模扩大后才更有机会学到通用知识。实时性使遥操作和行动前候选搜索更实用,但“团队报告有较好泛化”不等于任意新场景已解决,也没有在本段给出实时延迟数值。

话题推进:在解释了DreamDojo如何通过大规模第一人称视频数据实现泛化和实时性突破后,对话自然地转向了数据本身,探讨了更大规模、更多样的数据(如第三方称视频)是否能以及如何被用于训练世界模型。

01:14:12–01:20:47世界模型的数据策略:从第一人称到第三人称视频的可能性

  • 你们用了4.5万小时的数据,这个量级是怎么定的?数据是怎么获得的?
  • 处理这个量级的数据难吗?
  • 什么时候可以用第三人称的视频数据来训练世界模型?现在的瓶颈在哪?
  • 第三人称视频数据放在预训练的第二阶段有必要吗?

主持人问为何数据规模约 4.5 万小时、怎样获得。高深远更正口径为约 4.4 万小时:团队在内部验证方法可行后,为覆盖不可预知的开源使用场景,把训练最后一版时已有数据全部用上,并非先由一条 scaling law 推出这个阈值。他也明确承认没有精细调整数据分布,调整后迁移可能更好。访谈没有完整交代具体采集流程,因此不能把它补写成全部由团队佩戴摄像头自行拍摄。

他把 Policy 与世界模型的数据需求区分开:Policy 希望模仿较优决策,另一个基于同批数据的 EgoScale 工作会筛选数据;世界模型需要模拟现实动作的后果,失败、随意或不优行为也可成为学习材料。但“任何数据都合理”不等于无需动作对应、视频质量检查或分布设计,嘉宾也强调模型需要 action。人类第一视角数据可用于 Policy 的说法是团队研究实践,不能扩大成任意互联网视频都能直接监督机器人动作。

第三人称视频并非完全没用。DreamDojo 从已包含大量第三人称视频的 Cosmos 权重出发,再用人类第一视角视频继续预训练,最后在机器人数据上微调。嘉宾报告,不用 Cosmos 预训练权重会使效果变差,他把这解释为第三人称通用知识有益;但文本中没有给出独立隔离第三人称数据的消融,因此不能把权重差异完全归因于单一视角。

对于把第三人称与第一视角视频合并到同一阶段,嘉宾只说直觉上可能有利于保持通用知识,并以 VLA 同时训练动作预测和视觉问答作类比。团队没有做这项实验,主要限制是计算量与研究问题的边界。他明确表示,若有资源可以尝试;本稿不把这个设想写成 DreamDojo 已采用的训练步骤。

话题推进:在深入探讨了DreamDojo的数据策略和未来可能性后,接下来的对话将转向另一个关键问题:如何评测世界模型,特别是DreamDojo为此自建的评测基准(benchmark)。

01:20:48–01:48:15连续对话 4

01:20:48–01:23:36Latent Action:无人工动作标签的视频表示及其边界

  • DreamDojo使用Latent action(潜在动作)这种不需要动作标签的方法,在实现上是否有难度?它现在是主流方法还是新方法?

主持人把 DreamDojo 的 Latent Action 概括为“不用打动作标签”,嘉宾则回顾其来源:早期 AdaWorld 在 1000 多个游戏中持续生成无人工动作标签的视频,用 Latent Action 学习动作表示并预训练世界模型;DreamDojo 将经过验证的思路扩展到人和机器人数据。这里的“标签”不是人工逐条写出动作类别,而是从连续视频中学习到的潜在表示,视频仍要经过模型处理。

它的优势是可随视频规模扩展,并为人和不同机器人提供一种共同的动作中介;代价是表示有噪声,未必精确对应某个本体的真实控制量。高深远虽然自认为是这个方向的推动者之一,却主动保留反问:如果未来高质量显式动作标签足够多,且机器人形态趋于拟人、跨本体不再是主要痛点,直接使用人手等具体动作表示可能更合适,Latent Action 不一定是永久必需的组件。

Latent Action(潜在动作)从无人工动作标签的连续视频中学习的潜在动作表示,用于给世界模型提供动作条件。它便于利用大量视频和连接不同本体,但表示有噪声,并不等价于精确机器人控制标签。
本体/跨本体(Embodiment/Cross-embodiment)本体是智能体的身体形态、动力学和控制方式;跨本体是让知识或模型适配不同身体。Latent Action 可能提供共同中介,但本体接近且有高质量显式标签时不一定需要它。
本期所说的分布外(OOD)DreamDojo 评测中的“新”以机器人训练数据为参照,指其中未见的物体和环境;嘉宾承认这些物体在人类视频中可能见过或有类似物,因此不能表述为所有训练阶段都未见。

话题推进:主持人从科幻作品和现实案例出发,讨论了“跨本体”能力的直觉合理性,引出嘉宾对Latent action作为“中间媒介”的进一步解释。

01:23:36–01:26:44跨本体能力的价值与数据标注趋势的冲突

  • 不考虑跨本体是不是痛点,它(跨本体能力)对动物和人来说似乎是一种很自然的直觉。
  • 现在打标签很便宜吗?

主持人用《冰与火之歌》中布兰进入狼或乌鸦身体的设定,以及一些失去双臂者能用脚完成精细操作的现象,说明“适应另一个身体”直觉上并非不可能。这是帮助理解跨本体的类比,不是 Latent Action 有效性的实验证据。

高深远据此把 Latent Action 描述为一个有噪声但相对居中的先验:它不精确描述任何一个本体,却可能为映射到不同动作空间提供共同起点。若训练数据已有高质量标签,而且与目标机器人差距很小,绕过这层中介更直接。主持人追问“不用标签不是能用更多视频吗”,嘉宾承认这一优势,同时指出带标签数据也在快速增长。

他设想数据采集会从实验室反复摆场、重置,转向机器人或人在实际工作中顺带记录,借助便携外设得到较精确动作标签;主持人补充合成数据也能自带标签。这是对未来数据供给的判断,尚不能据此推出标注成本已经普遍很低,或跨本体问题即将消失。

话题推进:对话自然转向了DreamDojo项目本身的数据集和硬件选择问题。

01:26:44–01:28:40DreamDojo的数据集与机器人本体选择

  • DreamDojo对应的数据集DreamDojo-HV为什么还没开源?
  • 你们这次DreamDojo用的本体是傅利叶的GR-1,在本体选择上现在是怎么考虑的?

关于 DreamDojo-HV 数据集,高深远说“会开”,但团队希望先继续做研究,可能随后续项目发布;这是当时的计划,不是已经开源的事实。主持人接着问为什么主要测试本体是傅利叶 GR-1,而不是研究机构常用的宇树 G1。

高深远两次强调,本次选 GR-1 主要因为内部已有相关数据,构建测试集更方便,并非认定它优于其他本体。一般而言,他提到研究机构会考虑故障率、易用性、社区使用情况,以及与已有跨本体数据的接近程度;若使用大量人类数据,带灵巧手的本体可能更接近人。但这些一般因素不能反过来改写成 GR-1 本次入选的实际原因。

话题推进:在讨论完硬件选择后,话题转向了DreamDojo的评测方法。

01:28:41–01:34:50DreamDojo的评测基准与泛化能力讨论

  • 你们自己做了6个benchmark,主要考察世界模型的哪些能力?
  • 评测中的“分布外”(out of distribution)数据指的是什么范围?如果一个情景连视频基座模型(Cosmos)的数据分布里都没有,它能做到吗?
  • 你们测过在人类数据里也没见过的环境吗?
  • 你们最后是用成功率来考察吗?
  • 如果直接看世界模型的反馈好不好?

主持人提到团队自建 6 个 benchmark。高深远将评价分为物理预测是否真实合理、生成结果是否跟随输入 action 两个维度,因为它们共同决定模拟能否提供有区分度的策略反馈。他回顾研发顺序:先用内部 GR-1 数据看到初步信号,再用转录为“EgoDex”的开源第一视角数据集检查更多物体上的迁移,随后扩大人类数据采集。数据集名称待回听;6 个 benchmark 的具体组成和数值没有在本期展开,不能补写。

“分布外”在这里严格指机器人训练数据未见过的新物体、新环境,而不是 Cosmos 或人类视频都未见过。主持人连续追问这一点,嘉宾明确回答测试物体至少应在 4.4 万小时人类数据中出现过,或有类似物体。因此,团队报告的是“人类视频知识迁移到机器人未见情形”,不是对所有训练数据都未见过之物理世界的零样本泛化。他还提出一个更强的个人预测:数据足够大后,许多看似分布外的问题可转为大数据覆盖内的插值。这是他的 scaling 信念,不应写成 OOD 概念已经在学界失去意义。

对反馈质量的最终检查要接回 Policy:让 Policy 提出多个动作,世界模型预测并帮助选择,比较加入世界模型前后真实任务成功率。如果模型总是选到更好的动作,说明反馈有用;若接近随机,增加它就没有收益。对话说“我们也有实验”,但未给出数值。物理真实性和动作跟随可作为研发中间指标,不能替代真实任务验收,也不能把一次候选选择实验等同于自进化循环已长期稳定训练。

话题推进:在解释完评测逻辑后,主持人询问DreamDojo的未来发展方向,引出了关于“自进化循环”的讨论。

01:34:50–01:41:36自进化循环:世界模型的终极愿景与创业公司的机会

  • 接下来准备怎么发展DreamDojo?
  • 你说的“纯做策略就可以”这一派的代表是谁?
  • 如果这条路(自进化循环)变得更主流,创业公司有多大机会参与?是不是只有大公司才能做?
  • 如果创业公司不掌握视频基座模型(如Cosmos),对效果影响大吗?
  • DreamDojo的速度会是问题吗?

谈及 DreamDojo 后续发展,高深远再次把长期目标限定为建立自进化循环:Agent 提任务并对预测世界状态中的策略表现打分,World Model 连接 Policy 的动作与 Agent 的评价。他认为只做 Policy 的一派担心世界模型更难,因为不仅要模拟成功专家动作,也要模拟其他动作;他的回应是世界模型不必完美,在部分情形有噪声也可能足以改善 Policy。这是有明确反方条件的路线判断,并没有指明某个公司或受访者,转录在此处也无法恢复其引述对象。

对于创业公司的机会,他认为数据供应商竞争、GPU 与模型效率进步会降低参与门槛,各组件也可在合理的小规模设置中验证;一个团队可先从家居等专门领域构建循环,再根据数据与模型规模的 scaling 结果决定是否扩大。他把“率先验证后仍有胜算”表述为个人判断,不是小公司成功率的证据。

主持人随即指出资源差异:不掌握 Cosmos 这类视频基座,只做人视频与机器人阶段是否会失去竞争力?高深远承认有影响,自有基座可让预训练分布偏向机器人和自动驾驶,内部基础设施也更有利于继续训练;外部团队不能及时使用最强预训练模型会产生延迟。这意味着他前面的乐观并不等于否认基础模型优势。对 DreamDojo、DreamZero 的速度,他则较乐观,因为机器人和通用视频生成都需要效率优化;这是领域共同推进的预期,不是当前延迟已满足所有真机部署的证明。

话题推进:主持人询问嘉宾博士毕业后的个人职业规划和研究重点,引向对当前阶段研究重心的思考。

01:41:36–01:45:38个人选择:在规模化时代投身工业界,推动泛化能力突破

  • 你博士毕业后的计划是什么?为什么这么选?
  • 你接下来自己想探索的具体方向是什么?

高深远确认博士毕业后将正式加入英伟达。他解释个人选择时,把学校更偏向原创探索、工业界更善于规模化已见成功迹象的路线作对照,并判断当前 AI 已有多条较成熟路线,关键资源是数据、算力、正确训练目标和目标一致的团队。他甚至说现阶段可能不再那么需要原创探索、是否需要世界模型也不是通往 Physical AGI 的唯一决定因素。这是解释其职业选择的个人强观点,与他此前支持世界模型的立场并存,不能改成整个行业已经无需原创研究。

未来一年,他仍想推动 DreamDojo 这类动作条件世界模型能实际支持什么应用,最终指向自进化循环。他认为当前主要瓶颈是各组件泛化:单任务上即使从头训练也可能把流程做通,却没有发挥语言、视频基座最值得利用的泛化能力;只有扩展到更多任务,才证明基座路线带来了额外价值。效率在他的优先级中较低,因为这是整个视频生成领域共同推动的问题。主持人最后将“策略—世界模型—评价 Agent”的循环概括为本期最清晰、也最值得期待的框架,但期待仍指向未来观察。

话题推进:主持人进行节目总结,并推荐往期相关节目。

01:45:44–01:48:15节目总结与概念梳理:自进化循环的图景

主持人在“连点成线”中推荐第 157 期具身季报和自己的 2025 年末 AI 回顾。转录将后者期数也记为 157,官方简介列为第 150 期,本稿仅据此标注差异,不猜测口播原因。她复述 DreamZero、EagleSkill、SIMA 是产生动作的策略,DreamDojo、Genie 更接近预测环境的世界模拟器;其中相关团队与产品名按主持人口播保留,未另作专名校订。

她随后把自进化循环画成三条信息边:Agent 用文本给 Policy 规划任务;Policy 用 action 驱动 World Model;World Model 的视频/图像既回到 Policy,也交给 Agent,Agent 的输出再用于优化 Policy。原口播有“评估世界模型对未来状态的策略是否准确”这一含混说法,结合官方图注和 00:35:09 的详细解释,应理解为 Agent 评价预测状态对应的策略任务表现,而非独立验证了物理预测真伪。数值或文本反馈怎样具体转成参数更新,本期没有展开。

主持人最后明确说,由于三类模型泛化不足,循环“并没有转起来”,接下来要观察它是否以及多久能够跑起来。这与嘉宾关于简单任务可能近期初步连通的预测并不完全同义:前者描述通用循环尚未实现,后者是对受限任务研究前景的判断,不能用其一替代另一层边界。

话题推进:本段为节目总结,无后续内容。

01:48:15–01:49:02连续对话 5

01:48:15–01:49:02节目结尾:对自进化循环的展望

程曼祺以“未来再看这个循环是否跑起来、多久跑起来”收尾。她说,如果自进化实现,虚拟环境可能突破物理时空限制,支持大量实验和训练;这是明确带有条件的前景展望。随后她邀请听众分享观察、疑问、主题和嘉宾建议,并介绍《晚点聊 LateTalk》和《晚点 LatePost》的关注渠道。结尾没有新增技术结论或实验结果。

话题推进:本段为节目结尾,没有引向下一段。

以上是原对话的分段阅读。下面才开始提炼论证、解释机制并给出本文自己的判断。

主要论证:观点怎样由经历与例子支撑

世界模型的核心价值是为 Policy 提供可推演的动作后果;自进化循环是这一价值的长期形态,而不是已经完成的通用能力。

高深远 · 00:26:38–00:33:42;00:34:57–00:39:23;01:35:00–01:37:57

行动前可用模拟比较候选动作;可重置的模拟环境有望提高评测效率和控制变量能力;虚拟遥操作及人工干预可生成轨迹;若模拟可靠,强化学习可利用并行算力减少真实时间和安全成本。自进化进一步要求 Agent 给任务规划与评价、Policy 自动采集数据、World Model 用新数据改善模拟,再把反馈传回 Policy。每一步都有独立误差来源。

成立条件:物理模拟与动作控制足够准,Agent 的评价与任务目标一致,反馈能实际转化为 Policy 改进,模拟中学到的行为能通过真实机器人测试。嘉宾明确说通用循环尚未转起来,2026 年只是简单任务初步连通的个人预测。

当前最优先的瓶颈是物理模拟和动作控制的泛化,长程稳定性与效率也重要但排序靠后。

高深远 · 00:43:07–00:51:48

新抹布、倒水等物理情形若模拟错误,反馈就失去意义;只学专家轨迹时,抓偏与抓对可能都生成成功,无法区分动作好坏。长程中物体被遮挡后可能从模型记忆里消失,效率则影响实时交互。嘉宾认为后两者与通用视频生成的发展方向一致,可借助整个领域进步,而泛化更直接决定动作条件世界模型的应用上限。

成立条件:这是嘉宾的研究优先级判断,不是证明长程和效率已解决,也不排除某些部署场景把延迟或记忆置于首位。若 Policy 本身无法利用反馈,仅改善 World Model 也不足以提升真实成功率。

世界模型难以统一横评,因为动作空间和观测配置都与具体硬件绑定。

高深远 · 00:51:48–00:55:28

不同机器人自由度和控制格式不同,同一本体也可能使用不同相机位置和改装。横评往往要把其他团队模型适配到自己的本体与动作空间再训练,而无法像文本模型一样直接调 API 用相同问题测试。因此,各论文常用自建 benchmark 和少数对照。

成立条件:若出现能零样本适配多种动作空间的模型,或硬件、观测接口逐渐统一,横评难度会下降。Latent Action 可能缓解动作表示问题,但不能自动统一相机观测、动力学和真实任务设置。

DreamDojo 试图通过通用视频基座、人类第一视角视频和机器人数据的分阶段训练,把人类交互知识迁移到机器人未见情形,同时支持实时交互。

高深远 · 01:12:13–01:20:47;01:28:41–01:34:50

训练从包含第三人称视频的 Cosmos 权重出发,用约 4.4 万小时人类第一视角视频继续预训练,再以机器人数据微调。嘉宾报告,不用 Cosmos 权重效果较差;加入大规模人类视频后,模型对机器人数据未覆盖的新物体、新环境表现更好,并可实时遥操作。数据量是训练最后版本时已有的全部数据,分布尚未精调。

成立条件:这些是团队自述结果,本次未复核论文或实验。分布外只相对机器人数据定义;测试物体可能在第一视角或基座训练中出现。去掉 Cosmos 权重并不构成第三人称视角的独立消融,混合视角训练和更多任务、更长时程效果仍待验证。

机制与术语:对象、输入输出和中间过程

自进化循环:预测、任务评价与数据回流

这是嘉宾提出的研究框架,不应读成已经完整部署的系统。

- 输入:任务目标、当前或历史世界状态,以及三个组件各自所需的模型能力。

- 规划与动作:Agent(例如 VLM)把任务规划以文本交给 Policy;Policy(如 VLA、DreamZero)结合观察输出 action。

- 状态预测:World Model(如 DreamDojo)接收历史状态与 action,生成未来视频。视频可作为 Policy 下一时刻的观察,也交给 Agent。

- 任务反馈:Agent 根据任务目标评价预测视频中的策略表现,输出数值或能转换为分数的文本,供后续优化 Policy。它评价的是任务行为,不是仅凭视频证明模拟符合真实物理。本期未给出具体奖励函数或参数更新算法。

- 数据回流:嘉宾设想更强的 Policy 能安全探索新场景并自动采集数据,这些数据再训练 World Model,改善物理模拟和动作控制,随后提供更可靠的策略反馈。Policy 动作分布变窄还可能缩小需要重点模拟的在线动作范围。

- 目标输出:经过模拟搜索或训练后,在真实任务上表现更好的 Policy,而不只是一个视觉上逼真的视频生成器。

- 失败边界:Agent 评价错、Policy 在新场景动作不可靠、World Model 把失败动作模拟成成功,会形成级联误差;长程记忆丢失、OOD 泛化不足、模拟到真实的差距,以及探索数据分布变窄,都可能使循环停滞或强化错误。嘉宾描述的是简单任务先初步连通,再扩展至多任务,主持人结尾仍称通用循环没有转起来。

对应节目:00:35:09–00:40:55;00:45:23–00:47:09;01:35:00–01:36:52;01:47:09–01:48:15

本文自拟示意,不是嘉宾实验

【按 00:37:57–00:38:56 的杯子讨论重述,非新增实验】Policy 提出两个候选动作。World Model 应分别预测抓准与抓偏的不同后果,Agent 按是否更接近任务目标给出有区分度的评价,反馈再用于选择或训练 Policy。如果模型把抓偏也生成为抓准,Agent 就无法从视频纠正动作。只有最终真实机器人成功率改善,才支持反馈对下游有用。

DreamDojo:分阶段训练与下游反馈验证

按嘉宾自述,DreamDojo 是可从通用预训练权重微调到具体机器人的动作条件世界模型。

- 训练输入:已有 Cosmos 视频基座权重;约 4.4 万小时人类第一视角视频及通过 Latent Action 等方式获得的动作条件;目标机器人的视频—动作数据。文本没有完整披露每一步数据配方。

- 训练过程:先继承 Cosmos 的通用视频知识,再用人类第一视角视频继续预训练,最后在目标机器人数据上微调以适配本体与动作接口。第三人称与第一视角混合训练只是未实施的后续设想。

- 推理输入/输出:历史视频与候选 action 作为输入,输出该动作条件下预测的未来视频。它本身不直接替代 Policy 产生所有机器人决策。

- 反馈链:可连接遥操作设备生成虚拟轨迹,或在 Policy 提出多个动作时预测后果并帮助选择;策略真实成功率的变化用于检验世界模型反馈是否有用。

- 团队报告:对机器人训练数据未见的物体和环境有较好迁移,并实现实时交互;也提供其他本体实验,但本期未给数值。

- 失败边界:OOD 不是相对全部训练数据定义,测试物体可能在 Cosmos 或人类视频中见过;去掉 Cosmos 权重的效果下降不能独立归因于第三人称视频。数据分布未精调,长程记忆明确不足,虚拟选择有效不等于完整自进化训练已跑通。

对应节目:01:12:13–01:23:36;01:28:41–01:34:50

本文自拟示意,不是嘉宾实验

【按嘉宾讨论的“机器人数据中没见过的抹布”重述,非新增实验】Cosmos 提供通用视频先验,人类第一视角视频补充多样物体交互,机器人微调让模型理解目标本体动作。测试若只保证机器人数据没见过抹布,而人类视频中可能见过,则结论应是跨数据源迁移,不是对完全未知物体的物理推理。

独立判断:这些对话改变了什么理解

这条自进化链最需要分别验收的是“模拟是否正确”和“评价是否有助于任务”,两者不能由一个 VLM 打分合并证明。

推理:World Model 生成视频后,Agent 可以看到一个自洽的故事并正确评价其中的动作,但这个故事仍可能不是实际动作在真实世界的后果。反过来,即使模拟完全准确,Agent 也可能误判长程任务或给出不可优化的文本。因此至少需要两类对照:同一动作在模拟与真实中的后果差异,以及同一模拟轨迹经不同评价信号后 Policy 的真实成功率变化。嘉宾把三组件泛化列为瓶颈是必要的,但还不足以确定反馈链已经闭合。

竞争解释与边界:在短程、成功条件清晰的任务上,物理真实性与任务评价可能较容易同时满足,不需要先解决通用世界模拟。这正支持嘉宾先做单任务的路线,但不能从单任务提升外推为多任务持续自进化。

“Policy 变强使动作分布变窄”既可能降低世界模型难度,也可能让世界模型更少见到纠正所需的新失败,正反馈并非天然稳定。

推理:嘉宾的论据是,世界模型只需覆盖在线 Policy 实际会提出的动作,随着动作更合理,模拟负担会下降。但训练 Policy 也需要看到错误动作的后果;若数据采集越来越集中于当前策略的熟悉行为,模型可能缺乏对罕见失误、环境变化和主动探索动作的覆盖。原对话提到收集差数据仍有用,却没有给出维持探索覆盖的机制。

竞争解释与边界:如果持续保留随机扰动、人工干预、失败轨迹及新环境采集,窄的在线分布与广的训练覆盖可以并存。是否发生退化应通过随训练轮次测量动作覆盖和 OOD 后果准确性来判断,不能预先断言循环必然崩溃。

DreamDojo 的“分布外”更准确地说是跨数据源迁移,而非对全然未知世界的泛化。这个口径不妨碍价值,但决定了证据能支持什么。

推理:嘉宾明确把 OOD 定义为机器人数据未见的物体和环境,又说测试物体大概率在人类视频中出现过或有类似物。于是实验主要支持:人类视频里的知识能否在机器人微调后保留,并服务目标本体。它没有单独检验模型面对基座与人类视频共同未覆盖的物理现象时会怎样。把这个口径说清,反而能看出下一步关键实验是拆分“物体是否见过”“本体是否见过”“动作是否见过”三个变量。

竞争解释与边界:大规模数据本来就可能通过覆盖更多实际部署情形带来实用价值,无需坚持所有测试都绝对未见。真正需要避免的是把扩大覆盖带来的收益误写成开放式物理推理已被证明。

Latent Action 的长期价值取决于显式标签成本与目标本体差异,不能只用“能利用无标签视频”判断它必然成为标准接口。

推理:Latent Action 以较低人工标注成本扩大视频利用,并可能为不同身体提供共同起点;但它有噪声。嘉宾本人指出,在工作过程中记录高质量标签越来越可行,若硬件趋近拟人,直接学习人的动作表示可能更省事。因此,真正的比较应包含每小时有效数据成本、标签精度、跨本体迁移收益,而不只是总视频小时数。

竞争解释与边界:历史无标签视频、全新本体和标签难获得的场景仍可能让 Latent Action 有优势;本期没有证明它会被显式标签取代,只是嘉宾主动保留了这个可能。

尚未解决的问题与可检验的下一步

待解问题:怎样分别验证 World Model 的物理后果准确性与 Agent 的任务评价质量,而不是只看一段看似合理的视频?

下一步信息或小实验:固定 Policy 和一组覆盖成功、抓偏、遮挡后重开等情形的动作,在相同初始状态下收集真实后果与模拟后果;先测量后果对应性,再固定模拟轨迹比较不同 Agent 评价,最后比较反馈加入前后真实任务成功率。

怎样的结果会改变判断:若模拟与真实后果对应且评价能稳定提高真实成功率,才支持这条反馈链在对应任务范围有效;若视频观感好但动作后果不对应,说明主要瓶颈仍在世界模型;若后果准确而策略不提升,则应检查评价或优化环节。

待解问题:DreamDojo 的迁移提升分别来自物体覆盖、视角、动作表示还是本体适配?

下一步信息或小实验:构造交叉测试:物体在/不在机器人数据中、在/不在第一视角人类数据中、目标本体在/不在微调数据中,并保留相同动作与观测条件;同时比较有无 Cosmos 权重、有无 Latent Action 的版本。

怎样的结果会改变判断:若提升只在人类视频覆盖的物体上显著,证据更支持数据覆盖迁移;若共同未见物体也有稳定提升,才更强地支持通用物理泛化;若换本体或相机即消失,则需收紧跨本体结论。

待解问题:自进化过程中,在线动作分布变窄会不会削弱世界模型对失败与新动作的覆盖?

下一步信息或小实验:在相同总算力下比较三种数据采集:只用当前 Policy、当前 Policy 加扰动与人工干预、额外保留历史和跨本体失败数据;逐轮记录动作多样性、模拟 OOD 动作误差及真实任务成功率。

怎样的结果会改变判断:若只用在线数据仍能扩大任务覆盖并减少错误,支持嘉宾的正反馈预测;若在线误差下降而 OOD 误差和真实失败率上升,则需要显式保持探索与失败数据。

影响理解的转录疑点

先听 00:33:43–00:43:07,按“Agent 规划与评价→Policy 出动作→World Model 生成未来→Agent 评价任务表现→反馈优化 Policy→新数据回流 World Model”分清每条边,并留意嘉宾把 2026 年限定为简单任务初步连通。再听 00:43:07–00:50:24,理解失败动作被模拟成成功、遮挡后物体记忆丢失这两类具体失败。研究 DreamDojo 时重点听 01:12:13–01:23:36 与 01:28:41–01:34:50:前者交代 Cosmos、人类第一视角和机器人数据的三阶段关系及 Latent Action,后者限定“分布外只相对机器人数据”与真实 Policy 成功率的验收口径。想保留嘉宾自己仍未确定的判断,可补听 01:23:36–01:26:44 对显式标签增长与 Latent Action 必要性的反问。

证据边界与资料索引

本页依据整期机器转录、官方节目介绍与章节逐段重建,未宣称逐字人工听审。说话人、专名、数字和时间可能存在识别误差;原声仍是最终核对依据。嘉宾关于公司、市场、研究、个人经历与未来的说法按口述保留,不自动等于独立核验的事实。

原节目:165: GEAR 高深远:世界模型、自进化循环、DreamDojo

本页使用的公开文字或字幕来源

返回顶部