学术起点
计算机视觉从 passive perception 走向主动观察与行动,导航成为最早的闭环任务。
王鹤用一条个人学术路径解释了具身智能为何会兴起:计算机视觉从被动感知走向 perception–action loop,传统机器人控制、三维视觉、强化学习和大模型逐步汇流。但资本放大叙事之后,行业必须回到一个更硬的产品定义——生产力即产品。机器人能否在真实场景稳定工作、跨店跨物体泛化、长期运营并形成万台级规模,才决定这条路线有没有未来。
访谈最清晰的分界线是:具身智能不是把语言模型装进一个人形外壳,而是一个在身体和环境中形成闭环、并最终承担真实工作后果的系统。王鹤把智能定义为在环境变化中做出反应、达成目标的能力;语言是人类智能的一次跃迁,却不是所有智能的本质。这个定义同时解释了学术史、数据争论、硬件选择和资本泡沫。
计算机视觉从 passive perception 走向主动观察与行动,导航成为最早的闭环任务。
硬件与软件是螺旋上升;先用相对成熟本体形成可复制方案,再扩展技能库。
生产力不是 demo,不是遥操作视频,而是单位时间和持续运行都不输人的工作。
| 时间 | 章节 | 核心问题 |
|---|---|---|
| 00:00–00:03 | 开场与自问自答 | 具身为什么从小众研究走向资本中心? |
| 00:03–00:25 | 语言、视觉与智能 | 语言是智能本质吗?视觉为何先于语言进入物理世界? |
| 00:25–00:41 | 学术边缘史 | 导航、操作、Robot Learning 和 Embodied AI 如何汇流? |
| 00:41–01:25 | 学术之路 | 从人类视频、物体位姿到合成数据,哪些研究问题延续至今? |
| 01:25–01:44 | 软硬件螺旋 | 为什么不先押注最激进的人形硬件? |
| 01:44–01:55 | 要避免的泥潭 | 如何从项目制交付走向跨场景复制? |
| 01:55–02:13 | 生产力即产品 | 真实数据、合成数据和商业化如何形成飞轮? |
| 02:13–02:38 | 资本、未来与快问快答 | 怎样公开展示、量产验证并避免行业招牌被砸? |
王鹤把具身智能的兴起放在计算机视觉内部理解。ImageNet、识别和分割让视觉长期停留在互联网数据中的被动判断:给一张图,回答“这是猫”。具身研究改变问题:智能体主动移动、观察、行动,环境再改变,新的观测又回来。导航任务之所以成为早期入口,是因为它以较低风险构成了最小闭环;操作和抓取后来把物体状态、接触和因果引入其中。
传统机器人并没有消失。机械工程、控制、嵌入式和规划研究一直在解决硬件、稳定性和执行;只是它们通常把输入看作关节角、IMU 和本体状态,而计算机视觉学者把视觉、环境和行为闭环带进了同一叙事。Embodied AI 更像一个跨学科的聚合标签,而不是突然诞生的新科学定律。
这条历史也解释了为什么“语言不是智能本质”不是反语言宣言。视觉和身体提供感知与反馈,语言把经验压缩成可传播、可规划的抽象序列;人类智能的跃迁来自二者和劳动、工具、社会协作的共同演化。
王鹤回忆的第一个项目从人类视频学习多步物体交互:系统要识别物体状态、动作顺序以及动作对环境的改变,再用时序模型生成动画或一个简单的“智能杯子”演示。它的核心不是动作分类,而是学习 state → action → changed state 的因果链。今天的 world model、VLA 和长程操作仍在追问相同问题。
第二个项目是类别级物体位姿估计。与其为每一个马克杯采集完整标注,不如用真实背景和虚拟前景构成 mixed-reality 数据,让模型学习“这一类物体的正常姿态”和泛化到未见实例。这个工作把数据稀缺变成研究对象:当现实无法覆盖所有物体,合成数据可以先提供结构化标签,再由真实测试校准迁移。
| 项目 | 抽象问题 | 今天的对应物 | 仍未解决的部分 |
|---|---|---|---|
| 人类视频交互 | 动作如何改变状态,下一步何时可行 | 世界模型、长程 VLA、行为生成 | 真实接触、动作标签与长期稳定性 |
| 类别级位姿 | 如何从少量标注泛化到无限实例 | 合成数据、Sim2Real、开放词汇抓取 | 材质、遮挡、柔性与多本体适配 |
王鹤拒绝把最先进的腿、减速器和人形结构当作创业前提。银河通用选择轮式底盘、双臂和已经量产或验证过的部件,先在无人药店、零售和工厂的移动抓取放置中形成生产力。理由很现实:任何一个未经过大规模量产的零部件都可能带来良率、一致性、维修和耐用性问题,硬件故障会直接拖累模型迭代和客户交付。
这不是反对人形,而是把本体选择放进场景约束。工厂和仓储不需要机器人钻进床底,轮式平台可能更可靠;家庭需要的自由度和空间适应性则不同。软件只有在本体能稳定运行时才有训练意义,本体只有在软件能覆盖任务时才有商业价值,因此两者是螺旋上升,而不是谁先谁后的线性关系。
允许快速换硬件、试验新策略,目标是知识发现。
强调续航、维修、稳定、节拍和长期运行,目标是生产力。
需要更高自由度和空间适应,不能由工业 demo 直接推导。
王鹤提出一个尖锐的成本账:一万台人形机器人若用于遥操作采集,需要巨额制造、操作、标注和维护成本;在硬件尚未稳定、没有大规模收入之前,全靠真实数据并不现实。因此银河通用把真实训练数据比例压到很低,主要依靠自研合成数据管线,再用少量真实数据和强化学习修正错误。
他的反驳有两个层次。第一,仿真已经在腿部行走、跳跃和跑步的 RL 中证明了价值;不能因为视觉渲染有 gap,就把整个 simulator 判为无效。第二,VLM 本身已从真实照片、动画和电影中学习,不会把“非相机拍摄”自动视为不可理解。关键是物理 gap:抓取柔性、可压缩、断裂和多点接触物体时,仿真仍可能不够准确,因此应按可解决的应用边界选择任务。
王鹤把机器人产品分成科研平台和生产力平台。科研平台可以卖给研究者开发,但行业真正健康的产品必须在单位时间里完成与人相当的工作,且能持续运行、跨店跨品牌、跨物体和跨场景。一个只在展厅里完成五分钟动作的机器人,不等于一个每天工作二十小时的员工。
因此第一代产品不必“什么都会”。移动、抓取、放置等原子技能如果能在 7-11、药店、工厂和不同货架中泛化,就足以构成可批量复制的 solution。相反,两种商业泥潭都要避免:一种是技能很多却每个都靠人工编排、只能拍 demo;另一种是每换一家客户就从头开发,收入增长依赖无限人力,无法降低交付边际成本。
| 状态 | 看起来像进展 | 真正要测的分母 |
|---|---|---|
| 展示成功 | 视频、展会、单次任务 | 是否无遥操作、连续运行、失败可恢复 |
| 部署成功 | 进入工厂或门店 | 每天完成多少量、维修频率、人工兜底 |
| 产品成功 | 客户愿意采购 | 跨场景复制、单位经济、复购与规模 |
| 行业成功 | 资本和估值上升 | 万台级生产力、长期信任、社会收益 |
王鹤对 Figure 等公司的评价并非简单否定。他承认,如果人形机器人真的能在产线稳定工作,长期价值可能极大;问题是当下很多公司公开展示的数量、连续运行和真实生产力并未充分披露。国内外都可能出现遥操作未声明、把战略合作写成部署、把一次性 demo 当成常态运营的情况。
他给出的行业伦理很具体:公开展示应禁止隐蔽遥操作;进入工厂后要有长期运行报告;几万个观众面前的动作,必须能说明是否由人操控、每天完成多少量、发生故障谁来修。这个要求不只关乎投资人,也关乎行业的信用。一旦夸大的承诺让公众认为“踩一下就能训练出员工”,真正做长期研发的公司会一起失去信任。
王鹤把五年万台级应用视为行业生死线,背后是老龄化、少子化和制造业劳动力缺口。这个社会需求是真实的,但需求存在不等于技术已经准备好。机器人如果比人慢、工作时间短、维修频繁或人工兜底成本更高,就不是优质生产力。
家庭机器人也应分层讨论:轻家务、陪伴和娱乐可能先出现,重清洁、复杂柔性接触和全屋通用会更晚。时间预测的价值在于设定里程碑,不在于提供确定日期。最稳健的路线是从可复制的商用应用出发,把真实运行带来的数据和收入再投入更广的技能与本体。
王鹤的学术经历、公司实践和行业批评提供了高密度一手判断,但融资、估值、市场规模、国内外公司能力和五年预测仍是嘉宾口径。公开论文能核对 Habitat、domain randomization、Open X-Embodiment 和 π₀ 的研究方向,不能证明任何单家公司已经实现万台级生产力。
本文以 #106 的连续逐句材料和章节为主,保留王鹤对学术史、公司实践、数据比例、生产力和行业乱象的叙述;其中公司的出货、训练数据、客户运营、估值与时间预测属于嘉宾或公司口径,不作为独立审计事实。公开研究资料用于核对相关研究脉络与技术定义。
证据层次:节目入口与逐句材料 → 一手论文/官方资料 → 本文机制与可证伪推论。节目讨论的行业、公司和技术会变化,未来复盘应优先补充连续运营数据。