一、模型族的意义:把“机器人智能”拆成不同时间尺度
访谈里所谓“六个模型”最容易被听成产品清单,但它更像一个时间尺度分解。视觉和深度回答“现在空间里有什么”;VLA 回答“在任务条件下应该怎么动”;视频与世界模型回答“如果这样动,接下来会发生什么”;VA 则把视频预测和动作控制放进一个能实时循环的接口。这个拆分的价值不在于模型数量,而在于避免让一个损失函数同时承担语义、几何、动力学和动作执行。
| 层 | 它要解决什么 | 为什么不能直接用语言模型替代 | 目前的证据 |
| Vision | 物体、场景与语义关系。 | 纯视觉感知需要对像素与局部结构稳定,不必先经过语言离散化。 | 节目以玻璃、门、猫和水流等例子说明语义识别与空间判断的差异。 |
| Depth | 距离、几何、遮挡和可操作空间。 | “看见一个物体”与“知道手该移到哪里”不是同一类表示。 | 官方 LingBot-Depth 说明其目标是把不完整、带噪的深度传感器数据恢复成度量级 3D 信息。 |
| VLA | 视觉、语言条件与动作序列之间的映射。 | 动作空间、控制频率与本体差异决定输出格式,不能只把动作当文本 token。 | 官方 VLA 2.0 材料公开了约 6 万小时预训练数据、20 种机器人配置和扩展动作空间。 |
| Video / World | 预测物理世界怎样随时间变化。 | 物理过程是因果、单向、实时的;普通视频生成的视觉逼真不等于可控制的动力学。 | 官方 LingBot-VA 2.0 论文明确采用从头因果预训练、稀疏 MoE 与异步闭环推理。 |
| VA | 将未来观察预测与动作执行放进同一循环。 | 如果预测和动作互不相干,模型无法在新观测到来后及时重定位。 | 公开代码把未来 latent 预测与动作执行并行,并在每次 rollout 依据最新观测重新锚定。 |
这里有一个重要的反直觉:模型族越专门,系统接口越重要。视觉、深度、视频和动作模型之间如果没有共同的时间戳、坐标系、动作规范与评价协议,就只会得到一组彼此都很强、合起来却不稳定的模块。所谓“原生”因此不仅是模型内部的设计,也包括数据格式和运行时接口。
二、数据规模化:60,000 小时只是起点,不是胜负手
节目给出的量级判断非常有价值,但必须拆成两层看。采访中谈到当前大约 6 万小时的机器人与第一视角数据,理想方向是继续走到 10 万小时乃至百万小时;官方 VLA 2.0 公开材料也给出了约 6 万小时、其中约 5 万小时机器人轨迹、约 1 万小时人类第一视角视频的组成。这证明团队确实把数据工程当成核心工作,但不等于已经证明“小时数增加就会线性转化为泛化”。
机器人数据与互联网文本的差别,不只是总量小两个数量级。文本天然可以被复制、切分、索引和批量重放;机器人轨迹带着本体、相机、控制频率、动作延迟、接触状态、任务起止和失败原因。两段都叫“把杯子放到桌上”的数据,可能因为手臂长度、夹爪、摩擦、相机位置和桌面材质不同而没有相同的可迁移价值。
数量轴
从 6 万小时走向更大规模,解决的是覆盖面与长尾;但如果采集协议不统一,规模会把不可比性一起放大。
质量轴
高质量纠错、失败与恢复轨迹能告诉模型“为什么刚才不对”,往往比更多成功短片更有训练价值。
本体轴
跨 20 种配置是重要信号,但“配置数”不等于跨本体泛化;要看留出本体、留出任务和真实部署。
后训练轴
如果一个新任务仍需要大量人工示范,预训练规模没有转成低成本适配;后训练样本数和失败诊断应单独记账。
访谈中提到,某些任务过去需要约 100 个样本,后来可以压到约 20 个;这类数字应该当作团队经验,而不是可直接外推的 benchmark。更严谨的记录方式是同时给出任务定义、样本是否包含失败、是否换过本体、人工筛选成本、成功率、恢复率与对未见环境的迁移。机器人数据的真正计量单位,最终可能不是“小时”,而是被评价器确认有效、可被另一种环境复用的行为干预。
三、大脑与身体:智能不是把模型装进一个身体
沈宇军把当前状态描述为“脑子落后于身体”:机器人硬件已经能完成很多专门动作,但还缺少能跨任务、跨场景、跨本体迁移的统一智能。这里不能简单地得出“再做一个更大的脑模型”这个结论,因为身体和传感器也会改变可学习问题的形状。
例如,触觉是否必要,不只取决于触觉传感器本身好不好,而取决于模型的时延、接触动力学、控制频率和任务评价是否能消费这类信息。相机、深度、力觉和本体结构是共同进化的:模型如果学会了更细的空间关系,就会重新定义传感器的成本—收益边界;传感器如果提供了新信号,模型的动作接口也要随之调整。
一个可操作的系统定义语言模型负责“我想要什么”,具身模型负责“在这个身体和这个环境里怎样做到”,评价器负责“这次做到得是否足够好”,数据系统负责“下一次为什么能更好”。四者缺一,系统就会把问题推回人工。
这也解释了为什么“人形”不是智能的同义词。人形身体可以扩大任务范围、方便人类环境兼容,但它同时引入更多自由度、碰撞风险和控制负担。如果智能瓶颈仍在数据和评价,先换成更复杂的身体可能只会增加尾部失败;身体选择应由任务覆盖、数据可得性、维护成本和安全要求共同决定。
四、从蚂蚁研究到独立团队:公司化是在买“持续实验的时间”
节目谈到从蚂蚁内部研究转向灵波的独立创业式团队,核心并不是“离开大公司才有创新”。更准确的理解是:当研究问题需要快速换假设、连续招募小团队、长期采集数据并拥有独立产品出口时,组织是否能给研究留下连续时间,开始变成技术变量。
访谈对汤晓鸥的回忆,则提供了一种研究领导力画像:能迅速抓住主要矛盾、把复杂问题压缩成可行动的判断。这样的组织文化与具身智能很匹配,因为机器人项目容易被局部 demo、硬件细节或模型榜单带偏,需要有人不断追问“哪个环节才是系统瓶颈”。
但独立组织也承担新的风险:资源自由度提高,外部校验可能下降;团队可以更快发布,也更容易把内部经验写成行业事实。因此“研究型创业”的第一条治理规则应是把数据、失败和边界写进公开材料,而不是只公开最好的演示。
| 组织承诺 | 它真正需要兑现的东西 | 可观察指标 |
| 独立研究 | 允许改变问题定义,而不是只完成既定 roadmap。 | 假设变更记录、失败实验比例、停止无效路线的时间。 |
| 数据联盟 | 共享的不只是视频,还包括动作协议、失败标签和评价工具。 | 跨团队可复现率、数据清洗成本、留出本体性能。 |
| 开发者传播 | 让外部团队可以理解模型的输入、动作空间和失败边界。 | 外部复现、问题反馈闭环、版本兼容与回归测试。 |
| 创业出口 | 把模型能力接到真实任务,但不以短期订单替代长期泛化。 | 客户任务成功率、人工接管、部署时长、维护成本和回滚。 |