架构问题
模型是否直接学习物理世界的时间因果与动作后果,而不是把机器人视频当作普通视频生成。
#147 不是一场“机器人要不要用大语言模型”的站队辩论。沈宇军把 LingBot 的路线拆成感知、深度、视频、世界模型、VLA 与动作执行等相互配合的模型族,并把问题推到更难的位置:当架构已经开始为物理世界改写之后,数据是否能持续扩大、任务是否能跨本体迁移、失败是否能被诊断,才决定“具身原生”是不是一条可复制的工程路线。
这期最值得保留的判断,是把“具身原生”从一个产品标签还原成一组训练约束。机器人看到的不是静态图片,行动也不是文本生成的附属品:它必须在有限延迟内,从带噪的视觉和深度输入中恢复空间关系,预测动作之后的状态变化,并在现实反馈回来时重新校正。于是,模型的时间因果、空间表征、动作空间、数据采集和评价方式都不能照搬纯数字内容模型。
但这不等于语言模型会从机器人系统里消失。更准确的分工是:语言可以负责用户意图、任务描述和高层接口;具身模型负责把意图映射到可执行的感知—预测—动作闭环。真正发生变化的不是“语言有没有参与”,而是语言不再被默认当作所有中间状态的唯一坐标系。
模型是否直接学习物理世界的时间因果与动作后果,而不是把机器人视频当作普通视频生成。
数据能否从几十万小时的人工与遥操作堆积,变成质量可控、跨本体、可诊断的行为数据资产。
任务成功、迁移、恢复和真实成本是否长期稳定;一次 demo 不能替代这个答案。
| 时间 | 节目内容 | 分析重点 |
|---|---|---|
| 00:00–16:03 | 从商汤、字节与蚂蚁的研究经历,转到灵波的创业式研究团队。 | 研究组织从大机构迁移到小团队,不代表问题变简单,而是把资源约束和决策速度暴露出来。 |
| 16:03–1:07:29 | “原生大脑”与视觉、深度、VLA、视频/世界模型、VA 的模型族。 | 机器人智能被拆成互相约束的专门能力,而不是一个万能模型的单点升级。 |
| 1:07:29–1:23:10 | 机器人数据的数量、质量、EGO、遥操作、泛化与后训练。 | 真正的 scale up 不是把互联网 token 换成机器人小时数,而是让数据产生可复用的行为梯度。 |
| 1:23:10–1:31:48 | 大脑和本体、传感器、身体的共同演化。 | 身体不是模型的被动外壳;传感器和动作接口会反过来定义可学的表示。 |
| 1:31:48–1:52:54 | 蚂蚁、汤晓鸥、具身原生、数据联盟与创业选择。 | 公司化的目的不是给技术故事加融资,而是提供持续的算力、人才、数据与交付组织。 |
访谈里所谓“六个模型”最容易被听成产品清单,但它更像一个时间尺度分解。视觉和深度回答“现在空间里有什么”;VLA 回答“在任务条件下应该怎么动”;视频与世界模型回答“如果这样动,接下来会发生什么”;VA 则把视频预测和动作控制放进一个能实时循环的接口。这个拆分的价值不在于模型数量,而在于避免让一个损失函数同时承担语义、几何、动力学和动作执行。
| 层 | 它要解决什么 | 为什么不能直接用语言模型替代 | 目前的证据 |
|---|---|---|---|
| Vision | 物体、场景与语义关系。 | 纯视觉感知需要对像素与局部结构稳定,不必先经过语言离散化。 | 节目以玻璃、门、猫和水流等例子说明语义识别与空间判断的差异。 |
| Depth | 距离、几何、遮挡和可操作空间。 | “看见一个物体”与“知道手该移到哪里”不是同一类表示。 | 官方 LingBot-Depth 说明其目标是把不完整、带噪的深度传感器数据恢复成度量级 3D 信息。 |
| VLA | 视觉、语言条件与动作序列之间的映射。 | 动作空间、控制频率与本体差异决定输出格式,不能只把动作当文本 token。 | 官方 VLA 2.0 材料公开了约 6 万小时预训练数据、20 种机器人配置和扩展动作空间。 |
| Video / World | 预测物理世界怎样随时间变化。 | 物理过程是因果、单向、实时的;普通视频生成的视觉逼真不等于可控制的动力学。 | 官方 LingBot-VA 2.0 论文明确采用从头因果预训练、稀疏 MoE 与异步闭环推理。 |
| VA | 将未来观察预测与动作执行放进同一循环。 | 如果预测和动作互不相干,模型无法在新观测到来后及时重定位。 | 公开代码把未来 latent 预测与动作执行并行,并在每次 rollout 依据最新观测重新锚定。 |
这里有一个重要的反直觉:模型族越专门,系统接口越重要。视觉、深度、视频和动作模型之间如果没有共同的时间戳、坐标系、动作规范与评价协议,就只会得到一组彼此都很强、合起来却不稳定的模块。所谓“原生”因此不仅是模型内部的设计,也包括数据格式和运行时接口。
节目给出的量级判断非常有价值,但必须拆成两层看。采访中谈到当前大约 6 万小时的机器人与第一视角数据,理想方向是继续走到 10 万小时乃至百万小时;官方 VLA 2.0 公开材料也给出了约 6 万小时、其中约 5 万小时机器人轨迹、约 1 万小时人类第一视角视频的组成。这证明团队确实把数据工程当成核心工作,但不等于已经证明“小时数增加就会线性转化为泛化”。
机器人数据与互联网文本的差别,不只是总量小两个数量级。文本天然可以被复制、切分、索引和批量重放;机器人轨迹带着本体、相机、控制频率、动作延迟、接触状态、任务起止和失败原因。两段都叫“把杯子放到桌上”的数据,可能因为手臂长度、夹爪、摩擦、相机位置和桌面材质不同而没有相同的可迁移价值。
从 6 万小时走向更大规模,解决的是覆盖面与长尾;但如果采集协议不统一,规模会把不可比性一起放大。
高质量纠错、失败与恢复轨迹能告诉模型“为什么刚才不对”,往往比更多成功短片更有训练价值。
跨 20 种配置是重要信号,但“配置数”不等于跨本体泛化;要看留出本体、留出任务和真实部署。
如果一个新任务仍需要大量人工示范,预训练规模没有转成低成本适配;后训练样本数和失败诊断应单独记账。
访谈中提到,某些任务过去需要约 100 个样本,后来可以压到约 20 个;这类数字应该当作团队经验,而不是可直接外推的 benchmark。更严谨的记录方式是同时给出任务定义、样本是否包含失败、是否换过本体、人工筛选成本、成功率、恢复率与对未见环境的迁移。机器人数据的真正计量单位,最终可能不是“小时”,而是被评价器确认有效、可被另一种环境复用的行为干预。
沈宇军把当前状态描述为“脑子落后于身体”:机器人硬件已经能完成很多专门动作,但还缺少能跨任务、跨场景、跨本体迁移的统一智能。这里不能简单地得出“再做一个更大的脑模型”这个结论,因为身体和传感器也会改变可学习问题的形状。
例如,触觉是否必要,不只取决于触觉传感器本身好不好,而取决于模型的时延、接触动力学、控制频率和任务评价是否能消费这类信息。相机、深度、力觉和本体结构是共同进化的:模型如果学会了更细的空间关系,就会重新定义传感器的成本—收益边界;传感器如果提供了新信号,模型的动作接口也要随之调整。
这也解释了为什么“人形”不是智能的同义词。人形身体可以扩大任务范围、方便人类环境兼容,但它同时引入更多自由度、碰撞风险和控制负担。如果智能瓶颈仍在数据和评价,先换成更复杂的身体可能只会增加尾部失败;身体选择应由任务覆盖、数据可得性、维护成本和安全要求共同决定。
节目谈到从蚂蚁内部研究转向灵波的独立创业式团队,核心并不是“离开大公司才有创新”。更准确的理解是:当研究问题需要快速换假设、连续招募小团队、长期采集数据并拥有独立产品出口时,组织是否能给研究留下连续时间,开始变成技术变量。
访谈对汤晓鸥的回忆,则提供了一种研究领导力画像:能迅速抓住主要矛盾、把复杂问题压缩成可行动的判断。这样的组织文化与具身智能很匹配,因为机器人项目容易被局部 demo、硬件细节或模型榜单带偏,需要有人不断追问“哪个环节才是系统瓶颈”。
但独立组织也承担新的风险:资源自由度提高,外部校验可能下降;团队可以更快发布,也更容易把内部经验写成行业事实。因此“研究型创业”的第一条治理规则应是把数据、失败和边界写进公开材料,而不是只公开最好的演示。
| 组织承诺 | 它真正需要兑现的东西 | 可观察指标 |
|---|---|---|
| 独立研究 | 允许改变问题定义,而不是只完成既定 roadmap。 | 假设变更记录、失败实验比例、停止无效路线的时间。 |
| 数据联盟 | 共享的不只是视频,还包括动作协议、失败标签和评价工具。 | 跨团队可复现率、数据清洗成本、留出本体性能。 |
| 开发者传播 | 让外部团队可以理解模型的输入、动作空间和失败边界。 | 外部复现、问题反馈闭环、版本兼容与回归测试。 |
| 创业出口 | 把模型能力接到真实任务,但不以短期订单替代长期泛化。 | 客户任务成功率、人工接管、部署时长、维护成本和回滚。 |
| 主张 | 证据层级 | 当前能说到哪一步 | 不能偷换成什么 |
|---|---|---|---|
| LingBot-VLA 2.0 使用约 6 万小时预训练数据,覆盖 20 种机器人配置。 | 团队论文与代码仓库公开。 | 可以作为团队公开的训练配方与研究范围。 | 不能直接等同于跨 20 种本体的统一真实世界泛化。 |
| 具身视频动作模型应从物理因果、动作与实时闭环出发。 | 访谈判断,且被 LingBot-VA 2.0 论文的设计原则部分支持。 | 是有明确工程含义的路线假设。 | 不能仅凭架构描述就证明优于所有通用视频模型。 |
| 任务后训练样本可以从约 100 个降到约 20 个。 | 嘉宾口述经验。 | 可以作为值得复测的效率线索。 | 不能当作跨任务、跨本体的普遍定律。 |
| 机器人数据仍远小于互联网数据,下一步要走向十万乃至百万小时。 | 嘉宾判断与行业常识方向一致。 | 可以说明数据规模是瓶颈。 | 不能说明更多未筛选数据必然带来更高成功率。 |
| 具身原生路线会成为机器人基础模型的主流。 | 前瞻性判断。 | 可作为待验证的技术押注。 | 不能当作行业共识或商业结果。 |
这张表的意义,是把“团队已经发布了什么”和“团队相信未来会发生什么”分开。官方仓库能证明代码、数据组成和评测协议存在;它不能自动证明所有真实世界性能。访谈能提供技术决策的内部理由;它不能替代外部复现。两者合起来,才足以形成可跟踪的研究假设。
LingBot 这一批公开材料已经把具身模型从“把语言模型接到机械臂”推进到了更具体的系统设计:语义与几何分离、视频与动作联合、因果预训练、稀疏 MoE、异步推理、跨本体动作空间和任务后训练。这些都是实质进展。
但技术路线的下一道门槛恰好不在发布模型,而在回答四个诊断问题:一次失败是视觉错了、深度错了、世界预测错了、动作接口错了,还是评价器错了?一个任务在新本体上失败,是数据覆盖不足、动作归一化不对,还是控制频率不匹配?一个短 demo 提升,是否会在长时序和异常恢复中消失?如果模型更新后表现变好,成本和人工接管是否也变好?
如果团队能把这些问题做成公开、可复现、可回滚的评价系统,具身原生就不仅是架构路线,而会变成数据与组织的复利。反过来,如果未来仍只能用总小时数、单次成功率和精选视频回答问题,那么“原生”最终可能只是更精致的模型发布方式。
本文以 #147 视频访谈为叙事主线,用公开文字材料校对时间段,并以团队论文、代码仓库与机构页面核验可外部检查的事实。访谈中的团队内部数字、未来计划、竞争判断和个人回忆仍按“嘉宾口径”处理;官方仓库中的性能和数据数字按“团队自报”处理,未改写成独立实验结论。
转录边界:#147 的公开视频时长与公开音频版本一致;本页只保留结构化分析,不复刻完整逐字稿。时间戳用于定位节目段落,文字表述以事实核验后的概念为准,不将机器或口语转写中的同音错误当作专名事实。