Tech Analysis · Robot Data & Simulation

谢晨访谈深读:机器人数据的终局不是数据集,而是评价环境

这期访谈最重要的命题不是“真实数据还是仿真数据”,而是数据产品的计量单位正在改变:从一个样本、一小时轨迹,变成一次能被评价器确认有效的行为干预。仿真的近期价值首先是可复现实验;只有证明仿真与真实的失败排序相关,合成规模才不是幻觉。

完整覆盖 #134 访谈 · 约 2 小时 37 分钟 · 对商业利益与技术主张做对称审计

核心判断:评价是数据闭环的控制面

谢晨把数据描述为学习信号与经验转移媒介,而不是静态文件。这一定义一旦成立,数据公司的核心产品就不再是“交付多少小时”,而是识别模型哪里失败、设计下一轮任务、生成或采集有信息量的经验、验证行为是否改善,并将结果再次反馈给模型。

旧单位

图片张数、文本 token、轨迹小时、标注条数;容易采购和结算,却不直接代表模型增益。

新单位

一次可归因的能力改变:覆盖了哪类失败、成功率提高多少、真实部署风险下降多少。

控制面

评价器决定哪些失败值得采集、课程难度如何升级、何时停止训练、结果能否部署。

因此,“可规模化评价”比“更多原始数据”更接近当前具身智能的瓶颈。没有稳定评价,数据再多也无法区分有效经验、重复噪声与被 benchmark 诱导的捷径。

完整内容地图

时间段访谈内容需要追问
00:00–00:24北大物理、哥大量化金融、Jet.com、Cruise、NVIDIA、蔚来与光轮;数据作为经验转移。个人履历如何塑造“先评价、再生成”的仿真观。
00:24–00:41预训练/后训练、自动驾驶 shadow mode、数字 agent 在线反馈、机器人评价困境。为什么机器人缺的不是单一种数据,而是低成本反事实。
00:41–00:56ImageNet→Scale→专家后训练→系统中心数据引擎的四阶段。阶段是否替代,价值和决策权转移到哪里。
00:56–01:16World Model、VLA、LLM 共生;大脑/数据/身体/场景四类公司。身体无关数据是否真的意味着身体与大脑解耦。
01:16–01:37真实数据阵营、仿真定义、world model 与 physics simulator。如何对真实数据商和仿真商的利益叙事做对称审计。
01:37–01:55真实机器人—仿真—人类视频数据金字塔,real-to-sim 与 sim-to-real。三层之间用什么指标校准,而不是只讨论占比。
01:55–02:25Generalist、BEHAVIOR、数据价格/质量与光轮 Data Engine。具体数字哪些可核,质量应该如何按模型增益定价。
02:25–结尾数据/模型共同迭代、产业格局、physical AI/world model 定义与环境终局。数据公司最终卖文件、工具,还是持续运行的训练环境。

为什么他把仿真首先理解为评价

谢晨自述从北京大学物理、哥伦比亚大学量化金融博士,进入 Jet.com 做动态定价,再到 Cruise、NVIDIA 与蔚来做仿真,2023 年与杨海波创办光轮智能。按他的回忆,2018 年进入 Cruise 时仿真更接近 demo 工具,直接加入合成数据甚至可能伤害模型;团队需要先回答“什么是好仿真、怎样判断模型真的变好”。

这段个人经历不能替代 Cruise 的正式技术史,却解释了他的路线偏好:生成不是目标,能否比较、复现和干预才是。视频看起来真实,不代表对策略有用;物理引擎数值准确,也不代表覆盖了部署失败。

数据产业四阶段:从样本供给到系统反馈

  1. 静态数据集:ImageNet 式任务定义和共同样本,让研究者在同一目标上比较。
  2. 工业化数据工厂:Scale AI 式流程把采集、标注、质检和交付标准化。
  3. 专家反馈/教学:后训练需要专业判断、错误纠正和领域知识,单位样本更贵。
  4. 系统中心数据引擎:采集与评价围绕模型失败自动循环,模型而不是人力工单成为生产中心。

这不是整齐的历史替代:低层标注与真实采集不会消失。变化在于利润和决策权逐渐转移到能定义评价、生成课程并证明改进的人。拥有最大数据仓库未必掌握闭环;掌握“下一条最值得采什么”才可能掌握方向。

纠错轨迹为什么比完美示范更丰富

访谈强调失败—纠正—成功轨迹:完美示范只告诉机器人一条可行路径,纠错还暴露失败边界、恢复策略和动作后果。这个思想与后训练中的偏好、批评和环境反馈相通。

但“失败数据更有价值”不是无条件真理。若没有标注失败原因、开始恢复的状态、哪些动作真正修复问题、最终结果和安全边界,随机失败会给策略注入错误相关性。高价值纠错数据至少需要因果结构,而不是把摔杯子、卡住和人工救援一并录下。

更好的数据 schema正常意图 → 首次动作 → 失败征兆 → 可观测原因 → 恢复动作 → 是否恢复 → 人工介入 → 结果与代价。只有这样,模型才能学“何时纠错、如何纠错”,而不只是模仿失败。

为什么自动驾驶和数字 Agent 更容易得到反馈

谢晨比较三类系统:自动驾驶可以用 shadow mode 在真实道路上并行运行候选策略,不接管车辆也能回放和比较;数字 agent 天然在软件环境中行动,可获得成功/失败、测试或用户反馈;机器人既缺海量部署,也缺可廉价复制的环境。

这使仿真最可靠的近期价值落在评价:固定初始状态、重复长尾、改变单一变量、测试危险情况、比较多个策略。合成预训练数据是否有用取决于分布和模型;可重复评价即使不能完全替代真实,也能显著提高实验信息量。

评价器不是终点分数。它还应生成课程:聚类失败、挑选下一批场景、调整难度、决定真实采集资源投向哪里。评价因此成为闭环的控制面。

什么才算仿真:可控、可复现、物理有根据

谢晨拒绝把普通视频生成器直接叫仿真。他的严格标准包括:结果受到物理约束;同一条件能够复现;动作可以改变后续状态;系统支持反事实比较。world model 可以学习复杂残差和未知动力学,传统物理仿真提供显式结构、约束和可解释参数,两者可以共演,而非二选一。

这个定义很重要,因为视觉逼真度极易误导。一个画面完美的视频若无法保持物体状态、接触关系和动作因果,对策略评价几乎没有意义;一个视觉朴素但动力学排序正确的环境,反而可能更有用。

最关键的验证不是问“像不像真实”,而是问:同一组策略在仿真中的优劣顺序、失败类型和改进方向,能否在真实机器人上复现。应报告排名相关性、关键失败召回率和仿真校准随时间的漂移。

数据金字塔:占比不是重点,校准回路才是

真实机器人
成本最高,负责现实校准与最终验证
仿真环境
可控实验、压力测试、课程生成与反事实
互联网 / 人类第一视角
低成本扩展对象、场景与行为覆盖

谢晨把每层又分为主动、被动与自动获取,并强调 real-to-sim 把真实失败搬进仿真、sim-to-real 把训练或测试结果带回真实。真正的中心不是仿真占 60% 还是 80%,而是三层如何互相纠偏:底层扩覆盖,中层做实验,顶层判真伪。

“身体无关”数据能扩大预训练覆盖,却不能推出本体无关。动作空间、延迟、动力学、标定、触觉、末端执行器和安全边界仍要求身体特定的后训练。产业可能部分拆成大脑、数据、身体与场景公司,但边界不会像云软件 API 那样干净。

阵营之争必须对称审计

谢晨批评某些真实数据路线的公司拥有本体或数据采集中心,因此商业利益会推动它们强调真实数据。这是合理提醒,但同一标准也必须用于光轮:它销售仿真资产、数据和评价平台,自然有动力把仿真描述为缺失层。

利益相关并不推翻技术主张;它决定我们需要什么证据。真实数据商应证明同等预算下真实采集带来的部署增益,仿真商应证明仿真与真实的相关性和闭环速度,模型公司应证明数据变化而非模型规模造成改进。阵营标签不能替代配对实验。

两个容易误传的具体说法

Generalist 的“27 万小时 UMI”

Generalist 官方 GEN-0 博客确实自称拥有超过 270,000 小时真实世界操作数据、每周新增 10,000 小时;但官方页面称其为内部 robotics dataset,并没有把全部定义为 UMI。UMI 原论文是一套“无需把机器人带到野外”的人类示范采集与策略迁移框架,两者不能直接画等号。

BEHAVIOR 首届最高约 26%

BEHAVIOR 官方资料确认 2025 年是首届挑战,BEHAVIOR-1K 覆盖长时家庭任务;当前 2026 页面已是第二届,任务、输入和部分成功计分口径均有明确规定。访谈中的 26% 必须回到 2025 归档排行榜和具体 metric 才能确认,不能用当前页面反向证明。

Optimus“大脑交给 xAI”

访谈中还出现这一内部组织说法,同时又承认 xAI 与 Optimus 路线尚未收敛。没有 Tesla/xAI 一手材料,不应把传闻升级为事实,也不应在摘要传播。

数据价格:从“每小时”转向“每单位能力增益”

谢晨称机器人数据报价从每小时几十元到数千元,高质量轨迹可达数百至数千元;他把质量拆为场景多样且物理可信、轨迹专业并含纠错、评价标签/跟踪准确。这是市场观察,不是公开价格指数。

单价比较最大的问题是分母不稳定:一小时遥操作、第一视角视频、仿真 rollout 和专家纠错携带完全不同的信息。更合理的采购指标是每覆盖一个关键失败的成本、每提高一个百分点真实任务成功率的成本、每收窄一次不确定区间的成本,以及数据能否跨模型/本体复用。

光轮 Data Engine:路线完整,相关性证据仍是缺口

访谈描述的管线包括:SimReady 资产和物理参数、绳索等非刚性求解、自动物理测量、人类遥操作与算法采集、LLM 语义标注加人工质检、real-to-sim 评价和真实机器人验证。光轮官网和产品页确实公开了 SimReady、人类第一视角数据、仿真遥操作/RL、评价与 Real2Sim2Real 等模块。

这证明产品路线存在,不证明效果。公司还公开 RoboFinals 10,000+ 场景压力测试口径,但最重要的三个数字仍未公开:仿真和真实策略排名相关性、真实关键失败在仿真中的召回率、从发现失败到验证修复的闭环周期。没有它们,平台仍更像能力目录而非效果审计。

受访者称团队技术人员 100+、系统中心管线减少约 100 倍人力、与约五家头部客户联合验证并需数万 GPU;这些商业和效率数字缺少独立公开证据,应保留为公司自述。

第一视角数据的隐藏成本:隐私不是附录

访谈认为智能眼镜可能成为大规模人类第一视角数据入口。这确实能提供身体无关、自然任务、长时上下文和稀有行为,但“能采集”与“可训练”之间隔着知情同意、旁观者隐私、工作场所监控、数据所有权、跨场景授权和收益分配。

这些不是法务收尾,而会改变数据分布:禁止拍摄的家庭、医院、学校和商业空间可能恰好是机器人最需要理解的场景;过度匿名化又可能破坏动作与对象关系。治理设计直接决定世界模型看见什么、看不见什么。

我的进一步 Insight

1. 数据公司的终局可能是“环境运营商”

一次性交付文件无法持续适配模型。能生成任务、反馈、反事实和评价的环境更接近后训练时代的价值中心,收费也可能从数据量转向闭环服务。

2. 仿真最先替代的不是现实,而是不可复现

它的近期胜点不是让真实采集消失,而是让稀有失败能够重复,让控制变量和多策略比较成为可能。

3. 评价器同时是课程生成器

好的评价不仅判断通过/失败,还能识别能力边界、生成更难任务、选择下一批数据;它决定闭环的方向盘。

4. 数据饥渴的单位会改变

更强模型未必需要更多普通样本,却会需要更多稀有失败、反事实干预与可信评价。把这些都叫“数据”会掩盖产业价值从采集转向实验设计。

5. 部分解耦比四分天下更现实

大脑、数据、身体、场景可形成专业分工,但部署反馈和安全责任会迫使它们重新耦合。掌握评价标准与真实反馈的一方可能比固定类别更有议价权。

判断一套机器人数据闭环是否可信

问题弱证据强证据
仿真是否有用画面逼真、资产数量、rollout 规模同一策略集的 sim-real 排名相关、失败召回、校准漂移
数据是否高质量小时数、单价、设备数量有效轨迹、失败因果、加入数据后的真实增益
闭环是否自动化减少标注人员、流程图异常升级、质检误差、发现到修复周期、人工审计覆盖
跨本体是否成立human video 很多、统一语义固定预算下跨动作空间迁移、延迟/动力学校准后的保持率
评价是否可靠单一总分、公司自建榜单分场景置信区间、长尾集合、真实部署外推和第三方复现

证据边界与资料索引

本文把谢晨的路线判断与光轮的产品陈述视为重要一手证言,但不把匿名客户转向、团队/人效、价格、算力、Optimus 组织传闻和未来产业分工当作独立事实。光轮是仿真供应商,产品页能证明功能声明,不能替代客户与第三方效果验证。

  1. Zhang Xiaojun Podcast #134:谢晨访谈——完整主张与章节结构。
  2. 光轮智能官网Lightwheel PlatformSimReady 说明——产品定位、仿真采集和物理校准。
  3. Lightwheel Industrial AI Solution——Real2Sim2Real 与 RoboFinals 官方口径。
  4. Generalist GEN-0 官方博客——270,000+ 小时为公司自称的内部真实操作数据。
  5. Universal Manipulation Interface 原论文——UMI 的准确方法与数据边界。
  6. BEHAVIOR-1K 官方站2025 首届挑战归档——任务与挑战年份。
  7. NVIDIA Isaac GR00T——真实、合成和互联网视频的混合数据路线。
  8. Physical Intelligence π0——VLA 通用策略的另一条一手路线。
最终判断谢晨最有穿透力的判断是把“可规模化评价”放到数据量之前;最需要外部证据的则是光轮自身能否证明 sim-real 相关性。若这条相关性不能稳定成立,“环境产品”只是漂亮架构;若能成立,数据行业的价值中心确实会从采集人力迁移到实验与评价。

返回顶部 ↑