原对话:沿提问、回答和转折完整展开 下面先按节目顺序重建。主持人在追问什么,嘉宾如何以自己的经历、例子和推理作答,尽量保留在具体语境中;案例中的事实、数字和判断先归属于发言人。随后才进入本文的机制解释与独立判断。
00:00:05–00:25:16 连续对话 100:00:05–00:09:05 从200万行到3万行:自动驾驶规控的端到端验证与职业转折你什么时候想做通用机器人? 2021年的端到端项目来自个人判断还是行业趋势,特斯拉当时讲到哪一步? 为什么规控比感知更难? 为什么在行业进入高速发展期时离开华为,转向机器人? 陈亦伦的兴趣从物理竞赛、机器学习和机电系统交叉而来。他早年看到波士顿动力机械狗,后来学习电机、伺服控制和液压,认为只有算法不足以支撑理想中的通用机器人,因此长期积累软硬件经验。这个背景解释了他后面为何不把具身只当成大模型问题。
2020年前后,他与丁文超等同事面对一套约200万行代码的自动驾驶规控系统。原有规则方法能完成复杂动作,但新场景和边界情况不断增加,发现问题的速度快于修补规则的速度。团队因此尝试让神经网络直接输出轨迹,最终形成约3万行代码的实现。代码行数减少说明系统组织发生变化,不是单凭行数就证明性能、可维护性或安全性全面优越。
主持人追问这是否受特斯拉启发,嘉宾说当时特斯拉AI Day主要谈视觉,而团队最头疼的是规控。感知通常可根据数据和真值学习输入到输出的映射,规控则是闭环:车加塞、让行或刹车会改变其他交通参与者的行为,下一时刻观察也随之改变。这种‘动作影响世界’的结构,是后文世界模型和交互讨论的起点。
为训练模型,他们把约100辆车、约一半车队用于采集人类驾驶数据,并由丁文超指导司机怎样形成高质量示范。数据到几千小时后开始显现效果,复杂城中村、人车混行场景里,神经网络在尽量少后处理的情况下流畅穿过。嘉宾把那一刻视为AI可以做Planning的验证,也是他个人的关键信号。
主持人问为何次年离开。陈亦伦区分了L2与L4:他认为自己找到了用AI解决L2问题的钥匙,后续组织可继续工程化,但当时还不知道怎样解决L4,因此不能将城中村成功写成已经解锁自动驾驶全部问题。他选择去清华AIR继续研究,而不是马上创业,因为机器人市场、客户和技术路线尚未准备好。
端到端 (End-to-End) 在本段中,指一种AI系统构建范式。其核心思想是尽量减少人工设计的中间模块和规则,用一个统一的神经网络模型直接完成从最原始的输入(如传感器数据、指令)到最终输出(如车辆的控制指令、机器人的动作)的映射。这个模型的能力主要通过大规模数据训练获得。
规控 (PnC, Planning and Control) 自动驾驶技术中的一个核心模块,负责决策和执行。输入是感知系统对环境的理解(如其他车辆位置、道路信息),输出是车辆的具体驾驶行为(如方向盘转角、油门、刹车)。在本段中,它被描述为一个“闭环AI”问题,因为车辆的每一个动作都会改变环境,从而影响后续的感知和决策。
运动控制 (Locomotion) 在机器人领域,特指控制机器人(如四足、人形)实现移动和姿态保持的能力,如行走、奔跑、跳跃、保持平衡等。在本段中,嘉宾认为通过强化学习(RL)和高并发模拟器,这一技术难题的路径已被基本探明。
任务规划 (Task Planning) 指将一个高层级的、模糊的指令(如“去东方明珠”、“打扫房间”)分解成一系列具体的、可执行的子任务或动作序列的过程。在本段中,嘉宾认为大型语言模型(LLM)的出现极大地解决了机器人在这一方面的能力短板。
话题推进: 在清华的两年里,他观察到运动控制、任务规划和端到端三条技术线同时出现积极变化。
00:09:05–00:17:12 具身三道曙光:运动控制、任务规划与端到端动作生成2022年为什么不直接创业? 哪些技术变化让你后来觉得创业时机到了? 四足和人形机器人的运动控制为何进步? 具身的端到端惊艳时刻已经来了吗? 第一道曙光是Locomotion,即移动和全身运动控制。陈亦伦关注ETH等团队用强化学习直接控制多关节系统,认为狗和人形机器人会越来越灵活。技术上有两点:高并发仿真快速生成训练经验,英伟达GPU仿真提高并行度;硬件公司通过机械、电机和系统设计缩小sim-to-real差距,让仿真策略可以在真实机体运行。这里的仿真在嘉宾路线中是明确有效例外,不能与他后面对复杂操作仿真的否定混为一谈。
第二道曙光是LLM提供任务规划能力。自动驾驶可调用地图,把‘去东方明珠’拆成路线和路口动作,通用机器人缺少这样的共享任务数据库。LLM可把一句高层需求分解为步骤,为task planning提供新工具。它解决的是较高层行为组织,并不直接保证底层动作、接触力或安全控制正确。
第三道曙光是端到端。传统方法把感知、规划、控制拆成许多小方格,每个模块需要专业规则与接口,机器人场景更复杂后难以维护。神经网络可以学习从传感器和指令到动作的映射,让系统不再完全依赖手写规则。陈亦伦在自动驾驶子问题上看到效果,因此更愿意相信它可迁移到机器人。
主持人追问具身是否已有同样的惊艳时刻。嘉宾承认,现在更像2019年他决定做自动驾驶端到端时:理论合理,实际效果仍待证明。与当年自动驾驶需要说服行业不同,具身领域人人谈端到端,却普遍缺乏超越上一代方法的Aha效果。
因此,三道曙光不是‘具身已经解决’,而是不同层能力分别变可行:运动控制改善、语言帮助任务拆解、神经网络提供统一动作生成路径。真正的关卡在这些能力如何被数据、模型、硬件和真实任务连接。
话题推进: 主持人随后要求区分端到端、VLA和世界模型,并讨论数据、算力、后训练三道关卡。
00:17:13–00:25:16 三道关卡与技术分野:端到端、VLA、世界模型各自解决什么端到端是行业主流吗,与VLA和世界模型是什么关系? 用AI解决复杂问题要迈过哪三道墙? 自动驾驶为什么更需要世界模型,何时又需要VLA? 具身是否仍卡在第一道数据关? 陈亦伦把端到端定义为尽量用神经网络和数据连接输入输出,是方法总称;VLA则通常指视觉与语言输入、动作输出的具体接口。世界模型在当前状态和动作基础上预测后续状态,也可用于生成视角、模拟物理交互或构造训练环境。它们可以组合,却不能当作同义词。
第一道关是数据。没有足够、与任务匹配的数据,复杂网络无法形成有效能力。GPT的便利是互联网文本已存在,自动驾驶和机器人需要专门设计采集方式。第二道关是算法和算力:数据足够后,需要能高效吸收数据的结构与计算。嘉宾以‘重剑无锋,大巧不工’主张简单结构更能承受大规模训练,但这是一种经验判断,不排除任务先验和专门架构的价值。
第三道关是后训练和具体技巧。预训练与算力扩张不会自动解决所有问题,复杂交互、失败恢复和特定任务需要额外方法。自动驾驶中,车辆换道、让行会改变其他参与者,世界模型可推演自身动作带来的后续,配合强化学习优化。这是他认为当前自动驾驶的主要矛盾。
如果问题是开放世界的未知障碍、复杂标志和语义,VLA借助语言的抽象能力可能更合适。陈亦伦据此把L3/L4与交互模型、L4到L5与开放世界语言模型联系起来。这是他对技术路线的解释,不是行业统一等级定义或已验证的升级路径。
具身则被他判定仍卡第一关。第一阶段模型更像从训练数据联想相似动作,而不是真正理解动作为何成功;下一阶段才需要更深入地与世界交互并提高成功率。这里的三道关是有用的分析框架,但真实研发会并行推进,并非所有项目严格按顺序完成。
话题推进: 主持人进一步追问:如果数据先行,神经网络的任务和结构应怎样定义,GPT的经验能否迁移到具身?
00:25:17–00:49:25 连续对话 200:25:17–00:30:15 训练任务先于架构名词:Next Token Prediction与简单结构的扩展性数据之后,算法结构是否也会自然变简单? Transformer的出现与Next Token Prediction哪个更关键? 具身领域对应的训练任务是什么? 陈亦伦把神经网络算法设计理解为函数输入输出的定义:模型要看什么、预测什么、最终怎样行动。传统算法需要逐步写清操作,神经网络则更多通过训练任务塑造能力。因此,数据墙之后,真正的问题不是先选一个流行模型名,而是明确任务能否引导到目标能力。
他认为OpenAI最重要的贡献是Next Token Prediction:给一段文本,预测下一个token,海量现成文本就能转为自监督训练样本。任务简单、可扩展,使语言结构、知识和部分推理能力在训练中形成。Andrej Karpathy早期RNN博客也被用来说明,并非只有Transformer才能体现这一任务的潜力,转录中的Andrew Capetze按上下文指Karpathy。
这并不否定Transformer。嘉宾欣赏它在大数据下简单、易实现、并行高效的扩展性,认为复杂精巧的结构容易在规模化时出错或低效。本文应把任务与架构写成相互配合:预测任务提供学习信号,Transformer提供高效实现,不能只靠其中一个解释GPT全部成功。
对具身而言,他没有给出一个与预测下一个token完全等价、已获行业共识的任务,而是强调空间、时间、力和交互等基本物理量。主持人正是从这里追问具身训练任务,嘉宾随后用BEV和空间映射继续解释。
这一保留很重要:不能把‘定义具身训练任务’写成已经有统一答案,也不能把语言模型的自监督公式直接套到机器人。具身数据格式、反馈、动作含义和任务评价仍在探索。
话题推进: 接下来的问题是:物理世界的基础表达是什么,为什么不能只让VLM看图说话再接一个动作头?
00:30:16–00:40:53 空间、力与交互:物理世界AI不能只做视网膜式描述具身合适的训练任务和表示是什么? 为什么空间映射重要,机器人比自动驾驶多出哪一层? 什么叫与世界交互,操作柔性物体为什么难? 具身也能通过补数据学习新任务吗,离人的高效学习还有多远? 嘉宾先借BEV说明空间映射。自动驾驶需要知道物体在何时占据何处,才能避免碰撞;这种空间表达比逐像素RGB更接近任务所需的物理结构。无论是否端到端,空间、时间及其关系仍不可省略。
机器人还增加了主动接触。汽车理想状态主要是不碰撞,机器人却要拿、捏、挤、弯折、插拔,位置和姿态之外还有力与力矩。 AW E的表述因此聚焦时间、空间、力与动作后的反馈,而非只记录局部颜色、纹理或静态图像。
主持人追问交互的具体含义。嘉宾用硬方块和布料对比:抓住硬方块主要改变其位置,柔性线、布料或刺绣则会随每次操作改变形态,下一步的最佳动作又取决于新形态。这里不是有没有接触,而是动作、物理反馈和后续决策形成闭环,因此需要学习交互规律。
他也把大模型能力分成阶段:从数据中找到相关片段并组合,能产生看似新的回答,但更像内插;进一步才是理解动作如何改变世界、提高成功率。这个区分服务于其三道关框架,不应被当成对所有LLM推理能力的最终技术判定。
对于新任务,他认为可通过补充数据扩展同一方法论,部署时不一定都要最大模型。这是数据驱动泛化的路线,不等于机器人能像人一样看几次就学会。主持人指出这一差距后,嘉宾引用Ilya关于value function的观点:人可借先验和价值判断高效选择数据。当前主流仍更多依赖大量数据生成与拟合,离人类高效学习尚远。
陈亦伦与程曼祺(双方边界追问) · 00:39:33
补数据可扩展任务,但不是人类式高效学习;value function和先验选择数据仍待突破。
话题推进: 定义了物理表达后,话题落到数据:为何嘉宾排除视频、复杂仿真与遥操,并选择真实人类采集。
00:40:54–00:49:25 数据取舍:为何真实场景和真实动作优先,视频与复杂仿真为何被关掉为什么需要真实数据,互联网视频和仿真有哪些问题? Locomotion仿真有效,为什么复杂操作仿真又难? 真实场景和真实动作分别意味着什么? 嘉宾先以自动驾驶所需数据量作参照:早期几千至上万小时看到变化,产品级系统往往需要十万至百万小时,具身更复杂,他因此推测至少需要千万小时级。这个数量是路线估算,不是已被证明的统一阈值,数据多样性、任务覆盖、质量和模型效率都会改变需求。
互联网视频在他经验中有两类限制:真正可用的规模和优质比例有限,且内容常与当前问题不匹配。大量旅游驾驶视频不能直接回答某个复杂路口如何通过。静态视频也缺少动作、力和反馈的完整对应,因此不能简单等同于可训练的操作轨迹。本文保留这一判断,但不把视频在所有预训练和任务常识学习中的价值归零。
复杂仿真也被其团队关掉。视觉重建可逼真模拟雨雪街区,却主要解决感知,而最难的是决策与交互;柔性物体有限元仿真又要精细建模和调参,成本高且可能与真实差异大。嘉宾认为,在下游AI已经进步时,仿真器本身仍在手工调参,投入产出难匹配。
他明确保留Locomotion仿真的有效性:多关节身体与力学相对可建模,环境交互较简单,适合强化学习。这说明他反对的是把仿真当复杂操作通用替代品,不是所有仿真。
‘真实场景’指任务实际发生的工厂、咖啡制作等生产生活环境,而非专门搭建的理想测试场;真实动作指人为完成真实工作而采取的有效动作,而非操作员为采集临时扮演。遥操把机器人放进现场,速度慢、有延迟并干扰流程,操作员动作也未必代表任务本身。可穿戴设备则让工人在原岗位自然工作,从机制上减少干扰。
不过,真实人操作仍有本体差异:人手与机器人手的自由度、传感、力控和结构不同,怎样迁移数据是后续必须解决的问题。真实并不自动意味着可学、可用或可规模化。
话题推进: 在确定真实采集后,主持人继续追问手套怎样获取‘全信息’,为何要自研硬件而不是买现成VR或动捕手套。
00:49:25–01:14:01 连续对话 300:49:25–01:01:35 手套与第一视角:全信息采集、硬件自研和软硬件协同为什么手套比遥操更适合采集? 全信息包括哪些维度,第一视角能否直接解决定位? VR和电影动捕技术为何不够用? 五指、三指和夹爪路线有何差别,中国供应链为什么重要? 手套方案让真实工人佩戴轻量设备,在原任务中记录动作,遥操则需机器人本体与操作员介入。嘉宾以此强调低成本、低干扰和真实任务分布。它石还配第一视角摄像头记录人所见,并用手部传感器补足遮挡时视觉失效的问题。
所谓‘全信息’包括:手在空间的位置与姿态、各手指的姿态,以及触觉获取的力。这些信息对应后面AWE需要的空间、接触和交互表达。嘉宾强调不能只靠视觉定位,因为叠被子等遮挡会让手消失,因此需要自研硬件保证可靠输入。
VR常依赖摄像头追踪,面临精度和遮挡;电影动捕可记录动作趋势,但不一定达到精细操作的精度。它石在采集阶段可调用云端大算力处理,也设计端上低功耗版本,说明采集硬件本身也涉及神经网络、芯片、成本和功耗的联合设计。
五指路线服务于其灵巧手终局选择,夹爪或三指则是降低自由度的方案。嘉宾认为降维工具会限制人手的动作,采集与部署也必须对应同一类执行器。这是路线一致性,不是证明高自由度永远优于低自由度;如果许多实际任务可由夹爪稳定完成,简单方案仍可能更经济。
主持人问中国团队缺乏引领成果的问题,嘉宾以早期端到端经历和当前五指硬件回应,强调具身需要硬件、场景、本体、数据和算法交替优化。中国供应链可支持传感器、执行器和成本迭代,制造业场景提供真实任务。‘美国创业者不会是中国对手’是强烈自信,不是已经比较过全行业的结论,基础模型、芯片、资本、软件生态和全球客户仍可能改变竞争。
遥操作 (Teleoperation / Tele-op) 在本段中,指操作员通过远程控制设备,实时操控机器人完成任务。输入是操作员的指令,输出是机器人的相应动作。嘉宾认为这种方式存在延迟、效率低、动作不真实、干扰真实生产环境等问题,不适合大规模采集高质量的训练数据。
可穿戴设备 (Wearable Device) 在本段中,特指它石智航自研的、用于采集人类操作数据的硬件,主要包括数据手套和第一视角摄像头。人类专家或工人穿戴该设备进行日常工作,设备会记录下其手部和身体的“全信息”动作数据,作为训练AI模型的输入。
全信息 (Full Information) 在本段中,指全面刻画手部操作所需的各类数据维度。嘉宾列举了三个关键维度:1. 手在空间中的位置和姿态;2. 手指的精细姿态;3. 手与物体交互时施加的力(通过触觉传感器获取)。
动捕 (Motion Capture) 一种记录物体或人运动的技术。在本段中,指电影行业用于制作特效的动捕服和动捕手套。嘉宾认为其技术虽有参考价值,但精度和设计目标不满足机器人训练对数据质量的要求。
话题推进: 主持人随后询问数据规模、成本、模型AWE和Scaling趋势,审读重点从理念转向可核验进展与限制。
01:01:36–01:14:01 AWE与Scaling:10万小时、成本差和专属模型的证据边界目前采集多少小时,何时开始放量,主要成本是什么? 单条有效数据成本比遥操差多少,行业内是否都在采用? AWE是什么,与VLM加action的VLA有何区别? 行为与动作有何不同,具身是否已进入Scaling状态? 陈亦伦称它石数据量约10万小时,2025年下半年开始大规模采集。此前先用少量数据提高浓度、验证效果,再开发可规模化、低成本的硬件,预计2026年继续快速增加。这是公司自述的当前量级与计划,尚缺数据任务分布、去重口径、有效率、采集人数和独立审计。
成本方面,他先说主要是算力,随后用‘省两个摄像机/数量级’回应主持人‘少一百倍、百分之一’的追问,表示至少如此。遥操还需要机器人和低效操作,可能十条仅一条可用。本文把这个百倍差记录为嘉宾估计,而非统一行业成本实测。手套硬件、采集人员、标注、算力、清洗、维护和失败数据的完整成本仍需分项核对。
AWE即AI World Engine。嘉宾希望最多计算用于表达世界的时间、空间、力和交互,而非只做视网膜式的局部纹理识别。模型还需随人和机器人的action动态演化,预测世界变化并支持行动。它是专属模型路线,不是简单VLM上接action头。
嘉宾用2017年CV作类比:自动驾驶复杂到不能只在成熟视觉模型上加一个小头,具身也值得拥有自己的基础模型。VLM主要训练看图说话,难以直接教会机器人做事。本文保留这个论证,同时注明VLA也可通过动作数据、预训练和系统优化获得交互能力,专属与扩展路线需要同任务对照而非先验判胜负。
行为与动作的区别是抽象层级:动作是驱动执行器的轨迹或信号,行为由一连串动作构成,更接近语义和高层任务。把动作组织成行为可支持长程规划。它石选择先闭源,认为开源要先让低门槛用户获得价值,不是只把模型上传。
关于Scaling,嘉宾承认最终性能可能尚未证明,但数据增长趋势已显示处于Scaling状态,并预测2026年行业进步。这里应把‘数据增长’与‘性能按稳定规律提升’区分,只有后者才能证明更完整的Scaling Law。
陈亦伦与程曼祺(双方成本讨论) · 01:03:33
至少百倍成本差为嘉宾估计,完整成本还包括采集人员、清洗、算力、维护和失败数据。
话题推进: 最后话题转向惊艳时刻、真实客户和线束装配,检验技术路线怎样变成可交付商业价值。
01:14:01–01:25:01 连续对话 401:14:01–01:22:12 从预测到交付:2027效果预期、柔性线束场景与未公开客户边界何时出现类似2021自动驾驶端到端的惊艳时刻? 行业爆发会有哪些信号,是大客户采纳吗? 它石重点落地什么场景,线束为何难? 目前有哪些合作客户、实际用到什么程度? 如何判断具身公司是否靠谱? 陈亦伦用自动驾驶两年路径类比:2019认真做数据,2021看到效果;具身从2025认真做,2027也一定会有效果,并可能更快。他还预测2026数据大爆发带动能力提升。这里的‘一定’是嘉宾基于路线和团队进展的预测,不是时间承诺。
他认为早期信号包括更多demo视频和更多团队进入垂直领域。小领域数据浓度更高,较容易形成可展示能力。主持人追问信心是否体现为大客户采纳,嘉宾说更早可能是早鸟用户,他们更看重远期潜力,而大客户更重实用价值。它石自己则强调不做demo,2026聚焦实际价值。
场景上,它石先不进入消费者家庭,而选择已有机器人需求的工业制造,尤其是精密柔性线束装配。汽车、冰箱、洗衣机、空调等都有线束,整理、组装和插拔涉及立体、柔软物体,传统自动化较难覆盖。手机平面堆叠工艺相对成熟,但插接、固定和柔性部分仍是难点。
主持人连续追问具体合作客户与实际使用状态。嘉宾只说真实痛点明确、愿意合作的用户很多,正与合作方迭代,没有给出客户名、产线数量、成功率、节拍、接管率、良率或成本。因此只能说它石在推进场景,不能说线束已规模交付或商业闭环已证实。
对于靠谱公司的判断,嘉宾给出的是能否定义清楚自己想成为谁,而不是简单模仿别人。本文还需补充更可核验的指标:真实场景任务成功、持续运行、人工接管、维护成本、客户复购和量产一致性。技术愿景只有转成这些结果,才能从‘靠谱’叙事变成业务证据。
Vertical领域 嘉宾在此处指代“垂直领域”。当某个特定应用场景的数据量足够多、数据浓度足够高时,AI模型在该场景下的表现会显著提升,问题看起来“容易被解决掉”。因此,公司会选择进入这些细分的垂直领域以求率先突破。
平面加工工艺 嘉宾用此描述以手机为代表的高度自动化产品的制造方式。其特点是将元器件(如PCB、软排线)以平面堆叠的方式一层层组装起来。这种工艺流程相对规整,更易于被传统自动化设备处理。
立体柔软的加工工艺 与“平面加工工艺”相对,指处理三维空间中形态不固定的柔性物体(如线束)的生产流程。这类工艺对机器人的感知、规划和操作能力要求极高,是当前自动化技术的难点,也是具身智能希望解决的问题。
陈亦伦与程曼祺(双方商业边界) · 01:20:45
仅称合作方多并持续迭代,未披露客户和产线指标,不能写成已规模化交付。
话题推进: 主持人在结尾用往期访谈把世界模型、模仿学习和不同数据路线重新对照,形成对本期判断的边界。
01:22:12–01:25:01 连点成线:模仿学习、世界模型与数据路线的竞争解释主持人回顾与楼天城的Robotaxi对谈:模仿学习遇到瓶颈后,需要learning by practicing,世界模型可作为强化学习环境,成为制造车端模型的factory。它与本期‘模型要理解自身动作如何改变世界’相互呼应,也说明模仿真实驾驶数据并非全部终点。
往期关于具身数据的讨论则列出真机遥操、可穿戴设备、仿真与视频等不同路径。本期嘉宾坚定选择真实人类采集,但行业并未形成唯一共识。不同本体、任务和阶段可能需要混合数据:视频提供常识,仿真支持运动控制或边缘探索,遥操提供目标本体动作,手套提供真实人类操作。
这种对照帮助读者理解,它石的特色不是发现所有数据的唯一真解,而是围绕AWE与灵巧手选择了一套自洽路线:真实人采集定义数据,空间与力定义模型,硬件支持规模化,工业柔性任务验证商业价值。路线是否成立,要看后续独立效果、成本和客户结果,而不是看表达是否足够有信念。
节目最后为主播互动与关注渠道,没有新增技术事实。
话题推进: 本期结束。
以上是原对话的分段阅读。下面才开始提炼论证、解释机制并给出本文自己的判断。