原对话:沿提问、回答和转折完整展开
下面先按节目顺序重建。主持人在追问什么,嘉宾如何以自己的经历、例子和推理作答,尽量保留在具体语境中;案例中的事实、数字和判断先归属于发言人。随后才进入本文的机制解释与独立判断。
00:00:05–00:28:07连续对话 1
00:00:05–00:03:05节目介绍:为何需要具身智能测评
本段为节目开场,由嘉宾的观点片段与主持人的介绍构成。
嘉宾范浩强提到,在测试早期模型(如π*0)时,30个任务的平均成功率仅有20%多,这让他们一度担心公布结果会打击行业信心。但当π*0.5模型发布后,测试结果令人震撼。另一位嘉宾高阳解释,具身智能测评的本质困难在于模型需要与物理环境交互,而物理环境(如不同家庭的杯子)难以标准化,导致难以判断失败是因环境差异还是模型本身性能不足。
主持人程曼祺随后正式介绍本期节目。她指出,与虚拟空间的大模型拥有大量直观的基准测试(benchmark)不同,如何衡量具身模型的能力本身就是一个需要探索的课题。本期节目邀请了原力灵机联合创始人范浩强和千寻智能联合创始人兼首席科学家高阳,共同探讨具身模型的测评问题。去年10月,原力灵机与Hugging Face联合发起了开源测试平台RoboChallenge,在近期的结果中,千寻智能的Spirit v1.5模型表现超过了π*0.5。RoboChallenge旨在让机器人走出精心挑选的演示(Demo)视频,在包含碎纸、插花、扫二维码等30个多样化任务(Table 30)中接受真实世界的检验。两位嘉宾认为,组织和参与测评的过程增强了他们对具身智能的信心:尽管行业仍处早期,但模型性能正以惊人的速度进步,例如在Table 30任务上,成功率从π*0的20%翻倍至π*0.5的40%以上,并有国产模型实现超越。
RoboChallenge由原力灵机和Hugging Face联合发起的具身智能模型测评平台。它采用集中式测评,在一个标准化的物理环境中,对多个模型在30个固定任务(Table 30)上的表现进行评估。其核心是测试模型的“少样本(Few-shot)”学习能力,即参与者可以利用平台提供的少量(约1000条)示范数据对自己的模型进行微调(fine-tune),然后提交微调后的模型进行测试,最终衡量其任务成功率。
RoboArena由具身智能公司Physical Intelligence(PI)发起的测评项目。它采用分布式测评,号召全球各地的实验室参与。在每个实验室的机器人上,同时运行两个不同的模型来完成一个即时指定的任务,通过成对比较来判断优劣。这种方式测试的是模型的“零样本(Zero-shot)”泛化能力,即模型在没有任何额外针对性训练数据的情况下,直接理解和执行新任务的能力。
Zero-shot(零样本)指模型在没有见过任何特定任务的训练样本的情况下,直接执行该任务的能力。在具身智能语境下,就是机器人仅凭其预训练好的通用能力和对新任务的文本或语音指令的理解,就能直接尝试完成一个全新的、未曾训练过的操作。
Few-shot(少样本)/ Fine-tune(微调)指在预训练好的通用大模型(基模)的基础上,使用少量(few-shot)针对特定任务的标注数据,对模型进行额外的、轻度的训练(fine-tune),以提升其在该特定任务上的表现。在RoboChallenge中,平台提供约1000条示范数据,参与者用这些数据微调自己的模型,再进行测试。
话题推进:主持人正式开始访谈,请两位嘉宾做自我介绍。
00:03:08–00:06:52嘉宾介绍:从计算机视觉到具身智能
- 两位可以和我们的听友和观众简单地打个招呼,然后简单自我介绍一下你们之前在Robotics和具身领域的一些经历。
- 因为两位都是清华的校友,你们是同一级的吗?
- 我上次跟原力的创始人唐文斌聊,他说你高三就去旷视上班了。
主持人请两位嘉宾进行自我介绍。
范浩强介绍自己是原力灵机(2025年3月成立)的联合创始人,公司专注于具身智能机器人产品及相关AI技术。他提及自己的人生经历大部分时间与旷视科技有关,从2012年(注:转录为2022年,但根据旷视成立时间2011年及上下文应为早期)开始就在那里工作,经历了计算机视觉技术从传统方法(如CIFAR特征、SVM分类器)到深度学习(Deep Learning)的演进。他分享了在旷视将人脸识别准确率从80%多提升到“12个9”(99.9999999999%)的经历,这段过程让他坚信,只要算法原理正确,并投入足够的智力与努力,技术一定会带来回报,这对他的影响巨大。
高阳介绍自己是千寻智能的联合创始人,同时也是清华大学交叉信息研究院的助理教授。他从2016年左右在加州大学伯克利分校读博期间开始进入具身领域,与Sergey Levine等人合作,研究方向融合了计算机视觉、模仿学习和强化学习。2020年回清华任教后,受ChatGPT浪潮启发,认为通往AGI的道路已经清晰。因此,在2023年与韩孟涛、郑丽音联合创立了千寻智能,目标是打造具身领域最强的模型,并将其以机器人产品的形式带入大众生活。
话题推进:介绍完背景后,主持人将话题引向本期核心:具身模型的测评,特别是RoboChallenge的发起背景。
00:06:53–00:12:40RoboChallenge的诞生:为解决研发困境,建立客观评价体系
- 你们可以讲讲就是这个RoboChallenge的背景是什么,比如在这之前大家是怎么来测具身的模型的,然后你们现在新做的这个评测的标准,它不一样的地方是什么?
- 你们当时测派0是几月份?
- 所以从派0到派0.5,就你们自己测试的这个变化,至少证明在全世界范围里是有人在比较短的时间里把具身的模型的性能提升得很快。
主持人询问发起RoboChallenge的背景以及它与以往测评方式的不同。
范浩强解释,发起RoboChallenge的核心动机是解决团队自身的研发困境。他指出,以往的机器人研究存在几个问题:
1. 依赖精心挑选的演示视频(Demo Video):学术论文常像做图形学一样,展示几个看起来很酷的成功案例(cherry-pick),但这并不能反映模型的普遍能力。
2. 依赖仿真测试:仿真环境虽然易于测试、噪声可控,但与真实世界存在差距(Sim-to-Real Gap)。
3. 真实世界测试缺乏标准化和规模:即便是顶尖论文,也只在少数几个任务上进行真机测试,且不同研究选用的任务各不相同,导致结果无法横向比较。这让模型的迭代和改进变得非常困难。
为了解决这些问题,原力灵机团队思考能否进行大规模的机器人测评(large scale robot evaluation)。他们认为,通过大量(如数百次)的执行来计算平均成功率,可以得到一个更有意义的指标。为此,需要将任务描述、测试协议(protocol)进行标准化,使其能兼容不同形态的机器人。这就是RoboChallenge的雏形。
范浩强分享了项目早期的困惑。他们选择了30个对人类而言非常简单(trivial)的任务,但在测试π*0等开源模型时,成功率仅有20%多,这让他们担心公布低分会打击行业信心。直到2025年七八月份之后,π*0.5模型发布,他们第一时间测试后感到非常震撼,不仅是成功率翻倍到40%以上,更直观地感受到机器“更灵光了”。这给了他们巨大信心,证明行业在切实进步。于是,他们决定将RoboChallenge做成一个社区项目,联合行业力量,建立一个客观公正、技术严谨的平台,不仅为了内部研发,也希望向外界证明具身智能领域正在取得扎实的技术进展,而非仅停留在新闻稿层面。
RoboChallenge的起点不是做一个宣传榜单,而是让团队能用同一任务与协议反复评估模型:数百次真实执行形成平均成功率,减少只挑成功视频的影响。统一任务、硬件接口和执行流程也让不同团队能讨论同一结果,而不是各自用不同demo证明优势。
不过平均成功率仍不是完整能力定义:任务难度、初始状态、设备差异、微调数据、人工干预与执行次数都会影响结果。π*0的20%到π*0.5的40%以上说明在该协议下有显著进步,不等于所有家务或开放环境能力提升一倍,也不能把‘成功率低’理解为整个行业没有进展。
话题推进:在解释了RoboChallenge的动机后,主持人进一步请高阳从学术和历史角度补充,探讨具身测评的固有难点。
00:12:40–00:21:47具身测评的历史与核心难点:物理世界的“噪声”与仿真环境的局限
- 正好我想就是请高阳补充一下,因为你从2016年开始你读博士,其实你一直就是在做这个Robotics相关的。那在此之前,大家行业里是有什么公认的方式来大范围的去评估不同模型的能力吗?
- 为什么直接测试的这种最直观的方式其实是不太行得通的在这个领域?
- 那这个岂不是正说明了就你这模型的泛化很差吗?难道要一模一样才能测吗?
- 刚才其实你们也稍微提了一下,就是说之前还有一种跑benchmark的方式,就是在仿真的环境里去看一个模型,它在仿真环境里表现如何,但是那个东西是不是对应用的意义没有那么大?
主持人请高阳从业界历史角度补充具身测评的难点。
高阳指出,测评困难的问题早已被意识到。过去,由于缺乏像原力灵机这样的公司投入资源,相关尝试多局限于高校实验室。例如,卡内基梅隆大学的Abhinav Gupta很早就尝试过让研究者远程连接到其实验室的机器人进行测试。但这类尝试规模小、不可持续(比如学生毕业后项目就无人维护),且测试任务有限。
高阳进一步解释了测评的核心困难:
1. 物理环境的不可复现性:具身模型需要与物理世界交互,而物理环境充满了变量(噪声),如不同杯子的把手、光照、物体摆放位置等。这导致难以区分模型失败是因为泛化能力差,还是因为测试环境不一致。虽然现在模型泛化性有所提升,但为了精确衡量算法微小的进步(例如0.5%或5%的提升),一个标准化的、可复现的测试环境依然至关重要。范浩强补充,这正是计算机视觉领域的“特权”,其测试可重现、样本量大,而“Robotics is about noise”(机器人技术就是和噪声打交道)。
2. 早期模型的能力局限:过去的机器人算法通常是“单任务”的,只能做一件特定的事。而现在以VLA(Vision-Language-Action)为代表的模型,理论上可以尝试做任何任务,这使得对通用能力的测评需求变得更加迫切。
3. 仿真环境的局限性:虽然仿真器可以保证代码层面的可复现性,但存在“仿真到真实”(Sim-to-Real)的巨大鸿沟。仿真器不够真实,且其中用于训练的轨迹数据多由程序生成,而非人类遥操作采集,导致数据分布与真实世界差异巨大。因此,机器人领域的顶级会议通常不接受仅有仿真结果的论文。
范浩强总结,现阶段测评的目标并非追求绝对精确的数值,而是要能反映模型发展的“趋势”,区分出模型间的“代差”。当前模型成功率普遍不高(如榜单最高不到60分),这反而说明测评任务处在一个能有效放大模型差异的“敏感区”,有利于衡量技术的进步。
具身测评的‘噪声’不是可以简单消除的误差,而是杯子把手、光照、位置、材质和机器人状态都会改变任务。若每次测试环境不同,就无法判断失败来自模型还是环境;若只用仿真,代码可复现却可能偏离真实接触与视觉分布。RoboChallenge通过真实设备与协议减少这些差异,但不能消除全部物理变化。
嘉宾强调当前目标是识别趋势和代差,而不是追求小数点后的绝对精确。成功率普遍不高反而让任务处在能区分模型的敏感区;当所有模型都接近0或100时,榜单对当前迭代的区分力都会下降。
话题推进:讨论完历史上的测评尝试和固有难点后,话题转向当前全球范围内其他类似的测评项目,特别是与RoboChallenge形成对比的RoboArena。
00:21:47–00:28:07对比RoboChallenge与RoboArena:Few-shot与Zero-shot的测评哲学
- 除了就是你们在做的这个RoboChallenge之外,全球范围还有什么类似的事情吗?
- RoboArena这个发起方式?
- 但是这个方法的有一个难点,就是说不同实验室的环境是否特别一致,是吧?
- 你们可以解释一下Zero-shot的模型吗?
- 这个RoboChallenge和RoboArena的区别是什么?现在RoboChallenge的一个测试,它整个的流程是怎样?
- 那RoboArena直接做zero-shot,岂不是很多模型在它那其实都根本完成不了任何任务?
- 完了,听完这个之后,就我不知道你们跟投资人或者说跟就其他人有没有讲过这个事情。那一般人的感觉是会觉得这个行业还确实很早期啊。
主持人询问全球范围内除RoboChallenge外的其他测评项目,嘉宾们重点介绍了由Physical Intelligence(PI)发起的RoboArena,并将其与RoboChallenge进行对比。
RoboArena的机制:
它采用一种“分布式”的测评思路。它号召全球多个实验室参与,在每个实验室的机器人上,同时运行两个不同的模型来完成一个现场指定的任务,然后比较哪个表现更好。通过收集大量这种“成对比较”的结果,最终可以对所有参与的模型进行排序。这种方法的巧妙之处在于,它规避了跨实验室环境不一致的问题,因为每次比较都在同一台机器、同一环境下进行。
测评哲学的核心差异:Few-shot vs. Zero-shot
* RoboArena测试的是模型的零样本(Zero-shot)泛化能力。这意味着模型需要直接理解一个全新的任务指令并执行,期间不提供任何针对该任务的额外训练数据。高阳解释,这类似于GPT-4可以直接回答各种问题,是一种对模型通用能力的终极考验。
* RoboChallenge测试的是模型的少样本(Few-shot)学习能力,或者说微调(fine-tune)后的性能。它为每个任务提供了约1000条人类遥操作的示例数据。参与者可以用这些数据对自己的基础模型进行微调,然后用优化后的模型进行测试。这更贴近当前具身模型的发展阶段——基础模型还不够强大,需要针对性数据进行“精调”才能很好地完成任务。
现实考量与行业阶段
嘉宾们认为,RoboArena的zero-shot设定对当前的模型来说“太难了”。范浩强指出,从其测试视频看,大多数任务的成功率都非常低。当所有模型的表现都接近于0时,就很难进行有效区分,最多只能得出“这个模型看起来比那个更有希望”的模糊结论。相比之下,RoboChallenge的few-shot设定,将任务难度控制在了一个“敏感区”,更能有效衡量当前阶段模型的进步。
最后,主持人提出,这些测评反映出的低成功率可能会让外界觉得行业还非常早期。高阳回应,智能的发展是指数性的、非线性的。他以大语言模型为例,三年前还能力有限,如今已能解决IMO(国际数学奥林匹克)级别的难题。他相信具身模型也会遵循类似的轨迹,尽管起点看起来“很菜”,但其进步将是指数级的。
Few-shot与Zero-shot的区别在信息来源:RoboChallenge提供约1000条人类遥操作示例,允许参与者将基础模型适配到当前任务;RoboArena要求模型在未给专项数据时直接执行新任务,并在不同实验室用成对比较减少环境差异。前者测‘能否经示例学会任务’,后者测‘能否直接泛化’。
当前Zero-shot普遍低分使许多模型难以区分,Few-shot则把难度放在更能观察进步的区间。这里不应把Few-shot当作降低标准或‘作弊’,它是另一种明确协议;但如果要讨论通用能力,就必须另测零样本、跨场景与持续任务,而不能只引用微调后的榜单。
话题推进:在讨论了测评的现状和挑战后,对话将转向更具体的RoboChallenge平台运营细节,包括上线后的观察、任务设计思路等。
00:28:07–00:54:21连续对话 2
00:28:33–00:33:04RoboChallenge榜单观察:千寻登顶,匿名参与与超预期的社区热情
- 你们具体看到了哪些进展?除了π*0.5比π*0成功率翻倍外,还测了哪些模型?
- 现在有哪些国内公司参加了?
- 在你们测过的模型中,有谁明显甩开其他人吗?
- RoboChallenge平台对参与组织来说是匿名的吗?
- 目前有公司认领的标签里,最好的是不是千寻的Spirit v1.5?
- 你们在多长时间内获得了1万条测试记录?这超出预期了吗?
- 你们现在一共有多少台、几种类型的机器人用于测试?
主持人程曼祺首先追问RoboChallenge平台上的具体模型进展。嘉宾高阳透露,千寻智能的最新模型Spirit v1.5在测试中表现优于π*0.5,暂时位列榜单第一。嘉宾范浩强补充,平台在9月发布时,他们自己复现了一些经典开源模型(如CAL-ACT)作为基线。此外,一家名为Wow OSS Flow的公司也参与了测试,其模型成绩优于π*0。
程曼祺接着询问国内公司的参与情况。范浩强解释,目前能明确绑定公司名称的主要是千寻和Wow OSS Flow,但许多其他公司也在测试中。他强调,RoboChallenge的设计初衷是成为一个纯粹的学术基准(benchmark),类似当年的ImageNet或CIFAR。因此,平台允许组织匿名参与,只要求提交者署上个人姓名。测试记录以模型名称呈现,而非公司名称。通常是先有亮眼成绩,然后才有团队或公司出来“认领”。目前,在已认领的模型中,千寻的Spirit v1.5表现最为突出。
范浩强分享了平台上线两个多月来的运营数据,这远超出了他的预期。截至访谈时,平台已收到超过1万次测试提交,甚至有来自英国伦敦的IP远程调用实验室的机器人。巨大的测试需求使得他们现有的约9台机器人(分属4种不同类型,包括单臂和双臂)不堪重负,提交任务后往往需要等待一两天才能获得反馈。范浩强认为,测试申请的火爆,说明整个研发社区对这类评测平台有迫切需求,也反映出各团队的模型水平普遍提升,有了更多参与测试的信心。
VLA (Vision-Language-Action) Model视觉-语言-动作模型。在本段中,它指一种具身智能模型,输入是来自摄像头的视觉信息(Vision)和人类下达的语言指令(Language),输出是机器人执行的具体动作(Action)。嘉宾提到,当前多数VLA是“单帧输入”,即每次决策只基于当前的图像,缺乏对历史信息的记忆。
Table 30RoboChallenge测评平台使用的一个任务集,包含30个不同的桌面操作任务。这些任务最初由原力灵机内部构思,旨在通过多样化且有针对性的“考点”(如处理柔性物体、高精度放置、克服视觉遮挡、需要记忆等)来全面评估具身模型的通用能力。
Fine-tune (微调)在本段中,指在预训练好的基础模型上,使用特定任务的数据(如Table 30的演示数据)进行进一步训练,以提升模型在该任务上的表现。RoboChallenge允许参与者自行微调,平台不作干预。
离体式采集 (Off-body data collection)一种数据采集方法,由嘉宾范浩强介绍,以Generalist AI公司为例。指数据采集员直接用手拿着机器人的末端执行器(如夹爪)进行操作演示,而不是通过远程控制整个机器人来采集数据。这种方式被认为可以大幅提高数据采集的效率和规模。
话题推进:在讨论完平台的运营现状和社区反响后,主持人将话题转向了测评任务集的具体设计。
00:33:04–00:40:24Table 30任务集:从“愿望清单”到刁钻的“考点”
- 你们的Table 30任务集是如何挑选的?为什么是这些任务?
- 可以讲讲你们事后分析的逻辑吗?比如它分为哪几类?
- 千寻在测试中觉得什么任务比较难?
- 在30个任务里,哪些成功率相对高,哪些相对低?
- 从你们的大盘数据看,什么任务的成功率普遍偏低?
- 要让机器人知道自己是否扫完了二维码,需要什么能力?
- 你们有看到整个行业的进步趋势或速度吗?
- 除了主动提交,你们会邀请特定公司来测试吗?比如π*0.6?
主持人询问Table 30任务集的设计思路。范浩强介绍,这30个桌面操作任务最初源于内部研究员的构想,后来发现其考点非常丰富且多样化,于是将其固化为评测集。任务的来源是公司内部征集的“机器人愿望清单”,数据采集团队再从中挑选可实现的部分,范浩强事后总结这体现了“人民群众的真实需求”。
范浩强从事后分析的角度阐述了Table 30的价值:每个任务都有独特的难点,能有效区分不同模型的能力。例如,“碎纸”任务考验将纸张插入碎纸机缝隙的精度,同时纸张会遮挡“手上眼”,对模型克服遮挡的能力提出挑战。“插花”任务不仅要求机器人定位自己的手,还要求它感知手中物体(花)与另一物体(花瓶)的交互。高阳则提到,一些需要几毫米级精度的任务,如“把杯子放进一个洞里”,成功率较低。范浩强补充,处理柔性物体(如将用皱的擦巾纸扔进纸篓)也极具挑战性。
一个特别“刁钻”的例子是“扫二维码”任务。机器人需要一手拿物品,一手拿扫码枪。范浩强指出,其难点在于扫描前后的图像状态几乎没有变化,导致模型无法判断任务是否完成。这暴露了当前多数VLA模型仅基于单帧图像输入、缺乏记忆机制的“金鱼记忆”问题——每过一帧就“失忆”一次。高阳解释,要解决这个问题,模型需要具备记忆能力,记住自己之前的动作。目前这通常通过模型外部的工程化方式(如Agent架构)来实现,而非模型本身的能力。
在讨论行业进展时,两位嘉宾均表示进步速度很快。高阳提到,当初发布Table 30时还担心无人参与,因为π*0曾被视为“天外来物”,但现在许多公司已掌握其技术,并开始挑战π*0.5甚至更高水平。范浩强认为,越来越多的人愿意提交测试,本身就说明了大家自信心的显著增长。对于邀请特定公司(如PI)测试π*0.6的提问,他们表示,涉及公司间敏感信息,不一定能请来。
Table 30的价值在任务差异:碎纸考验缝隙对准和遮挡,插花要求理解手、花与花瓶的关系,柔性纸巾改变传统刚体抓取的假设,精细放置要求毫米级控制,扫二维码则暴露单帧模型不知道‘刚才是否已经扫过’的问题。
这些考点说明,具身能力不只是视觉识别或某个动作成功,还包括状态记忆、接触、精度与任务完成判断。模型可以通过外部Agent记录动作状态来补偿,但这与模型内部具有持续记忆并不相同。榜单任务因此既提供成绩,也暴露下一代模型需要解决的结构性缺口。
话题推进:在讨论完任务集的具体设计和行业进步速度后,话题转向了评测机制的细节,如微调方式和可信度问题。
00:40:24–00:45:07RoboChallenge的开放性设计:社区共建与可信度挑战
- 如果大家自己微调,你们怎么知道他喂了多少数据(episode)?
- 所以现在更多是靠大家的自律吗?
- 你们这个测评平台接下来有什么新计划?比如加入灵巧手测评?
主持人程曼祺对评测的公平性提出疑问:如果各团队自行微调(fine-tune),平台如何保证其训练过程的一致性?
嘉宾高阳(此处应为范浩强,根据上下文和声音判断,但为尊重“不纠错”原则,按转录归属)解释,这是RoboChallenge的刻意设计。平台只提供一个最通用的机器人控制API,将模型架构、计算逻辑、微调过程等完全留给参与者掌控。这样做是为了避免因平台方统一微调带来的各种“手艺问题”(如参数、显卡差异)导致的争议。为了解决由此带来的可信度问题,平台号召并鼓励所有上榜者开源自己的模型和代码,以“自证清白”。其他研究者可以复现其结果,虽然可能因误差无法100%重合,但大的趋势应该一致。他承认目前这主要依赖参与者的学术诚信和道德约束,相信随着时间推移,社区能分辨出哪些结果是真正可靠的。
展望未来,范浩强(此处应为高阳,但按转录归属)表示,RoboChallenge已经发展为一个由十几家公司(主要是中国公司,但也有Hugging Face等国际伙伴)共同参与的社区项目。未来计划扩展评测内容,例如,已有硬件厂商捐赠了灵巧手,后续会设计相关任务。他们也欢迎其他机构贡献自己的机器人和benchmark,比如在厨房、餐厅等场景下设置新的任务集(如“Kitchen XX”),让评测覆盖更广泛的技能。一家名为Tesoraya的公司也提出可以基于其开源的灵巧手设计评测任务。范浩强总结,未来可做的事情很多,但受限于团队精力,这些新功能需要排队逐一上线。
开放性设计让参与者自己控制模型、微调与计算逻辑,平台只提供通用机器人API,避免平台方统一调参造成争议;代价是结果的可信度更依赖开源复现和参与者诚信。最后一次提交成绩与有限产能减少‘反复尝试取最好’,但无法完全排除人工遥操作或 demo 工程。
RoboChallenge的社区治理因此不是‘有榜单就客观’,而是需要模型与代码开放、结果可复现、任务执行可追踪、提交规则可解释。主持人提到时钟、随机哈希和现场观看,都是为了增强证据链,但这些工具本身也不能完全证明自主性。
话题推进:在介绍完测评平台的设计理念和未来规划后,对话自然地从“如何评测”延伸到“如何提升模型本身”,进入对2026年具身智能发展路径的展望。
00:45:07–00:54:212026年具身展望:学习原理已收敛,规模化数据是核心战场
- 具身模型要往下走,目前面临的瓶颈是什么?大家怎么解决?
- 你提到的大语言模型指出的路具体是怎样的?
- 这个方法里,模型架构不一定是VLA吗?
- 你们两家公司的实践是怎样的?
- 大家都是怎么规模化获取数据的?有哪些主要做法?你们觉得哪种更合适?
- 为什么(千寻)不使用仿真数据?
- 如果仿真器变好,你们会考虑仿真数据吗?
- 你们关注李飞飞团队的MARBLE模型吗?
- (问范浩强)你们公司在数据规模化上的实践是怎样的?
- 你提到的Generalist AI的“离体式采集”是什么意思?
主持人将话题转向2026年具身智能的突破路径。嘉宾高阳认为,当前的核心瓶颈是数据,而非算法。他指出,大语言模型(LLM)已经探索出一条清晰的“三部曲”路线:1. 基于海量互联网文本进行预训练;2. 使用高质量数据进行监督微调(SFT);3. 通过强化学习(如RLHF)进行对齐,提升任务成功率。他相信,将此范式应用于机器人领域,大概率能做出非常好的模型。
两位嘉宾都认为,这个学习原理或框架已基本收敛。范浩强补充,大家的分歧在于具体的技术选型:基座模型用VLM还是视频生成模型?用什么比例的什么数据?但他强调,大的范式收敛让从业者对未来充满信心。因此,“Scaling Data”(规模化数据)将是2026年具身领域最重要的主题,因为模型的泛化性和鲁棒性依赖于数据量的提升。
在如何获取数据上,高阳介绍了四种主要类型:仿真数据、人类视频数据、可穿戴设备数据和遥操作数据。千寻智能选择投入除仿真外的后三者。他解释,不同数据源特性各异:量大但质量低的(如人类视频)适合预训练,量少但质量高的(如遥操作)适合微调。千寻之所以暂时放弃仿真数据,是基于自身经验判断其多样性(diversity)难以提升。创建逼真的仿真场景需要专业的“艺术家”,成本高、效率低,不像真实世界数据采集可以雇佣非专业人员完成。但他承认,如果未来仿真器效果能达到《黑神话:悟空》的水平,仿真数据将变得极具吸引力。
范浩强则认为“条条大路通罗马”,不同数据路线最终可能都会成功,且面临的本质难点是相通的,即如何穷举和获取关于物理世界的知识(例如,覆盖所有日常商品的集合)。原力灵机基于自身在人脸识别时代积累的线下大规模采集体系,选择了以真机采集为主的路线。同时,他们也关注其他路径,并举了几个例子:
1. 离体式采集:以美国公司Generalist AI为代表,操作员用手持的夹爪(而非控制机器人)进行演示,采集效率高。该公司声称已采集27万小时数据,并以每周1万小时的速度增长。
2. 可穿戴设备采集:操作员头戴相机进行第一视角录制。范浩强听说有公司计划在今年采集1000万小时这类数据。
范浩强总结,无论数据表征形式如何,最终孕育出智能的关键在于“总的知识量”达到某个阈值。
话题推进:在讨论了数据规模化的不同路径后,对话将进一步深入探讨具身智能的落地应用,以及行业何时能迎来“破圈”时刻。
00:54:21–01:21:19连续对话 3
00:54:21–00:57:20数据获取:从“免费”的互联网数据到高成本的具身数据
- 具身领域的数据采集与大语言模型、视觉模型有何不同?后者的数据很多是公开可及的,具身领域是否有机制让数据普惠整个行业?
- Scaling data(规模化数据)的前置性问题有哪些?
主持人程曼祺首先提出,与大语言模型和视觉模型不同,具身智能的数据并非像互联网信息一样公开易得,她询问是否有机制能让各公司采集的数据普惠行业。
嘉宾范浩强提到,业内已存在如OpenAI X-Embodiment这样的数据共享联盟。嘉宾高阳补充说明,OpenAI X是一个学术数据集的整合项目,其数据本身就是公开的,但在公司层面,大规模的数据共享尚未实现。
主持人进一步指出,互联网数据对创业公司来说曾是“免费”的,而具身数据则需要各公司投入真金白银去采集。范浩强对此观点提出修正,他认为互联网数据“免费可用”是一个“童话”(fairy tale),实际上需要大量优秀的工程师进行清洗,这些“人类劳动”才是模型伟大的根基。他类比道,YouTube上有海量的视频数据,但如何有效利用它们本身就是难题。因此,他认为具身智能在进入“Scaling Data”(规模化数据)阶段前,必须先解决一些前置问题。
在主持人的追问下,范浩强以开玩笑的口吻表示,至少要让模型在Table 30任务集上达到90%的成功率,这才能证明算法本身没有大的缺陷。高阳对此表示认同,并乐观地认为沿着当前的数据规模化路径,这个目标可能很快就能实现。他认为,虽然算法调校、数据采集的社会分工等问题尚待解决,但这些问题都是“可解的”,并且即使最初的解决方案不完美,也能产生巨大效果。
Scaling Data指规模化地获取和处理数据。在具身智能领域,它特指如何大规模且低成本地获取大量有效的机器人训练数据,这是当前行业公认的核心议题之一。
CIFAR一个经典的计算机视觉图像分类数据集。在本对话中,嘉宾用它来指代一种规模较小、分辨率较低、任务相对简单的“玩具级”数据集,与后来出现的更大、更复杂的ImageNet数据集形成对比,用以说明具身智能目前所处的技术发展早期阶段。
ImageNet一个大规模的图像识别数据集。在本对话中,嘉宾用它来指代一种规模庞大、类别众多、图像分辨率高、更接近真实世界挑战的数据集。一个模型若能在ImageNet上取得好成绩,通常被认为具备了“真能干活”的能力。嘉宾用“ImageNet时刻”来比喻具身智能领域未来将出现的、标志着技术成熟的关键性突破。
Demo工程一个行业内的说法,指为了制作出效果惊艳的演示视频(Demo)而采用的各种非通用性技术手段。嘉宾列举了四种方式:1. Cherry Pick(在多次尝试中挑选唯一成功或效果最好的一次进行展示);2. 视频剪辑(通过后期处理使机器人动作看起来更流畅或快速);3. 遥操作(视频中的机器人并非自主运行,而是由人远程控制);4. AIGC(使用AI生成内容伪造演示)。这种做法导致公众对技术的实际水平产生误解。
话题推进:在讨论完数据问题后,主持人询问除了规模化获取数据外,行业还有哪些共识性命题,话题由此转向了对具身智能落地应用的探讨。
00:57:20–01:04:22寻找具身的“Coding”时刻:从叠被子到破圈应用
- 除了大规模获取数据,行业还有什么共识性命题?
- 具身机器人时代的“Coding”任务(即高价值、高频的核心应用)是什么?有什么备选答案吗?
- 有什么业界进展让你看到了(叠被子这类应用)的信号吗?
- 你们觉得这个破圈之日有可能在什么时候出现?
主持人询问行业下一步的共识命题,范浩强和高阳都提到了“落地应用”。高阳认为,当前的主要瓶颈仍是基础模型能力不足,其进步比寻找落地应用更为紧迫。
范浩强类比大语言模型(LLM)的落地场景,指出AI编程是其主要应用之一。他由此提出一个核心问题:具身机器人领域的“Coding”时刻——即那个能极大推动技术前进的具体应用——是什么?
高阳回应,LLM因为已经“无所不能”,所以找到编程这个高价值应用相对容易。而机器人目前能力有限,虽然整理房间、取快递等任务很有价值,但机器人还做不到。范浩强补充,一旦出现某个场景,传统的工业六轴机械臂配合固定算法已经能做得很好,新技术的进入门槛很高。主持人则观察到,中国人力成本相对较低,使得机器替代人的迫切性不如海外市场(如欧美)强烈,且家政等服务场景比编程更分散。
高阳预测,机器人行业最终会分化出许多垂直领域的公司,例如专做家政的或专做修房顶的。
范浩强分享了他创业初期说服自己的一个具体想象:当机器人能把他家的被子叠好时,就意味着具身智能“成了”。他解释,这个任务有用但又不简单(not trivial),传统的家电厂商和扫地机器人公司不会去做,也无法用传统视觉技术(检测、分割)实现。他认为,这类通用的简单家庭操作可能是第一个大的应用方向。虽然目前还未实现,但他提到PI-0.6模型能在工厂里叠纸盒,一些美国公司也在演示叠袜子、叠毛巾。但他强调,“叠被子”对机器人的硬件(如负载能力)是巨大挑战,因为被子很沉。
最后,范浩强总结,具身智能的“破圈之日”,关键在于出现像ChatGPT那样“震撼心灵的demo”,让客户相信其能力,从而启动需求的“正向流转”。
‘具身的Coding时刻’不是找一个看起来像家务的任务,而是找一个能持续产生价值、数据与使用反馈的场景。叠被子有明确结果且传统家电难以覆盖,可成为能力示范;但被子重量、形态、空间和操作复杂度也意味着并非简单任务。
范浩强强调破圈需要震撼且可信的demo,让客户相信能力并开始使用,高阳则强调基础模型本身仍不足。两种观点互补:没有通用能力,应用只能局限在精心布置的甜区;没有真实应用,数据与改进又缺少反馈。公众对剪辑与遥操作的怀疑,需要通过现场、协议与持续交付逐步消除。
话题推进:在预测了具身智能的“破圈之日”后,主持人进一步追问这个时刻具体可能在何时到来,引出了两位嘉宾对行业发展阶段的判断和类比。
01:04:22–01:09:49从业者与公众的认知鸿沟:处在“GPT-2”与“CIFAR”时刻
- 这个破圈之日有可能在什么时候出现?是比较好预估还是很不确定?
- 现在具身智能类比大语言模型的发展,大概在哪个时间点?
- CIFAR和ImageNet的区别是什么?
- 从业者和非从业者认知差别很大,你们最近遇到的对你们工作的常见误解是什么?
对于具身智能“破圈之日”的时间点,高阳预测,让普通人都能感知到的“破圈”(他将其定义为GPT-4级别的时刻)可能需要3到4年。但他强调,让从业者看到成功信号的“early sign”会快得多。从业者能从一个指令遵循度不高但动作流畅的模型中,预见到其巨大潜力。
在主持人的追问下,高阳将当前具身智能的发展阶段类比为大语言模型的“GPT-2左右”。范浩强则用计算机视觉领域的发展来类比,认为现在是“CIFAR时期”,更大、更复杂的“ImageNet”时刻尚未到来,但他感觉正处于“加速进化的前夜”。
应主持人要求,范浩强解释了CIFAR和ImageNet的区别:CIFAR是小规模、低分辨率的数据集(如10个类别,32x32像素),明显是“玩具样例”(toy example);而ImageNet类别极多(1000类)、分辨率高,能处理好它的模型才被认为“真能干活了”。
这种发展阶段导致了从业者与公众之间巨大的认知鸿沟。范浩强指出,从业者能看到技术突破的早期信号,但公众除非亲眼看到机器人倒茶叠被子,否则不会相信。主持人补充,这种认知差异是双向的:一方面有人因不了解而低估,另一方面,大量精美的demo视频也让一些人过度高估了当前技术水平。高阳总结这正是“短期内高估,长期内低估”。
谈及公众的误解,范浩强归纳为两极分化:一些人认为所有演示都是“视频剪辑”,另一些人则觉得“机器人不早就实现了吗”。高阳补充,公众倾向于将一个技术展示(如叠衣服)直接等同于一个成熟的应用,会自然地期待它能完成所有相关的家务,而忽略了从技术验证到产品落地之间的巨大鸿沟。
话题推进:谈到公众因demo视频而产生的误解,主持人顺势提问行业内是否存在一些“心照不宣”的事情,话题自然转向了对“demo工程”的深入讨论。
01:09:49–01:14:53公开的秘密:“Demo工程”与测评的反作弊
- 行业里有什么心照不宣、但不太会公开讨论的事情?
- Demo工程是指什么?
- 有什么简单方法可以分辨demo的真实性吗?
- 你们的测评社区(RoboChallenge)可以通过远程监控来接近现场状态吗?
- 具身领域有什么hack benchmark的方式?你们如何反制?
- 除了多次提交,还有什么hack的方式?
当被问及行业内“公开的秘密”时,范浩强直言是“Demo工程”。他解释,这指的是公司发布的机器人视频背后,实际的实现方式可能与视频呈现的自主智能相去甚远。高阳举例,很多看似厉害的视频,其环境中的物体位置都不能变动。范浩强补充,大家早期看Figure的视频会觉得机器人已经实现了,但背后可能是通过寻找算法恰好能成功的“甜区”(sweet spot),或者重复录制100遍后挑选成功的那一遍(Cherry Pick)来完成的。
范浩强总结了“Demo工程”的四种手段:Cherry Pick(挑选最佳结果)、视频剪辑、遥操作和AIGC。他认为,分辨真伪的唯一可靠方法是“现场看”。
高阳提到,RoboChallenge社区也在探讨如何在线上还原“现场看”的体验,但这本身是一个困难的学术问题。目前,为了防止作弊,一些demo会放置显示实时时钟的iPad来证明未经剪辑加速;学术界还有人提出在演示时加入随机哈希值,以证明视频的唯一性,防止Cherry Pick,甚至可以结合区块链技术。但这些都还是探索中的想法。
主持人接着询问如何hack测评本身,例如RoboChallenge。范浩强指出,最简单的攻击方式是同一个模型、同一个任务反复提交100次,取最好成绩。RoboChallenge的对策是:规则上只取最后一次提交的成绩;同时,平台的评测产能也有限,无法支持反复提交。由于RoboChallenge是在线测评,参与者无法接触物理环境,因此最主要的潜在攻击方式是提交的模型背后由人进行遥操作。范浩强开玩笑说,更高级的hack方式可能是“社会工程学”,比如应聘成为测试员。
‘Demo工程’包括挑选成功一次、视频剪辑、遥操作和AIGC,嘉宾认为现场查看最能区分,但线上平台只能尽量通过协议减少这些风险。RoboChallenge采用最后一次成绩,限制反复提交取最好,并鼓励开源模型与代码以便复现。
这也说明评测不是一次数字验收,而是持续治理:若团队能控制任务布置、视频和提交方式,仍可能找到甜区;若允许真人远程接管,榜单就无法区分模型与人。需要把执行日志、失败记录、模型来源和人工干预纳入证据,而不是只展示排行榜。
话题推进:在讨论了测评的可持续性与商业模式后,主持人向两位嘉宾提出了最后一个问题,希望他们分享对2026年的展望和想要验证的悬念。
01:14:53–01:17:442026年悬念:具身的“DeepSeek时刻”与“GPT-3时刻”
- 2026年,你们想验证的一个悬念是什么?
- (问范浩强)你们从看Google的东西像天外来物到追上,大概花了多久?
- (问高阳)从你开始做机器人创业至今,你的自信心是一直很高还是有波动?
在节目的最后,主持人请两位嘉宾分享对2026年的展望。
范浩强表示,他最想知道具身智能领域的“DeepSeek moment”能否到来,即中国团队能否在技术上追平甚至超越美国。他回忆,在计算机视觉领域,当年看Google的工作感觉像“天外来物”,但国内团队大约只用了三年时间就在人脸识别等任务上与国外并驾齐驱。他认为,如今的研发工具(如Codex)生产力远超当年,追赶的节奏可能会更快。
高阳则表示,他更关注基础模型本身的能力边界,最期待的是在2026年看到具身基础模型能否达到“GPT-3”甚至“GPT-3.5”的水平。他表示自己“非常有自信”,并解释说这种自信随着从业时间的增长而愈发坚定,因为许多最初的困惑和不确定性正变得越来越清晰和确定。
最后,主持人总结了本期讨论,并预告了接下来的节目总结部分。
话题推进:主持人对本期与嘉宾的对谈进行了简短总结,并引出了她自己对具身智能行业的观察与梳理,作为节目的“连点成线”环节。
01:17:47–01:21:19连点成线:观察具身进展的三个维度与团队来源
在本期节目的最后,主持人程曼祺分享了她访谈多位从业者后总结的两个观察视角。
第一个视角是观察具身智能进展的三个维度:数据、模型、硬件。
1. 数据:被行业共识为当前最大议题,核心是如何规模化、低成本地获取有效数据。具体路径存在分歧,包括从视频学习、遥操作采集高质量真机数据,以及当前很火的UMI(让工作人员佩戴设备采集真实工作数据)等方向。
2. 模型:VLA(Vision-Language-Action)或端到端是主流架构。但具体实现上各团队想法不同,例如高阳曾提到可以是VLTA(加入触觉),范浩强也提到基座不一定非得是LLM,也可以是视频模型。
3. 硬件:这是一个涉及耐久性、精度、负载、续航等多方面的跨学科问题。理论上“大脑”(智能)和“身体”(硬件)可以解耦,但软硬垂直整合在研发迭代和落地上有优势,因此许多中国公司选择两者都做,以利用国内供应链优势。
第二个视角是创业团队的来源,主要有三类:
1. 自动驾驶领域:如他时创始人陈毅伦(前华为自动驾驶首席科学家)、新海图创始人高继阳(曾就职于Waymo、Momenta)。
2. 机器人学术研究背景:如本期嘉宾高阳和往期嘉宾许华哲,都曾在伯克利BAIR攻读博士。
3. 其他AI领域:如本期嘉宾范浩强,拥有很强的计算机视觉(CV)背景。
主持人指出,许多公司内部的创始团队也体现了背景互补,例如千寻智能的创始人韩丰涛来自协作机器人公司,为团队带来了工业界经验。这两个视角共同指向了具身智能的一个核心特点:它是一个高度跨学科、跨领域的方向,这既是它现阶段看起来“混乱、头大”的原因,也是其魅力所在,预示着未来仍有许多变数。
话题推进:节目结束。
01:21:23–01:21:52连续对话 4
01:21:23–01:21:52节目尾声与互动邀请
在节目结尾,主持人程曼祺邀请听众就本期话题在评论区分享自己的观察、好奇或疑问,并表示这些反馈将成为节目讨论的一部分,使其更完整。她也鼓励听众将节目分享给感兴趣的朋友,并推荐未来的主题和嘉宾。最后,她介绍了收听《晚点聊 LateTalk》的渠道,包括小宇宙、苹果Podcast等泛用型客户端,以及可以阅读更多深度报道的公众号《晚点 LatePost》。
话题推进:本期节目结束。
以上是原对话的分段阅读。下面才开始提炼论证、解释机制并给出本文自己的判断。