机器人的哪些本事必须在真机上学?

让机器人把杯子放进陌生厨房的抽屉。读懂要求、找出暗扣、察觉夹爪打滑,这三件事分别可以在哪里学会?“离具身越近,离智能越远”这句挑衅,争的正是这个训练顺序。

作者把赌注下在哪里

原文开头谈博士研究应该承担多大的失败风险。作者愿意把几年押给一个还没有跑通的范式,因为一次突破就可能值得之前的失败。他用 high-entropy 形容这种选择。大语言模型已经有许多成功应用,他愿意押的未知数,是从语言、代码和工具使用中学到的本事,究竟能接管多少物理任务。

语言里保存着人已经做过的推理

作者把文字、视觉和动作看成同一个世界留下的不同记录。即使它们都包含规律,找出规律的成本也可能差很多。用厨房举例,一段开抽屉的视频同时记录了卡扣、光影和衣袖。一句维修经验却可以直接写成“拉得越用力,锁舌卡得越紧,先向里推一点再按卡扣”。写下这句话的人已经筛过变量,保留了一次失败、一个解释和一个替代动作。

原文用预测一条马尔可夫链的未来作类比。这类过程每一步怎样变化取决于当前状态。只给学习者开始和结尾,它得猜许多步合起来发生了什么。把中间状态也交给它,一步的规律就有机会被看见。作者认为语言天然积累了大量这样的过程监督,进而提出很强的判断,现有自然数据里能监督推理的模态只有语言。他相应看淡预先设计“好表征”的研究,主张选定有意义的预测目标,再让内部表征从数据里形成。他也赞同行动预测可以在更紧凑的视觉表示中进行,以减少对画面细枝末节的建模。

练投篮的人,什么时候学了球的运动规律?

投出一球、看到短了、下次稍加力。这段学习可以始终围绕“怎样投进”展开。等一个人能在许多距离和角度命中,他选择的动作已经透露了他对球和环境的了解。作者据此设想,提升通用策略对许多目标的完成能力,也能带出世界模型。

这里有两个尺度。广义上,能预测一句话或下一帧的模型,在利用世界投影到数据里的规律。狭义的世界模型要能回答“眼前处于这个状态,执行这个动作,接下来各种结果分别有多大可能”。原帖引用了一篇从通用策略反推环境规律的论文,随后作出研究选择,把主要精力放在先练强策略上。[2]

从预测常见经验,到提高成功经验的概率

作者用压缩来理解预训练。对实际出现的下一个词,模型若给出八分之一的概率,理想码长为 \(-\log_2(1/8)=3\) 比特。能利用上下文把概率提到二分之一,它就只占 1 比特。这个关系对一串词逐项累加,就把预测损失和记录这段文本所需的长度连起来了。[3]

然而一个常见动作未必能完成眼前的任务。作者给搜索和强化学习分了工。搜索花额外计算尝试不同路线,找到平常很少采到的好解,也可以出于好奇去找最能改善预测的新经验。强化学习再利用反馈,让模型今后更常走向能实现目标的结果。这样,一段少见但正确的证明就有机会压过大量貌似合理的回答。

沿着这条思路,他押数据和评测能改变扩大训练规模的回报。带推导的数据可能让模型用更少样本学到可复用的步骤,而评测决定这种能力能否被研究者看见。他用加法和因数分解的难度差距,来表达对“架构、算法和优化器主要改变起点,数据才能改变斜率”的信念。落到机器人,他希望有两类考题,一类能验收工业任务,一类做到足够好就真的有助于机器人进入家庭。

一个“大脑”怎样使用多种身体

写一段控制程序、让夹爪移到指定位置、读取传感器,都可以成为模型能调用的工具。硬件厂商提供与本体有关的能力,通用智能体的运行环境提供编辑、执行和保存代码的能力。代码或文字还可以跨回合保存物体位置和已经试过的办法。作者甚至设想用代码长期维护三维场景状态,再用神经渲染器生成游戏画面。这是他沿着“代码可以保存状态”作的进一步推演。

为什么一起解决许多任务可能更容易?作者想到一个人既能开不同的车,又能遥控陌生机器人,还能看示范学用新仪器。具体动作要适配,读说明、分步骤做事、发现误差和换工具的经验却可以共用。这也是他把具身接口比作命令行的用意。给模型稳定的状态读数和含义清楚的指令,一台轮式双臂配三指夹爪就可能比仿人手更容易上手。他批评从“人有某个器官”直接推出“机器人得先复现它”的做法,同时也承认人形和灵巧手自身的吸引力。

原帖对专用路线的预言相当明确。作者看好从强通用模型向小模型蒸馏,也就是让小模型学习强模型的行为。他怀疑从小型控制策略逐步往上加能力,能够同样容易地长出通用性。他甚至判断,工业场景里专用视觉—语言—动作模型眼下的部署成本优势,终将被更便宜的通用模型侵蚀。这是他的长期预测。

到了物理世界,等一次反馈要多久?

文章最后按验证的耗时、代价和噪声排列了一张路线图。软件修复可以跑测试,形式化数学可以用 Lean 检查证明,机器人可以先在仿真中反复试错。作者将软件、形式化数学、机器学习基础设施和工作助手排在前面,随后是机器人、新架构与算法、依赖真实实验的科学发现,最后是许多难以定义统一尺度的人文学科和社会问题。这个次序表达的是他对反馈条件的判断。

他仍然重视本体产品、实时控制、数据采集、仿真和真实任务评测。把现实场景可靠地搬进模拟器,本身就需要研究。他结尾又为视觉和具身加油,首尾的意思由此接上了。如果追求的是通用智能,他认为当前最值得加码的是语言模型。如果追求的是让机器真正有用,怎样执行、在哪儿试、如何验收,都有具体工作可做。

中间状态究竟多教了模型什么

我会把文章的分界线画在学习者还缺哪一条信息上。维修手册已经写清的因果经验,可以带给许多种机器人。眼前这个卡扣究竟有没有松开,则可能要靠一次新的观察。用一个小例子可以看清两者的关系。

按钮的实际机制开始按一下再按一下
按钮没有接通灭灭灭
每按一次就翻转灭亮灭
教学示例。两次按完再拍照,两条规律给出相同答案。恰好在第一次按完时观察,两者立即分开。

如果训练集永远只记录“灭,按两次,灭”,再收集一百条也分不出这两种机制。如果某次中间亮了,学习者还能据此预测按三次的结果。语言可以把中间观察和解释一起交给模型,视频也能拍到第一次亮灯。这里真正降低学习难度的是获得了能区分解释的中间证据。这同时给“好表征”提出了一个具体要求,压掉画面里的无关纹理时,还得保住灯亮、锁舌回弹、物体开始滑动这些决定下一步的细节。

哪些判断已经有证据

同一批新增数据,换一道考题就看见不同收益

原帖提到的千亿图文研究采用 SigLIP,训练模型判断图片与文字是否匹配。下表固定 H/14 型号与训练算力,两组都累计看过 1000 亿个图文样本。较小的数据池会重复使用。两列比较的是把可抽取的不同图文对从 100 亿扩到 1000 亿,表中数字均为错误率。[1]

怎样考模型100 亿对1000 亿对
ImageNet 零样本物体分类25.6%24.9%
Dollar Street 少样本地理定位59.1%53.7%

辨认常见物体的错误率只降了 0.7 个百分点。给每类十个例子,让模型根据生活场景判断拍摄地区,错误率降了 5.4 个百分点。扩数据的价值,要看测试有没有问到多样的地区和生活经验。这项结果直接支持原帖关于评测的判断。它测量的是图文对比学习的下游表现,据此推算“直接预测下一个视觉 token 的斜率接近零”,还缺针对那个预测目标的对照。

学习曲线的斜率与算法复杂度有什么关系?

设训练预算是 \(C\),误差超出下限的部分近似为 \(A C^{-\alpha}\)。改变 \(A\) 会把双对数图上的线整体搬高或搬低。改变 \(\alpha\) 则会改变每次把预算翻倍的回报。如果指数为二分之一,翻倍后剩余误差约为此前的 71%。如果指数为一,同样的预算增长能把它减半。这里讨论的是在给定分布上扩大训练预算时,平均误差怎样变。一个算法的最坏运行时间讨论输入长度增长时,最难实例需要多少步。两者度量的对象不同,用加法和因数分解作类比,推不出所有架构只能改变截距。

从强策略里能读出什么,与怎样练出它

Richens 等人研究的是状态有限、转移规律稳定、状态之间可以通过行动相互到达的环境。在他们的设定下,一个策略如果对足够丰富的多步组合目标都接近最优,就可以给它一系列只能二选一的目标,看它怎样选,进而估计“在状态 \(s\) 做动作 \(a\),下一步到达 \(s'\) 的概率”。这个结论依赖策略在同一个环境中能应对多种目标。反复在固定位置把同一个球投进,提供的信息少得多。[2]

论文说明的是已经足够强的策略必然透露哪些知识。要用最少的经验练出它,仍然可以选择直接练策略、显式预测动作后果,或两者结合。论文的讨论也指出,显式模型可以用来比较尚未执行的动作,节省环境交互。原帖从必要条件走到了训练路线,中间这一步正是它的赌注。

为什么观察一个选择,就能了解环境?

设甲路线的成功率未知,乙路线的成功率可调,两者完成后回报相同。假设决策者知道概率,总选较容易成功的路线。乙的成功率为 60% 时它选甲,乙升到 80% 时它改选乙,那么甲的成功率就在 60% 至 80% 之间。继续改变乙可以缩小区间。这是解释“行为如何泄露知识”的简化算例。原论文构造了不同的复合目标来提取信息,并为不完美策略的估计误差给出界限。

一个实验让真机行动,另一个让仿真暂停等模型

V-JEPA 2-AC 给出了显式学习的实例。它先从视频中学习视觉表示,再用带动作的机器人轨迹学习“这样动,画面里的状态会怎样变”。执行时给模型当前画面和目标画面,它比较候选动作序列,选预测终点最接近目标表示的方案。真机只执行第一步,再观察、再规划。研究者在两个实验室的机械臂上演示了抓取和放置。这个例子也落实了原帖赞同的一点,视觉预测可以集中在和行动有关的表示上。[4]

Astranomy 则研究通用模型能把动作接口用到什么程度。在 RoboLab-120 的 120 项抓放任务上,每项运行五次,Astra 的直接动作策略成功率为 66.3%,在保留交互上下文的智能体环境中运行时为 74.8%。这些是两套完整配置的结果。实验在推理时暂停仿真,直接策略平均每次推理耗时 18.56 秒。桌上静置的杯子可以等模型思考。一旦杯子开始从夹爪里滑落,能等多久就由物理过程决定。在仿真中把杯子放到位,和在真机上以可接受的时延、干预次数与成本连续作业,需要各自验收。[5]

让机器人自己发现,下一次该看哪里

回到那个打不开的抽屉。运动接口可以准确返回“机械臂到位”,相机里抽屉却还关着。如果夹爪打滑,加大夹持力可能有效。如果是锁舌受力,继续拉只会卡得更紧。一本手册能把两个解释都教给模型。要判断眼前发生了哪一个,它得想出一次试探,例如先轻推把手再缓慢回拉,同时观察指尖相对把手有没有滑动、抽屉是否开始位移。这次观察取得了手册里没有的现场证据。它也说明为什么接口得设计好,程序里的“动作已完成”和杯子或抽屉的实际状态可以不同。

这给出一个可检验的预测。若只换机械臂的指令名称,提供准确的接口说明后,已有策略应当较容易迁移。如果改变的是隐藏的接触机制,同一指令会产生不同结果,给模型获取中间观测的机会就应该更有帮助。可以让同一模型在相同动作与时间预算下测试两类新抽屉,分别提供动作结束状态或试探过程中的相对位移。既看它能否在揭晓前判断故障原因,也看它能否在没见过的抽屉上把杯子实际收好。若只提高原因判断,收益就还停留在诊断这一步。这是一个实验设想。

这个区别对自主研究同样重要。给定两个解释,让模型选出与结果更相符的那个,已经可以自动评分。更难的情形是最初根本没人提到“夹爪在滑”,模型却发现现有解释都说不通,主动去观察指尖。可以再做一个对照,两组都有相同的感知接口,一组拿到建议的试探动作,另一组自己决定该试什么。如果只有前一组成功,就能把困难定位到提出试探的那一步。验证成本下降会加快筛选已有候选。下一轮有什么新东西可学,还取决于模型能否问出一个原先没人问、答案又真能改变决策的问题。

证据边界与资料索引

观点原文标注发表于 2026 年 11 月 17 日 16:22,文中自述愿意押注通用语言模型进入具身领域。现有文本没有可核实的署名和首发地址。下面前两篇是原帖点名的论文,后三项用于说明压缩、显式规划和通用模型控制。数字沿用研究者报告,灯、概率选择和暗扣抽屉是用于分析论点的例子。

  1. Wang 等。图文数据规模、匹配算力下的实验设置与表 1 的错误率。Scaling Pre-training to One Hundred Billion Data for Vision Language Models
  2. Richens 等。定理 1 给出恢复环境转移的条件,讨论部分解释显式世界模型的价值。General Agents Contain World Models
  3. Delétang 等。概率预测怎样用于无损编码,以及这种对应可以怎样测量。Language Modeling Is Compression
  4. Assran 等。动作条件预测、用目标图像规划和真机部署见第 4 节。V-JEPA 2
  5. Yang 等。RoboLab-120 的成功率、仿真暂停条件与单次推理时延。Astranomy 实验报告

关于如何区分执行已有评测与发现新问题,可接着读站内笔记《从推特讨论到研究判断》。