先把对话讲清楚
这期《十字路口》中,主播 Koji 对谈清华大学交叉信息研究院助理教授徐梦迪。从衡水中学物理竞赛班、清华车辆工程系起步,途经约翰霍普金斯大学与卡内基梅隆大学(CMU),再到斯坦福吴佳俊与李飞飞团队完成博士后,她于 2024 年初归国任教。整期访谈沿着她的核心命题——让机器人在现实交互中通过上下文学习(In-Context Learning, ICL)持续自我提升——展开,同时串联了从“解题人”到“出题人”的成长、回国与自由度的权衡、具身 Scaling Law 的信号与陷阱、数据闭环的“鸡生蛋”难题,以及年轻 PI 带团队与筛选论文的真实心得。颇有巧合的是,节目官方简介提到录完后第二周 Generalist AI 便发布主打 physical prompt 单次示范适应的 GEN-1.5,令她持续押注的 ICL 方向瞬间成为全球焦点。
1. 四驱车“寻宝”、衡中竞赛班与从车辆工程迈向机器人算法
快问快答之后,徐梦迪回顾泛化研究的起点:在 CMU 做当时还叫 Robot Learning(把机器学习方法用于机器人)的方向时,在实验室和同学杂读论文,被斯坦福教授、如今 Physical Intelligence 联创 Chelsea Finn 的 MAML(Model-Agnostic Meta-Learning,模型无关元学习)深深打动——它能让机器人快速学会从未见过的新任务。她由此将人类泛化拆成两层:一是丰富先验知识,二是面对新情况极快的学习速度;真正的机器人泛化必须补齐后一半。
谈到清华本科读车辆工程,Koji 打趣“从汽车到具身智能中间隔着一个变形金刚”。她却觉得这是无比正确的选择:车辆工程课程覆盖极全,横跨机械设计、汽车电子与算法,天然是机器人的交叉底座。真正转向机器人始于大二——受高中竞赛同学与系里学长(包括如今任哈佛助理教授的杨恒学长)影响,她进入清华机械系严少泽老师组做生物机器人,研究蜜蜂翅膀的超弹性恢复(采蜜高频撞击环境却不受损);大三暑假借此进入 CMU 生物机器人名师 Howie Choset 课题组,设计沿管道爬行的蛇形机器人,由此从机械设计逐步转向机器人算法。
回溯童年,她不敢自称“学霸”,认为只是大家把精力放在了各自感兴趣的事上。河北衡水长大的她小学十分自由快乐、没上补习班;受热播动漫《四驱兄弟》影响痴迷买零件组装四驱车。因这项爱好太烧钱,她和院里几个小伙伴放学路上专去捡可回收钢铁零件卖钱凑经费,回想起来如同充满成就感的“城市寻宝游戏”。她一直觉得精密机械把无数小零件与几代工匠智慧组装成整体很酷,这正是后来选车辆工程的种子。
聊到外界关注的衡水中学(Koji 提到有去复旦做基金的朋友回忆早上五六点起床、一周只洗一次澡),徐梦迪限定自己的体验来自物理竞赛班:高一第一学期末做意向调研,她觉得物理最贴近现实世界便选了物理。作息上无论高考班还是竞赛班同样严格——早操、上午跑操、三个年级错峰进食堂——但竞赛班寒暑假要集训、更依赖内驱力,且没法像高考班那样系统复习常规科目,冲省一等奖、省队、国家集训队若最终没保送,要到高三下学期才仓促回高考班,有点像“破釜沉舟创业”。好在教练引导得当,大家从零开始抱团解题,战友情谊远胜竞争,她并不觉得苦;后来同学既有出国成顶尖研究者的,也有在国内发展的。
2. CMU 最佳博士论文:预训练之外,ICL 与 Test-Time Training 两条路
徐梦迪获 CMU 机械工程系年度最佳博士论文奖(同届仅两人)的论文题为 Building Adaptable Generalist Robots。她完全认可预训练与 scaling,但点出根本局限:现实是开放世界——今天家里 20 个物体,一周后可能变 30 个,物体种类与主人偏好都在变,绝不可能靠预训练一次性 100% 解决所有场景。她由此探索了两条部署后适应路线:
- 上下文学习(In-Context Learning, ICL):始于受 GPT-3 启发的 Prompting Decision Transformer(Prompt-DT)(回忆起于 2021 年,正式论文发于 2022 年)。面对新任务无需微调,直接把少量机器人示范放进提示上下文,适配不同运动(locomotion)与操作(manipulation)任务。
- 测试时训练(Test-Time Training, TTT):延续工作 Hyper-Decision Transformer 在部署时改极小部分参数。因直接微调大参数易引发灾难性遗忘,团队用超网络(hypernetwork)吸收先验知识,部署时按示范生成仅占整个 Transformer 参数约 0.5% 的轻量适配模块(adapter),只微调这 0.5%。
对比两者,她判断预训练数据量小时超网络更易奏效,但随预训练规模不断变大,不改参数的 ICL 更有长期前景(或等收集足够多任务后再批量更新参数)。她顺势串起前沿脉络:DeepMind 的 Algorithm Distillation 把传统模仿学习里“模型参数 = 任务记忆库”改写为“模型参数 = 一个强化学习算法”,在上下文窗口喂入次优轨迹让 Transformer 在参数冻结时依据历史错误自我提升(当时主要在模拟导航和运动控制奏效,操作仍难);CMU 相关团队把基于 Transformer 的上下文运动适应部署到四足机器人;NVIDIA 近期发布的 Robot TTT 则让机器人观看人类长程操作视频并在测试时学习改变行为。至于适应能力为何直到现在才逐渐成共识,她认为先打牢基础模型是合理的——否则机器人到家庭现场学习时动辄打碎杯子太可怕,如今纯堆专家模仿与预训练已显露边界,adaptation 自然站到台前。
3. 斯坦福博后三项工作,与李飞飞、吴佳俊截然不同的导师风格
在斯坦福吴佳俊、李飞飞组做博士后期间,她着重把博士阶段想法推向真实复杂任务,交出三项满意工作:
- BEHAVIOR 基准:李飞飞团队重投入打造的长程生活任务基准,涵盖家庭、学校模拟场景与开源资产,回答“机器人究竟该解决什么重要任务”。她负责模拟环境中的人工操作数据生成方案,开始深入啃下此前较少涉足的长程局部操作(local manipulation)。
- 可引导性(Steerability):发表两篇贴近主线的工作,让机器人遵循更丰富多样的人类语言指令并适配不同人的偏好。
- Creative Tool Use(创造性工具使用)基准:人拿工具不死认名字而看功能可供性(affordance)——没蛋糕刀用叉子或筷子切蛋糕,没扫帚用书本甚至机器人小臂扫拢桌面。团队采第一与第三视角对齐人类数据,分三维度评测:① 多模态大模型选工具与生成轨迹;② 蛋糕、水等可切分、非刚体柔性物体的 3D 与 4D 重建;③ 人类灵巧工具使用向机器人的迁移。
回忆两位联合导师,她直言极为幸运。李飞飞是典型的 vision-driven(愿景驱动),常拉她跳出单篇项目去想“未来十年真正重要的是什么问题”。定 BEHAVIOR 指标时团队细列了进度、耗时、成功率一大串,李飞飞追问哪一个真正重要——答案只有最终成功率(success rate),其余仅用于开发调试;并引爱因斯坦名言“让事情变得简单,而不是更简单”,促使她完成从博士“解题人”到独立 PI“出题人”的蜕变。吴佳俊则更含蓄务实,既扣项目设计细节,又在她迷茫时推动她建立自己的 research brand。在她看来,research brand 不是刻意找标新立异的标签,而是锚定自己笃信、愿投入 3–5 年甚至 10 年的问题(Koji 顺势援引 Paul Graham《如何成就伟大事业》:远看知识体系如光滑球体,走近才看到坑洼与黑洞,那里正是科研与创业的起点)。
4. 2024 年初回国入叉院:No Free Lunch、姚先生忠告与选环境哲学
2023 年博士五年级时,她站上毕业十字路口——留美还是回国、去工业界还是留学术界。博士期间在 Google 长期实习体验极佳,mentor 帮她建立研究品味,工业界算力也更易 scale;但工业界往往伴随自由度让渡。她用机器学习概念 No Free Lunch(天下没有免费午餐)总结:每个选择必有短板,她最看重把时间最大化投在认定重要问题上的自由度。经吴毅老师搭桥面试清华叉院,与院系老师及姚期智(姚先生)交流后,她于 2024 年初正式回国——看重两大核心优势:一是姚班等极高的人才密度,二是机器人作为集成系统需要完整软硬件落地土壤。
面试中有两幕令她铭记:一是某位老师直问“为什么觉得自己 5 年后一定能成为领域顶尖研究者”,当时她脱口而出自信的“我觉得我一定可以”,事后反思更好的回答应紧扣自己深信的核心问题与沿正确路径死磕 5 年的把握;二是姚先生的忠告——一定要更加专注,真正重要的问题没几个,时间不可摊太散。因此尽管她好奇心极强,日常仍刻意少刷行业头条、多读论文和一手信息,稳住未来一两年可能改写领域的手头研究。
面对“一路顺风”的评价,她笑言每次转型踩坑不少,更愿归因于每个阶段都有好友良师托举的幸运。选环境不迷信所谓“最好”,而是选最适合自己、能让能力像打游戏通关一样倍增的环境。同为内向 I 人,进入新环境前她会扎实做信息采集:先找朋友牵线,不通就发邮件——先自己写初稿再让 AI 润色礼貌度。反过来如今作为收邮件的教授,她通常不回明显纯 AI 写的套磁信,真正打动她的邮件只需两点诚意:真的懂这个领域和方向,且把兴趣落实到具体愿意做什么工作。
5. 国内具身“超调”、世界模型与 Scaling Law 的 Loss 陷阱
回国一年多观察大批国内具身创业者,她的感受是“实际进步与泡沫并存”:材料、传感器、本体、数据到模型全链条都有国内团队扎实攻关;同时因路线未收敛,行业热点在“数据 ↔ 世界模型”间剧烈摆动,就像自动控制里 PID 没调好导致的超调(overshoot)与振荡。其实二者并非互斥,数据决定模型能看到什么,世界模型则比任务导向的 VLA 更关注表征与世界演化规律——因现实任务不可穷举,她偏好看好世界模型。海外她关注 PI、Google、NVIDIA、Generalist 以及探索 ICL 的 Roda;国内点名赞赏蚂蚁灵波近期同样走 ICL 路线的 LingBot-VLA 2。
当 Koji 追问是否看到 Scaling Law 信号时,她提到外部同行把预训练数据从 10 万小时扩到 100 万小时后,hold-out 未见测试集指标确实改善;但立刻亮出致命陷阱:机器人动作预测 loss 下降并不直接等价于真实任务成功率上升。例如 20 步拿杯子,前 17 步没碰到杯子拟合得再完美、平均 loss 再低,只要第 18 步真正接触时偏差稍大,任务照样失败。她等待的真正 Scaling Law,是数据与模型变大时,未见任务的真实成功率稳定攀升。
她将当下主流“预训练 + 针对目标微调”类比语言模型的 GPT-1 阶段,期待普通人也能靠上下文提示定义任务的 GPT-3 时刻;在开源基准里仍力荐持续维护迭代的 BEHAVIOR。回应英伟达 Jim Fan “具身严格对应语言模型演进阶段”的演讲,她总体认同大路线,却强调机器人有三大独特硬边界:一是安全必须更早前置做 stress test,不能只报成功率;二是实时性不可妥协(Koji 补刀说推理大模型想 20 分钟我可以等,机器人卡一秒没动静我就想拍它);三是机器人拥有身体并观察环境,上下文维度远超文本。
6. 胶囊衣橱、数据闭环的“鸡生蛋”难题与四类数据融合图谱
聊回近期实验室的核心攻关,她拿行业最爱拍 Demo 的叠衣服直击痛点:所有演示都默认叠成方块,但她自己用胶囊衣橱习惯把衣服全卷起来,有人按颜色放,有人直接挂起来。ICL 的终极愿景是把任务定义权交给终端用户,更期望机器学过 1,000 个类似做菜任务后,新任务适应时间从 30 分钟缩至 10 分钟以内,让 ICL 自身成为持续扩能引擎。最大的“bug”与风险在于跑通稳定数据闭环的“鸡生蛋”难题:基础模型须先足够好用、用户教半小时即见明显进步才愿继续教,但模型又须先入户拿到真实交互数据才能激发能力。目前课题组从真机双臂(bimanual)配灵巧手的桌面任务起步,采集人的纠正与示范,远期目标是全身灵巧操作。(谈及同在清华叉院的许华哲、高阳、陈建宇等创业活跃同事,大家平时虽忙,但愿景一致、路线各异,常交流如何 scale 与走进真实人类场景。)
她将自身思路与传统离线模仿学习划清界限:后者把专家示范蒸馏进参数当成任务记忆模块,靠插值泛化(interpolation generalization)(如见过 5 物体 10 位置内插新位置)而非学习新任务;她则喂入次优轨迹、失败记录、人类身体姿态、语言纠正与人/机示范,激发模型依据反馈改错的能力。她指出数据最难在定义需求——必须由模型想获得的能力倒推(要平滑动作就采平滑轨迹,要失败恢复 failure recovery 就须采失败与纠正,要“一指即教”就得录手部、身体与语言指示,还要权衡分割、tracking、深度与法向重建等视觉能力)。身为坚定的数据融合派,她明确划分了四类数据的最佳生态位:
| 数据来源 | 核心特点与成本 | 最佳使用阶段与作用 |
|---|---|---|
| 遥操作(Teleoperation) | 最贴近目标机器人本体与真机分布,采集成本较高 | 最适合后期 fine-tuning / post-training,精准对齐目标场景与本体 |
| 仿真(Simulation) | 干净易对齐,低成本变换物体位置、纹理与颜色 | 适合 pre-training / mid-training,提升视觉鲁棒性并激发视频预训练能力 |
| UMI 手持夹爪数据 | 形态接近机器人末端、成本低于真机遥操作 | 位于仿真与遥操作之间的中间桥梁 |
| 人类数据(Human Data) | 成本最低、人是极成熟本体,可极速铺向海量真实场景 | 负责场景理解与任务中物体状态变化(与具体形态弱相关),配合形态迁移(morphology transfer)释放价值 |
7. 培养年轻研究者、AI 论文潮与“马拉松 10 公里”
访谈收尾聊到科研育人与年轻 PI 日常。给想跨入具身方向的年轻学生,她给两条硬建议:第一多看多交流,“先把书读厚再把书读薄”,把对时髦热词的模糊兴趣打磨成具体问题;第二尽早真机上手,真机部署的工程暗坑只看论文永远不懂。博士面试她的必考题是“最感兴趣或觉得做得最好的一篇论文是什么?”以考察 Research Taste。她最欣赏一位对扩散模型感兴趣的学生——没有随大流只举机器人圈火热的 Diffusion Policy,而是直接追溯到最早的原始扩散论文,展现了刨根问底、追溯源头的潜质。
对本科生她采取“宽进”策略,开设双周(biweekly,原计划每周)学习小组式 Tutorial 组会:由学生主讲,前 30 到 45 分钟从科学史或流派讲透整个领域演进,后 15 到 30 分钟再嵌入自己的具体项目;第一次她会手把手帮理结构,之后逐步放手。虽然是典型的理性 INTJ,但她笑道自己其实很有共情能力、常有“偏 F 时刻”,能敏锐照顾集体情绪;面试博士生时会提前坦诚新实验室需一起承担建设和琐碎工作,不把它看作“一个人的 startup”,而是师生彼此信任的共创集体,录播客前两天大家刚一起唱歌团建。
日常她轮换使用 ChatGPT 和 Gemini(视角不同),最近不仅做调研,还拿它们聊生活甚至帮忙给实验室起名字(虽有好方案但尚未定案)。面对各领域论文大爆发,她坦言机器人论文近期翻倍增长,混杂大量 AI 撰写的文章——第一眼看似详实工整、甚至能过审登顶会,细读却论证漏洞百出、信息量极低。她如今靠每日追踪关注研究者在社媒亲自推介的一手工作做初筛,一旦看出 AI 写作痕迹过重就会打折扣。最后被问具身 42 公里马拉松跑到哪了,她清醒定位在约 10 公里(差不多四分之一)——强调通用智能机器人尚未真正落地、前路仍长,但乐观预计未来 3 到 5 年将通过 scaling 迎来明确拐点。Koji 结语共鸣:“悲观很容易正确,只有乐观才可能成功。”
机制:机器人到底从什么输入中改变什么
1. 上下文学习、纠错反馈与测试时训练的三重边界
本文自拟例子:家用机器人在“胶囊衣橱”家庭首次看用户示范卷卫衣,若模型权重全程冻结、只靠输入窗口里的示范引导动作,属于上下文学习(ICL)——切换用户偏好极快、不伤原有能力,但上下文清空且无外部记忆时不能假定它仍记得偏好。若首遍卷太松、用户纠正“卷紧一点”,系统须把语言纠正精准对齐刚刚的夹爪力度与松散结果;要证明真的利用了纠正,必须对比同一初始状态下无纠正、正向纠正与反向纠正(卷松一点)的行为分叉。而测试时训练(如 Hyper-Decision Transformer 微调 0.5% 适配器)把经验沉淀进参数得以持久保留,代价则是需单独测试微调耗时、安全边界及旧任务遗忘。
2. 为什么更低平均 Loss 可能对应 0% 的任务成功率
本文自拟算例:把 20 步拿杯子抽象为每步轨迹误差。模型 A 前 19 步误差为 0,仅第 18 步关键接触瞬间偏差 0.16,平均误差 0.16 ÷ 20 = 0.008;模型 B 每步误差均为 0.01,平均 0.01。若接触容差上限为 0.05,离线评估 loss 更低的模型 A 会在关键一步撞倒或滑脱杯子(成功率 0%),而平均 loss 略高的模型 B 全程落在容差内稳稳完成。这解释了为何离线 hold-out loss 下降只是早期信号,绝不能直接等同于闭环操作能力的 Scaling Law。
3. 真正可运转的数据闭环,单条交互必须绑定五类要素
孤立的一句“卷紧一点”毫无监督价值;一条能反哺训练的现场交互至少要结构化绑定五项:多视角观测与本体状态、已执行动作序列、环境物理后果(成功/滑脱/碰撞)、用户多模态纠正(语言、手势或示范)、以及修正后的新结果,再在系统架构里分流至当前在线纠错、长期个人偏好记忆或周期性参数微调。
独立判断:从演示走向可检验的能力
1. 拆解“没见过”的泛化梯度,理性看待 GEN-1.5 节点
新位置、新物体、新组合、新偏好与全新物理交互难度层层跃升。录完本期后第二周,Generalist AI 发布的 GEN-1.5 报告称,在 10 项短程操作任务中,仅凭 3 到 12 秒动作示范作为 physical prompt、不做梯度更新,平均一次示范成功率约 59%(报告本身也坦承任务较短、成功率有限)。这印证了徐梦迪押注的无参数 ICL 已现真实萌芽,但距家庭低容错长程日常任务仍隔漫长鸿沟。
2. “纳入失败与次优轨迹”不自动生成改错能力
离线训练若只是简单混入失败与次优轨迹而缺乏清晰结果标注或阶段区分,反而可能拉低平均策略质量、让模型学会稳定失败。算法验证须清晰区分回合内即时补救(滑脱后当场重抓)与跨回合提速(教过几次后下次一步到位)。
3. 区分“扩规模有效”与“严格可外推的 Scaling Law”
从 10 万扩到 100 万小时往往同时改变数据清洗、任务分布、模型结构与算力预算。真正能指导产业投入的规模规律,需控制分布与预算,在多个数量级上汇报未见真机任务的闭环成功率、置信区间与安全事故率,并验证小规模曲线能否准确预测更大规模表现。
4. 论文泛滥时代的 Research Taste:溯源之外更要练“反例直觉”
从应用论文追溯到原始扩散模型能看清最初假设;在 AI 写作让论文翻倍、包装越发精致的今天,同样稀缺的是读完高分论文立刻追问“它在什么物理接触、时间延迟或未见扰动下最先崩溃”的反例直觉。
证据边界与资料索引
本文依据整期节目第三方机器转写与官方简介重建,未逐字听审原声;嘉宾求学与归国经历、课题组进展、行业“超调”判断及未来 3 至 5 年预测均为个人口述或观点,未逐项独立核验。机器转写中的部分外文人名与术语已依公开学术资料与节目简介校准:包括 MAML 作者 Chelsea Finn(转写误记为 Charles Finn)、CMU 生物机器人导师 Howie Choset(转写误记为 Hobby Cho Set)、双臂平台 bimanual setup(转写误记为 by manual setup)、蚂蚁灵波(转写误记为林波)、英伟达 Jim Fan(转写误记为金范),以及 Hyper-Decision Transformer(转写误记为 Hyper Design Transformer);Prompt-DT 正式论文发表于 2022 年。下列论文摘要与 Generalist GEN-1.5 官方博客用于核对方法名称与自报测试口径,未对其实验做独立复现;文中的卷衣交互示例与 20 步误差算例为本文自拟。