原对话:沿提问、回答和转折完整展开
下面先按节目顺序重建。主持人在追问什么,嘉宾如何以自己的经历、例子和推理作答,尽量保留在具体语境中;案例中的事实、数字和判断先归属于发言人。随后才进入本文的机制解释与独立判断。
00:00:02–00:25:31连续对话 1
00:00:20–00:06:13从Agent到多模态:一次逆势的职业选择
- 你之前是在混元做什么?
- 然后最近是刚刚去了新公司,就是某具身公司吧?然后你现在在这家具身公司做基模训练的负责人,是吧?
- 我都不知道你还有过Agent的这一段。
- 那这个时候还是戴老师是吧?
- 所以这块跟上一个的区别就是这块更偏infra,就更偏底层架构啊什么这些东西了。
主持人先核对淏楠在混元和当前新公司的职责。淏楠自述,他此前在混元多模态的“后训练、基础强化学习”团队下负责Infra,做所有多模态RL Infra,并将UniRL称为自己最主要推进的工作;官方shownotes进一步称其为UniRL开源框架的主导者。到未具名具身公司后,他负责整个基模团队、当前以预训练为主,后训练仍偏预研。他认为具身行业总体也尚未进入能把RL做得很好的阶段,这属于他的行业观察。shownotes还说他“读过五个大学”,但这段音频没有展开学校、时间或转换原因,不能据此补写求学经历。
回顾2025年10月,淏楠当时在MiroMind做纯Language Agent,而不是多模态Agent:模型搜索网页、读新闻并写报告。他说自己从2025年7月做到2026年初,转录的结束月份写作“23月份”,无法据此确定是一个月还是“2、3月”。2026年1月毕业找工作时,他自述较高的offer多来自Language Agent方向,这与当时Agent需求升温有关。
他没有继续Agent的直接理由,是预判下一年的主干工作会大量围绕数据构造,而这对他个人的积累和兴趣不够有吸引力。其实际参与范围是MiroMind的MiniTraining、SFT,以及Web Search数据构造;当时团队还在摸索Agent数据应该长什么样、怎样造,以及转录所称的“MCP应该是啥”。MCP在这里不能被写成评测指标。主持人也追问:多模态后训练不也要做数据吗?这使他的选择更应理解为工作内容、兴趣与机会的组合,而不是对两个方向技术含量的排名。
随后,庞天宇邀请他去腾讯做图片、视频Diffusion生成,并建议他尝试RL Infra。淏楠提到翁家义在Why Not上的讨论及两人私下交流,让他判断这个方向重要且自己感兴趣,于是加入混元负责这块工作。他后来也明确说,这段经历让自己学到很多infra知识。因此,原稿“多模态技术上更有潜力”或“Agent缺乏挑战”都不是他的完整表述。
RL Infra支撑强化学习训练运行的工程系统。本期能确认到的是:淏楠负责混元多模态RL Infra,团队希望把infra、algorithm和reward接成闭环。infra与algorithm具体怎样分工,节目只给出协作关系;后文视频采样速度对rollout和RL迭代的影响,则说明训练系统不能只关注更新算法。节目没有披露UniRL具体的并行策略、调度器、容错、吞吐或成本指标,因此不能自行补成一套已验证架构。
Language Agent本期指以语言和网页工具完成信息搜索、阅读与报告生成的Agent。淏楠在MiroMind参与的是其MiniTraining、SFT和Web Search数据构造,不应扩大为多模态Agent或完整Agent系统均由他负责。
后训练 / SFT / RL后训练是预训练之后继续让模型适应任务或偏好的训练阶段;SFT用给定示范做监督学习,RL则依据奖励信号优化。嘉宾关于SFT更快的说法限定在短期租卡、快速提分场景,不能当作普遍排序。
Diffusion与Action模态Diffusion通过逐步去噪生成数据。嘉宾借用这一共同技术思路解释视频生成向动作生成的迁移,并把Action看成与视频、音频并列的一种输出模态;相似建模接口不等于机器人控制问题已经解决。
话题推进:从个人职业选择的动机,自然过渡到对国内外强化学习领域差距的讨论。
00:06:13–00:08:56RL的差距与Agentic多模态的构想
- 我听过一种说法,就是国内虽然也讲了很长时间的RL,然后也有很多人在做,但好像听说跟海外的这个RL上的差距还是蛮明显的,蛮大的。
- 所以你这段RL infra做起来跟你预期当中是差不多的?
对于国内外RL差距,淏楠把工程代码能力与整体训练积累分开。他认为Infra本身的代差没有那么大,更大的限制是算力,以及数据、持续投入和训练时长。主持人将其概括为“卡少则实验少、经验积累慢”,嘉宾顺着这个逻辑回应:如果同样只租一个月云资源、目标是在一个月内把分数推高,SFT往往比RL更快。这个比较带有时限和提分目标,不能推广为SFT在所有长期能力上都优于RL。国内外差距和算力判断也均为嘉宾观点,节目没有给出对照数据。
谈到混元经历,他说个人在infra圈收获很大;公司侧当时正在把这套能力往主线推,希望Diffusion任务后续使用,并与组内算法结合。这里披露到的是一条协作链:infra支撑训练系统运行,algorithm利用信号更新模型,reward为图片、视频等输出提供评价,三者形成闭环。它不等于三项均已完成规模化生产验证,节目也未给出UniRL的吞吐、成本或效果数字。
团队做“混元creator”时,希望把Agent交互引入多模态创作,而不是把Agent和多模态视为互斥路线。他的例子是:模型生成三段视频,用户选择一段;若都不满意,可以要求在方案1上继续改。这类似编程工具给出候选、用户接受或拒绝,但创作还包含个人审美。团队希望围绕这种使用方式搭建多模态后训练,这是他所说的“Agentic多模态RL”背景。
淏楠还提到UniRL及后续Agentic多模态RL工作借鉴过一些优秀库,但转录只能辨出“World”“Slim”等读音,不能确认项目名,更不能将“Uni”展开成“Agentic多模态RL”。后文他反而把“uni”联系到理解与生成的结合,应保留这一上下文。
话题推进:在解释了Agent和多模态可以结合之后,话题转向了同时拥有这两个领域经验所带来的独特认知。
00:08:56–00:12:37“围城”心态与从多模态转向具身的原因
- 这两个都做过以后,和单独如果只做个的话,你认知上的那些区别在哪?
- 我刚问的是你怎么两边都做完,怎么看Agent和那个多模态嘛,但你最后的结果是你也没选Agent,也没选多模态,反而选了具身嘛。
- 正好你也提到了,就是其实在多模态或者大厂里面也有世界模型这条线嘛,对吧?世界模型基本上至少在国内基本等同具身了。所以你背后你的一些选择和考量是怎么样的?
- 但你这个点在所有的领域里面都是一样的,对吧?就是大厂固有的问题。
- 所以那你刚才讲是大厂跟真的做具身的这些公司之间选择嘛,从多模态到具身这个选择是怎么做出来的?
曲凯问两边都做过以后有什么新认识。淏楠先用“围城”描述从业者的互相羡慕:做Agent的人觉得天天洗数据没劲,做视频的人又担心工作“不体现智力”,GUI在年初也曾一度被看冷。他的结论不是一边绝对更好,而是两边都有有意思的问题,只是工作体验和职业外部性不同。
从职业角度,他把Agent看作当前交互主线:即使某家公司没做好,经验较容易带到下一家。多模态数据review对他更有趣,看视频与逐条读搜索trace、写筛选规则的体验不同;但若公司收缩该方向,岗位选择可能更受限。这属于他的职业策略判断,不是行业通用薪酬结论。
他再把多模态分成理解与生成:理解侧当时因GUI和电脑使用受到关注,生成侧一部分人转向世界模型,一部分人转向具身,他属于后者。转录中的“workabuddy”“GPT-6”“Astra”均应按节目原词保留,不能把Astra直接归给OpenAI或Google。
为什么去具身公司而不留在大厂?他的判断是,具身更像汽车、手机这样的长产业链行业,回报结构与软件不同,大厂也未必擅长深入硬件、数据和现场。他同时给大厂留下了“做模型研究”的空间,并未否定大厂一切具身工作。对大厂的“部门墙”和具身厂更懂产业链的描述,是他的组织观察;主持人也提醒,这类分工问题并非具身独有。
从技术迁移看,他把后续路线分成继续生成视频与生成Action。两者都可使用Diffusion及相近codebase,Action也可理解为一种新模态。他的类比是:正如视频模型可以扩展到视频、音频联合生成,现在也可以把输出扩展为视频与Action联合生成;这里的音视频联合生成是说明接口的类比,不是新增一段嘉宾亲历。这解释的是“为什么能转”,至于“为什么愿意转”,还涉及下一段对视频后训练的复盘以及后文对Physical AI的长期兴趣。
话题推进:解释了多模态的两条发展路径后,话题自然地深入到为何选择其中一条(生成Action/具身),而放弃另一条(视频生成)。
00:12:37–00:16:26为何放弃视频生成:后训练的“R1时刻”并未出现
- 你刚才讲的是为什么能转嘛,对吧?那为什么要转呢?也是你刚才讲的,你就两条路嘛,对吧?一条路是继续做多模态生成,对吧?如果不是做多模态生成,那就是去做具身。对,但为什么没有继续做多模态生成?
- 那为什么Seedance做得这么好呢?它的核心是什么呢?
- 但你觉得这个数据质量并不是直接和scaling law是挂钩的。
- 哦,我明白了。你说的是那个RL的那个。
- 对,就是你讲当下视频生成这一块更拼的还是pre-training的部分。
- 你觉得这个在未来一段时间也都是这样的吗?
- 那就说明就是多模态的竞争可能是没有那么激烈的,对吧?就是更巨头效应。
- OK,所以就你觉得这条线是比较难快速的再往上走,所以你就选了具身那条路。
淏楠先解释技术上的平滑迁移:视频生成与Action生成都能沿用Diffusion思路,甚至便于复用原有codebase。他把Action类比为新增模态,正如从生成视频扩展到同时生成音频,现在可以变成视频与Action一起生成。这个类比说明模型接口和生成建模式有相似处,并不证明视频模型已经天然获得可靠机器人控制能力。
真正促使他重新选择的,是团队对视频生成后训练的半年探索。年初他们希望找到类似语言模型R1的后训练提升,后来判断没有看到高效的“test-time scaling”路径,caption改写等尝试也没有达到预期。他在对话中交替使用后训练、RL与test-time scaling,节目没有给出严格定义和实验曲线,因此准确表述应是“团队没有复现期待的跃升”,而不是证明视频领域不存在R1时刻。
曲凯用Seedance追问,淏楠把其表现很大程度归因于数据质量,这是他的判断而非字节公开配方。他进一步区分:预训练仍能随数据推进,但只靠这条路不够高效;他们原本希望后训练承担类似语言模型后续提升的角色,实际感受到的主要能力来源却仍在前面的预训练。
他同时明确说,据其了解字节的后训练已经work,只是很多公司尚未跑通;即便跑通,他仍认为预训练是更主要的能力来源。由此形成的是带条件的竞争判断:数据难开源、要靠资金购买或产品回流,视频预训练更吃资本、大团队和公司积累。相反,他认为training infra较易借助开源和有经验的人达到reasonable水平,“十来个人、两个月”只是粗略估计,不是可复制工期承诺。
所以,这段经历支持的是他在当时选择离开视频基础生成路线的理由,不能推出后训练无价值、所有视频创业公司都没有机会,或Seedance成功已被单因素解释。
话题推进:在解释了放弃视频生成赛道的原因后,话题继续围绕视频生成的现状和未来展开。
00:16:26–00:22:22视频生成的现状:半山腰的技术与“抽卡”的未来
- 我们先把视频生成这条线先讲完啊。就是我最近又在B站上刷到过一些AI的短剧……从你的经验跟判断来讲,你觉得现在那个模型大概处在什么阶段?后面再会往哪走?
- 对,我不知道你看到这个没啊,无敌超人。
- 但抽卡这件事是不是会长期存在,只是抽到的概率越来越高?
- 对,我觉得抽卡这就很像之前线下去拍……
- 最近也有那个他们有个PR比较厉害的,然后开源里面蛮火的……这种类型的东西在过去几年里面陆续的有出来过一些,但好像都没有自身成为一个产品啊,或者怎么样的这种。这种是都会被包到模型里面去吗?或者都会成为模型泛化的一部分吗?
- 我不知道你有没有自己想过,或者跟其他的同行聊过,就是沿这条线继续走的话,未来更偏影视吧,或者说视频领域会变成什么样子?
曲凯先以自己看到的AI短剧为例,认为部分作品已接近Netflix水准,并提到《无敌超人》;“接近Netflix”是主持人的观感。淏楠认为能力还没到顶,未来接近电影质感没有问题,并同意专业人的参与仍然重要。不过,人的角色不必完全等同于过去的重制作,而可以更多用taste影响方向。
他把视频创作与代码生成作了个人化比较:代码通常有较公认的速度、正确性、整洁和可读标准,影像还涉及镜头语言与个人审美。因此,除了模型质量,还需要他称为harness的交互与编排层,把模型能力变成普通创作者可控的工作流。他认为当时的工具仍偏专业玩家,模型可编辑性、上下文管理和产品交互都不够成熟,并以小红书编辑页说明“低门槛操作”的方向。
具体控制手段也在对话中出现了:精细caption或rich description可以控制镜头,但让用户在电脑、手机上写很长的描述成本太高;更可行的交互是模型根据前文 propose 几种镜头,用户选择、否定并继续修改。他设想的“抽卡”因此会变化:当前是在剔除形变、质量差的clip,未来若基础质量都足够高,选择更多来自不同创作者的偏好。这是预测,不是“未来生成结果都很好”的既成事实。
主持人给Seedance 2.5打分的问题,淏楠回答“如果满分100,现在约60”,并强调亲自做短剧仍会很痛苦。这是主观刻度,不是评测分数。对开源的快速复刻热门视频能力,他认为会被吸收到更通用的模型中,并把“uni”与理解帮助生成联系起来:例如换人需要先理解人物和画面细节。他说“理解一定帮助生成、生成不一定帮助理解”是强观点,节目没有提供消融证据。
最后,他预测未来半年到一年创作门槛和成本会继续下降,可能出现兼具生产与消费的平台。这里同时包含模型、成本、交互与平台网络效应四个待验证环节,不能只靠模型画质提升推导平台必然出现。
话题推进:从视频质量、参考输入与创作交互,转向实时生成及一致性之间的取舍。
00:22:22–00:25:31实时互动视频:伪实时与真实时的技术分野
- 然后讲到平台这一块,我觉得最近之前我们我们提到的就是实时互动视频这个方向,这个其实大家经常有提到。真正进入到稍微大众的视野应该是那个H3出来以后……我不知道这块你怎么看,包括它现在是在一个什么样的技术阶段?
- 你说H3是吧?
- 这是纯生成这块吗?对吧?
- 然后实时互动这块,我先讲一下我的粗浅的理解啊。我的理解实时互动其实分两类,一类是真实时互动,一类是伪实时互动……其实somehow我觉得大家应该都在第一条路线吧。
- 崩是指的?
- 看起来会有点像那个盗梦空间的那种感觉,是不是?
- 它都是一个阶段嘛,对吧?肯定两个一起往前走嘛。
曲凯以shownotes所称的MiniMax H3引出实时互动。淏楠主观评价其生成质量大致相当于Seedance 2.0,仍会出现转录写作“fade clip”的不理想片段;他认为Seedance 2.5更好,尤其是精细控制。两者没有被放在统一任务、指标和样本上做对照,这些说法应保留为个人使用评价。
他具体欣赏Seedance 2.5能接收reference image、reference video、audio及storyboard等物料。storyboard可以把人物正面、背面、不同状态或故事线截图组织在一张多小图的图片里,让模型据此生成视频。他把多模态参考输入看作产品可控性的基础,并认为H3不具备同等能力;节目没有独立验证两家产品的完整接口边界。
“伪实时/真实时”的分类来自主持人:前者是生成速度足够快、超过消费速度,让用户感觉像实时;后者是模型持续根据用户动作或对话改变后续世界,更接近世界模型。淏楠认同当前很多工作仍偏第一类,并说他们曾做过一段相关研究。
他列出的加速手段包括scheduler与降噪技术、转录作“TCASH”的跳层/attention方案、蒸馏,以及宋扬等consistency方向的一步生成。由于转录无法确认TCASH,且“跳层”和“不必每层降噪”的具体对应关系不清,不能擅自改成某个已知缓存算法。这里能确认的主线是:在他的经验里,一些加速手段会加重一致性退化,例如镜头转回后背景、人脸细节变化。
因此,他在当前阶段更倾向先保质量,再追real-time,而不是断言实时与质量永远不可兼得。主持人也补充两条线应当一起推进,为后文讨论模型变大带来的速度矛盾留下过渡。
话题推进:在讨论完实时互动视频的技术挑战后,话题将转向更深层次的世界模型和具身智能。
00:25:31–00:50:12连续对话 2
00:25:31–00:30:55世界模型争论:实时生成、动作条件视频与落地疑问
- 从研究角度看,视频生成的一致性和实时互动什么时候能实现?
- Minimax H3 的实时生成能力如何,是否主要是公关宣传?
- 既然实时生成还很远,那世界模型不是更远吗?
- 为什么研究者会突然对世界模型感到迷茫?他们不是一直都知道这很难吗?
- 大家不是说做世界模型就是为了具身智能吗?
曲凯继续追问实时性与一致性的时间点。淏楠的担心是,为提升consistency而增大模型size会天然增加推理成本,因此他对“真real-time”偏悲观;但他也明确说很难预测时间节点。主持人提到转录作“JEB”的类比,设想未来某种方案舍弃部分能力换速度和低成本。JEB无法确认,原稿把它解释为Jeff Dean、Pathways或JAX没有原文依据,应删除。
对于H3在直播中的展示是否主要是PR,淏楠给出的不是旁观猜测,而是“用过,也训过它的后训练”的个人体验:体感仍然慢。他把这件事与RL直接连起来:生成一个视频要等较久,rollout一圈再做RL就会被采样速度拖住;如果生成足够快,RL迭代也会更方便。这是本期少数学到的RL Infra实际约束之一,但没有给出每秒帧数、单次rollout时长或训练吞吐。
另一条路是action-conditioned video world model:转录称“WSD上下左右”,语境是用方向输入让模型继续生成下一段画面,类似在《塞尔达》式地图里跑图。WSD可怀疑与方向键有关,但原词仍需回听。淏楠认为这类demo的视频质量仍不够好,也观察到大模型方案配合更小Diffusion渲染的路线,给“用一个巨大模型仿真全世界”的想法带来竞争。
随后两人谈到李飞飞“卖公司”的行业信号。转录没有给出公司名,原稿写成Luma AI并补充创始人关系是未经支持的扩写。能保留的只是:主持人和嘉宾把某一出售事件当作世界模型情绪转冷的背景,淏楠进一步用“若前景很清楚,为何出售”作反问。这是他对行业选择的解释,不是对技术路线的证伪,也不能替代对交易真实原因的核实。
淏楠认为研究者本来就知道世界模型很难,变化更多来自市场情绪把短期落地预期抬高;更根本的问题是“做出来for what”。对于具身,他倾向于不必先完整建模草叶、光照和整个世界,而是理解当前、做一步action、再理解下一步。他也提到以3D/仿真打通真实—仿真—真实的路径,英文转录作“real to seem to real”,原词待回听。节目此处是在比较路线,不是证明所有世界模型研究都无意义。
Astra(节目原词)本期shownotes写‘GPT Astra’,对话又出现OAI/OPI、GPT等称呼,因此只能沿用节目原词,不能写成Google DeepMind Astra。嘉宾对其3D理解、动作输出和反馈控制的评价混合了使用体验、听闻与推测,模型身份、接口和训练细节需官方材料另核。
World Model本段主要讨论接收当前画面和action、继续生成后续状态或视频的模型,以及更完整的3D世界重建路线。嘉宾质疑的是‘具身必须先完整重建世界’这一必要性和短期落地逻辑,并未证明所有世界模型研究没有价值。
动作向量嘉宾示意中的模型输出是低维且各维有物理意义的向量,例如关节角,而非必须再映射到词表的普通语言hidden state。‘二十多维’与‘4996’都是口头示例,不是统一维度规范。
DAgger对话只提到失败后由人接管、以‘dagger’继续获得正确轨迹。可理解为利用接管纠正补充数据的方向,但节目没有展开数据聚合、策略更新或损失函数,不能补成完整算法实施。
话题推进:在讨论了世界模型路线的困境后,主持人自然地将话题转向了具身智能的“正确路线”,询问如果不走世界模型这条路,应该如何发展。
00:30:55–00:41:59从动作向量到大小脑分工:Astra叙述中的机制与边界
- 你觉得做具身智能的正确路线应该是什么样的?有哪些路线选择?
- 为什么Astra出来以后对具身圈子比较震动?
- Astra是特意为具身智能训练的吗?
- 我听说转录所称的OPI里面有两条线在做具身。对Astra来讲,哪条线更主要?
- 具身智能训练的奖励(reward)是什么?
- 在数据层面,真实机器人数据和虚拟仿真数据哪个更重要?
- 未来具身智能的“大脑”部分,是否会完全变成大模型厂商的竞争,让创业公司无需再投入?
曲凯问具身应怎样做。淏楠先区分资源路线:一些大厂团队希望把已有大视频模型或大模型调成具身模型;多数初创在算力、资金与积累上难以复制,因而更可能接入强大大脑,再保留下方直接控制本体的系统。主持人关于具身公司估值、融资和算力数量的口头数字只是对谈中的量级说明,不能当行业统计。
为解释Astra为何引发震动,淏楠给出一个从高维感知到低维控制的示意:输入单路或多路视频,经video tokenize形成latent,再经Transformer、Diffusion去噪,输出二十多维等低维vector;每一维可对应关节角等明确物理量。他还拿转录作“4996”的大模型latent维度作对照,该数字不能改写成公认维度。整个链路是他的概念性说明,不是Astra官方网络结构,也不表示所有具身策略都用Diffusion。
他说过去让自回归语言模型逐个token生成“[0.96, …]”这样的数字串,再解析成电机转角,效果并不work;这次他看重的是所称Astra表现出的3D理解与有意义动作序列输出。主持人问它是否专门用具身数据训练,嘉宾回答“应该是的”,随后谈到OAI内部团队和主线模型时多次使用“我看到好像”“我的意思”等不确定表达。故“能力主要来自大模型主线”“具身团队不知道怎么做”“数据都回到language主线”只能作为他的听闻和解释,不能写成OpenAI内部事实。
在跨本体控制上,主持人提出是否需要做一层“转译”。淏楠强调非标准本体、尤其灵巧手的困难,并描述一种他观察到的能力:模型输出动作后观察视觉效果,在多轮交互中把动作变量与关节、画面变化联系起来,再调整后续输出。主持人以“RSI”概括,但原词含义无法确认,不能扩成RLHF或自我改进已经实现。
曲凯追问reward。淏楠明确说“不觉得它是真的对着具身训了reward”,转而推测这种操作—视觉反馈关系可能从Blender等其他领域牵引而来:模型操作3D软件、观察渲染结果,学会动作和视觉变化的对应,再迁移到具身。这与前面“确实需要具身数据”并不完全相同:前者讨论通用能力和奖励来源的猜测,后者讨论落地到具体本体所需的数据。两者都是嘉宾解释,尚无实验或官方训练细节支撑。
数据路线则按使用主体区分。对大模型厂商,仿真可作为通用environment;对具身厂,最终要在exactly自己的机型上采成功、失败trace,失败后可由人接管,他提到DAgger式继续获得正确轨迹。两指捏起瓶子与五指贴合抓瓶子的对比,是他说明simulation gap的直观例子,不是对照实验。若仿真能把摩擦等物理性质做得足够好,真实—仿真—真实仍可能scaling up;只是他认为当前高保真仿真非常难。
最后,他说一些公司讲“大脑”有估值考虑,这是强观点而非所有公司的已证动机。关于System 0/1/2,他借转录作“Dynna”的旧blog说明过去分层,再判断Astra之后可能变成下方直接控制系统与上方强语言、思考模型两层。Dynna及41分附近的“the dagger”均不能确认,不应补公司名。他说具身厂算力与大模型厂“差俩零”也是粗略量级判断。
话题推进:在明确了Astra对行业格局的冲击后,主持人向嘉宾提出了一个尖锐的个人选择问题:既然具身行业面临估值泡沫和“大脑”被大厂垄断的风险,为什么他还要在这个时间点加入?
00:41:59–00:50:12为何此时转向Physical AI:职业选择与接管数据闭环设想
- 你在具身估值高企、Astra又冲击行业故事的节点加入,没有考虑到这些风险吗?
- 如果纯粹从短期利益驱动,你最理想的选择是什么?
- 你搞过Agent、多模态、具身,没考虑过AI for Science吗?
- 总结一下,你认为Agent、多模态、具身这三个方向当下和未来最重要的点是什么?
- 大家一直在等待具身领域的GPT-3时刻,你觉得Astra算吗?
面对“估值已高、Astra又冲击大脑故事,为什么现在加入”的追问,淏楠把答案落到长期志趣。他认为视频生成更偏精神享受,自己希望做更直接影响物理世界和生产力的Physical AI;这不是对视频或软件Agent经济价值的客观排序。若只看短期利益,他自述当年会接受TikTok美国的Agent岗位package,金额没有披露,岗位内容是与北美TikTok视频结合的一套Agent。
谈AI for Science时,他区分两类人:一类是有物理等学科训练的人用AI解本领域问题,他以WiFi覆盖优化、流体力学和转录作“PD/OD”的方程求解为例;另一类是AI从业者帮助化学等领域做实验。他认为后一类仍需要实验工厂、自动化操作和具身能力,具身进步可以帮助它,而不是说所有AI for Science都必须先等机器人成熟。他也坦承自己对第一类价值了解不深。
曲凯让他分别总结三个方向。对Agent,他认为智力已“完全OK”,重点是GUI/CUI交互、更多场景和实际可用性,并举game agent为开发较少的例子。他同时说coding在多数情况下已超过AI infra人的平均水平,这是强烈的个人评价,不是覆盖全行业的测量;他也承认难以准确指出每次新版本究竟在哪一点变好,并想不到下一个爆点。
对多模态,他个人偏悲观地认为图片生成空间不大,重点在视频可控性和harness,预计未来半年会有更好用的studio。对基础视频模型,他判断初创从头pre-train不现实,并以自己2024年底、2025年初在学校做视频理解时尚能抓YouTube、后来反爬变严的经历说明数据获取困难。这些年份与对话的2026年时间线一致,不能改成2014/2015;该回忆也不等于对其他数据渠道或合法授权数据获取的完整评估。
对具身小厂,他提出co-design:硬件与直接控制本体的System 1共同设计,训练约7B—16B的小模型,再接外部大模型,尽快落到具体场景。酒店叠被子是他的例子:平整地面可用轮式底盘,客房结构相对固定但凌乱程度不同,属于半标准化场景;能否覆盖成本、完成真实服务仍待验证。
在节目所称Astra是否算“GPT-3时刻”的问题上,他说“确实有点算”,原因是他第一次感到泛化能力可能支撑真实落地。随后给出的是一套设想而非成果汇报:本地小模型在未训过场景里假设有50%或60%成功率,失败时让能读视频的GPT/Astra接管,保存后续轨迹;再用这些数据迭代7B/8B模型,希望从60%提高到80%。更强模型也接管不了时,再交给人,理想情况下一个人可看多台设备。随着小模型成功率提高,大模型调用和人工负担下降。
这里真正有价值的技术链路是“失败检测—路由接管—保存error recovery轨迹—回流训练—减少接管”。节目没有证明失败检测可靠、接管时延满足安全要求、数据足够有效或成本已打平;50%/60%到80%均为口头算例。转录中的“素材源”“screen half”等也不能擅自改写成数采员或scaling a fleet。
话题推进:在职业选择与落地场景之后,最后一段继续拆解大小模型接管为何也可被嘉宾理解为蒸馏。
00:50:12–00:53:17连续对话 3
00:50:12–00:53:17接管式“软蒸馏”与具身GPT-3时刻:一套待验证的乐观路线
- Astra在具身智能方面的能力,未来会被其他模型蒸馏出来并开源吗?
- 这种蒸馏会由专门的具身公司来做,还是会被已有的(语言)大模型公司做掉?
- 能否这样理解:国内具身行业的故事几经变化,Astra的出现让大家回到同一起跑线,虽然有好有坏,但解锁了新的可能性?
淏楠先补充为什么不建议让GPT类大模型持续直接输出每个机械转角:他认为太慢、太贵。为说明大小模型分工,他借用speculative decoding作类比:小模型先执行,大模型在必要时批准或接管;具身里则是小模型操作到快失败时,由大模型完成error recovery,再把恢复轨迹回流训练。这里的相似点是“便宜模型承担大部分工作,贵模型处理关键部分”,并不表示机器人控制采用了语言模型推测解码的同一算法。
这套闭环试图解决具身数据不像软件产品那样容易自然回流的问题。失败前后状态、接管动作及恢复后的正常行为被保存,可补充普通成功示范中缺少的纠错信息。不过,“非常有价值”是嘉宾对数据用途的判断;数据怎样筛、接管是否成功、训练后能否跨场景泛化,节目没有实验。
曲凯接着问Astra能力能否被蒸馏并开源、由具身新公司还是已有大模型公司完成。淏楠把接管本身也称为一种蒸馏,并自行区分“硬蒸馏”和“软蒸馏”:前者是让大模型完整roll出任务trace再训练,成本过高;后者只在大模型介入时产生一两步恢复轨迹,让机器人回到正常行为后继续执行,数据量更小且聚焦失败点。这里的“硬/软”是嘉宾在本期语境中的用法,不应写成学界统一定义,也不能与软标签蒸馏混为一谈。
他认为后一种方式更可能由具身厂做,因为它们便于在真实场景布置设备并保留接管数据,投入产出更可能成立。曲凯最后总结:Astra或许让行业回到同一起跑线,同时解锁新可能。淏楠表示认同和兴奋,再次称其为重要节点,甚至可能是具身GPT-3时刻,尽管“可能还不是3.5”。这些都是嘉宾在2026年10月节目时点的乐观判断,并未证明既有团队优势被抹平、通用开源模型即将出现或规模化商业落地已经完成。主持人和嘉宾随后以“从Agent到多模态到具身基本都过了一遍”结束对谈。
Speculative Decoding类比语言模型推测解码通常让小模型先给draft、大模型验证;嘉宾只借用‘便宜模型先做、贵模型关键介入’的分工直觉来描述机器人控制。它不等于具身系统实际采用同一解码算法。
Error Recovery机器人失败或即将失败时,由强模型或人接管,将状态带回正常任务轨迹。嘉宾认为这种失败—恢复数据能补足普通成功示范,但节目没有提供训练增益。
本期所称硬蒸馏 / 软蒸馏硬蒸馏指大模型生成完整任务trace,软蒸馏指只生成失败附近的少量接管轨迹。这是嘉宾为比较成本而作的口语分类,不是标准蒸馏术语,也不等同于硬标签/软标签蒸馏。
具身GPT-3时刻嘉宾用GPT-3类比Astra展示的通用泛化与行业启发,表达乐观和兴奋。它不构成商业落地、成功率、成本或行业洗牌的定量证据。
话题推进:本段是节目的总结部分。嘉宾对Astra发布后具身智能的未来表达了强烈的乐观情绪,并将其视为行业的关键转折点。对话在此结束。
以上是原对话的分段阅读。下面才开始提炼论证、解释机制并给出本文自己的判断。
主要论证:观点怎样由经历与例子支撑
他从Agent转向多模态RL Infra、再转向具身,既有个人兴趣,也有对工作内容、技术可迁移性和产业组织的判断,不能简化成追热点或单纯弃高就低。
王淏楠 · 00:03:35;00:05:09;00:12:45;00:42:31
1. 在MiroMind,他实际参与Language Agent的MiniTraining、SFT与Web Search数据构造,认为下一年大量造数据对个人积累吸引力不足。
2. 转到混元是因为RL Infra的重要性与个人兴趣,而非断言Agent没有技术挑战。
3. 视频与Action可共享Diffusion思路和codebase,使多模态到具身在建模接口上有迁移空间。
4. 他最终选择Physical AI,是因为希望影响物理世界;TikTok美国Agent package是自述的未选项,不是行业薪酬排序。
成立条件:这些理由解释的是嘉宾个人职业决策。技术相似不自动等于能力可迁移,个人志趣也不能推出Agent、视频与具身的客观价值排名。
团队在视频生成中没有复现期待的后训练跃升,因此他判断当时主要能力来源仍是预训练与数据;这与‘视频RL已被证明无效’不同。
王淏楠 · 00:13:52;00:14:11;00:15:22;00:15:41
1. 团队年初寻找R1式提升,半年后自述没有达到预期。
2. 他把Seedance表现主要归因于数据质量,并把竞争壁垒落到数据购买或产品回流。
3. 他明确承认据其了解字节后训练已work,只是认为预训练贡献更主要。
4. 因此,他的职业选择更接近对资源密集路线的回避,而非从实验上否定所有视频后训练。
成立条件:节目未展示训练曲线、奖励设计、任务指标或对照组。结论只代表嘉宾团队在特定技术栈和时间点的经验及其对行业的了解。
视频实时化需要同时处理速度、一致性与可控性;目前他更倾向先保质量,并把创作harness视为模型落地的重要组成。
王淏楠 · 00:17:13;00:20:18;00:22:45;00:23:54;00:25:31
1. 主持人区分快速生成带来的伪实时和动作驱动的真实时。
2. 嘉宾以镜头转回后人脸、背景变化说明部分加速手段的一致性代价,并担心大模型size与实时性的矛盾。
3. 他认为多参考图、视频、音频、storyboard及精细caption能增强控制,但长caption对用户不友好。
4. 因而需要模型提出候选、用户按taste反馈的交互层。
成立条件:这些是对特定产品和研究体验的总结,没有统一实时性、画质、可控性评测;不证明加速必然损害质量。
他所称Astra的重要意义,是让通用大模型看似可以连接3D理解、动作序列与视觉反馈,从而让具身公司更多考虑上层大模型+本体控制小模型的分工。
王淏楠 · 00:30:55;00:32:22;00:36:30;00:38:24;00:40:12
1. 他用高维视频输入到低维物理动作向量的链路解释具身控制。
2. 他认为Astra展示了有意义的动作输出和从视觉反馈纠偏的能力。
3. 对资源有限的具身厂,自研通用大脑困难,因而可与本体和System 1小模型做co-design。
4. 真机数据仍重要,尤其复杂本体、失败恢复和具体场景落地。
成立条件:Astra的厂商、训练配方和内部团队分工没有由节目核实。嘉宾关于主线牵引、Blender迁移与两层架构的说法是观察和推测,不是官方技术报告。
他设想的接管式软蒸馏,可能把失败场景变成高价值训练数据,并逐步降低大模型和人工接管成本。
王淏楠 · 00:48:55;00:50:12;00:51:03;00:52:24
1. 小模型先执行大部分任务,避免大模型持续输出每个动作的成本。
2. 失败时由强模型接管并保存error recovery轨迹,人再作为兜底。
3. 只使用关键恢复段而非完整教师轨迹,是他所谓软蒸馏。
4. 如果训练确实提高小模型成功率,后续接管需求会下降,形成数据与成本闭环。
成立条件:这是方案设想。50%/60%到80%是算例;失败检测、切换时延、安全、数据有效率、训练收益和全成本均未被节目验证。
机制与术语:对象、输入输出和中间过程
多模态RL的infra—algorithm—reward协作链(嘉宾团队推进方向)
【嘉宾自述,限于分工层】图片、视频生成需要奖励模型评价输出,algorithm利用奖励更新模型,infra支撑这套训练系统运行,三者需要闭环配合。后文H3例子进一步说明:视频采样慢,会拉长rollout等待并拖慢RL迭代。
- 输入:多模态任务及其训练数据、当前生成模型、奖励评价。
- 过程:嘉宾在闭环语境下给出的顺序是生成候选/rollout → reward评价 → algorithm依据信号更新,infra为这一过程提供工程支撑。
- 输出:更新后的多模态模型及下一轮训练流程。
- 证据边界:嘉宾确认自己负责RL Infra并推进UniRL,但节目没有披露并行策略、奖励模型结构、调度容错、吞吐、稳定性或线上收益;不能据此声称UniRL已经验证统一支持所有模态。
对应节目:00:00:20;00:07:12;00:26:45
Agentic多模态创作:候选、参考物料与人机反馈
【嘉宾产品思路及部分工作背景】用户给出创作意图,模型生成多个候选,用户选择或要求在某个候选上修改;参考图、视频、音频和storyboard提供人物、场景及故事线约束,精细caption也可控制镜头。harness负责把这些输入、上下文和多轮反馈组织成可用流程。
- 输入:文本意图+可选参考物料+用户后续反馈。
- 过程:模型生成候选 → 用户按质量与taste选择 → 针对候选继续修改。
- 输出:更符合创作者目标的视频。
- 失败条件:参考约束没有被遵守、局部修改破坏其他内容、上下文丢失、候选缺乏有效差异,或交互成本仍高于手写描述。节目没有验证混元creator或Seedance在这些环节的完整成功率。
对应节目:00:07:52;00:17:13;00:20:18;00:22:45
本文自拟示意,不是嘉宾实验【按嘉宾原例重述】生成三段视频,用户选一段;若不满意,可要求在方案1上继续改。后文又补充:与其要求用户写很长的镜头caption,不如由模型根据前文propose几种镜头供选择。
从多模态感知到动作向量:嘉宾给出的概念性I/O示意
【嘉宾解释,不是Astra官方架构】输入单路或多路视频,视频经tokenize形成latent,再经过Transformer、Diffusion去噪等过程,输出低维动作向量;向量各维可对应关节角等明确物理量。这个例子把视频生成与Action生成放在共同的生成建模式里,解释多模态经验为何可以迁移。
- 输入:视觉观察及任务指令。
- 过程:视觉表示 → 生成/控制模型 → 具有物理意义的动作序列。
- 输出:机器人关节或末端等控制量,具体含义由本体定义。
- 失败条件:本体和动作空间不同、视频与控制时序不匹配、数值精度不足、仿真和真实物理存在gap,或模型无法从反馈纠正。嘉宾并未说所有系统都必须用Diffusion,也没有证明视频模型无需具身数据即可直接控制。
对应节目:00:12:45;00:32:39;00:33:41;00:36:30
本文自拟示意,不是嘉宾实验【按嘉宾原例重述并简化】若机器人夹爪由若干关节组成,输出向量的某一维可表示某关节转角;它不是供语言模型逐字读出的文本数字串。转录提到的‘二十多维’只是示例。
接管式数据闭环与“软蒸馏”(嘉宾设想)
【方案设想,不是已交付系统】本地小模型先执行,系统判断任务失败或即将失败时,把控制权路由给更强的GPT/Astra;强模型不能完成再由人接管。恢复轨迹被保存并用于训练小模型,目标是提高自主成功率、降低后续大模型调用和人工负担。嘉宾把只学习关键接管段称为软蒸馏,把生成完整教师trace称为硬蒸馏。
- 输入:任务指令、实时视频、本体状态及当前小模型策略。
- 过程:小模型执行 → 失败检测 → 大模型/人接管 → 记录error recovery → 筛选并回流训练 → 部署新小模型。
- 输出:恢复轨迹数据和理论上更强的小模型。
- 失败条件:没有及时发现失败、云端接管延迟或安全问题、恢复段不能提供足够学习信号、数据分布过窄、训练后仍无法泛化,以及节省的人力不足以覆盖接管与部署成本。
对应节目:00:48:55;00:50:12;00:51:03
本文自拟示意,不是嘉宾实验【嘉宾口头算例,非实验】小模型在未见过场景的成功率假设为50%或60%;接管数据回流后,希望把成功率从60%提高到80%,再减少强模型和人的介入。节目没有给尝试次数、任务定义、置信区间或真实训练结果。