先把对话讲清楚
这期《十字路口》中,主播 Koji 对谈 24 岁的深朴智能(Simple AI)首席科学家王家伟。中科大少年班、微软亚洲研究院(MSRA)联培博士、DeepSeek 与字节 Seed 实习——他手握通往大模型最前沿的入场券,却在博士毕业之际转身扎进尚未收敛的具身创业。整期对话按成长经历、深朴全栈实践与前沿点评三大板块展开,既有对 GPT-6 Astra、HiFi-UMI 数据、三尺度上下文与评估困局的硬核剖析,也有关于“风浪越大鱼越贵”的人生抉择与行业噪音过滤。
1. 奥卡姆剃刀与 GPT-6 Astra:通用大模型能否取代“小脑”?
从公司口号“Keep the world simple”聊起,Koji 提到上一期刚录完清华叉院徐梦迪,引出李飞飞常引用的爱因斯坦名言:“让事情保持简单,但不要过于简单。”王家伟立刻联想到 AI 界的奥卡姆剃刀原理:早期 NLP 和计算机视觉(CV)常常过度设计结构,最后极简的 GPT 一举打穿。他讲了一个前一天刚听到的案例:某位负责基础设施(infra)的研究员在 OpenAI o1 发布后,花四五个月搭了一套极复杂的训练架构,结果 DeepSeek R1 一发,团队两周狂删代码,最终删掉 90%,发现根本不必如此复杂。聊及童年,他过生日真的许过当科学家的愿望,只是当时以为科学家是在实验室做生化实验或提数学猜想;如今虽赛道不同,但“一直探索大家都不知道答案的事情”一脉相承。他当下花最多时间的,正是具身基础模型的预训练。
话题随即切入两日前刷屏的 GPT-6 Astra。王家伟坦言,起初很难想象通用语言模型在抓积木等具身任务上也能有这么高的成功率。早年用语言模型做机器人(如早期 VLA 思路,以及李飞飞、Jim Fan 团队相关工作)还得外挂许多小模型做感知识别,而 GPT-6 把 3D 空间理解、场景理解、规划与试错总结全融进了一体。他细致拆解了一个广为流传的视频——机械爪绑着笔画金门大桥:若只看成品会觉得控制精准得不可思议,但细看其实画了四遍——第一遍摸索怎么握笔用力,第二遍勾出轮廓,第三、四遍才逐渐清晰。每画完一遍就把废纸丢掉换新纸,靠实时读取视频流把先前尝试完整留在上下文里,模型据此反思为何没画好并不断微调末端控制。
Koji 顺势追问:OpenAI、Anthropic 这些基模巨头会不会“降维打击”具身公司?王家伟借人体大脑与小脑作区分:细看 GPT-6 刷屏视频,往往是 16 倍速甚至 32 倍速播放,单次推理极慢。静态摆拍环境里这能跑通,但换到动态真实场景——比如端起装满水或咖啡的杯子,一旦抓偏发生倾斜,等慢吞吞的大脑推理完,水早洒光且很难恢复。真正实用的 action foundation model(动作基础模型)必须具备类似人类肌肉反射的高频实时响应。他认为大脑侧已基本收敛到 GPT 这类大模型(靠第一、第三人称视频持续补强),但下面依然离不开能快速纠错的高可控动作策略。
2. 中科大少年班、重新定义“聪明”与 DeepSeek / Seed 的抉择
进入成长回顾,Koji 好奇中科大少年班究竟怎么选人。王家伟介绍,同届共 30 多人,共同点是自驱力强、思维敏捷、吸收新知极快。报考面向不超 15 周岁的高二、高一甚至初三学生,高考达当地中科大录取线(可适当浮动约 20 分)获面试资格,约 100 人进复试选 30 到 40 人。复试最具特色的是现学现考——当天现上一节数学课和一节物理课(大学内容但衔接原有基础),下课立刻发卷考试,考察专注力与知识摄取转化速度,随后由院长一对一开放式面谈(比如进校跟不上或想换专业怎么办)。
回看少年班最大的收获,他第一条就说“摆脱了高三,没受过题海战术熏陶”,并援引上海交大 ACM 班俞勇老师的话:大一第一年往往得先帮大家洗刷高三刷题留下的“毒害”。大一先修数理化与计算机通识课,大一下自由选了计算机;早早依托科大科研资源做起 AI for Science,用计算机模拟研究生物分子马达的相变过程;长期担任少年班班长也锻炼出沟通与人缘。如今他重新定义“聪明”:思维敏捷、学得快的人很多,真正重要的是两条——会提好问题,以及清楚自己的不足并愿意直面它。他坦承自己的短板就是硬件:父亲是计算机老师,从小痴迷软件、对焊板子搭电路提不起兴趣,进深朴后只能虚心频繁向硬件同事请教。
回忆博士两阶段(前期随博导霍强在 MSRA 做直接落地微软云 API 的文档智能,后期出去拥抱大模型浪潮),他在两家机构体会截然不同:
- DeepSeek(2024 年,V2 之后、R1 之前):经 MSRA 师兄与 HR 牵线,凭文档背景加入多模态组支撑 DeepSeek-VL2 文档能力,并参与 DeepSeek-V3 部分预训练数据工作。那里研究者氛围浓厚、不急着商业化,人少故负责的 scope(范围)极大,能直触底层 infra 代码;最震撼他的是工作强度并不大却能出极好成果,证明科研产出和拼时长并非线性相关。离开是因为 VL2 之后高层把资源明显向语言模型(如 R1)倾斜,多模态资源减少,他也不想只重复旧文档经验。
- 字节 Seed(2025 年,早期 Agent 组):判断大模型正从 Chat 走向真正提效的 Agent,遂加入 Seed 早期 Agent 团队。Seed 像一台精密运转的大机器,数据 infra 与训练 infra 全由专人备好——好处是极度聚焦,短板是很难碰职责边界之外的核心系统。
促成他离开大模型舒适区的导火索发生在 2025 年 11、12 月。他在 Seed 极想推一个模型自进化项目——把模型通过 API 对外服务、收集用户反馈持续迭代;但在大公司推动对外暴露 API 需跨部门反复协调,前期还要准备极完备的 POC,探索性想法难拿资源。他意识到在已高度收敛的大模型里,应届生大多只能执行既定计划;而具身赛道远未收敛、创业公司给足问题定义自由度,博导霍强也鼓励年轻人去闯(“失败了无所谓,积累经验可重来”)。信奉“风浪越大鱼越贵”的他放弃优渥薪资、算力卡与现成基建投身深朴;在他看来,最大风险其实是怕走错几年路的时间成本。
3. 什么是具身智能的“智能”?深朴全栈逻辑与 HiFi-UMI 底座
面对尚未收敛的路线风险,深朴从第一性原理出发反复追问:到底什么才算具身智能的“智能”?机械臂把水杯提起来显然不算。团队把目标锁定在基础模型的三大能力:一是对完全分布外(OOD)场景的 zero-shot / few-shot 适应能力;二是不仅能听语言、还能由图像和视频引导并快速跟随的可控性(Steerability);三是超越当前单帧观测、从中涌现出对世界动力学(dynamics)理解的原生上下文能力(Context)。之所以一口气做数据、模型、Agentic OS 到本体的全栈,是因为公司定位不是卖数据也不是卖模型,而是面向家庭的终端产品公司——唯有装进产品对外交付才产生真实价值,且全栈能在外部突然出现更强模型时迅速接入并抢先收拢真实用户反馈。
谈到在 Hugging Face 和 ModelScope 累计下载超 50 万次的 HiFi-UMI 数据集(开源 2,000 小时,名 HiFi-UMI-2K;内部积累已达数万小时),王家伟透露历时约半年自研采集装置,因为测了一圈外采设备后发现定位精度与时间同步全不达标。基于斯坦福宋舒然团队的 UMI(通用操作接口)思路,团队攻克了两处硬骨头:一是抛弃外部定位基站,改用头部双目相机结合 SLAM 等纯视觉手段实现毫米级定位;二是做到微秒级时间同步,从源头杜绝画面与动作错位。整套设备设 6 路相机(头部双目负责定位且可迁移至第一人称采集,左右两腕各上下两路共 4 路相机防止精细操作遮挡),在有效性与不过度设计间找到平衡。
放量之前,团队先用小批数据在第三方基模上微调并做真机验证,同时在仿真中回放采集轨迹(replay),确认95% 以上轨迹可在本体上顺利执行,这才大规模扩产、自租采集场地并铺开到家庭、酒店、民宿等外部环境拉高多样性。近期投入重心已从采集转向清洗与自动化标注:团队直接充值 Codex 额度调用 GPT-6 Astra 清洗标注一批数据,惊讶地发现质量甚至超过人工、可 24 小时运转且成本与人工相当(唯独速度偏慢),于是用 GPT-6 产出蒸馏训练自己的轻量标注模型。开源 2,000 小时不仅服务高校实验室,还引来海内外多家公司求购数据的邮件,更收获了直击要害的社区反馈——手部定位二维码 marker 尺寸过大干扰视觉画面、手套在真机实验中发热较严重,正好反向倒逼硬件迭代。
4. Zero-Shot 组合涌现、三尺度上下文、触觉取舍与 Scaling 趋势
剧透预计年底发布的深朴基础模型时,王家伟最兴奋的是模型已在数千任务预训练下跑出无需任务级真机后训练的 Zero-Shot 泛化(他强调看 3 秒参考视频仍属 one-shot,也对比了业内常见需 1 小时任务级真机后训练才能跑出高成功率的做法)。团队不追着“世界模型”标签跑,而是从三大核心能力反推,融合 world-action model 与 VLA 精华并复用已有预训练知识。
针对为何高度看重上下文(Context),他将其拆解为三个时间尺度:
- 1 秒内的短时因果:夹爪拿水杯没夹紧 → 画面显示杯子向下滑 → 立刻收紧夹爪稳住。这短短一秒构成完整纠错闭环,让模型学会“刚才怎么错了、下一次怎么改对”。
- 任务内的短期记忆迁移:桌上有几只一模一样的咖啡杯,拿第一只时摸清了杯宽与夹爪力度,拿第二、三只时直接迁移,无需重复试错。
- 跨任务的长期记忆:家务中把物品放进某个抽屉,事后主人要找,没有长期记忆就只能每次重新问人。
长上下文天然带来 token 暴涨与执行延迟攀升,团队在数据激发和高效建模上都做了专门设计。至于新开源数据为何暂未包含触觉(团队装过也在研究,并指出纯靠视频预测触觉精度不够、后训练完全不可用),原因非常务实:二指夹爪配上下双腕相机遮挡很少,多数夹紧状态靠视觉已能判断;且触觉硬件尚未收敛,不同厂商分辨率和感知位点互不兼容,投 100 套设备几个月换代后旧数据几乎无法迁移。
谈及这是否意味找到了 Scaling Law,他保持严谨克制:真正科学意义上的 law 需消耗海量算力定量给出数据、模型与计算间的可预测比例关系,团队宁可说看到了 scaling 趋势或幂律现象,绝不轻率宣称发现了 Scaling Law。但趋势确实令人振奋:在 1,000 到 2,000 个任务预训练里,不仅大头任务能零样本完成,连只占数据 1% 甚至 0.5% 的长尾任务也能做到;更出现了组合泛化——训练集仅有“把遥控器放到遥控器盒子里”和“把零食放到垃圾桶里”,零样本就能做到“把零食放到蓝色盘子上”或“把遥控器放到盘子里”。
5. Agentic OS、公平评估困局与不靠加班的团队文化
2025 年 10 月起,他与 CEO、CTO 达成共识:具身不是单点模型,而是与人和环境双向交互的庞大 Agent 系统。由此打造的 Agentic OS 重心在于做好具身专属 Harness(系统脚手架)——囊括语音识别、任务拆解、工具调用、防上下文爆炸的实时视觉管理及上下层接口,并在 WRC(世界机器人大会)演示了语音指挥机器人拿衣服进洗衣机。在双层架构中,System 2(大脑)前期借用他曾参与的字节 Seed 模型,把创业公司宝贵算力优先砸给 System 1(小脑) 的高可控动作预训练。问及两层终局会否合并,他判断“不太可能下面把上面吃掉,但很可能是上面逐渐吃掉 System 1”,只是时间点难测,现阶段分层落地拿回真实反馈最务实。
在行业老大难公平评估上,他直言现有 benchmark 普遍不够好:仿真基准 LIBERO 已被纯后训练刷爆,失去衡量预训练的意义;较新的 RoboTwin 兼顾仿真与真机,但仍有现实鸿沟且未必对齐团队关心的能力;真机横向对比受本体与数据隔离所限,过去曾有公司自建真机榜但“既当裁判又当运动员”,很快不了了之。年底发模型时,深朴打算按简/中/难任务及场景物体泛化透明呈报真实成功率、严守 zero-shot/few-shot 数据边界(是否开源待商讨,若开源希望后训练效果极佳),长远交由终端产品与用户买单验证。
组织文化上,深朴目前约 70 多人,延续了他在 DeepSeek 见识到的高效节奏:正常朝九点半到晚六点半,没有硬性加班,靠自驱弹性安排,“保持思维灵活比熬夜更重要”。公司提供几乎无限额度的 AI 工具(主要用 Codex),鼓励大家凭清晰认知调度 Agent 干活;并力推扁平化与充分的内部 context 共享,由 CEO 提前召集技术负责人把智能定义、数据准备与算力节点规划对齐透彻。
6. 前沿点评、噪音过滤、Ego 数据经济账与“三年洗碗”之约
最后一部分,王家伟逐一点评近半年全球具身前沿与行业风气:
- GPT-6 Astra 与国内梯队:最大启示是“通用智能确实会外溢到各行各业”,System 1/2 边界将愈发模糊,大模型仍需动作能力反哺;国内最看好字节 Seed 多模态与千问(Qwen)做出类似能力。
- 扎实的大规模预训练与自然涌现(依官方简介校准):敬佩海外一线团队推进至 20 万小时、乃至 50 万小时并验证约 9,000 种夹爪构型泛化的综合评估;特别认可 GEN-1.5 所验证的自然涌现型 ICL——原生支持 30 秒上下文、仅看 3 秒短参考视频甚至第三人称视角示范(人拿相机示范把杯子叠到另一个上)即可跟随,而非硬凑配对数据;同样赞赏 π0.7(延续 Sergey Levine 教授 Embodied CoT 脉络)对
steerability的强化。 - 被高估的成对数据硬训 ICL:话锋一转,他认为另一些刷屏工作(简介点名 Skild AI 等)明确靠专门构造 pair(成对)数据硬训出上下文能力——如果底层缺乏对 context 的深刻理解和强可控性,靠成对数据妥协做几个 Demo 并不本质。
横向对比大模型与具身圈,他指出大模型靠 API 和 DeepSeek 式开源相对透明、可复现;而具身领域“噱头可能大于真实”、噪音极多——例如今年上半年全行业吹捧 reasoning model,但真正落地且证明比 VLA 强多少的极少。他过滤噪音只靠两条:核对宣传主张与实际 Demo 是否一致,以及回归“什么是具身智能”的第一性原理。他随即拿 Egocentric(第一人称人类)数据示范算总账:承认其多样性极强,且采集价已低至约 30 元/小时(同行已有 1 万小时热潮),但后续清洗、标注和训练极贵,投入产出比与斜率尚未跑清;相比之下自采 UMI 质量高、90% 以上可直接用(不像外购 10 万小时只剩 1 万小时能用),体量适中也最适合严谨验证 scaling 配比,因此先把 UMI 彻底弄明白再引入 Ego 变量。
尾声出现有趣的角色反转:Koji 担心自己 prompt 问得不够好,邀王家伟反问。王家伟好奇做播客与做投资的异同(他也想过做播客,Koji 鼓励直接拿 iPhone 放咖啡桌上就能录)。Koji 坦诚两者都在两小时内深挖一个人、必问“最难十字路口”;不同的是播客会尽量友善照顾情绪,而投资必须把对方逼到稍微不适的角落追问矛盾——现场示范追问:“大家都说创业要扬长避短,你却抛开软件长板直面硬件短板,怎么看?”聊到中科大少年班旧友,王家伟感叹昔日赴美学数理基础学科的同学大多转向 AI、AI 交叉、AI 量化或 AI 医疗制药,甚至有人去了 OpenAI,“AI 好像吸走了所有优秀人才”。最后一个三年之约:想起博导吐槽家里虽有洗碗机,但饭后倒残渣、码盘子仍要花 20 分钟,王家伟期待 3 年后深朴机器人能在一些家庭里稳稳接手饭后洗碗前后流程,并干脆给出 80% 的主观实现概率。
机制:从动作数据到可用机器人
1. 为什么微秒级时间同步会直接改变训练标签
在 UMI 手持夹爪采集体系中,监督信号本质上是把 t 时刻六路相机看到的物体与夹爪相对位姿,精准配对到 t 时刻人类施加的位移与开合动作。一旦画面滞后,模型学到的就会是错位因果——例如画面里夹爪尚未碰到杯壁,标签却已指示闭合抓紧。
本文自拟算例:假设操作员手部以每秒 0.4 米的常规速度移向杯柄,若视觉帧比动作轨迹滞后 0.1 秒,仅这一项延迟就会引入 0.4 × 0.1 = 0.04 米(即 4 厘米)的空间错配,远超精细抓取的毫米至厘米级容差,导致策略反复抓空或撞翻物体。反过来,若同步压到 1 毫秒内,同等速度下的同步误差低于 0.4 毫米,模型的容错预算才真正用在泛化而非抵消传感器抖动上。这里用匀速算例解释原理,并非对 HiFi-UMI 实测精度复现。
2. 三层时间尺度的上下文:为什么不能无脑塞进同一个窗口
1 秒防滑纠错要高帧率、低延迟的原生态视觉与本体流,数分钟同款杯迁移要短期任务记忆,跨小时找抽屉要高度压缩的空间事件记忆。若将数十分钟的 6 路高清帧无差别塞进单一 Transformer 窗口,token 长度会呈指数级拖垮实时控制延迟;因此工程上常走快慢分离路线——高频控制环只消费极短滑动窗口,上层 Agentic OS 的 Harness 则提炼并按需检索长期结构化记忆。
3. 从语音指令到安全执行:Agentic OS 的双向闭环
本文自拟流程:用户说“把沙发上的衣服放进洗衣机”后,System 2(大脑)先解析意图并拆解出拿衣、移动、放入子目标,经 Harness 向 System 1(小脑)下发条件指令。执行中若衣服滑落,System 1 靠短时上下文就地重抓而不必停等大脑;但若走到机前发现机门紧闭、超出子技能预设,视觉状态必须经 Harness 上报 System 2,决定追加“开门”还是请求人类协助,避免上下脱节。
独立判断:怎样评估这些选择
1. 区分“已知原语新组合”与“完全陌生任务”的 Zero-Shot 边界
训练集只见过“遥控器入盒”与“零食入桶”却能完成“零食放到蓝盘”,证明了预训练数据多样性的价值。但评估 zero-shot 仍须把“熟悉动作与熟悉物体的新组合”和“全新动力学原语”(如湿滑碗碟洗刷、撕开陌生包装)严格拆开,写清训练与测试的重合边界、随机初始扰动下的重复次数、失败类型与人工接管率。
2. 批判“成对数据硬训 ICL”切中要害,但检验标准应在泛化而非出身
王家伟担心专门构造 pair 数据会过拟合到几个摆拍 Demo,这个警觉很有道理;但“是否用了配对数据”与“是否真正具备上下文推理能力”并非简单一一对应。最公平的检验是在未见场景里做反事实干预(给正常示范、遮住示范、故意给相反示范看动作是否准确分叉),并把数据构造与算力总成本摊在同一张账本上比较。
3. 终极产品检验值得坚持,但短期仍需透明的中间对照
面对 LIBERO 失真与真机榜“既当裁判又当运动员”的顽疾,靠终端产品让用户买单是长远正途;但在机器人真正进入普通家庭之前,如果全行业只报自测分数,只会放大王家伟自己反感的“噱头大于真实”。即便本体不同,依然可以通过开源扰动协议、未剪辑长程录像与公开“单本体适配成本”来建立可比性。
4. “风浪越大鱼越贵”背后,是问题定义权与资源杠杆的权衡
离开 DeepSeek 与字节 Seed 投身具身创业,展现了大模型格局初定后年轻研究者的典型取舍:用大厂现成算力换取亲手定义核心问题的自由,同时承担搭基建与走错几年窗口的沉没风险。追踪这类转型是否划算,应盯紧三个硬指标:数据采集清洗的单位成本是否在下降、真机核心评测是否随规模持续单调提升,以及能否在算力窗口期内拿回真实外部场景的试用与付费反馈。
证据边界与资料索引
本文依据整期节目第三方机器转写与官方简介重建,未逐字听审原声。转写中对部分人名、公司名与模型名存在音译误差,已依节目官方简介与公开数据卡校准:包括嘉宾名王家伟、公司名深朴智能(Simple AI)、数据集名 HiFi-UMI-2K(转写部分处误记为 HiFi-5M)、上海交大 ACM 班(转写误记为 S.M. 班),以及前沿点评环节的 GEN-1.5、π0.7 与 Skild AI(机器转写将部分相近发音模型名混记为 GR00T / Gemini Robotics 等,此处以节目官方简介标注为准,并如实保留嘉宾提及的 20 万/50 万小时与约 9,000 种夹爪构型等口述细节)。深朴内部数据量、95% 回放率、90%+ 可用率、GPT-6 自动标注表现、竞品训练方式评价及三年洗碗 80% 概率等均属嘉宾口述或判断,未作独立复现;HiFi-UMI-2K 公开数据卡与 UMI 论文摘要仅用于核对名称与方法渊源。文中的同步错位算例与洗衣机执行流程为本文自拟。