拆接口
把规则、激光雷达、规控和语言逐步移出主路径,追求少而直接的信号。
刘先明谈的不是一次模型换代,而是把车企的研发对象从“自动驾驶功能”改成“真实设备—大模型—芯片—数据闭环”。他的极简路线包含一个反直觉动作:当语言成为模态混淆、token 延迟和部署效率的瓶颈时,直接拆掉语言接口,让视觉和连续动作承担更多信息。这个选择有潜力,也把安全下限、长时记忆和硬件协同变成必须回答的债务。
“拆掉 Language”在访谈里被描述为一次工程判断:语言 token 对人类抽象推理有帮助,但对实时控车并不一定是最短路径。它可能把视觉信号翻译成一维文本,再从文本恢复动作,带来信息损耗、模态混淆和推理延迟。刘先明选择让端到端模型直接从连续视觉输入生成控制信号,并用更大的数据、模型和算力验证 scaling。
把规则、激光雷达、规控和语言逐步移出主路径,追求少而直接的信号。
主机厂的车队、影子模式、接管数据和 OTA 迭代,成为真实世界的持续反馈。
车、机器人、飞行汽车、芯片被放进同一套软硬结合的物理智能框架。
| 时间 | 节目章节 | 关键问题 |
|---|---|---|
| 00:00–00:02 | 小鹏 AI 转型 | 为什么从自动驾驶战略走向 Physical AI? |
| 00:02–00:19 | 人物小记 | Facebook、Cruise 与主机厂数据闭环如何塑造路线? |
| 00:19–00:34 | 大模型拆 Language | Software 1.0/1.5/2.0/3.0 如何走向更大的模型与数据? |
| 00:34–00:54 | Physical AI 转型 | 芯片、硬件、模型、数据和组织如何合成乘法因子? |
| 00:54–01:48 | 换帅的背后 | 拆规则、拆 loss、拆语言的组织阻力、安全与全球泛化如何处理? |
刘先明把自动驾驶的演进分为几个阶段。Software 1.0 以激光雷达、聚类、检测和手写规控为主;Software 1.5 把神经网络放进感知,规则仍然承担规划和控制;Software 2.0 让模型从数据中学习更长的决策链;更大的 VLA/VLM 则继续扩大参数和数据规模。阶段名称不是行业标准,但它抓住了一个重要变化:系统越来越少依赖人工写出的中间表示。
每删掉一个模块,短期都可能回退,长期才可能提高上限。规则能快速兜住某个 corner case,却把模型限制在工程师能预见的边界;手工 loss 能在小数据上让结果好看,却把训练目标锁死在局部先验。极简不是“什么都不要”,而是让数据和模型承担原来由规则承担的泛化工作。
这里的真正赌注是 scaling:如果增加模型容量、训练数据和推理时间后,仿真、开环和路测指标都持续变好,删除模块才有理由;如果性能只在某个地点或某类数据上增长,极简只是在隐藏过拟合。
从 Cruise 转到小鹏的核心理由,是主机厂拥有可控制的设备、车队和数据链路。系统要先有一套能在路上运行的 0 到 1 基线,才能通过影子模式、用户接管和分布分析识别真正的 counter case。没有基线,采回来的海量数据可能只是无效录像。
| 闭环环节 | 作用 | 常见误区 |
|---|---|---|
| 基线系统 | 定义哪些行为是异常、什么需要触发采集 | 把所有录像都当作同等有效 |
| 影子模式 / 接管 | 发现长尾、分布缺口和用户真实反馈 | 只统计平均指标,不看失败桶 |
| 云端训练 | 用更大模型和更多数据验证规模效应 | 忽略数据读入、GPU 稳定性和训练基础设施 |
| 蒸馏 / 量化 / 部署 | 把云端能力压到车端的时延和算力预算 | 把云端 demo 当成量产体验 |
| OTA 与回归 | 把新失败再送回数据分布 | 只追发布节点,牺牲长期指标 |
访谈中的一个关键细节是:数据增长必须带着选择器。每个季度把数据量推高 30%–40% 并不自动有用,关键是模型是否能告诉团队缺哪一类样本、哪些长尾场景值得触发。数据飞轮的第一圈不是“收集更多”,而是“知道什么值得收集”。
刘先明把小鹏描述成一家物理 AI 企业:车、机器人和飞行汽车是与世界交互的 device,芯片负责端侧计算,模型负责理解和动作,真实设备又持续回传数据。这个定义的优点是把“模型能力”放回生产系统,缺点是它会让技术债务变得不可隐藏。
电机、底盘、传感器和执行器决定动作边界、可靠性与可制造性。
决定模型能否在车端以足够频率运行,也影响架构和量化剪枝。
负责从连续观测到动作的映射,泛化与涌现是长期目标。
把真实交互、失败、城市和天气差异写回训练,形成反馈飞轮。
“云端大模型—车端模型”的分工不是简单的大小关系。云端可以有更长的 testing time、更大的参数和更高的训练成本;车端必须在低延迟、功耗、热和安全冗余下做出动作。任何只在云端成立的泛化,都还没有成为产品能力。
刘先明认为语言在控车路径里可能是毒药:为了把很少的视觉信号翻译成语言 token,需要增加大量序列;训练和推理更慢,模态之间还可能混淆。尤其是及时反馈场景,车辆需要高频响应突然出现的电动车、切入和障碍,长上下文和长思维链都要为实时性让路。
这个论证有三个边界。第一,语言仍然是高层目标、解释和人机沟通的强接口;拆掉它指的是不让它成为每个控制周期的必经通道。第二,端到端并不等于没有结构,安全兜底、监控、远程接管和硬件约束仍然存在。第三,动作直接输出会减少可解释的中间层,必须用回放、反事实测试和安全评估补回可审计性。
| 场景 | 语言接口的价值 | 直接视觉—动作的价值 | 需要补的机制 |
|---|---|---|---|
| 高频控车 | 表达意图、调试、长程任务 | 低延迟、少信息翻译 | 安全下限、异常检测、动作回放 |
| 机器人任务规划 | 分解目标、调用工具、跨任务沟通 | 接触动作与实时控制 | ER/VLA 分层、状态记忆、触觉 |
| 人机协作 | 解释、纠错、确认和权限 | 快速响应变化 | 确认协议、可撤销动作、日志 |
访谈把世界模型定义为对世界的理解与生成:模型先表示连续、非结构化的世界,再在上面加入任务,输出动作。按这个定义,VLA 可以看作世界模型的一种直接动作接口;更完整的 world model 则应能模拟状态变化、做推演并给出反馈。
这一定义比“所有车企都在叫世界模型”更有用,因为它要求检查输入和输出:是否接收真实连续传感器?是否预测动作后的世界?是否在不同任务、城市和硬件上复用?是否能把模拟结果与真实结果对齐?如果只是把一个端到端模型换了一个名字,不能获得额外的解释力。
刘先明说自动驾驶和机器人在架构上可以复用,但机器人更难:数据少、自由度高、物理交互丰富。这里的“可复用”应理解为共享训练范式和表示,而不是把车的模型直接拿去控制灵巧手。
从拆规则到拆 loss,再到拆语言,阻力最大的部分并不是写代码,而是在业务目标、事故压力和传统经验下坚持一个尚未被完全证明的方向。刘先明的组织策略是把团队做得扁平、合并重复流程、直接看 debug 和问题日会,减少汇报层级,把资源聚集到模型、基础设施和数据闭环。
但扁平不是治理答案。它依赖领导者能在机会与风险之间动态调整,并且愿意承受短期回退。长线 AI 项目还需要质量、合规、硬件、海外和量产团队共同工作;当负责人从研究转向产品,个人带宽会成为新的瓶颈。极简的技术路线必须配套极简但清晰的责任路线:谁可以暂停发布,谁负责安全下限,谁核对真实泛化,谁记录失败。
量产、接管率、城市泛化、推理延迟和用户体验。
下一代模型、基础设施稳定性、跨产品复用和安全对齐。
以真实问题发现研究,不为短期发布节点牺牲长期上限。
小鹏官方资料可以核对其公开的基座模型、Physical AI、芯片和 AI Day 路线,但访谈中的训练小时数、内部争论、效果体感、预算分配和未来 L4 时间表属于嘉宾或公司口径,不能替代独立路测或监管认证。
本文以 #120 的连续逐句材料和节目章节为主;由于公开 ASR 的说话人分离不可靠,正文采用内容归纳而不把每句话强行归给某位说话者。小鹏官方资料用于核对公司公开路线和技术发布;内部研发过程、预算、训练数据量、测试结果与未来预测仍标记为嘉宾/公司口径。
证据层次:节目入口与逐句材料 → 公司/研究机构公开资料 → 本文的机制抽象。小鹏产品、组织和模型版本会变化,时间敏感事实应以最新公告与独立测试复核。