Tech Analysis · XPENG / Physical AI

刘先明访谈深读:拆掉 Language 之后,小鹏如何把智驾重写成 Physical AI

刘先明谈的不是一次模型换代,而是把车企的研发对象从“自动驾驶功能”改成“真实设备—大模型—芯片—数据闭环”。他的极简路线包含一个反直觉动作:当语言成为模态混淆、token 延迟和部署效率的瓶颈时,直接拆掉语言接口,让视觉和连续动作承担更多信息。这个选择有潜力,也把安全下限、长时记忆和硬件协同变成必须回答的债务。

完整覆盖 1:48:45 · 5 个内容章节 · 小鹏官方 AI Day / 基座模型资料交叉核验 · ASR 未能可靠区分说话人,正文不强行标注身份

核心判断:去掉一个接口,不等于减少系统复杂度

“拆掉 Language”在访谈里被描述为一次工程判断:语言 token 对人类抽象推理有帮助,但对实时控车并不一定是最短路径。它可能把视觉信号翻译成一维文本,再从文本恢复动作,带来信息损耗、模态混淆和推理延迟。刘先明选择让端到端模型直接从连续视觉输入生成控制信号,并用更大的数据、模型和算力验证 scaling。

拆接口

把规则、激光雷达、规控和语言逐步移出主路径,追求少而直接的信号。

建闭环

主机厂的车队、影子模式、接管数据和 OTA 迭代,成为真实世界的持续反馈。

扩物理 AI

车、机器人、飞行汽车、芯片被放进同一套软硬结合的物理智能框架。

我的判断去语言化的价值不在“语言没用”,而在于它把智能的边界从语义接口重新推回传感器、动作频率、硬件和真实反馈。这个边界若没有安全和记忆机制托住,极简就会变成极端。

内容地图:从职业选择到换帅之后的技术赌注

时间节目章节关键问题
00:00–00:02小鹏 AI 转型为什么从自动驾驶战略走向 Physical AI?
00:02–00:19人物小记Facebook、Cruise 与主机厂数据闭环如何塑造路线?
00:19–00:34大模型拆 LanguageSoftware 1.0/1.5/2.0/3.0 如何走向更大的模型与数据?
00:34–00:54Physical AI 转型芯片、硬件、模型、数据和组织如何合成乘法因子?
00:54–01:48换帅的背后拆规则、拆 loss、拆语言的组织阻力、安全与全球泛化如何处理?

一、从 Software 1.0 到端到端:技术史其实是一条“接口删减史”

刘先明把自动驾驶的演进分为几个阶段。Software 1.0 以激光雷达、聚类、检测和手写规控为主;Software 1.5 把神经网络放进感知,规则仍然承担规划和控制;Software 2.0 让模型从数据中学习更长的决策链;更大的 VLA/VLM 则继续扩大参数和数据规模。阶段名称不是行业标准,但它抓住了一个重要变化:系统越来越少依赖人工写出的中间表示。

每删掉一个模块,短期都可能回退,长期才可能提高上限。规则能快速兜住某个 corner case,却把模型限制在工程师能预见的边界;手工 loss 能在小数据上让结果好看,却把训练目标锁死在局部先验。极简不是“什么都不要”,而是让数据和模型承担原来由规则承担的泛化工作。

传感器
表征
语言/规则接口
动作模型
车端部署
真实反馈

这里的真正赌注是 scaling:如果增加模型容量、训练数据和推理时间后,仿真、开环和路测指标都持续变好,删除模块才有理由;如果性能只在某个地点或某类数据上增长,极简只是在隐藏过拟合。

二、主机厂的护城河不是“有车”,而是能把失败变成下一批数据

从 Cruise 转到小鹏的核心理由,是主机厂拥有可控制的设备、车队和数据链路。系统要先有一套能在路上运行的 0 到 1 基线,才能通过影子模式、用户接管和分布分析识别真正的 counter case。没有基线,采回来的海量数据可能只是无效录像。

闭环环节作用常见误区
基线系统定义哪些行为是异常、什么需要触发采集把所有录像都当作同等有效
影子模式 / 接管发现长尾、分布缺口和用户真实反馈只统计平均指标,不看失败桶
云端训练用更大模型和更多数据验证规模效应忽略数据读入、GPU 稳定性和训练基础设施
蒸馏 / 量化 / 部署把云端能力压到车端的时延和算力预算把云端 demo 当成量产体验
OTA 与回归把新失败再送回数据分布只追发布节点,牺牲长期指标

访谈中的一个关键细节是:数据增长必须带着选择器。每个季度把数据量推高 30%–40% 并不自动有用,关键是模型是否能告诉团队缺哪一类样本、哪些长尾场景值得触发。数据飞轮的第一圈不是“收集更多”,而是“知道什么值得收集”。

可迁移的工程问题任何拥有真实设备的 AI 公司都应维护失败分布账本:每个新增样本属于哪个错误桶、是否改变策略、是否只提高了训练集分数、是否增加了安全下限。

三、Physical AI 是乘法因子:硬件、芯片、模型、数据缺一个都不闭环

刘先明把小鹏描述成一家物理 AI 企业:车、机器人和飞行汽车是与世界交互的 device,芯片负责端侧计算,模型负责理解和动作,真实设备又持续回传数据。这个定义的优点是把“模型能力”放回生产系统,缺点是它会让技术债务变得不可隐藏。

硬件

电机、底盘、传感器和执行器决定动作边界、可靠性与可制造性。

芯片

决定模型能否在车端以足够频率运行,也影响架构和量化剪枝。

模型

负责从连续观测到动作的映射,泛化与涌现是长期目标。

数据

把真实交互、失败、城市和天气差异写回训练,形成反馈飞轮。

“云端大模型—车端模型”的分工不是简单的大小关系。云端可以有更长的 testing time、更大的参数和更高的训练成本;车端必须在低延迟、功耗、热和安全冗余下做出动作。任何只在云端成立的泛化,都还没有成为产品能力。

四、拆掉 Language:为什么它可能有效,又为什么不能照搬

刘先明认为语言在控车路径里可能是毒药:为了把很少的视觉信号翻译成语言 token,需要增加大量序列;训练和推理更慢,模态之间还可能混淆。尤其是及时反馈场景,车辆需要高频响应突然出现的电动车、切入和障碍,长上下文和长思维链都要为实时性让路。

这个论证有三个边界。第一,语言仍然是高层目标、解释和人机沟通的强接口;拆掉它指的是不让它成为每个控制周期的必经通道。第二,端到端并不等于没有结构,安全兜底、监控、远程接管和硬件约束仍然存在。第三,动作直接输出会减少可解释的中间层,必须用回放、反事实测试和安全评估补回可审计性。

场景语言接口的价值直接视觉—动作的价值需要补的机制
高频控车表达意图、调试、长程任务低延迟、少信息翻译安全下限、异常检测、动作回放
机器人任务规划分解目标、调用工具、跨任务沟通接触动作与实时控制ER/VLA 分层、状态记忆、触觉
人机协作解释、纠错、确认和权限快速响应变化确认协议、可撤销动作、日志
核心区别“语言不是智能本质”与“语言在所有系统都无用”是两句话。前者是对模态角色的重新排序,后者是未经验证的泛化。

五、世界模型与 VLA:同一模型还是不同名字,取决于输出闭环

访谈把世界模型定义为对世界的理解与生成:模型先表示连续、非结构化的世界,再在上面加入任务,输出动作。按这个定义,VLA 可以看作世界模型的一种直接动作接口;更完整的 world model 则应能模拟状态变化、做推演并给出反馈。

这一定义比“所有车企都在叫世界模型”更有用,因为它要求检查输入和输出:是否接收真实连续传感器?是否预测动作后的世界?是否在不同任务、城市和硬件上复用?是否能把模拟结果与真实结果对齐?如果只是把一个端到端模型换了一个名字,不能获得额外的解释力。

刘先明说自动驾驶和机器人在架构上可以复用,但机器人更难:数据少、自由度高、物理交互丰富。这里的“可复用”应理解为共享训练范式和表示,而不是把车的模型直接拿去控制灵巧手。

六、换帅背后的组织机制:极简路线要求更高的判断力和更长的承压期

从拆规则到拆 loss,再到拆语言,阻力最大的部分并不是写代码,而是在业务目标、事故压力和传统经验下坚持一个尚未被完全证明的方向。刘先明的组织策略是把团队做得扁平、合并重复流程、直接看 debug 和问题日会,减少汇报层级,把资源聚集到模型、基础设施和数据闭环。

但扁平不是治理答案。它依赖领导者能在机会与风险之间动态调整,并且愿意承受短期回退。长线 AI 项目还需要质量、合规、硬件、海外和量产团队共同工作;当负责人从研究转向产品,个人带宽会成为新的瓶颈。极简的技术路线必须配套极简但清晰的责任路线:谁可以暂停发布,谁负责安全下限,谁核对真实泛化,谁记录失败。

短线指标

量产、接管率、城市泛化、推理延迟和用户体验。

长线指标

下一代模型、基础设施稳定性、跨产品复用和安全对齐。

决策纪律

以真实问题发现研究,不为短期发布节点牺牲长期上限。

进一步推演:六条可迁移 Insight

  1. 接口删除会把复杂度迁移,而不是消灭。 规则、语言和模块被删后,数据选择、异常检测、安全、硬件协同和训练稳定性必须承担更多复杂度。
  2. 主机厂真正的稀缺资源是“可触发的失败”。 车队规模只有在能识别分布缺口、主动采样并快速回训时才构成护城河。
  3. Scaling 的证据必须跨三个坐标轴。 模型/数据规模、城市/天气分布、设备/硬件形态都要同时扩展;只在一个坐标轴上提升可能是过拟合。
  4. 世界模型的最小单位是动作后果。 没有“如果这样做会怎样”的可检验预测,世界模型只是更好的视觉理解或生成器。
  5. 语言应被拆成控制周期之外的层。 高层目标、解释和工具调用可以保留语言;毫秒级控制不必强行通过文本接口。
  6. 安全下限要与涌现速度一起设计。 当模型突然跨过规则系统的能力时,安全不能等产品成熟后补,而要在训练、仿真、路测和云端接管阶段同步建立。
一个实用框架每次架构简化都做四张表:删掉了什么接口、谁接管了它的功能、哪些失败可能变得不可见、部署前用什么独立测试证明安全没有下降。

边界与可证伪点

公开资料与访谈口径要分开

小鹏官方资料可以核对其公开的基座模型、Physical AI、芯片和 AI Day 路线,但访谈中的训练小时数、内部争论、效果体感、预算分配和未来 L4 时间表属于嘉宾或公司口径,不能替代独立路测或监管认证。

证据边界与资料索引

本文以 #120 的连续逐句材料和节目章节为主;由于公开 ASR 的说话人分离不可靠,正文采用内容归纳而不把每句话强行归给某位说话者。小鹏官方资料用于核对公司公开路线和技术发布;内部研发过程、预算、训练数据量、测试结果与未来预测仍标记为嘉宾/公司口径。

证据层次:节目入口与逐句材料 → 公司/研究机构公开资料 → 本文的机制抽象。小鹏产品、组织和模型版本会变化,时间敏感事实应以最新公告与独立测试复核。

返回顶部 ↑