Podcast Interview · 逐期深读

刘洺堉谈 Cosmos 与物理 AI:共同基座如何接受真实动作与应用的检验

本期背景与内容导览

本期是张小珺与英伟达研究副总裁刘洺堉关于 Cosmos、物理 AI 和组织方式的长访谈。节目从 GAN、图像翻译和可扩展性疑问出发,回顾他为何被 DALL-E、Sora 推动重新思考视觉生成,再进入 Cosmos 从多个分散模型到统一 omni model 的技术与组织演进。 补源后的正文把语言、视频/音频和动作的不同作用讲清楚:语言承载知识与沟通,视觉和声音描述世界变化,动作使模型能干预物理世界。统一并不等于各模态自动互补,仍需数据配比、动作后状态预测和部署实验。Cosmos 3 的双塔用于分别定制理解与生成,是现阶段的用户友好选择;更简单的统一架构仍是开放研究方向。 后半期把评估、数据和组织放在一起:不同 physical builder 需要不同任务指标,第一人称操作数据用于寻找共通经验,大团队则要同时保持共同目标、分散决策和快速纠错。英伟达不裁员、不赛马的文化既被描述为信任与合作的来源,也承认内部转型可能更慢。开源、长期投入与帮助生态成功同时具有技术和商业意义,不能把嘉宾自述当成所有主张已被独立证明。

张小珺Jùn|商业访谈录 · #150 · 2026-08-13 · 3:36:12

原对话:沿提问、回答和转折完整展开

下面先按节目顺序重建。主持人在追问什么,嘉宾如何以自己的经历、例子和推理作答,尽量保留在具体语境中;案例中的事实、数字和判断先归属于发言人。随后才进入本文的机制解释与独立判断。

00:00:00–00:10:00连续对话 1

00:00:00–00:10:00开场:嘉宾介绍与核心观点预告

主持人张小珺在节目开场介绍了本次的访谈对象——英伟达研究副总裁刘洺堉(Ming-Yue Liu)。她描述了对刘洺堉的个人印象:穿着朴素、态度谦和。但她也引述了英伟达内部人士的看法,认为刘洺堉更像一位工程领导者,而非典型的研究员,并提及CEO黄仁勋(Jensen Huang)对他的评价是“GSD”(Getting Shit Done),意指执行力强。

主持人预告了本次访谈的核心内容,包括刘洺堉团队近期发布的英伟达世界模型Cosmos 3、他作为一名研究员在英伟达这个庞大系统内的20年求索经历,以及一些关于英伟达和黄仁勋的内部故事。

节目剪辑了后续访谈中的几段精彩观点作为预告:

1. 黄仁勋的商业哲学:偏爱“从零到十亿美元”(zero-billion-dollar)的业务,即项目可以不赚钱,但成功时必须具备巨大的影响力(influential)。

2. 刘洺堉对研究生态的比喻:经济的繁荣在于资金流动的速度,而研究的繁荣在于思想(idea)在不同头脑间流动的速度。

3. 黄仁勋对Cosmos项目的长期承诺:在刘洺堉完成Cosmos 1后,黄仁勋让他一直做到“Cosmos 97”。

4. 黄仁勋的行事风格:他是一个有纪律、擅长打“马拉松战”的人,会要求团队掌握节奏(pace your steps),并始终保持危机感,认为公司随时可能在30天后破产。

话题推进:在简短的寒暄和确认嘉宾身份后,主持人正式开始访谈,询问刘洺堉在英伟达的职位和团队情况。

00:00:00–00:10:00从Deep Imagination到Cosmos Lab:刘洺堉在英伟达的团队演进

  • 你现在讲中文还多吗?在公司里面?
  • 这次你来中国的行程是什么样的?你多久会来一次中国?
  • 这次来感觉到有什么不一样吗?跟之前?
  • 你现在在英伟达的title是研究副总裁。你能不能介绍一下这个职位,然后以及你们团队的一些构造和人数?
  • 我看到你之前还管一个团队叫Deep Imagination Research Group,Cosmos是它演化来的吗?他们是什么关系啊?
  • 这是哪一年?

访谈正式开始,主持人首先关心刘洺堉的工作语言环境。刘洺堉表示,由于团队成员的多样性,日常沟通以英文为主,但在参与者都会中文的小组会议中,会自然切换到中文。

随后,主持人问及他来中国的行程。刘洺堉解释,他每年会来中国两到三次,主要任务是围绕他个人及公司都非常关注的“物理AI”(Physical AI)领域进行交流。他观察到中国在这一领域发展非常迅速,希望通过交流了解如何能帮助这里的公司和研究员。他此次来访,感受到中国在“灵巧手”(dexterous hand)等关键技术上的突破速度很快。

主持人请刘洺堉介绍其职位与团队。他说明自己是研究副总裁,同时也是Cosmos Lab的副总裁。其直属团队(研究员加工程师)约有八九十人。此外,公司内还有其他团队以“虚线汇报”(dotted line)的方式参与Cosmos项目,总规模达到二三百人。他作为项目总负责人,决定整体方向并发布指令。他强调,Cosmos是英伟达内部的一个重大项目,投入了大量资源。

接着,主持人追问他之前领导的“Deep Imagination Research Group”与Cosmos的关系。刘洺堉确认了演化关系,并回顾了自己十年前加入英伟达时的初衷。当时,他预测深度学习(Deep Learning)将取代传统计算机图形学(Computer Graphics),成为生成视频的主要运算方式。他在求职演讲(job talk)中提出,未来可以用小说作为输入直接生成电影。这个想法吸引了公司,他得以加入并朝此方向努力。

刘洺堉讲述,早期他主要研究“生成对抗网络”(GAN),并取得了一些成果,如实现了“无监督/非配对图像翻译”(unsupervised/unpaired image translation)。他解释,这是一种在没有成对输入输出数据(例如,没有同一匹马变成斑马前后的照片)的情况下,学习图像转换的技术。他当时利用了“信息瓶颈”(information bottleneck)的方法来实现。他提到,当时英伟达还未被广泛认同为一家AI公司,他与同事们(如研究StyleGAN的团队)的工作,帮助公司树立了在AI模型研发方面的形象。其中一个让他自豪的项目是“GauGAN”(中文昵称“马良神笔”),用户可以通过涂抹不同颜色的色块(代表不同语义,如山、水)来生成逼真的风景画。随着这些工作的成功,公司允许他成立自己的团队,即“Deep Imagination Research”,时间大约在2019到2020年间,与他最初的设想一致。

话题推进:在建立了Deep Imagination Research团队后,刘洺堉继续朝着“小说生成电影”的目标前进,但一系列外部的技术突破让他不断反思自己的决心和策略。

00:00:00–00:10:00两次“顿悟”:从DALL-E到Sora,Cosmos项目的诞生

  • 在算力最多的地方。
  • 当时要了多少GPU啊?
  • 当时1000张很多嘛,那时候。
  • 我听说Sora没有出自你的团队,让你很遗憾是吗?

刘洺堉继续讲述Deep Imagination Research团队时期的经历。他们曾为CEO黄仁勋的Keynote制作了一个“数字人”替代真人的demo,并在疫情期间持续贡献数字人技术。然而,当OpenAI发布初代的文本到图像模型DALL-E时,刘洺堉坦言自己经历了一次“顿悟”:他意识到自己虽然身处算力最丰富的公司,但“野心不够大,不够勇敢”,没有下决心去挑战这个方向。

这次冲击促使他采取行动。他给黄仁勋写信,论证了用深度学习做影像生成的未来趋势已然明确,英伟达不能落后,并成功申请到了1000张A100 GPU的算力支持。他提到,在当时(Ampere架构时代),1000张GPU已是巨大资源,且将它们高效串联训练也非易事。同时,他也联系了合作伙伴Getty Images,说服对方合作,由Getty Images提供数据,英伟达提供算力和模型,共同开发文本到图像的大模型。这个合作催生了名为“Picasso”的专案,其商业模式是“AI foundry”(AI代工厂):为拥有数据但缺乏AI人才和基础设施的公司定制模型,然后共享收益。这是他正式踏入大模型领域的起点。

刘洺堉提到了几位曾在他团队实习的优秀年轻人,包括现在Meta的俞家辉和OpenAI Sora模型的作者之一Tim Brooks。他回忆,Tim Brooks实习时就对视频生成充满热情,但当时技术条件所限,他们还在用GAN进行研究。后来Tim Brooks加入OpenAI并做出了Sora。

Sora的发布是刘洺堉经历的第二次“顿悟”。他再次感到自己的“决心还是不够”。这次,他联合公司内其他几位学者,包括Sanja Fidler和Bryan Catanzaro等人,共同向黄仁勋建言,必须加大对世界模型(World Model)的投资。这直接催生了Cosmos项目。黄仁勋任命刘洺堉和Sanja Fidler共同领导这个项目,并亲自将其命名为“Cosmos”。

随着Cosmos项目的重要性日益凸显,刘洺堉发现自己无法兼顾Picasso和Cosmos两个重大项目。他最终决定收尾Picasso项目,将全部精力投入到Cosmos。随着Cosmos从1代发展到3代,客户和内部依赖增多,项目进入“一定要成功”的阶段,需要更庞大的资源。因此,在2024年年初,他正式离开NVIDIA Research,带着原Deep Imagination团队组建了新的“Cosmos Lab”,并开始向公司软件高级副总裁Dwight Buck汇报,以获得更强的工程和产品支持。

对于Sora,刘洺堉澄清“遗憾”并非负面情绪。他为前同事的巨大成就感到开心,但更多的是进行自我反省:“在我的决策过程中,是哪些地方我没有看对,而导致我没有在正确的时机做出正确的事情。”

话题推进:主持人从Sora聊开,追问OpenAI为何似乎搁置了Sora,并进一步探讨英伟达作为一家基础设施公司,为何要亲自下场做研究。

00:00:00–00:10:00英伟达为何做研究:预判未来、开源赋能与Physical AI的抉择

  • 因为说到Sora还是会想多说一句,你觉得为什么OpenAI后来把这条产品线基本上算是关掉了?
  • 对于英伟达这样的一个基础设施公司,或者说是一个平台公司,我卖token给这些前沿实验室就好了,我为什么还要自己做自己的研究呢?就是研究这件事情本身对于英伟达的意义是什么样?
  • 那你们的研究成果会跟客户去有一些竞争关系吗?
  • 所以为什么你们当时要立一个非常重要的项目,没有选择当时最火的大语言模型,也没有选择像Sora这样的模型,而是选择了一个具身(Physical)的世界模型呢?
  • Jensen对于这个团队提过什么要求没有?

主持人询问刘洺堉对OpenAI似乎搁置Sora的看法。刘洺堉认为,OpenAI是一家有野心的公司,Sora本身是重大的研究工作,但过去一年,OpenAI面临巨大的竞争压力。他观察到,像“coding agent”(编程智能体)这样的应用能产生巨大的经济效应,因为它们可以持续工作,消耗大量token,远超普通聊天应用。他引用《孙子兵法》的“备多则力寡”,推测OpenAI是出于战略考量,将有限的资源重新调整,集中投入到商业回报更明确的coding方向,这是一个艰难但必要的决定。

接着,主持人提出了一个核心问题:英伟达作为一家基础设施公司,为何要亲自做应用层面的研究,而不是仅仅卖算力?刘洺堉解释,这背后有几个关键原因:

1. 预判客户需求:如果不亲身实践应用,就无法真正理解应用公司的需求和痛点。芯片和计算机架构的设计周期很长,必须通过前瞻性研究来预测未来的重要问题,从而设计出更适合未来AI大公司的基础设施。

2. 赋能生态:英伟达希望通过开源模型,为整个社会有抱负的年轻人和创业公司提供工具,让他们有机会实现自己的想法。当更多元的想法得以实现,社会才会进步得更快。这与客户并非竞争关系,而是帮助他们分担基础模型研发的压力,让他们能更专注于解决具体应用中的硬件、商业等“最后一公里”的难题。

3. 建立行业信心:通过持续迭代Cosmos(从1代到3代),英伟达向外界传递了一个明确信号:公司将长期投入并推动该领域发展。这能给生态内的公司带来信心,让他们敢于在英伟达提供的基础上投入自己的资源,去解决更关键的问题。

主持人追问,为何英伟达选择“具身世界模型”(Physical World Model)作为重点项目,而非当时更火的大语言模型或Sora那样的内容创作模型。刘洺堉回答:

* 背景与专长:他本人和团队出身于计算机视觉(CV),而非大语言模型(LLM)。同时,英伟达已有强大的LLM团队,他在那里贡献有限。

* 应用价值判断:Sora代表的“内容创作”(content creation)应用很有价值,但他们看到了“物理AI”(Physical AI)能解决更根本的社会问题。例如,自动驾驶能帮助老年人维持出行能力;机器人可以从事危险、劳累或繁琐的家务劳动,从而改善人类生活品质。他们认为世界模型对物理AI的贡献更大,因此选择了这条路线。

最后,关于CEO黄仁勋对团队的要求,刘洺堉总结为:目标极高,要求严格。核心要求是“帮助客户成功”和“产生巨大影响力”(make impact)。黄仁勋常说他喜欢“zero-billion-dollar business”,即可以不赚钱,但成功后必须是规模巨大、影响深远的业务,而不能满足于每年赚一亿美元这种对英伟达而言是“分心”(distraction)的规模。因此,团队必须聚焦于解决最重要的问题,创造最大的贡献。

话题推进:在讨论了团队的战略选择后,主持人将话题转向刘洺堉的个人成长经历,探寻他研究之路的起点和转变。

00:00:00–00:10:00从无线通讯到AI:一位研究员的意外转向与早期探索

  • 作为研究员的刘明月,你是怎么一步一步探索你的研究之路的?
  • 还没有想过。
  • 就是大几啊?
  • 这是一个传统计算机视觉的时期。
  • 这是你后来的一个工作对吧?
  • 在美国的第一份工作。
  • 那刻会失落吗?
  • 什么都不work。
  • 你好像很早开始做生成了。
  • 所以为什么生成是理解的一部分?
  • 而这个人的学习有点像。
  • 当你可讲的时候,意味着你已经理解了。

主持人引导话题转向刘洺堉的个人研究历程。刘洺堉首先修正了之前关于“野心”的说法,他认为自己一直很有野心(例如很早就想用小说生成电影),但在英伟达的十年让他学会了如何把握时机、争取公司内部资源和支持,从而将野心付诸实践。

他回顾了自己的求学之路。在台北读高中时,最热门的领域是无线通讯。他因此进入台湾交通大学学习该专业。大学期间,许多同学毕业后进入了联发科、台积电等台湾优势产业的公司。然而,他在大三时开始反思这是否是自己想要的道路。通过对比美国研究生的研究课题,他发现美国的研究更侧重于“从0到1”的突破,而自己当时的工作更像是“从1到1.1”的优化。这激发了他去美国留学的想法,这个决定让他的父母感到非常震惊,因为他从未表露过此意向。

他最初计划去美国研究“量子通讯”,但在去美国前,他在台湾的英特尔实习了一年。在那里,他第一次接触到AI——一位朋友正在做影像辨识。他对计算机能从像素中识别物体感到非常神奇。后来,他进入美国马里兰大学读博,该校因靠近华盛顿特区,聚集了许多早期由国防经费支持的计算机视觉(Computer Vision)领域的大佬。他被CV的魅力吸引,放弃了量子通讯,转而师从该领域的先驱拉马·恰拉帕(Rama Chellappa)教授,正式踏入AI领域。他博士期间的第一个课题是通过视频中人物的走路姿态来识别身份。

刘洺堉强调,他读博的时期是“传统计算机视觉”时代,深度学习尚未兴起,“什么都不work”。因此,研究者需要学习各种技术,如支持向量机(SVM)、优化算法、图模型(graphical model)、能量最小化等,这为他打下了扎实的基础。在他即将毕业时,AlexNet的出现改变了整个领域。他并未因此感到失落,反而对新技术充满兴趣,并组织实验室的学弟学妹一起研究深度学习。

博士毕业后,他加入了位于麻省剑桥的三菱电机研究院(MERL)。在那里,他有充足的时间学习深度学习。受其导师相信生成模型(Generative Model)的理念影响,他尤其关注生成领域。当他看到伊恩·古德费洛(Ian Goodfellow)关于生成对抗网络(GAN)的论文后,便对此产生了浓厚兴趣,并开始大量投入研究,成为最早一批研究生成模型的研究员。他回忆,当时能生成32x32像素、看起来“不像鬼”的人脸就已经算成功了。

最后,他引用物理学家理查德·费曼的名言“What I cannot create, I do not understand”(我无法创造的,我就不理解),解释了为何“生成是理解的一部分”。他认为,当一个模型能够生成或重建某个事物时,才意味着它真正理解了它。

话题推进:在解释了生成与理解的关系后,主持人进一步询问工程经验对研究的影响,并引出了刘洺堉对自己研究生涯中几个重要转折点的思考。

00:00:00–00:10:00研究生涯的三个教训:从追求数学之美到学会团队协作

  • 其实你最早做了一年的工程师,你觉得这个经历对你后来做research有影响吗?你觉得做engineering和做researcher的本质的差异是什么呀?
  • 所以AI对你来说也是一场意外。
  • 它最初打动你的是什么呢?
  • 如果要找到一个早期对你研究生涯都非常重要的一个时刻,你会怎么描述它?
  • 你要做应用,然后你要销售你的工作,然后你要团队协作。
  • GauGAN是取自高更吗?

主持人询问刘洺堉早期的工程师经历对其研究生涯的影响。刘洺堉认为,那段经历最大的影响是让他认识了AI和计算机视觉这个领域。他区分了研究与工程的本质差异:研究(research)最重要的是“问对问题”,而工程(engineering)则是实现想法、证明问题重要性的能力。他承认自己进入AI领域并非源于从小对人类智能的哲学思考,而是在接触后因“不懂”而产生好奇,并能直观理解其重要性,便一步步深入探索。

当被问及研究生涯中最重要的时刻,刘洺堉分享了三个关键的“教训”或转变:

1. 从追求数学之美到拥抱应用本质:在传统CV早期,由于很多问题无法找到最优解(如非凸优化问题),研究者为了证明算法的有效性(例如,证明解与最优解的差距有界),常常引入各种假设。这些假设能让数学推导变得“干净”,但却脱离了现实世界。他逐渐意识到,AI本质上是应用科学,不应为了追求数学上的优美而忽略问题的本质,应更贴近真实问题。

2. 从做出成果到有效沟通:刚加入英伟达时,他专注于把事情做出来,但不擅长向他人解释自己工作的价值。他比喻自己做出了100分的工作,但解释只有10分,导致外界只能看到10分。他后来意识到,让别人理解工作的重要性同样关键,这促使他开始重视沟通和“销售”自己的研究成果。

3. 从单打独斗到团队协作:在开始做大模型后,他深刻体会到团队合作的重要性。他用复杂度理论来解释,如果N个人的团队需要两两沟通,沟通成本是N的平方(N²),这种方式难以扩展。为了实现高效协作,必须把目标和路径讲得非常明确,让所有人目标一致。这需要领导者不仅能做出成果、解释成果,还要能激励团队,让大家理解“为什么这很重要”,从而朝同一个方向前进。

主持人总结这三点(做应用、销售工作、团队协作)正是他成长的路线。刘洺堉表示认同,并以GauGAN项目为例。当他看到普通用户使用GauGAN并给出积极反馈时,他获得了巨大的成就感,感到自己的工作能影响更广泛的人群,生命更有价值。

最后,他分享了GauGAN命名的趣事。项目最初的技术名称叫“SPADE”,黄仁勋认为这个名字不够用户友好。在准备GTC大会发布时,公司一位营销天才Greg Estes提出了“GauGAN”这个名字,既结合了当时流行的“GAN”后缀,又致敬了法国画家高更(Gauguin),非常贴切。虽然该项目最后因Keynote时间紧张被临时拿下,但发布后依然成为那届GTC最受瞩目的成果之一。

话题推进:GauGAN的成功是刘洺堉在GAN领域一系列工作的体现。主持人接着追问,他从早期的GAN研究到GauGAN,其技术路线是如何一步步演进的。

00:00:00–00:10:00从图像翻译到可扩展性思考:GAN时代的技术演进与反思

  • 其实GauGAN是不是跟你之前的研究轨迹是一步一步递进的,它不是第一天就做到那里了,因为你从博士毕业以后加入了三菱电机研究所,Computer Vision就进入了GAN的时代,然后你其实围绕GAN做了一系列的工作,包括CoGAN,MoCoGAN,暂时到了NVIDIA之后,的比如说GauGAN,这一系列的工作对吗?它它是怎么延展的呀?
  • 容易的,最早是?
  • 所以你是沿着Image,然后到Text的这个路径一点一点的延伸的。
  • 是哪年?
  • 后面这几个GAN的工作你再讲一下。

主持人询问刘洺堉在GAN领域的研究是如何一步步演进的。刘洺堉详细梳理了他的技术路线:

他的第一个GAN项目是“Coupled GAN”,通过将两个GAN耦合(couple)在一起,创造了一个“信息瓶颈”(Information Bottleneck)。他解释,深度学习的核心在于学习如何压缩信息,而瓶颈结构能迫使网络去寻找事物的本质。通过让一个GAN建模“马”的分布,另一个GAN建模“斑马”的分布,并将它们耦合,网络就能找到两者间的共性,从而实现从马到斑马的转换。这属于“图像到图像翻译”(Image-to-Image Translation)的范畴。

他指出,生成式网络的核心是“分布建模”(Distribution Modeling),即生成符合某种数据分布的样本(如一张山水画)。但人类的需求不止于此,还需要“控制”生成的内容。控制需要输入信号,信号有多种形式,他按照从易到难的顺序进行了探索:

1. 结构化信号:如另一张图像(马变斑马)、分割图(segmentation map,用不同颜色代表山、水等,像素级对齐)、或边缘图(edge map)。这些信号与输出图像的结构相似,对位明确,相对容易学习。

2. 类别标签:如“山”、“车”等简单的文本标签。

3. 自然语言文本:如“Text-to-Image”。这是最自然但也最难的控制信号,因为文本的结构与图像/视频的结构差异巨大,需要更多数据才能学习其间的复杂关系。

刘洺堉坦言,他的研究路径正是遵循了这种从易到难的逻辑。这也是他再次反思自己当初在DALL-E出现时“决心不够”的原因:他当时认为Text-to-Image问题太难,数据和算力尚不具备,但事实证明条件已经成熟。

尽管他早在2016-2017年与朋友讨论时就预测,AI的第一个重大突破将发生在语言(Text)领域,因为文本是更纯净、更接近知识本质的信号,而图像信号包含太多“噪音”。但他个人更偏爱视觉信号,所以一直留在这个领域。在英伟达期间,他继续沿着这条路探索,从图像翻译扩展到视频翻译(Video-to-Video Translation),例如一个叫“V2V”的项目,能将赛车模拟器生成的卡通画面转换为逼真的驾驶场景,这已非常接近现在的世界模型。

在研究GAN的过程中,他始终在思考一个核心问题:GAN是否是可扩展的(scalable)?GAN训练困难是众所周知的问题,他担心这种方法最终无法规模化。为了探索GAN的可扩展性,他曾与实习生俞家辉合作,尝试用多个不同的判别器(Discriminator)同时与一个生成器(Generator)对抗,模拟多人对抗训练。他还与另一位后来发明了著名优化器AdamW的实习生合作,试图从算法层面稳定GAN的训练。尽管这些具体的探索没有直接成功,但过程中的思考和与优秀人才的合作让他受益匪浅,也体现了他对“简单且可扩展的方法更容易成功”(即后来Rich Sutton提出的“The Bitter Lesson”)这一原则的早期认知。

话题推进:本段访谈内容结束。

00:10:00–00:20:00连续对话 2

00:10:00–00:20:00开场:嘉宾介绍与核心观点预告

主持人张小珺在节目开场介绍了本次的访谈对象——英伟达研究副总裁刘洺堉(Ming-Yue Liu)。她描述了对刘洺堉的个人印象:穿着朴素、态度谦和。但她也引述了英伟达内部人士的看法,认为刘洺堉更像一位工程领导者,而非典型的研究员,并提及CEO黄仁勋(Jensen Huang)对他的评价是“GSD”(Getting Shit Done),意指执行力强。

主持人预告了本次访谈的核心内容,包括刘洺堉团队近期发布的英伟达世界模型Cosmos 3、他作为一名研究员在英伟达这个庞大系统内的20年求索经历,以及一些关于英伟达和黄仁勋的内部故事。

节目剪辑了后续访谈中的几段精彩观点作为预告:

1. 黄仁勋的商业哲学:偏爱“从零到十亿美元”(zero-billion-dollar)的业务,即项目可以不赚钱,但成功时必须具备巨大的影响力(influential)。

2. 刘洺堉对研究生态的比喻:经济的繁荣在于资金流动的速度,而研究的繁荣在于思想(idea)在不同头脑间流动的速度。

3. 黄仁勋对Cosmos项目的长期承诺:在刘洺堉完成Cosmos 1后,黄仁勋让他一直做到“Cosmos 97”。

4. 黄仁勋的行事风格:他是一个有纪律、擅长打“马拉松战”的人,会要求团队掌握节奏(pace your steps),并始终保持危机感,认为公司随时可能在30天后破产。

话题推进:在简短的寒暄和确认嘉宾身份后,主持人正式开始访谈,询问刘洺堉在英伟达的职位和团队情况。

00:10:00–00:20:00从Deep Imagination到Cosmos Lab:刘洺堉在英伟达的团队演进

  • 你现在讲中文还多吗?在公司里面?
  • 这次你来中国的行程是什么样的?你多久会来一次中国?
  • 这次来感觉到有什么不一样吗?跟之前?
  • 你现在在英伟达的title是研究副总裁。你能不能介绍一下这个职位,然后以及你们团队的一些构造和人数?
  • 我看到你之前还管一个团队叫Deep Imagination Research Group,Cosmos是它演化来的吗?他们是什么关系啊?
  • 这是哪一年?

访谈正式开始,主持人首先关心刘洺堉的工作语言环境。刘洺堉表示,由于团队成员的多样性,日常沟通以英文为主,但在参与者都会中文的小组会议中,会自然切换到中文。

随后,主持人问及他来中国的行程。刘洺堉解释,他每年会来中国两到三次,主要任务是围绕他个人及公司都非常关注的“物理AI”(Physical AI)领域进行交流。他观察到中国在这一领域发展非常迅速,希望通过交流了解如何能帮助这里的公司和研究员。他此次来访,感受到中国在“灵巧手”(dexterous hand)等关键技术上的突破速度很快。

主持人请刘洺堉介绍其职位与团队。他说明自己是研究副总裁,同时也是Cosmos Lab的副总裁。其直属团队(研究员加工程师)约有八九十人。此外,公司内还有其他团队以“虚线汇报”(dotted line)的方式参与Cosmos项目,总规模达到二三百人。他作为项目总负责人,决定整体方向并发布指令。他强调,Cosmos是英伟达内部的一个重大项目,投入了大量资源。

接着,主持人追问他之前领导的“Deep Imagination Research Group”与Cosmos的关系。刘洺堉确认了演化关系,并回顾了自己十年前加入英伟达时的初衷。当时,他预测深度学习(Deep Learning)将取代传统计算机图形学(Computer Graphics),成为生成视频的主要运算方式。他在求职演讲(job talk)中提出,未来可以用小说作为输入直接生成电影。这个想法吸引了公司,他得以加入并朝此方向努力。

刘洺堉讲述,早期他主要研究“生成对抗网络”(GAN),并取得了一些成果,如实现了“无监督/非配对图像翻译”(unsupervised/unpaired image translation)。他解释,这是一种在没有成对输入输出数据(例如,没有同一匹马变成斑马前后的照片)的情况下,学习图像转换的技术。他当时利用了“信息瓶颈”(information bottleneck)的方法来实现。他提到,当时英伟达还未被广泛认同为一家AI公司,他与同事们(如研究StyleGAN的团队)的工作,帮助公司树立了在AI模型研发方面的形象。其中一个让他自豪的项目是“GauGAN”(中文昵称“马良神笔”),用户可以通过涂抹不同颜色的色块(代表不同语义,如山、水)来生成逼真的风景画。随着这些工作的成功,公司允许他成立自己的团队,即“Deep Imagination Research”,时间大约在2019到2020年间,与他最初的设想一致。

话题推进:在建立了Deep Imagination Research团队后,刘洺堉继续朝着“小说生成电影”的目标前进,但一系列外部的技术突破让他不断反思自己的决心和策略。

00:10:00–00:20:00两次“顿悟”:从DALL-E到Sora,Cosmos项目的诞生

  • 在算力最多的地方。
  • 当时要了多少GPU啊?
  • 当时1000张很多嘛,那时候。
  • 我听说Sora没有出自你的团队,让你很遗憾是吗?

刘洺堉继续讲述Deep Imagination Research团队时期的经历。他们曾为CEO黄仁勋的Keynote制作了一个“数字人”替代真人的demo,并在疫情期间持续贡献数字人技术。然而,当OpenAI发布初代的文本到图像模型DALL-E时,刘洺堉坦言自己经历了一次“顿悟”:他意识到自己虽然身处算力最丰富的公司,但“野心不够大,不够勇敢”,没有下决心去挑战这个方向。

这次冲击促使他采取行动。他给黄仁勋写信,论证了用深度学习做影像生成的未来趋势已然明确,英伟达不能落后,并成功申请到了1000张A100 GPU的算力支持。他提到,在当时(Ampere架构时代),1000张GPU已是巨大资源,且将它们高效串联训练也非易事。同时,他也联系了合作伙伴Getty Images,说服对方合作,由Getty Images提供数据,英伟达提供算力和模型,共同开发文本到图像的大模型。这个合作催生了名为“Picasso”的专案,其商业模式是“AI foundry”(AI代工厂):为拥有数据但缺乏AI人才和基础设施的公司定制模型,然后共享收益。这是他正式踏入大模型领域的起点。

刘洺堉提到了几位曾在他团队实习的优秀年轻人,包括现在Meta的俞家辉和OpenAI Sora模型的作者之一Tim Brooks。他回忆,Tim Brooks实习时就对视频生成充满热情,但当时技术条件所限,他们还在用GAN进行研究。后来Tim Brooks加入OpenAI并做出了Sora。

Sora的发布是刘洺堉经历的第二次“顿悟”。他再次感到自己的“决心还是不够”。这次,他联合公司内其他几位学者,包括Sanja Fidler和Bryan Catanzaro等人,共同向黄仁勋建言,必须加大对世界模型(World Model)的投资。这直接催生了Cosmos项目。黄仁勋任命刘洺堉和Sanja Fidler共同领导这个项目,并亲自将其命名为“Cosmos”。

随着Cosmos项目的重要性日益凸显,刘洺堉发现自己无法兼顾Picasso和Cosmos两个重大项目。他最终决定收尾Picasso项目,将全部精力投入到Cosmos。随着Cosmos从1代发展到3代,客户和内部依赖增多,项目进入“一定要成功”的阶段,需要更庞大的资源。因此,在2024年年初,他正式离开NVIDIA Research,带着原Deep Imagination团队组建了新的“Cosmos Lab”,并开始向公司软件高级副总裁Dwight Buck汇报,以获得更强的工程和产品支持。

对于Sora,刘洺堉澄清“遗憾”并非负面情绪。他为前同事的巨大成就感到开心,但更多的是进行自我反省:“在我的决策过程中,是哪些地方我没有看对,而导致我没有在正确的时机做出正确的事情。”

话题推进:主持人从Sora聊开,追问OpenAI为何似乎搁置了Sora,并进一步探讨英伟达作为一家基础设施公司,为何要亲自下场做研究。

00:10:00–00:20:00英伟达为何做研究:预判未来、开源赋能与Physical AI的抉择

  • 因为说到Sora还是会想多说一句,你觉得为什么OpenAI后来把这条产品线基本上算是关掉了?
  • 对于英伟达这样的一个基础设施公司,或者说是一个平台公司,我卖token给这些前沿实验室就好了,我为什么还要自己做自己的研究呢?就是研究这件事情本身对于英伟达的意义是什么样?
  • 那你们的研究成果会跟客户去有一些竞争关系吗?
  • 所以为什么你们当时要立一个非常重要的项目,没有选择当时最火的大语言模型,也没有选择像Sora这样的模型,而是选择了一个具身(Physical)的世界模型呢?
  • Jensen对于这个团队提过什么要求没有?

主持人询问刘洺堉对OpenAI似乎搁置Sora的看法。刘洺堉认为,OpenAI是一家有野心的公司,Sora本身是重大的研究工作,但过去一年,OpenAI面临巨大的竞争压力。他观察到,像“coding agent”(编程智能体)这样的应用能产生巨大的经济效应,因为它们可以持续工作,消耗大量token,远超普通聊天应用。他引用《孙子兵法》的“备多则力寡”,推测OpenAI是出于战略考量,将有限的资源重新调整,集中投入到商业回报更明确的coding方向,这是一个艰难但必要的决定。

接着,主持人提出了一个核心问题:英伟达作为一家基础设施公司,为何要亲自做应用层面的研究,而不是仅仅卖算力?刘洺堉解释,这背后有几个关键原因:

1. 预判客户需求:如果不亲身实践应用,就无法真正理解应用公司的需求和痛点。芯片和计算机架构的设计周期很长,必须通过前瞻性研究来预测未来的重要问题,从而设计出更适合未来AI大公司的基础设施。

2. 赋能生态:英伟达希望通过开源模型,为整个社会有抱负的年轻人和创业公司提供工具,让他们有机会实现自己的想法。当更多元的想法得以实现,社会才会进步得更快。这与客户并非竞争关系,而是帮助他们分担基础模型研发的压力,让他们能更专注于解决具体应用中的硬件、商业等“最后一公里”的难题。

3. 建立行业信心:通过持续迭代Cosmos(从1代到3代),英伟达向外界传递了一个明确信号:公司将长期投入并推动该领域发展。这能给生态内的公司带来信心,让他们敢于在英伟达提供的基础上投入自己的资源,去解决更关键的问题。

主持人追问,为何英伟达选择“具身世界模型”(Physical World Model)作为重点项目,而非当时更火的大语言模型或Sora那样的内容创作模型。刘洺堉回答:

* 背景与专长:他本人和团队出身于计算机视觉(CV),而非大语言模型(LLM)。同时,英伟达已有强大的LLM团队,他在那里贡献有限。

* 应用价值判断:Sora代表的“内容创作”(content creation)应用很有价值,但他们看到了“物理AI”(Physical AI)能解决更根本的社会问题。例如,自动驾驶能帮助老年人维持出行能力;机器人可以从事危险、劳累或繁琐的家务劳动,从而改善人类生活品质。他们认为世界模型对物理AI的贡献更大,因此选择了这条路线。

最后,关于CEO黄仁勋对团队的要求,刘洺堉总结为:目标极高,要求严格。核心要求是“帮助客户成功”和“产生巨大影响力”(make impact)。黄仁勋常说他喜欢“zero-billion-dollar business”,即可以不赚钱,但成功后必须是规模巨大、影响深远的业务,而不能满足于每年赚一亿美元这种对英伟达而言是“分心”(distraction)的规模。因此,团队必须聚焦于解决最重要的问题,创造最大的贡献。

话题推进:在讨论了团队的战略选择后,主持人将话题转向刘洺堉的个人成长经历,探寻他研究之路的起点和转变。

00:10:00–00:20:00从无线通讯到AI:一位研究员的意外转向与早期探索

  • 作为研究员的刘明月,你是怎么一步一步探索你的研究之路的?
  • 还没有想过。
  • 就是大几啊?
  • 这是一个传统计算机视觉的时期。
  • 这是你后来的一个工作对吧?
  • 在美国的第一份工作。
  • 那刻会失落吗?
  • 什么都不work。
  • 你好像很早开始做生成了。
  • 所以为什么生成是理解的一部分?
  • 而这个人的学习有点像。
  • 当你可讲的时候,意味着你已经理解了。

主持人引导话题转向刘洺堉的个人研究历程。刘洺堉首先修正了之前关于“野心”的说法,他认为自己一直很有野心(例如很早就想用小说生成电影),但在英伟达的十年让他学会了如何把握时机、争取公司内部资源和支持,从而将野心付诸实践。

他回顾了自己的求学之路。在台北读高中时,最热门的领域是无线通讯。他因此进入台湾交通大学学习该专业。大学期间,许多同学毕业后进入了联发科、台积电等台湾优势产业的公司。然而,他在大三时开始反思这是否是自己想要的道路。通过对比美国研究生的研究课题,他发现美国的研究更侧重于“从0到1”的突破,而自己当时的工作更像是“从1到1.1”的优化。这激发了他去美国留学的想法,这个决定让他的父母感到非常震惊,因为他从未表露过此意向。

他最初计划去美国研究“量子通讯”,但在去美国前,他在台湾的英特尔实习了一年。在那里,他第一次接触到AI——一位朋友正在做影像辨识。他对计算机能从像素中识别物体感到非常神奇。后来,他进入美国马里兰大学读博,该校因靠近华盛顿特区,聚集了许多早期由国防经费支持的计算机视觉(Computer Vision)领域的大佬。他被CV的魅力吸引,放弃了量子通讯,转而师从该领域的先驱拉马·恰拉帕(Rama Chellappa)教授,正式踏入AI领域。他博士期间的第一个课题是通过视频中人物的走路姿态来识别身份。

刘洺堉强调,他读博的时期是“传统计算机视觉”时代,深度学习尚未兴起,“什么都不work”。因此,研究者需要学习各种技术,如支持向量机(SVM)、优化算法、图模型(graphical model)、能量最小化等,这为他打下了扎实的基础。在他即将毕业时,AlexNet的出现改变了整个领域。他并未因此感到失落,反而对新技术充满兴趣,并组织实验室的学弟学妹一起研究深度学习。

博士毕业后,他加入了位于麻省剑桥的三菱电机研究院(MERL)。在那里,他有充足的时间学习深度学习。受其导师相信生成模型(Generative Model)的理念影响,他尤其关注生成领域。当他看到伊恩·古德费洛(Ian Goodfellow)关于生成对抗网络(GAN)的论文后,便对此产生了浓厚兴趣,并开始大量投入研究,成为最早一批研究生成模型的研究员。他回忆,当时能生成32x32像素、看起来“不像鬼”的人脸就已经算成功了。

最后,他引用物理学家理查德·费曼的名言“What I cannot create, I do not understand”(我无法创造的,我就不理解),解释了为何“生成是理解的一部分”。他认为,当一个模型能够生成或重建某个事物时,才意味着它真正理解了它。

话题推进:在解释了生成与理解的关系后,主持人进一步询问工程经验对研究的影响,并引出了刘洺堉对自己研究生涯中几个重要转折点的思考。

00:10:00–00:20:00研究生涯的三个教训:从追求数学之美到学会团队协作

  • 其实你最早做了一年的工程师,你觉得这个经历对你后来做research有影响吗?你觉得做engineering和做researcher的本质的差异是什么呀?
  • 所以AI对你来说也是一场意外。
  • 它最初打动你的是什么呢?
  • 如果要找到一个早期对你研究生涯都非常重要的一个时刻,你会怎么描述它?
  • 你要做应用,然后你要销售你的工作,然后你要团队协作。
  • GauGAN是取自高更吗?

主持人询问刘洺堉早期的工程师经历对其研究生涯的影响。刘洺堉认为,那段经历最大的影响是让他认识了AI和计算机视觉这个领域。他区分了研究与工程的本质差异:研究(research)最重要的是“问对问题”,而工程(engineering)则是实现想法、证明问题重要性的能力。他承认自己进入AI领域并非源于从小对人类智能的哲学思考,而是在接触后因“不懂”而产生好奇,并能直观理解其重要性,便一步步深入探索。

当被问及研究生涯中最重要的时刻,刘洺堉分享了三个关键的“教训”或转变:

1. 从追求数学之美到拥抱应用本质:在传统CV早期,由于很多问题无法找到最优解(如非凸优化问题),研究者为了证明算法的有效性(例如,证明解与最优解的差距有界),常常引入各种假设。这些假设能让数学推导变得“干净”,但却脱离了现实世界。他逐渐意识到,AI本质上是应用科学,不应为了追求数学上的优美而忽略问题的本质,应更贴近真实问题。

2. 从做出成果到有效沟通:刚加入英伟达时,他专注于把事情做出来,但不擅长向他人解释自己工作的价值。他比喻自己做出了100分的工作,但解释只有10分,导致外界只能看到10分。他后来意识到,让别人理解工作的重要性同样关键,这促使他开始重视沟通和“销售”自己的研究成果。

3. 从单打独斗到团队协作:在开始做大模型后,他深刻体会到团队合作的重要性。他用复杂度理论来解释,如果N个人的团队需要两两沟通,沟通成本是N的平方(N²),这种方式难以扩展。为了实现高效协作,必须把目标和路径讲得非常明确,让所有人目标一致。这需要领导者不仅能做出成果、解释成果,还要能激励团队,让大家理解“为什么这很重要”,从而朝同一个方向前进。

主持人总结这三点(做应用、销售工作、团队协作)正是他成长的路线。刘洺堉表示认同,并以GauGAN项目为例。当他看到普通用户使用GauGAN并给出积极反馈时,他获得了巨大的成就感,感到自己的工作能影响更广泛的人群,生命更有价值。

最后,他分享了GauGAN命名的趣事。项目最初的技术名称叫“SPADE”,黄仁勋认为这个名字不够用户友好。在准备GTC大会发布时,公司一位营销天才Greg Estes提出了“GauGAN”这个名字,既结合了当时流行的“GAN”后缀,又致敬了法国画家高更(Gauguin),非常贴切。虽然该项目最后因Keynote时间紧张被临时拿下,但发布后依然成为那届GTC最受瞩目的成果之一。

话题推进:GauGAN的成功是刘洺堉在GAN领域一系列工作的体现。主持人接着追问,他从早期的GAN研究到GauGAN,其技术路线是如何一步步演进的。

00:10:00–00:20:00从图像翻译到可扩展性思考:GAN时代的技术演进与反思

  • 其实GauGAN是不是跟你之前的研究轨迹是一步一步递进的,它不是第一天就做到那里了,因为你从博士毕业以后加入了三菱电机研究所,Computer Vision就进入了GAN的时代,然后你其实围绕GAN做了一系列的工作,包括CoGAN,MoCoGAN,暂时到了NVIDIA之后,的比如说GauGAN,这一系列的工作对吗?它它是怎么延展的呀?
  • 容易的,最早是?
  • 所以你是沿着Image,然后到Text的这个路径一点一点的延伸的。
  • 是哪年?
  • 后面这几个GAN的工作你再讲一下。

主持人询问刘洺堉在GAN领域的研究是如何一步步演进的。刘洺堉详细梳理了他的技术路线:

他的第一个GAN项目是“Coupled GAN”,通过将两个GAN耦合(couple)在一起,创造了一个“信息瓶颈”(Information Bottleneck)。他解释,深度学习的核心在于学习如何压缩信息,而瓶颈结构能迫使网络去寻找事物的本质。通过让一个GAN建模“马”的分布,另一个GAN建模“斑马”的分布,并将它们耦合,网络就能找到两者间的共性,从而实现从马到斑马的转换。这属于“图像到图像翻译”(Image-to-Image Translation)的范畴。

他指出,生成式网络的核心是“分布建模”(Distribution Modeling),即生成符合某种数据分布的样本(如一张山水画)。但人类的需求不止于此,还需要“控制”生成的内容。控制需要输入信号,信号有多种形式,他按照从易到难的顺序进行了探索:

1. 结构化信号:如另一张图像(马变斑马)、分割图(segmentation map,用不同颜色代表山、水等,像素级对齐)、或边缘图(edge map)。这些信号与输出图像的结构相似,对位明确,相对容易学习。

2. 类别标签:如“山”、“车”等简单的文本标签。

3. 自然语言文本:如“Text-to-Image”。这是最自然但也最难的控制信号,因为文本的结构与图像/视频的结构差异巨大,需要更多数据才能学习其间的复杂关系。

刘洺堉坦言,他的研究路径正是遵循了这种从易到难的逻辑。这也是他再次反思自己当初在DALL-E出现时“决心不够”的原因:他当时认为Text-to-Image问题太难,数据和算力尚不具备,但事实证明条件已经成熟。

尽管他早在2016-2017年与朋友讨论时就预测,AI的第一个重大突破将发生在语言(Text)领域,因为文本是更纯净、更接近知识本质的信号,而图像信号包含太多“噪音”。但他个人更偏爱视觉信号,所以一直留在这个领域。在英伟达期间,他继续沿着这条路探索,从图像翻译扩展到视频翻译(Video-to-Video Translation),例如一个叫“V2V”的项目,能将赛车模拟器生成的卡通画面转换为逼真的驾驶场景,这已非常接近现在的世界模型。

在研究GAN的过程中,他始终在思考一个核心问题:GAN是否是可扩展的(scalable)?GAN训练困难是众所周知的问题,他担心这种方法最终无法规模化。为了探索GAN的可扩展性,他曾与实习生俞家辉合作,尝试用多个不同的判别器(Discriminator)同时与一个生成器(Generator)对抗,模拟多人对抗训练。他还与另一位后来发明了著名优化器AdamW的实习生合作,试图从算法层面稳定GAN的训练。尽管这些具体的探索没有直接成功,但过程中的思考和与优秀人才的合作让他受益匪浅,也体现了他对“简单且可扩展的方法更容易成功”(即后来Rich Sutton提出的“The Bitter Lesson”)这一原则的早期认知。

话题推进:本段访谈内容结束。

00:20:00–00:30:00连续对话 3

00:20:00–00:30:00开场:嘉宾介绍与核心观点预告

主持人张小珺在节目开场介绍了本次的访谈对象——英伟达研究副总裁刘洺堉(Ming-Yue Liu)。她描述了对刘洺堉的个人印象:穿着朴素、态度谦和。但她也引述了英伟达内部人士的看法,认为刘洺堉更像一位工程领导者,而非典型的研究员,并提及CEO黄仁勋(Jensen Huang)对他的评价是“GSD”(Getting Shit Done),意指执行力强。

主持人预告了本次访谈的核心内容,包括刘洺堉团队近期发布的英伟达世界模型Cosmos 3、他作为一名研究员在英伟达这个庞大系统内的20年求索经历,以及一些关于英伟达和黄仁勋的内部故事。

节目剪辑了后续访谈中的几段精彩观点作为预告:

1. 黄仁勋的商业哲学:偏爱“从零到十亿美元”(zero-billion-dollar)的业务,即项目可以不赚钱,但成功时必须具备巨大的影响力(influential)。

2. 刘洺堉对研究生态的比喻:经济的繁荣在于资金流动的速度,而研究的繁荣在于思想(idea)在不同头脑间流动的速度。

3. 黄仁勋对Cosmos项目的长期承诺:在刘洺堉完成Cosmos 1后,黄仁勋让他一直做到“Cosmos 97”。

4. 黄仁勋的行事风格:他是一个有纪律、擅长打“马拉松战”的人,会要求团队掌握节奏(pace your steps),并始终保持危机感,认为公司随时可能在30天后破产。

话题推进:在简短的寒暄和确认嘉宾身份后,主持人正式开始访谈,询问刘洺堉在英伟达的职位和团队情况。

00:20:00–00:30:00从Deep Imagination到Cosmos Lab:刘洺堉在英伟达的团队演进

  • 你现在讲中文还多吗?在公司里面?
  • 这次你来中国的行程是什么样的?你多久会来一次中国?
  • 这次来感觉到有什么不一样吗?跟之前?
  • 你现在在英伟达的title是研究副总裁。你能不能介绍一下这个职位,然后以及你们团队的一些构造和人数?
  • 我看到你之前还管一个团队叫Deep Imagination Research Group,Cosmos是它演化来的吗?他们是什么关系啊?
  • 这是哪一年?

访谈正式开始,主持人首先关心刘洺堉的工作语言环境。刘洺堉表示,由于团队成员的多样性,日常沟通以英文为主,但在参与者都会中文的小组会议中,会自然切换到中文。

随后,主持人问及他来中国的行程。刘洺堉解释,他每年会来中国两到三次,主要任务是围绕他个人及公司都非常关注的“物理AI”(Physical AI)领域进行交流。他观察到中国在这一领域发展非常迅速,希望通过交流了解如何能帮助这里的公司和研究员。他此次来访,感受到中国在“灵巧手”(dexterous hand)等关键技术上的突破速度很快。

主持人请刘洺堉介绍其职位与团队。他说明自己是研究副总裁,同时也是Cosmos Lab的副总裁。其直属团队(研究员加工程师)约有八九十人。此外,公司内还有其他团队以“虚线汇报”(dotted line)的方式参与Cosmos项目,总规模达到二三百人。他作为项目总负责人,决定整体方向并发布指令。他强调,Cosmos是英伟达内部的一个重大项目,投入了大量资源。

接着,主持人追问他之前领导的“Deep Imagination Research Group”与Cosmos的关系。刘洺堉确认了演化关系,并回顾了自己十年前加入英伟达时的初衷。当时,他预测深度学习(Deep Learning)将取代传统计算机图形学(Computer Graphics),成为生成视频的主要运算方式。他在求职演讲(job talk)中提出,未来可以用小说作为输入直接生成电影。这个想法吸引了公司,他得以加入并朝此方向努力。

刘洺堉讲述,早期他主要研究“生成对抗网络”(GAN),并取得了一些成果,如实现了“无监督/非配对图像翻译”(unsupervised/unpaired image translation)。他解释,这是一种在没有成对输入输出数据(例如,没有同一匹马变成斑马前后的照片)的情况下,学习图像转换的技术。他当时利用了“信息瓶颈”(information bottleneck)的方法来实现。他提到,当时英伟达还未被广泛认同为一家AI公司,他与同事们(如研究StyleGAN的团队)的工作,帮助公司树立了在AI模型研发方面的形象。其中一个让他自豪的项目是“GauGAN”(中文昵称“马良神笔”),用户可以通过涂抹不同颜色的色块(代表不同语义,如山、水)来生成逼真的风景画。随着这些工作的成功,公司允许他成立自己的团队,即“Deep Imagination Research”,时间大约在2019到2020年间,与他最初的设想一致。

话题推进:在建立了Deep Imagination Research团队后,刘洺堉继续朝着“小说生成电影”的目标前进,但一系列外部的技术突破让他不断反思自己的决心和策略。

00:20:00–00:30:00两次“顿悟”:从DALL-E到Sora,Cosmos项目的诞生

  • 在算力最多的地方。
  • 当时要了多少GPU啊?
  • 当时1000张很多嘛,那时候。
  • 我听说Sora没有出自你的团队,让你很遗憾是吗?

刘洺堉继续讲述Deep Imagination Research团队时期的经历。他们曾为CEO黄仁勋的Keynote制作了一个“数字人”替代真人的demo,并在疫情期间持续贡献数字人技术。然而,当OpenAI发布初代的文本到图像模型DALL-E时,刘洺堉坦言自己经历了一次“顿悟”:他意识到自己虽然身处算力最丰富的公司,但“野心不够大,不够勇敢”,没有下决心去挑战这个方向。

这次冲击促使他采取行动。他给黄仁勋写信,论证了用深度学习做影像生成的未来趋势已然明确,英伟达不能落后,并成功申请到了1000张A100 GPU的算力支持。他提到,在当时(Ampere架构时代),1000张GPU已是巨大资源,且将它们高效串联训练也非易事。同时,他也联系了合作伙伴Getty Images,说服对方合作,由Getty Images提供数据,英伟达提供算力和模型,共同开发文本到图像的大模型。这个合作催生了名为“Picasso”的专案,其商业模式是“AI foundry”(AI代工厂):为拥有数据但缺乏AI人才和基础设施的公司定制模型,然后共享收益。这是他正式踏入大模型领域的起点。

刘洺堉提到了几位曾在他团队实习的优秀年轻人,包括现在Meta的俞家辉和OpenAI Sora模型的作者之一Tim Brooks。他回忆,Tim Brooks实习时就对视频生成充满热情,但当时技术条件所限,他们还在用GAN进行研究。后来Tim Brooks加入OpenAI并做出了Sora。

Sora的发布是刘洺堉经历的第二次“顿悟”。他再次感到自己的“决心还是不够”。这次,他联合公司内其他几位学者,包括Sanja Fidler和Bryan Catanzaro等人,共同向黄仁勋建言,必须加大对世界模型(World Model)的投资。这直接催生了Cosmos项目。黄仁勋任命刘洺堉和Sanja Fidler共同领导这个项目,并亲自将其命名为“Cosmos”。

随着Cosmos项目的重要性日益凸显,刘洺堉发现自己无法兼顾Picasso和Cosmos两个重大项目。他最终决定收尾Picasso项目,将全部精力投入到Cosmos。随着Cosmos从1代发展到3代,客户和内部依赖增多,项目进入“一定要成功”的阶段,需要更庞大的资源。因此,在2024年年初,他正式离开NVIDIA Research,带着原Deep Imagination团队组建了新的“Cosmos Lab”,并开始向公司软件高级副总裁Dwight Buck汇报,以获得更强的工程和产品支持。

对于Sora,刘洺堉澄清“遗憾”并非负面情绪。他为前同事的巨大成就感到开心,但更多的是进行自我反省:“在我的决策过程中,是哪些地方我没有看对,而导致我没有在正确的时机做出正确的事情。”

话题推进:主持人从Sora聊开,追问OpenAI为何似乎搁置了Sora,并进一步探讨英伟达作为一家基础设施公司,为何要亲自下场做研究。

00:20:00–00:30:00英伟达为何做研究:预判未来、开源赋能与Physical AI的抉择

  • 因为说到Sora还是会想多说一句,你觉得为什么OpenAI后来把这条产品线基本上算是关掉了?
  • 对于英伟达这样的一个基础设施公司,或者说是一个平台公司,我卖token给这些前沿实验室就好了,我为什么还要自己做自己的研究呢?就是研究这件事情本身对于英伟达的意义是什么样?
  • 那你们的研究成果会跟客户去有一些竞争关系吗?
  • 所以为什么你们当时要立一个非常重要的项目,没有选择当时最火的大语言模型,也没有选择像Sora这样的模型,而是选择了一个具身(Physical)的世界模型呢?
  • Jensen对于这个团队提过什么要求没有?

主持人询问刘洺堉对OpenAI似乎搁置Sora的看法。刘洺堉认为,OpenAI是一家有野心的公司,Sora本身是重大的研究工作,但过去一年,OpenAI面临巨大的竞争压力。他观察到,像“coding agent”(编程智能体)这样的应用能产生巨大的经济效应,因为它们可以持续工作,消耗大量token,远超普通聊天应用。他引用《孙子兵法》的“备多则力寡”,推测OpenAI是出于战略考量,将有限的资源重新调整,集中投入到商业回报更明确的coding方向,这是一个艰难但必要的决定。

接着,主持人提出了一个核心问题:英伟达作为一家基础设施公司,为何要亲自做应用层面的研究,而不是仅仅卖算力?刘洺堉解释,这背后有几个关键原因:

1. 预判客户需求:如果不亲身实践应用,就无法真正理解应用公司的需求和痛点。芯片和计算机架构的设计周期很长,必须通过前瞻性研究来预测未来的重要问题,从而设计出更适合未来AI大公司的基础设施。

2. 赋能生态:英伟达希望通过开源模型,为整个社会有抱负的年轻人和创业公司提供工具,让他们有机会实现自己的想法。当更多元的想法得以实现,社会才会进步得更快。这与客户并非竞争关系,而是帮助他们分担基础模型研发的压力,让他们能更专注于解决具体应用中的硬件、商业等“最后一公里”的难题。

3. 建立行业信心:通过持续迭代Cosmos(从1代到3代),英伟达向外界传递了一个明确信号:公司将长期投入并推动该领域发展。这能给生态内的公司带来信心,让他们敢于在英伟达提供的基础上投入自己的资源,去解决更关键的问题。

主持人追问,为何英伟达选择“具身世界模型”(Physical World Model)作为重点项目,而非当时更火的大语言模型或Sora那样的内容创作模型。刘洺堉回答:

* 背景与专长:他本人和团队出身于计算机视觉(CV),而非大语言模型(LLM)。同时,英伟达已有强大的LLM团队,他在那里贡献有限。

* 应用价值判断:Sora代表的“内容创作”(content creation)应用很有价值,但他们看到了“物理AI”(Physical AI)能解决更根本的社会问题。例如,自动驾驶能帮助老年人维持出行能力;机器人可以从事危险、劳累或繁琐的家务劳动,从而改善人类生活品质。他们认为世界模型对物理AI的贡献更大,因此选择了这条路线。

最后,关于CEO黄仁勋对团队的要求,刘洺堉总结为:目标极高,要求严格。核心要求是“帮助客户成功”和“产生巨大影响力”(make impact)。黄仁勋常说他喜欢“zero-billion-dollar business”,即可以不赚钱,但成功后必须是规模巨大、影响深远的业务,而不能满足于每年赚一亿美元这种对英伟达而言是“分心”(distraction)的规模。因此,团队必须聚焦于解决最重要的问题,创造最大的贡献。

话题推进:在讨论了团队的战略选择后,主持人将话题转向刘洺堉的个人成长经历,探寻他研究之路的起点和转变。

00:20:00–00:30:00从无线通讯到AI:一位研究员的意外转向与早期探索

  • 作为研究员的刘明月,你是怎么一步一步探索你的研究之路的?
  • 还没有想过。
  • 就是大几啊?
  • 这是一个传统计算机视觉的时期。
  • 这是你后来的一个工作对吧?
  • 在美国的第一份工作。
  • 那刻会失落吗?
  • 什么都不work。
  • 你好像很早开始做生成了。
  • 所以为什么生成是理解的一部分?
  • 而这个人的学习有点像。
  • 当你可讲的时候,意味着你已经理解了。

主持人引导话题转向刘洺堉的个人研究历程。刘洺堉首先修正了之前关于“野心”的说法,他认为自己一直很有野心(例如很早就想用小说生成电影),但在英伟达的十年让他学会了如何把握时机、争取公司内部资源和支持,从而将野心付诸实践。

他回顾了自己的求学之路。在台北读高中时,最热门的领域是无线通讯。他因此进入台湾交通大学学习该专业。大学期间,许多同学毕业后进入了联发科、台积电等台湾优势产业的公司。然而,他在大三时开始反思这是否是自己想要的道路。通过对比美国研究生的研究课题,他发现美国的研究更侧重于“从0到1”的突破,而自己当时的工作更像是“从1到1.1”的优化。这激发了他去美国留学的想法,这个决定让他的父母感到非常震惊,因为他从未表露过此意向。

他最初计划去美国研究“量子通讯”,但在去美国前,他在台湾的英特尔实习了一年。在那里,他第一次接触到AI——一位朋友正在做影像辨识。他对计算机能从像素中识别物体感到非常神奇。后来,他进入美国马里兰大学读博,该校因靠近华盛顿特区,聚集了许多早期由国防经费支持的计算机视觉(Computer Vision)领域的大佬。他被CV的魅力吸引,放弃了量子通讯,转而师从该领域的先驱拉马·恰拉帕(Rama Chellappa)教授,正式踏入AI领域。他博士期间的第一个课题是通过视频中人物的走路姿态来识别身份。

刘洺堉强调,他读博的时期是“传统计算机视觉”时代,深度学习尚未兴起,“什么都不work”。因此,研究者需要学习各种技术,如支持向量机(SVM)、优化算法、图模型(graphical model)、能量最小化等,这为他打下了扎实的基础。在他即将毕业时,AlexNet的出现改变了整个领域。他并未因此感到失落,反而对新技术充满兴趣,并组织实验室的学弟学妹一起研究深度学习。

博士毕业后,他加入了位于麻省剑桥的三菱电机研究院(MERL)。在那里,他有充足的时间学习深度学习。受其导师相信生成模型(Generative Model)的理念影响,他尤其关注生成领域。当他看到伊恩·古德费洛(Ian Goodfellow)关于生成对抗网络(GAN)的论文后,便对此产生了浓厚兴趣,并开始大量投入研究,成为最早一批研究生成模型的研究员。他回忆,当时能生成32x32像素、看起来“不像鬼”的人脸就已经算成功了。

最后,他引用物理学家理查德·费曼的名言“What I cannot create, I do not understand”(我无法创造的,我就不理解),解释了为何“生成是理解的一部分”。他认为,当一个模型能够生成或重建某个事物时,才意味着它真正理解了它。

话题推进:在解释了生成与理解的关系后,主持人进一步询问工程经验对研究的影响,并引出了刘洺堉对自己研究生涯中几个重要转折点的思考。

00:20:00–00:30:00研究生涯的三个教训:从追求数学之美到学会团队协作

  • 其实你最早做了一年的工程师,你觉得这个经历对你后来做research有影响吗?你觉得做engineering和做researcher的本质的差异是什么呀?
  • 所以AI对你来说也是一场意外。
  • 它最初打动你的是什么呢?
  • 如果要找到一个早期对你研究生涯都非常重要的一个时刻,你会怎么描述它?
  • 你要做应用,然后你要销售你的工作,然后你要团队协作。
  • GauGAN是取自高更吗?

主持人询问刘洺堉早期的工程师经历对其研究生涯的影响。刘洺堉认为,那段经历最大的影响是让他认识了AI和计算机视觉这个领域。他区分了研究与工程的本质差异:研究(research)最重要的是“问对问题”,而工程(engineering)则是实现想法、证明问题重要性的能力。他承认自己进入AI领域并非源于从小对人类智能的哲学思考,而是在接触后因“不懂”而产生好奇,并能直观理解其重要性,便一步步深入探索。

当被问及研究生涯中最重要的时刻,刘洺堉分享了三个关键的“教训”或转变:

1. 从追求数学之美到拥抱应用本质:在传统CV早期,由于很多问题无法找到最优解(如非凸优化问题),研究者为了证明算法的有效性(例如,证明解与最优解的差距有界),常常引入各种假设。这些假设能让数学推导变得“干净”,但却脱离了现实世界。他逐渐意识到,AI本质上是应用科学,不应为了追求数学上的优美而忽略问题的本质,应更贴近真实问题。

2. 从做出成果到有效沟通:刚加入英伟达时,他专注于把事情做出来,但不擅长向他人解释自己工作的价值。他比喻自己做出了100分的工作,但解释只有10分,导致外界只能看到10分。他后来意识到,让别人理解工作的重要性同样关键,这促使他开始重视沟通和“销售”自己的研究成果。

3. 从单打独斗到团队协作:在开始做大模型后,他深刻体会到团队合作的重要性。他用复杂度理论来解释,如果N个人的团队需要两两沟通,沟通成本是N的平方(N²),这种方式难以扩展。为了实现高效协作,必须把目标和路径讲得非常明确,让所有人目标一致。这需要领导者不仅能做出成果、解释成果,还要能激励团队,让大家理解“为什么这很重要”,从而朝同一个方向前进。

主持人总结这三点(做应用、销售工作、团队协作)正是他成长的路线。刘洺堉表示认同,并以GauGAN项目为例。当他看到普通用户使用GauGAN并给出积极反馈时,他获得了巨大的成就感,感到自己的工作能影响更广泛的人群,生命更有价值。

最后,他分享了GauGAN命名的趣事。项目最初的技术名称叫“SPADE”,黄仁勋认为这个名字不够用户友好。在准备GTC大会发布时,公司一位营销天才Greg Estes提出了“GauGAN”这个名字,既结合了当时流行的“GAN”后缀,又致敬了法国画家高更(Gauguin),非常贴切。虽然该项目最后因Keynote时间紧张被临时拿下,但发布后依然成为那届GTC最受瞩目的成果之一。

话题推进:GauGAN的成功是刘洺堉在GAN领域一系列工作的体现。主持人接着追问,他从早期的GAN研究到GauGAN,其技术路线是如何一步步演进的。

00:20:00–00:30:00从图像翻译到可扩展性思考:GAN时代的技术演进与反思

  • 其实GauGAN是不是跟你之前的研究轨迹是一步一步递进的,它不是第一天就做到那里了,因为你从博士毕业以后加入了三菱电机研究所,Computer Vision就进入了GAN的时代,然后你其实围绕GAN做了一系列的工作,包括CoGAN,MoCoGAN,暂时到了NVIDIA之后,的比如说GauGAN,这一系列的工作对吗?它它是怎么延展的呀?
  • 容易的,最早是?
  • 所以你是沿着Image,然后到Text的这个路径一点一点的延伸的。
  • 是哪年?
  • 后面这几个GAN的工作你再讲一下。

主持人询问刘洺堉在GAN领域的研究是如何一步步演进的。刘洺堉详细梳理了他的技术路线:

他的第一个GAN项目是“Coupled GAN”,通过将两个GAN耦合(couple)在一起,创造了一个“信息瓶颈”(Information Bottleneck)。他解释,深度学习的核心在于学习如何压缩信息,而瓶颈结构能迫使网络去寻找事物的本质。通过让一个GAN建模“马”的分布,另一个GAN建模“斑马”的分布,并将它们耦合,网络就能找到两者间的共性,从而实现从马到斑马的转换。这属于“图像到图像翻译”(Image-to-Image Translation)的范畴。

他指出,生成式网络的核心是“分布建模”(Distribution Modeling),即生成符合某种数据分布的样本(如一张山水画)。但人类的需求不止于此,还需要“控制”生成的内容。控制需要输入信号,信号有多种形式,他按照从易到难的顺序进行了探索:

1. 结构化信号:如另一张图像(马变斑马)、分割图(segmentation map,用不同颜色代表山、水等,像素级对齐)、或边缘图(edge map)。这些信号与输出图像的结构相似,对位明确,相对容易学习。

2. 类别标签:如“山”、“车”等简单的文本标签。

3. 自然语言文本:如“Text-to-Image”。这是最自然但也最难的控制信号,因为文本的结构与图像/视频的结构差异巨大,需要更多数据才能学习其间的复杂关系。

刘洺堉坦言,他的研究路径正是遵循了这种从易到难的逻辑。这也是他再次反思自己当初在DALL-E出现时“决心不够”的原因:他当时认为Text-to-Image问题太难,数据和算力尚不具备,但事实证明条件已经成熟。

尽管他早在2016-2017年与朋友讨论时就预测,AI的第一个重大突破将发生在语言(Text)领域,因为文本是更纯净、更接近知识本质的信号,而图像信号包含太多“噪音”。但他个人更偏爱视觉信号,所以一直留在这个领域。在英伟达期间,他继续沿着这条路探索,从图像翻译扩展到视频翻译(Video-to-Video Translation),例如一个叫“V2V”的项目,能将赛车模拟器生成的卡通画面转换为逼真的驾驶场景,这已非常接近现在的世界模型。

在研究GAN的过程中,他始终在思考一个核心问题:GAN是否是可扩展的(scalable)?GAN训练困难是众所周知的问题,他担心这种方法最终无法规模化。为了探索GAN的可扩展性,他曾与实习生俞家辉合作,尝试用多个不同的判别器(Discriminator)同时与一个生成器(Generator)对抗,模拟多人对抗训练。他还与另一位后来发明了著名优化器AdamW的实习生合作,试图从算法层面稳定GAN的训练。尽管这些具体的探索没有直接成功,但过程中的思考和与优秀人才的合作让他受益匪浅,也体现了他对“简单且可扩展的方法更容易成功”(即后来Rich Sutton提出的“The Bitter Lesson”)这一原则的早期认知。

话题推进:本段访谈内容结束。

00:30:00–00:40:00连续对话 4

00:30:00–00:40:00开场:嘉宾介绍与核心观点预告

主持人张小珺在节目开场介绍了本次的访谈对象——英伟达研究副总裁刘洺堉(Ming-Yue Liu)。她描述了对刘洺堉的个人印象:穿着朴素、态度谦和。但她也引述了英伟达内部人士的看法,认为刘洺堉更像一位工程领导者,而非典型的研究员,并提及CEO黄仁勋(Jensen Huang)对他的评价是“GSD”(Getting Shit Done),意指执行力强。

主持人预告了本次访谈的核心内容,包括刘洺堉团队近期发布的英伟达世界模型Cosmos 3、他作为一名研究员在英伟达这个庞大系统内的20年求索经历,以及一些关于英伟达和黄仁勋的内部故事。

节目剪辑了后续访谈中的几段精彩观点作为预告:

1. 黄仁勋的商业哲学:偏爱“从零到十亿美元”(zero-billion-dollar)的业务,即项目可以不赚钱,但成功时必须具备巨大的影响力(influential)。

2. 刘洺堉对研究生态的比喻:经济的繁荣在于资金流动的速度,而研究的繁荣在于思想(idea)在不同头脑间流动的速度。

3. 黄仁勋对Cosmos项目的长期承诺:在刘洺堉完成Cosmos 1后,黄仁勋让他一直做到“Cosmos 97”。

4. 黄仁勋的行事风格:他是一个有纪律、擅长打“马拉松战”的人,会要求团队掌握节奏(pace your steps),并始终保持危机感,认为公司随时可能在30天后破产。

话题推进:在简短的寒暄和确认嘉宾身份后,主持人正式开始访谈,询问刘洺堉在英伟达的职位和团队情况。

00:30:00–00:40:00从Deep Imagination到Cosmos Lab:刘洺堉在英伟达的团队演进

  • 你现在讲中文还多吗?在公司里面?
  • 这次你来中国的行程是什么样的?你多久会来一次中国?
  • 这次来感觉到有什么不一样吗?跟之前?
  • 你现在在英伟达的title是研究副总裁。你能不能介绍一下这个职位,然后以及你们团队的一些构造和人数?
  • 我看到你之前还管一个团队叫Deep Imagination Research Group,Cosmos是它演化来的吗?他们是什么关系啊?
  • 这是哪一年?

访谈正式开始,主持人首先关心刘洺堉的工作语言环境。刘洺堉表示,由于团队成员的多样性,日常沟通以英文为主,但在参与者都会中文的小组会议中,会自然切换到中文。

随后,主持人问及他来中国的行程。刘洺堉解释,他每年会来中国两到三次,主要任务是围绕他个人及公司都非常关注的“物理AI”(Physical AI)领域进行交流。他观察到中国在这一领域发展非常迅速,希望通过交流了解如何能帮助这里的公司和研究员。他此次来访,感受到中国在“灵巧手”(dexterous hand)等关键技术上的突破速度很快。

主持人请刘洺堉介绍其职位与团队。他说明自己是研究副总裁,同时也是Cosmos Lab的副总裁。其直属团队(研究员加工程师)约有八九十人。此外,公司内还有其他团队以“虚线汇报”(dotted line)的方式参与Cosmos项目,总规模达到二三百人。他作为项目总负责人,决定整体方向并发布指令。他强调,Cosmos是英伟达内部的一个重大项目,投入了大量资源。

接着,主持人追问他之前领导的“Deep Imagination Research Group”与Cosmos的关系。刘洺堉确认了演化关系,并回顾了自己十年前加入英伟达时的初衷。当时,他预测深度学习(Deep Learning)将取代传统计算机图形学(Computer Graphics),成为生成视频的主要运算方式。他在求职演讲(job talk)中提出,未来可以用小说作为输入直接生成电影。这个想法吸引了公司,他得以加入并朝此方向努力。

刘洺堉讲述,早期他主要研究“生成对抗网络”(GAN),并取得了一些成果,如实现了“无监督/非配对图像翻译”(unsupervised/unpaired image translation)。他解释,这是一种在没有成对输入输出数据(例如,没有同一匹马变成斑马前后的照片)的情况下,学习图像转换的技术。他当时利用了“信息瓶颈”(information bottleneck)的方法来实现。他提到,当时英伟达还未被广泛认同为一家AI公司,他与同事们(如研究StyleGAN的团队)的工作,帮助公司树立了在AI模型研发方面的形象。其中一个让他自豪的项目是“GauGAN”(中文昵称“马良神笔”),用户可以通过涂抹不同颜色的色块(代表不同语义,如山、水)来生成逼真的风景画。随着这些工作的成功,公司允许他成立自己的团队,即“Deep Imagination Research”,时间大约在2019到2020年间,与他最初的设想一致。

话题推进:在建立了Deep Imagination Research团队后,刘洺堉继续朝着“小说生成电影”的目标前进,但一系列外部的技术突破让他不断反思自己的决心和策略。

00:30:00–00:40:00两次“顿悟”:从DALL-E到Sora,Cosmos项目的诞生

  • 在算力最多的地方。
  • 当时要了多少GPU啊?
  • 当时1000张很多嘛,那时候。
  • 我听说Sora没有出自你的团队,让你很遗憾是吗?

刘洺堉继续讲述Deep Imagination Research团队时期的经历。他们曾为CEO黄仁勋的Keynote制作了一个“数字人”替代真人的demo,并在疫情期间持续贡献数字人技术。然而,当OpenAI发布初代的文本到图像模型DALL-E时,刘洺堉坦言自己经历了一次“顿悟”:他意识到自己虽然身处算力最丰富的公司,但“野心不够大,不够勇敢”,没有下决心去挑战这个方向。

这次冲击促使他采取行动。他给黄仁勋写信,论证了用深度学习做影像生成的未来趋势已然明确,英伟达不能落后,并成功申请到了1000张A100 GPU的算力支持。他提到,在当时(Ampere架构时代),1000张GPU已是巨大资源,且将它们高效串联训练也非易事。同时,他也联系了合作伙伴Getty Images,说服对方合作,由Getty Images提供数据,英伟达提供算力和模型,共同开发文本到图像的大模型。这个合作催生了名为“Picasso”的专案,其商业模式是“AI foundry”(AI代工厂):为拥有数据但缺乏AI人才和基础设施的公司定制模型,然后共享收益。这是他正式踏入大模型领域的起点。

刘洺堉提到了几位曾在他团队实习的优秀年轻人,包括现在Meta的俞家辉和OpenAI Sora模型的作者之一Tim Brooks。他回忆,Tim Brooks实习时就对视频生成充满热情,但当时技术条件所限,他们还在用GAN进行研究。后来Tim Brooks加入OpenAI并做出了Sora。

Sora的发布是刘洺堉经历的第二次“顿悟”。他再次感到自己的“决心还是不够”。这次,他联合公司内其他几位学者,包括Sanja Fidler和Bryan Catanzaro等人,共同向黄仁勋建言,必须加大对世界模型(World Model)的投资。这直接催生了Cosmos项目。黄仁勋任命刘洺堉和Sanja Fidler共同领导这个项目,并亲自将其命名为“Cosmos”。

随着Cosmos项目的重要性日益凸显,刘洺堉发现自己无法兼顾Picasso和Cosmos两个重大项目。他最终决定收尾Picasso项目,将全部精力投入到Cosmos。随着Cosmos从1代发展到3代,客户和内部依赖增多,项目进入“一定要成功”的阶段,需要更庞大的资源。因此,在2024年年初,他正式离开NVIDIA Research,带着原Deep Imagination团队组建了新的“Cosmos Lab”,并开始向公司软件高级副总裁Dwight Buck汇报,以获得更强的工程和产品支持。

对于Sora,刘洺堉澄清“遗憾”并非负面情绪。他为前同事的巨大成就感到开心,但更多的是进行自我反省:“在我的决策过程中,是哪些地方我没有看对,而导致我没有在正确的时机做出正确的事情。”

话题推进:主持人从Sora聊开,追问OpenAI为何似乎搁置了Sora,并进一步探讨英伟达作为一家基础设施公司,为何要亲自下场做研究。

00:30:00–00:40:00英伟达为何做研究:预判未来、开源赋能与Physical AI的抉择

  • 因为说到Sora还是会想多说一句,你觉得为什么OpenAI后来把这条产品线基本上算是关掉了?
  • 对于英伟达这样的一个基础设施公司,或者说是一个平台公司,我卖token给这些前沿实验室就好了,我为什么还要自己做自己的研究呢?就是研究这件事情本身对于英伟达的意义是什么样?
  • 那你们的研究成果会跟客户去有一些竞争关系吗?
  • 所以为什么你们当时要立一个非常重要的项目,没有选择当时最火的大语言模型,也没有选择像Sora这样的模型,而是选择了一个具身(Physical)的世界模型呢?
  • Jensen对于这个团队提过什么要求没有?

主持人询问刘洺堉对OpenAI似乎搁置Sora的看法。刘洺堉认为,OpenAI是一家有野心的公司,Sora本身是重大的研究工作,但过去一年,OpenAI面临巨大的竞争压力。他观察到,像“coding agent”(编程智能体)这样的应用能产生巨大的经济效应,因为它们可以持续工作,消耗大量token,远超普通聊天应用。他引用《孙子兵法》的“备多则力寡”,推测OpenAI是出于战略考量,将有限的资源重新调整,集中投入到商业回报更明确的coding方向,这是一个艰难但必要的决定。

接着,主持人提出了一个核心问题:英伟达作为一家基础设施公司,为何要亲自做应用层面的研究,而不是仅仅卖算力?刘洺堉解释,这背后有几个关键原因:

1. 预判客户需求:如果不亲身实践应用,就无法真正理解应用公司的需求和痛点。芯片和计算机架构的设计周期很长,必须通过前瞻性研究来预测未来的重要问题,从而设计出更适合未来AI大公司的基础设施。

2. 赋能生态:英伟达希望通过开源模型,为整个社会有抱负的年轻人和创业公司提供工具,让他们有机会实现自己的想法。当更多元的想法得以实现,社会才会进步得更快。这与客户并非竞争关系,而是帮助他们分担基础模型研发的压力,让他们能更专注于解决具体应用中的硬件、商业等“最后一公里”的难题。

3. 建立行业信心:通过持续迭代Cosmos(从1代到3代),英伟达向外界传递了一个明确信号:公司将长期投入并推动该领域发展。这能给生态内的公司带来信心,让他们敢于在英伟达提供的基础上投入自己的资源,去解决更关键的问题。

主持人追问,为何英伟达选择“具身世界模型”(Physical World Model)作为重点项目,而非当时更火的大语言模型或Sora那样的内容创作模型。刘洺堉回答:

* 背景与专长:他本人和团队出身于计算机视觉(CV),而非大语言模型(LLM)。同时,英伟达已有强大的LLM团队,他在那里贡献有限。

* 应用价值判断:Sora代表的“内容创作”(content creation)应用很有价值,但他们看到了“物理AI”(Physical AI)能解决更根本的社会问题。例如,自动驾驶能帮助老年人维持出行能力;机器人可以从事危险、劳累或繁琐的家务劳动,从而改善人类生活品质。他们认为世界模型对物理AI的贡献更大,因此选择了这条路线。

最后,关于CEO黄仁勋对团队的要求,刘洺堉总结为:目标极高,要求严格。核心要求是“帮助客户成功”和“产生巨大影响力”(make impact)。黄仁勋常说他喜欢“zero-billion-dollar business”,即可以不赚钱,但成功后必须是规模巨大、影响深远的业务,而不能满足于每年赚一亿美元这种对英伟达而言是“分心”(distraction)的规模。因此,团队必须聚焦于解决最重要的问题,创造最大的贡献。

话题推进:在讨论了团队的战略选择后,主持人将话题转向刘洺堉的个人成长经历,探寻他研究之路的起点和转变。

00:30:00–00:40:00从无线通讯到AI:一位研究员的意外转向与早期探索

  • 作为研究员的刘明月,你是怎么一步一步探索你的研究之路的?
  • 还没有想过。
  • 就是大几啊?
  • 这是一个传统计算机视觉的时期。
  • 这是你后来的一个工作对吧?
  • 在美国的第一份工作。
  • 那刻会失落吗?
  • 什么都不work。
  • 你好像很早开始做生成了。
  • 所以为什么生成是理解的一部分?
  • 而这个人的学习有点像。
  • 当你可讲的时候,意味着你已经理解了。

主持人引导话题转向刘洺堉的个人研究历程。刘洺堉首先修正了之前关于“野心”的说法,他认为自己一直很有野心(例如很早就想用小说生成电影),但在英伟达的十年让他学会了如何把握时机、争取公司内部资源和支持,从而将野心付诸实践。

他回顾了自己的求学之路。在台北读高中时,最热门的领域是无线通讯。他因此进入台湾交通大学学习该专业。大学期间,许多同学毕业后进入了联发科、台积电等台湾优势产业的公司。然而,他在大三时开始反思这是否是自己想要的道路。通过对比美国研究生的研究课题,他发现美国的研究更侧重于“从0到1”的突破,而自己当时的工作更像是“从1到1.1”的优化。这激发了他去美国留学的想法,这个决定让他的父母感到非常震惊,因为他从未表露过此意向。

他最初计划去美国研究“量子通讯”,但在去美国前,他在台湾的英特尔实习了一年。在那里,他第一次接触到AI——一位朋友正在做影像辨识。他对计算机能从像素中识别物体感到非常神奇。后来,他进入美国马里兰大学读博,该校因靠近华盛顿特区,聚集了许多早期由国防经费支持的计算机视觉(Computer Vision)领域的大佬。他被CV的魅力吸引,放弃了量子通讯,转而师从该领域的先驱拉马·恰拉帕(Rama Chellappa)教授,正式踏入AI领域。他博士期间的第一个课题是通过视频中人物的走路姿态来识别身份。

刘洺堉强调,他读博的时期是“传统计算机视觉”时代,深度学习尚未兴起,“什么都不work”。因此,研究者需要学习各种技术,如支持向量机(SVM)、优化算法、图模型(graphical model)、能量最小化等,这为他打下了扎实的基础。在他即将毕业时,AlexNet的出现改变了整个领域。他并未因此感到失落,反而对新技术充满兴趣,并组织实验室的学弟学妹一起研究深度学习。

博士毕业后,他加入了位于麻省剑桥的三菱电机研究院(MERL)。在那里,他有充足的时间学习深度学习。受其导师相信生成模型(Generative Model)的理念影响,他尤其关注生成领域。当他看到伊恩·古德费洛(Ian Goodfellow)关于生成对抗网络(GAN)的论文后,便对此产生了浓厚兴趣,并开始大量投入研究,成为最早一批研究生成模型的研究员。他回忆,当时能生成32x32像素、看起来“不像鬼”的人脸就已经算成功了。

最后,他引用物理学家理查德·费曼的名言“What I cannot create, I do not understand”(我无法创造的,我就不理解),解释了为何“生成是理解的一部分”。他认为,当一个模型能够生成或重建某个事物时,才意味着它真正理解了它。

话题推进:在解释了生成与理解的关系后,主持人进一步询问工程经验对研究的影响,并引出了刘洺堉对自己研究生涯中几个重要转折点的思考。

00:30:00–00:40:00研究生涯的三个教训:从追求数学之美到学会团队协作

  • 其实你最早做了一年的工程师,你觉得这个经历对你后来做research有影响吗?你觉得做engineering和做researcher的本质的差异是什么呀?
  • 所以AI对你来说也是一场意外。
  • 它最初打动你的是什么呢?
  • 如果要找到一个早期对你研究生涯都非常重要的一个时刻,你会怎么描述它?
  • 你要做应用,然后你要销售你的工作,然后你要团队协作。
  • GauGAN是取自高更吗?

主持人询问刘洺堉早期的工程师经历对其研究生涯的影响。刘洺堉认为,那段经历最大的影响是让他认识了AI和计算机视觉这个领域。他区分了研究与工程的本质差异:研究(research)最重要的是“问对问题”,而工程(engineering)则是实现想法、证明问题重要性的能力。他承认自己进入AI领域并非源于从小对人类智能的哲学思考,而是在接触后因“不懂”而产生好奇,并能直观理解其重要性,便一步步深入探索。

当被问及研究生涯中最重要的时刻,刘洺堉分享了三个关键的“教训”或转变:

1. 从追求数学之美到拥抱应用本质:在传统CV早期,由于很多问题无法找到最优解(如非凸优化问题),研究者为了证明算法的有效性(例如,证明解与最优解的差距有界),常常引入各种假设。这些假设能让数学推导变得“干净”,但却脱离了现实世界。他逐渐意识到,AI本质上是应用科学,不应为了追求数学上的优美而忽略问题的本质,应更贴近真实问题。

2. 从做出成果到有效沟通:刚加入英伟达时,他专注于把事情做出来,但不擅长向他人解释自己工作的价值。他比喻自己做出了100分的工作,但解释只有10分,导致外界只能看到10分。他后来意识到,让别人理解工作的重要性同样关键,这促使他开始重视沟通和“销售”自己的研究成果。

3. 从单打独斗到团队协作:在开始做大模型后,他深刻体会到团队合作的重要性。他用复杂度理论来解释,如果N个人的团队需要两两沟通,沟通成本是N的平方(N²),这种方式难以扩展。为了实现高效协作,必须把目标和路径讲得非常明确,让所有人目标一致。这需要领导者不仅能做出成果、解释成果,还要能激励团队,让大家理解“为什么这很重要”,从而朝同一个方向前进。

主持人总结这三点(做应用、销售工作、团队协作)正是他成长的路线。刘洺堉表示认同,并以GauGAN项目为例。当他看到普通用户使用GauGAN并给出积极反馈时,他获得了巨大的成就感,感到自己的工作能影响更广泛的人群,生命更有价值。

最后,他分享了GauGAN命名的趣事。项目最初的技术名称叫“SPADE”,黄仁勋认为这个名字不够用户友好。在准备GTC大会发布时,公司一位营销天才Greg Estes提出了“GauGAN”这个名字,既结合了当时流行的“GAN”后缀,又致敬了法国画家高更(Gauguin),非常贴切。虽然该项目最后因Keynote时间紧张被临时拿下,但发布后依然成为那届GTC最受瞩目的成果之一。

话题推进:GauGAN的成功是刘洺堉在GAN领域一系列工作的体现。主持人接着追问,他从早期的GAN研究到GauGAN,其技术路线是如何一步步演进的。

00:30:00–00:40:00从图像翻译到可扩展性思考:GAN时代的技术演进与反思

  • 其实GauGAN是不是跟你之前的研究轨迹是一步一步递进的,它不是第一天就做到那里了,因为你从博士毕业以后加入了三菱电机研究所,Computer Vision就进入了GAN的时代,然后你其实围绕GAN做了一系列的工作,包括CoGAN,MoCoGAN,暂时到了NVIDIA之后,的比如说GauGAN,这一系列的工作对吗?它它是怎么延展的呀?
  • 容易的,最早是?
  • 所以你是沿着Image,然后到Text的这个路径一点一点的延伸的。
  • 是哪年?
  • 后面这几个GAN的工作你再讲一下。

主持人询问刘洺堉在GAN领域的研究是如何一步步演进的。刘洺堉详细梳理了他的技术路线:

他的第一个GAN项目是“Coupled GAN”,通过将两个GAN耦合(couple)在一起,创造了一个“信息瓶颈”(Information Bottleneck)。他解释,深度学习的核心在于学习如何压缩信息,而瓶颈结构能迫使网络去寻找事物的本质。通过让一个GAN建模“马”的分布,另一个GAN建模“斑马”的分布,并将它们耦合,网络就能找到两者间的共性,从而实现从马到斑马的转换。这属于“图像到图像翻译”(Image-to-Image Translation)的范畴。

他指出,生成式网络的核心是“分布建模”(Distribution Modeling),即生成符合某种数据分布的样本(如一张山水画)。但人类的需求不止于此,还需要“控制”生成的内容。控制需要输入信号,信号有多种形式,他按照从易到难的顺序进行了探索:

1. 结构化信号:如另一张图像(马变斑马)、分割图(segmentation map,用不同颜色代表山、水等,像素级对齐)、或边缘图(edge map)。这些信号与输出图像的结构相似,对位明确,相对容易学习。

2. 类别标签:如“山”、“车”等简单的文本标签。

3. 自然语言文本:如“Text-to-Image”。这是最自然但也最难的控制信号,因为文本的结构与图像/视频的结构差异巨大,需要更多数据才能学习其间的复杂关系。

刘洺堉坦言,他的研究路径正是遵循了这种从易到难的逻辑。这也是他再次反思自己当初在DALL-E出现时“决心不够”的原因:他当时认为Text-to-Image问题太难,数据和算力尚不具备,但事实证明条件已经成熟。

尽管他早在2016-2017年与朋友讨论时就预测,AI的第一个重大突破将发生在语言(Text)领域,因为文本是更纯净、更接近知识本质的信号,而图像信号包含太多“噪音”。但他个人更偏爱视觉信号,所以一直留在这个领域。在英伟达期间,他继续沿着这条路探索,从图像翻译扩展到视频翻译(Video-to-Video Translation),例如一个叫“V2V”的项目,能将赛车模拟器生成的卡通画面转换为逼真的驾驶场景,这已非常接近现在的世界模型。

在研究GAN的过程中,他始终在思考一个核心问题:GAN是否是可扩展的(scalable)?GAN训练困难是众所周知的问题,他担心这种方法最终无法规模化。为了探索GAN的可扩展性,他曾与实习生俞家辉合作,尝试用多个不同的判别器(Discriminator)同时与一个生成器(Generator)对抗,模拟多人对抗训练。他还与另一位后来发明了著名优化器AdamW的实习生合作,试图从算法层面稳定GAN的训练。尽管这些具体的探索没有直接成功,但过程中的思考和与优秀人才的合作让他受益匪浅,也体现了他对“简单且可扩展的方法更容易成功”(即后来Rich Sutton提出的“The Bitter Lesson”)这一原则的早期认知。

话题推进:本段访谈内容结束。

00:40:00–00:50:00连续对话 5

00:40:00–00:50:00开场:嘉宾介绍与核心观点预告

主持人张小珺在节目开场介绍了本次的访谈对象——英伟达研究副总裁刘洺堉(Ming-Yue Liu)。她描述了对刘洺堉的个人印象:穿着朴素、态度谦和。但她也引述了英伟达内部人士的看法,认为刘洺堉更像一位工程领导者,而非典型的研究员,并提及CEO黄仁勋(Jensen Huang)对他的评价是“GSD”(Getting Shit Done),意指执行力强。

主持人预告了本次访谈的核心内容,包括刘洺堉团队近期发布的英伟达世界模型Cosmos 3、他作为一名研究员在英伟达这个庞大系统内的20年求索经历,以及一些关于英伟达和黄仁勋的内部故事。

节目剪辑了后续访谈中的几段精彩观点作为预告:

1. 黄仁勋的商业哲学:偏爱“从零到十亿美元”(zero-billion-dollar)的业务,即项目可以不赚钱,但成功时必须具备巨大的影响力(influential)。

2. 刘洺堉对研究生态的比喻:经济的繁荣在于资金流动的速度,而研究的繁荣在于思想(idea)在不同头脑间流动的速度。

3. 黄仁勋对Cosmos项目的长期承诺:在刘洺堉完成Cosmos 1后,黄仁勋让他一直做到“Cosmos 97”。

4. 黄仁勋的行事风格:他是一个有纪律、擅长打“马拉松战”的人,会要求团队掌握节奏(pace your steps),并始终保持危机感,认为公司随时可能在30天后破产。

话题推进:在简短的寒暄和确认嘉宾身份后,主持人正式开始访谈,询问刘洺堉在英伟达的职位和团队情况。

00:40:00–00:50:00从Deep Imagination到Cosmos Lab:刘洺堉在英伟达的团队演进

  • 你现在讲中文还多吗?在公司里面?
  • 这次你来中国的行程是什么样的?你多久会来一次中国?
  • 这次来感觉到有什么不一样吗?跟之前?
  • 你现在在英伟达的title是研究副总裁。你能不能介绍一下这个职位,然后以及你们团队的一些构造和人数?
  • 我看到你之前还管一个团队叫Deep Imagination Research Group,Cosmos是它演化来的吗?他们是什么关系啊?
  • 这是哪一年?

访谈正式开始,主持人首先关心刘洺堉的工作语言环境。刘洺堉表示,由于团队成员的多样性,日常沟通以英文为主,但在参与者都会中文的小组会议中,会自然切换到中文。

随后,主持人问及他来中国的行程。刘洺堉解释,他每年会来中国两到三次,主要任务是围绕他个人及公司都非常关注的“物理AI”(Physical AI)领域进行交流。他观察到中国在这一领域发展非常迅速,希望通过交流了解如何能帮助这里的公司和研究员。他此次来访,感受到中国在“灵巧手”(dexterous hand)等关键技术上的突破速度很快。

主持人请刘洺堉介绍其职位与团队。他说明自己是研究副总裁,同时也是Cosmos Lab的副总裁。其直属团队(研究员加工程师)约有八九十人。此外,公司内还有其他团队以“虚线汇报”(dotted line)的方式参与Cosmos项目,总规模达到二三百人。他作为项目总负责人,决定整体方向并发布指令。他强调,Cosmos是英伟达内部的一个重大项目,投入了大量资源。

接着,主持人追问他之前领导的“Deep Imagination Research Group”与Cosmos的关系。刘洺堉确认了演化关系,并回顾了自己十年前加入英伟达时的初衷。当时,他预测深度学习(Deep Learning)将取代传统计算机图形学(Computer Graphics),成为生成视频的主要运算方式。他在求职演讲(job talk)中提出,未来可以用小说作为输入直接生成电影。这个想法吸引了公司,他得以加入并朝此方向努力。

刘洺堉讲述,早期他主要研究“生成对抗网络”(GAN),并取得了一些成果,如实现了“无监督/非配对图像翻译”(unsupervised/unpaired image translation)。他解释,这是一种在没有成对输入输出数据(例如,没有同一匹马变成斑马前后的照片)的情况下,学习图像转换的技术。他当时利用了“信息瓶颈”(information bottleneck)的方法来实现。他提到,当时英伟达还未被广泛认同为一家AI公司,他与同事们(如研究StyleGAN的团队)的工作,帮助公司树立了在AI模型研发方面的形象。其中一个让他自豪的项目是“GauGAN”(中文昵称“马良神笔”),用户可以通过涂抹不同颜色的色块(代表不同语义,如山、水)来生成逼真的风景画。随着这些工作的成功,公司允许他成立自己的团队,即“Deep Imagination Research”,时间大约在2019到2020年间,与他最初的设想一致。

话题推进:在建立了Deep Imagination Research团队后,刘洺堉继续朝着“小说生成电影”的目标前进,但一系列外部的技术突破让他不断反思自己的决心和策略。

00:40:00–00:50:00两次“顿悟”:从DALL-E到Sora,Cosmos项目的诞生

  • 在算力最多的地方。
  • 当时要了多少GPU啊?
  • 当时1000张很多嘛,那时候。
  • 我听说Sora没有出自你的团队,让你很遗憾是吗?

刘洺堉继续讲述Deep Imagination Research团队时期的经历。他们曾为CEO黄仁勋的Keynote制作了一个“数字人”替代真人的demo,并在疫情期间持续贡献数字人技术。然而,当OpenAI发布初代的文本到图像模型DALL-E时,刘洺堉坦言自己经历了一次“顿悟”:他意识到自己虽然身处算力最丰富的公司,但“野心不够大,不够勇敢”,没有下决心去挑战这个方向。

这次冲击促使他采取行动。他给黄仁勋写信,论证了用深度学习做影像生成的未来趋势已然明确,英伟达不能落后,并成功申请到了1000张A100 GPU的算力支持。他提到,在当时(Ampere架构时代),1000张GPU已是巨大资源,且将它们高效串联训练也非易事。同时,他也联系了合作伙伴Getty Images,说服对方合作,由Getty Images提供数据,英伟达提供算力和模型,共同开发文本到图像的大模型。这个合作催生了名为“Picasso”的专案,其商业模式是“AI foundry”(AI代工厂):为拥有数据但缺乏AI人才和基础设施的公司定制模型,然后共享收益。这是他正式踏入大模型领域的起点。

刘洺堉提到了几位曾在他团队实习的优秀年轻人,包括现在Meta的俞家辉和OpenAI Sora模型的作者之一Tim Brooks。他回忆,Tim Brooks实习时就对视频生成充满热情,但当时技术条件所限,他们还在用GAN进行研究。后来Tim Brooks加入OpenAI并做出了Sora。

Sora的发布是刘洺堉经历的第二次“顿悟”。他再次感到自己的“决心还是不够”。这次,他联合公司内其他几位学者,包括Sanja Fidler和Bryan Catanzaro等人,共同向黄仁勋建言,必须加大对世界模型(World Model)的投资。这直接催生了Cosmos项目。黄仁勋任命刘洺堉和Sanja Fidler共同领导这个项目,并亲自将其命名为“Cosmos”。

随着Cosmos项目的重要性日益凸显,刘洺堉发现自己无法兼顾Picasso和Cosmos两个重大项目。他最终决定收尾Picasso项目,将全部精力投入到Cosmos。随着Cosmos从1代发展到3代,客户和内部依赖增多,项目进入“一定要成功”的阶段,需要更庞大的资源。因此,在2024年年初,他正式离开NVIDIA Research,带着原Deep Imagination团队组建了新的“Cosmos Lab”,并开始向公司软件高级副总裁Dwight Buck汇报,以获得更强的工程和产品支持。

对于Sora,刘洺堉澄清“遗憾”并非负面情绪。他为前同事的巨大成就感到开心,但更多的是进行自我反省:“在我的决策过程中,是哪些地方我没有看对,而导致我没有在正确的时机做出正确的事情。”

话题推进:主持人从Sora聊开,追问OpenAI为何似乎搁置了Sora,并进一步探讨英伟达作为一家基础设施公司,为何要亲自下场做研究。

00:40:00–00:50:00英伟达为何做研究:预判未来、开源赋能与Physical AI的抉择

  • 因为说到Sora还是会想多说一句,你觉得为什么OpenAI后来把这条产品线基本上算是关掉了?
  • 对于英伟达这样的一个基础设施公司,或者说是一个平台公司,我卖token给这些前沿实验室就好了,我为什么还要自己做自己的研究呢?就是研究这件事情本身对于英伟达的意义是什么样?
  • 那你们的研究成果会跟客户去有一些竞争关系吗?
  • 所以为什么你们当时要立一个非常重要的项目,没有选择当时最火的大语言模型,也没有选择像Sora这样的模型,而是选择了一个具身(Physical)的世界模型呢?
  • Jensen对于这个团队提过什么要求没有?

主持人询问刘洺堉对OpenAI似乎搁置Sora的看法。刘洺堉认为,OpenAI是一家有野心的公司,Sora本身是重大的研究工作,但过去一年,OpenAI面临巨大的竞争压力。他观察到,像“coding agent”(编程智能体)这样的应用能产生巨大的经济效应,因为它们可以持续工作,消耗大量token,远超普通聊天应用。他引用《孙子兵法》的“备多则力寡”,推测OpenAI是出于战略考量,将有限的资源重新调整,集中投入到商业回报更明确的coding方向,这是一个艰难但必要的决定。

接着,主持人提出了一个核心问题:英伟达作为一家基础设施公司,为何要亲自做应用层面的研究,而不是仅仅卖算力?刘洺堉解释,这背后有几个关键原因:

1. 预判客户需求:如果不亲身实践应用,就无法真正理解应用公司的需求和痛点。芯片和计算机架构的设计周期很长,必须通过前瞻性研究来预测未来的重要问题,从而设计出更适合未来AI大公司的基础设施。

2. 赋能生态:英伟达希望通过开源模型,为整个社会有抱负的年轻人和创业公司提供工具,让他们有机会实现自己的想法。当更多元的想法得以实现,社会才会进步得更快。这与客户并非竞争关系,而是帮助他们分担基础模型研发的压力,让他们能更专注于解决具体应用中的硬件、商业等“最后一公里”的难题。

3. 建立行业信心:通过持续迭代Cosmos(从1代到3代),英伟达向外界传递了一个明确信号:公司将长期投入并推动该领域发展。这能给生态内的公司带来信心,让他们敢于在英伟达提供的基础上投入自己的资源,去解决更关键的问题。

主持人追问,为何英伟达选择“具身世界模型”(Physical World Model)作为重点项目,而非当时更火的大语言模型或Sora那样的内容创作模型。刘洺堉回答:

* 背景与专长:他本人和团队出身于计算机视觉(CV),而非大语言模型(LLM)。同时,英伟达已有强大的LLM团队,他在那里贡献有限。

* 应用价值判断:Sora代表的“内容创作”(content creation)应用很有价值,但他们看到了“物理AI”(Physical AI)能解决更根本的社会问题。例如,自动驾驶能帮助老年人维持出行能力;机器人可以从事危险、劳累或繁琐的家务劳动,从而改善人类生活品质。他们认为世界模型对物理AI的贡献更大,因此选择了这条路线。

最后,关于CEO黄仁勋对团队的要求,刘洺堉总结为:目标极高,要求严格。核心要求是“帮助客户成功”和“产生巨大影响力”(make impact)。黄仁勋常说他喜欢“zero-billion-dollar business”,即可以不赚钱,但成功后必须是规模巨大、影响深远的业务,而不能满足于每年赚一亿美元这种对英伟达而言是“分心”(distraction)的规模。因此,团队必须聚焦于解决最重要的问题,创造最大的贡献。

话题推进:在讨论了团队的战略选择后,主持人将话题转向刘洺堉的个人成长经历,探寻他研究之路的起点和转变。

00:40:00–00:50:00从无线通讯到AI:一位研究员的意外转向与早期探索

  • 作为研究员的刘明月,你是怎么一步一步探索你的研究之路的?
  • 还没有想过。
  • 就是大几啊?
  • 这是一个传统计算机视觉的时期。
  • 这是你后来的一个工作对吧?
  • 在美国的第一份工作。
  • 那刻会失落吗?
  • 什么都不work。
  • 你好像很早开始做生成了。
  • 所以为什么生成是理解的一部分?
  • 而这个人的学习有点像。
  • 当你可讲的时候,意味着你已经理解了。

主持人引导话题转向刘洺堉的个人研究历程。刘洺堉首先修正了之前关于“野心”的说法,他认为自己一直很有野心(例如很早就想用小说生成电影),但在英伟达的十年让他学会了如何把握时机、争取公司内部资源和支持,从而将野心付诸实践。

他回顾了自己的求学之路。在台北读高中时,最热门的领域是无线通讯。他因此进入台湾交通大学学习该专业。大学期间,许多同学毕业后进入了联发科、台积电等台湾优势产业的公司。然而,他在大三时开始反思这是否是自己想要的道路。通过对比美国研究生的研究课题,他发现美国的研究更侧重于“从0到1”的突破,而自己当时的工作更像是“从1到1.1”的优化。这激发了他去美国留学的想法,这个决定让他的父母感到非常震惊,因为他从未表露过此意向。

他最初计划去美国研究“量子通讯”,但在去美国前,他在台湾的英特尔实习了一年。在那里,他第一次接触到AI——一位朋友正在做影像辨识。他对计算机能从像素中识别物体感到非常神奇。后来,他进入美国马里兰大学读博,该校因靠近华盛顿特区,聚集了许多早期由国防经费支持的计算机视觉(Computer Vision)领域的大佬。他被CV的魅力吸引,放弃了量子通讯,转而师从该领域的先驱拉马·恰拉帕(Rama Chellappa)教授,正式踏入AI领域。他博士期间的第一个课题是通过视频中人物的走路姿态来识别身份。

刘洺堉强调,他读博的时期是“传统计算机视觉”时代,深度学习尚未兴起,“什么都不work”。因此,研究者需要学习各种技术,如支持向量机(SVM)、优化算法、图模型(graphical model)、能量最小化等,这为他打下了扎实的基础。在他即将毕业时,AlexNet的出现改变了整个领域。他并未因此感到失落,反而对新技术充满兴趣,并组织实验室的学弟学妹一起研究深度学习。

博士毕业后,他加入了位于麻省剑桥的三菱电机研究院(MERL)。在那里,他有充足的时间学习深度学习。受其导师相信生成模型(Generative Model)的理念影响,他尤其关注生成领域。当他看到伊恩·古德费洛(Ian Goodfellow)关于生成对抗网络(GAN)的论文后,便对此产生了浓厚兴趣,并开始大量投入研究,成为最早一批研究生成模型的研究员。他回忆,当时能生成32x32像素、看起来“不像鬼”的人脸就已经算成功了。

最后,他引用物理学家理查德·费曼的名言“What I cannot create, I do not understand”(我无法创造的,我就不理解),解释了为何“生成是理解的一部分”。他认为,当一个模型能够生成或重建某个事物时,才意味着它真正理解了它。

话题推进:在解释了生成与理解的关系后,主持人进一步询问工程经验对研究的影响,并引出了刘洺堉对自己研究生涯中几个重要转折点的思考。

00:40:00–00:50:00研究生涯的三个教训:从追求数学之美到学会团队协作

  • 其实你最早做了一年的工程师,你觉得这个经历对你后来做research有影响吗?你觉得做engineering和做researcher的本质的差异是什么呀?
  • 所以AI对你来说也是一场意外。
  • 它最初打动你的是什么呢?
  • 如果要找到一个早期对你研究生涯都非常重要的一个时刻,你会怎么描述它?
  • 你要做应用,然后你要销售你的工作,然后你要团队协作。
  • GauGAN是取自高更吗?

主持人询问刘洺堉早期的工程师经历对其研究生涯的影响。刘洺堉认为,那段经历最大的影响是让他认识了AI和计算机视觉这个领域。他区分了研究与工程的本质差异:研究(research)最重要的是“问对问题”,而工程(engineering)则是实现想法、证明问题重要性的能力。他承认自己进入AI领域并非源于从小对人类智能的哲学思考,而是在接触后因“不懂”而产生好奇,并能直观理解其重要性,便一步步深入探索。

当被问及研究生涯中最重要的时刻,刘洺堉分享了三个关键的“教训”或转变:

1. 从追求数学之美到拥抱应用本质:在传统CV早期,由于很多问题无法找到最优解(如非凸优化问题),研究者为了证明算法的有效性(例如,证明解与最优解的差距有界),常常引入各种假设。这些假设能让数学推导变得“干净”,但却脱离了现实世界。他逐渐意识到,AI本质上是应用科学,不应为了追求数学上的优美而忽略问题的本质,应更贴近真实问题。

2. 从做出成果到有效沟通:刚加入英伟达时,他专注于把事情做出来,但不擅长向他人解释自己工作的价值。他比喻自己做出了100分的工作,但解释只有10分,导致外界只能看到10分。他后来意识到,让别人理解工作的重要性同样关键,这促使他开始重视沟通和“销售”自己的研究成果。

3. 从单打独斗到团队协作:在开始做大模型后,他深刻体会到团队合作的重要性。他用复杂度理论来解释,如果N个人的团队需要两两沟通,沟通成本是N的平方(N²),这种方式难以扩展。为了实现高效协作,必须把目标和路径讲得非常明确,让所有人目标一致。这需要领导者不仅能做出成果、解释成果,还要能激励团队,让大家理解“为什么这很重要”,从而朝同一个方向前进。

主持人总结这三点(做应用、销售工作、团队协作)正是他成长的路线。刘洺堉表示认同,并以GauGAN项目为例。当他看到普通用户使用GauGAN并给出积极反馈时,他获得了巨大的成就感,感到自己的工作能影响更广泛的人群,生命更有价值。

最后,他分享了GauGAN命名的趣事。项目最初的技术名称叫“SPADE”,黄仁勋认为这个名字不够用户友好。在准备GTC大会发布时,公司一位营销天才Greg Estes提出了“GauGAN”这个名字,既结合了当时流行的“GAN”后缀,又致敬了法国画家高更(Gauguin),非常贴切。虽然该项目最后因Keynote时间紧张被临时拿下,但发布后依然成为那届GTC最受瞩目的成果之一。

话题推进:GauGAN的成功是刘洺堉在GAN领域一系列工作的体现。主持人接着追问,他从早期的GAN研究到GauGAN,其技术路线是如何一步步演进的。

00:40:00–00:50:00从图像翻译到可扩展性思考:GAN时代的技术演进与反思

  • 其实GauGAN是不是跟你之前的研究轨迹是一步一步递进的,它不是第一天就做到那里了,因为你从博士毕业以后加入了三菱电机研究所,Computer Vision就进入了GAN的时代,然后你其实围绕GAN做了一系列的工作,包括CoGAN,MoCoGAN,暂时到了NVIDIA之后,的比如说GauGAN,这一系列的工作对吗?它它是怎么延展的呀?
  • 容易的,最早是?
  • 所以你是沿着Image,然后到Text的这个路径一点一点的延伸的。
  • 是哪年?
  • 后面这几个GAN的工作你再讲一下。

主持人询问刘洺堉在GAN领域的研究是如何一步步演进的。刘洺堉详细梳理了他的技术路线:

他的第一个GAN项目是“Coupled GAN”,通过将两个GAN耦合(couple)在一起,创造了一个“信息瓶颈”(Information Bottleneck)。他解释,深度学习的核心在于学习如何压缩信息,而瓶颈结构能迫使网络去寻找事物的本质。通过让一个GAN建模“马”的分布,另一个GAN建模“斑马”的分布,并将它们耦合,网络就能找到两者间的共性,从而实现从马到斑马的转换。这属于“图像到图像翻译”(Image-to-Image Translation)的范畴。

他指出,生成式网络的核心是“分布建模”(Distribution Modeling),即生成符合某种数据分布的样本(如一张山水画)。但人类的需求不止于此,还需要“控制”生成的内容。控制需要输入信号,信号有多种形式,他按照从易到难的顺序进行了探索:

1. 结构化信号:如另一张图像(马变斑马)、分割图(segmentation map,用不同颜色代表山、水等,像素级对齐)、或边缘图(edge map)。这些信号与输出图像的结构相似,对位明确,相对容易学习。

2. 类别标签:如“山”、“车”等简单的文本标签。

3. 自然语言文本:如“Text-to-Image”。这是最自然但也最难的控制信号,因为文本的结构与图像/视频的结构差异巨大,需要更多数据才能学习其间的复杂关系。

刘洺堉坦言,他的研究路径正是遵循了这种从易到难的逻辑。这也是他再次反思自己当初在DALL-E出现时“决心不够”的原因:他当时认为Text-to-Image问题太难,数据和算力尚不具备,但事实证明条件已经成熟。

尽管他早在2016-2017年与朋友讨论时就预测,AI的第一个重大突破将发生在语言(Text)领域,因为文本是更纯净、更接近知识本质的信号,而图像信号包含太多“噪音”。但他个人更偏爱视觉信号,所以一直留在这个领域。在英伟达期间,他继续沿着这条路探索,从图像翻译扩展到视频翻译(Video-to-Video Translation),例如一个叫“V2V”的项目,能将赛车模拟器生成的卡通画面转换为逼真的驾驶场景,这已非常接近现在的世界模型。

在研究GAN的过程中,他始终在思考一个核心问题:GAN是否是可扩展的(scalable)?GAN训练困难是众所周知的问题,他担心这种方法最终无法规模化。为了探索GAN的可扩展性,他曾与实习生俞家辉合作,尝试用多个不同的判别器(Discriminator)同时与一个生成器(Generator)对抗,模拟多人对抗训练。他还与另一位后来发明了著名优化器AdamW的实习生合作,试图从算法层面稳定GAN的训练。尽管这些具体的探索没有直接成功,但过程中的思考和与优秀人才的合作让他受益匪浅,也体现了他对“简单且可扩展的方法更容易成功”(即后来Rich Sutton提出的“The Bitter Lesson”)这一原则的早期认知。

话题推进:本段访谈内容结束。

00:50:00–01:00:00连续对话 6

00:50:00–01:00:00GAN的可扩展性疑问:从图像翻译到生成控制的渐进路径

  • GAN的一系列工作怎样从CoGAN、图像翻译发展到视频?
  • 为什么当时会觉得Text-to-Image很难?
  • 为什么后来转向更可扩展的方法?

刘洺堉把早期生成研究描述为逐步增加控制条件的过程。CoGAN把两个生成过程耦合,试图找到不同分布之间的共同结构;随后图像翻译以图像、边缘、分割图和类别标签作为控制信号,再发展到文本。分割图已对好像素位置,文本与图像结构差异更大,需要更多数据与算力,因此他先走较容易的路径。

这解释了他对DALL-E的震动:并非不知道文本可能更接近知识与智能,而是曾判断视觉文本生成所需的数据与算力不足,结果证明这一前提可被突破。视觉研究中从模拟驾驶画面到真实场景的转换,也成为后来世界模型兴趣的早期线索。

他同时一直追问GAN是否scalable:训练困难使简单、可扩展的方法更有吸引力。与实习生探索多Discriminator和训练稳定算法的尝试没有直接形成论文,却提供了研究训练与合作经验。这里应保留失败和转向,不把后来的Diffusion成功倒推为GAN路线一开始就知道答案。

话题推进:从GAN到Diffusion的路线变化,后来又在Cosmos多模型统一中重复出现:怎样在简洁、能力和工程验证之间做选择。

01:00:00–01:10:00连续对话 7

01:00:00–01:10:00从GAN到Diffusion:一次关键的技术路线转向

  • 你提到从GAN转向Diffusion,这大概是哪一年?
  • 面对计算范式的几次变化(传统方法、GAN、Diffusion),作为研究员是什么心态?会不会觉得之前的工作白做了?
  • 你多次提到实习生,在AI Lab里通过实习生涌现想法是否常见?你怎么看待年轻人?

嘉宾刘洺堉回顾了他在研究生涯中的一次关键技术路线转变。他提到,在与实习生Jeremy合作的时期,他们发表了一系列论文,试图让GAN的训练过程更稳定,但多年的努力最终得出的结论是GAN不具备可扩展性(not scalable)。

大约在2021年,刘洺堉的团队注意到了Diffusion模型。他认为Diffusion模型在训练时非常稳定,相比之下,GAN难以扩展,而“不Scalable的东西最后做不远”。因此,他做出了一个艰难的决定:让整个为研究GAN而建立的团队转向Diffusion模型。他解释说,当时他并未早期接触2017年就已出现的Transformer,因为他一直专注于GAN,而早期的GAN主要使用卷积网络(Convolutional Network)。直到后来Diffusion与Transformer结合,做Diffusion的研究者才逐渐转向Transformer架构。

团队转向后,研究路径从图像生成(Image Generation)开始,逐步扩展到多视角图像(Multi-view Image),再到3D生成(3D Generation),最终形成了一系列名为“Edify”的成果,包括Edify Image Generator、Edify 3D和Edify Video。

主持人追问,面对这种从GAN到Diffusion的技术范式转变,是否会觉得以往的工作白费了。刘洺堉否定了这种看法,他引用黄仁勋的话“suffering, little goodness”,认为这些经历让他越来越能掌握事物的本质。他将科研比作寻找描述世界运作的最简单方式,而技术方法的演进正是将事情变得越来越简单的过程,就像他后来的项目Cosmos从多个模型最终统一成一个模型一样。他强调,在当时的技术条件、算力和数据下,过去的研究是合理的,并且那些经验对现在的理解仍有很大帮助。

主持人接着问及实习生在研究中的作用。刘洺堉将研究的繁荣比作思想的快速流动,认为实习生带来了思想的多样性(diversity)。如果只与同事交流,思想来源会比较单一。通过与来自不同背景、充满想法的实习生合作,可以实现教学相长,这对双方的成长都至关重要。

话题推进:在讨论完技术路线的转变和研究方法后,主持人将话题转向了刘洺堉的职业发展,询问他为何在2016年选择加入英伟达。

01:00:00–01:10:00加入英伟达:追逐算力的职业选择

  • 你16年加入英伟达,这个职业变化是怎么发生的?
  • 你在三菱电机时就和英伟达的人有论文合作吗?
  • 加入英伟达做研究,真的像预期的那样有很多GPU吗?
  • 在英伟达这样的公司,要如何获得更多的GPU?

刘洺堉解释了他从三菱电机研究所(MERL)加入英伟达的原因。自从开始做深度学习后,他深信算力的重要性。然而,三菱电机并不重视算力,他需要频繁地向经理争取购买GPU的经费。促使他离职的直接原因是一位对他影响深远的导师(mentor)安佐指导的离开。这位导师离职加入苹果后,刘洺堉也开始考虑新的工作机会。

在与多家科技巨头(如谷歌、苹果、亚马逊、Meta)接触后,英伟达的招聘人员找到了他。他意识到,既然自己如此渴望GPU,为何不直接加入生产GPU的公司?这个决定在当时并未得到父亲的理解,因为那时英伟达的知名度远不如苹果或谷歌。但刘洺堉坚持自己的判断:GPU是最重要的。他当时研究的自监督学习(self-supervised approach)降低了对数据标注的需求,使得算力成为更关键的瓶颈。

主持人提到刘洺堉在三菱电机时似乎就与英伟达有合作,他澄清这并非事实。论文上同时出现两家公司的作者,是因为研究周期长,有些在三菱电机启动的项目,在他加入英伟达后继续优化并发表,并非公司间的直接合作。他当时甚至不知道英伟达有研究机构,面试后才了解到。他加入时,英伟达研究院规模很小,不到100人,且大部分人从事图形学(graphics)而非AI研究。

主持人追问在英伟达是否能获得充足的GPU。刘洺堉笑称“世界上没有任何一个地方GPU是够的”。但他承认自己是幸运的,作为公司内部最早用大量GPU做生成式模型的研究员之一,他早期做出了一些高关注度的工作,获得了公司和黄仁勋的信任,从而能获取较多GPU资源,但即便如此,他还是会觉得“自己的总是不够”。

关于如何在公司内部获得更多GPU,刘洺堉分享了他的心得:首先,必须理解公司需要解决的问题;其次,要能清晰地向领导层解释你的研究为何对公司有重要影响。他指出,研究员通常有很高的自尊心(high ego),但公司的本质是为股东盈利。他学到的是,要将自己坚信对世界重要的研究,转化为能让不懂AI的领导也理解其商业价值的论述。这成为他职业生涯中的一个重大转变。

话题推进:在谈到如何向公司领导解释研究价值后,主持人追问这一转变的具体发生过程,引出了刘洺堉对企业研究周期和“研究即产品”理念的深入思考。

01:00:00–01:10:00从“击败对手”到“生态整合”:模型竞争的终局思考

  • 你之前提到的第二个重要转变时刻,具体是在哪个项目发生的?
  • 你的研究理念似乎是“研究即产品”,这和之前的经历有关吗?
  • 你认为模型能力最终会趋同,但前沿实验室(Frontier Lab)认为智能还能高速提升,你不认可他们的观点吗?
  • 如果模型能力趋同,大家接下来竞争的是什么?大公司和创业公司分别如何竞争?

主持人追问刘洺堉“学会向领导解释研究重要性”这一转变的具体契机。刘洺堉表示这是一个渐进过程,但他在三菱电机研究院(MERL)的经历影响深远。他回顾道,MERL在90年代曾是能与微软研究院媲美的顶尖研究机构,吸引了众多著名学者。但后来公司战略转向,开始质疑“蓝天研究”(Blue Sky Research)的价值,导致经费缩减,大量顶尖学者流失。这让他很早就意识到企业研究机构存在周期性:繁荣期给予研究高度自由,但收缩期则会裁撤与公司短期利益不相关的项目。这段经历让他进入英伟达后,格外注重将自己的研究与公司战略对齐,并花心思向决策层沟通其价值,尤其是在深度学习这种高成本的研究领域。

主持人指出,刘洺堉的许多研究,如GauGAN (SPADE算法),都转化为了产品。刘洺堉对此做了修正,他认为GauGAN不能算是一个完整的产品,并分享了一个更重要的感悟:AI模型本身无法改变一切,最终会趋于同质化。他观察到,各大公司的顶尖模型(如Anthropic、GPT、Gemini)在性能上交替领先,差距逐渐缩小。因此,他很早就意识到,单纯依赖模型本身是不够的,关键在于与公司的生态系统(ecosystem)整合。他以谷歌的Gemini为例,其优势在于能与Google Docs、Search、Mail等庞大产品矩阵结合,形成飞轮效应:越多人使用,反馈越多,模型改进越快,从而获得更多投资。

基于此,他的研究心态也从早期追求在基准测试(benchmark)上“击败”对手,转变为思考如何“帮助这个领域变得更好”。他认为,历史证明,没有任何一家公司能永久垄断技术,人才和知识总会流动和扩散,AI也不例外。他不认为会出现某家公司遥遥领先,让其他所有公司都无法追赶的局面。

当被问及模型能力趋同后的竞争焦点时,刘洺堉明确指出是“整合”——与自身产品和生态的整合。对于大公司而言,这是核心竞争力。对于创业公司,机会在于解决大公司因规模太小(如年收入小于10亿美元)而不愿涉足的问题。他引用《创新者的窘境》的理论,指出创业公司可以在不被看好的领域中发现机会并逐渐壮大,英伟达自身就是这样成长起来的。因此,他认为创业者不应直接与OpenAI等巨头在同一维度竞争,因为资金和客户基础都处于劣势。

话题推进:在讨论了创业公司应寻找差异化定位后,话题自然地转向了具体的案例,如Anthropic如何通过专注Coding实现突围,并引申到当前AI领域的同质化竞争现象。

01:00:00–01:10:00从研究员到VP:在英伟达的晋升之路与管理哲学

  • 从研究员到英伟达VP,这常见吗?为什么是你?
  • 从研究员到管理者,解的题有什么不一样?
  • 成为管理者是否会抑制研究员的天性?你如何平衡?
  • 过去20年,对你影响最大的人是谁?
  • StyleGAN的作者对你有什么影响?

主持人询问刘洺堉从研究员到副总裁(VP)的职业路径在英伟达是否常见,他回答自己“可能是第一个”。他将自己的快速晋升归因于几个因素:首先,他在公司AI人才稀缺的早期就加入了,帮助公司提升了AI研究的知名度;其次,他非常注重研究的落地和与公司战略的对齐,通过一步步将项目成功执行,逐渐赢得了公司的信任。这种信任让他得以负责规模越来越大的项目,例如现在领导的Cosmos项目,每天涉及数百万美元的计算和存储成本。

主持人探讨了研究员与管理者角色的内在冲突。刘洺堉承认,研究员天生追求创新、认可,且自尊心强(high ego),这有时与公司的需求不完全一致。在成为管理者的过程中,他最担心的是与底层技术脱节,不理解问题的核心。为了避免这种情况,他强迫自己持续参与技术细节,包括审查代码(review code)、阅读论文、与团队成员就想法进行辩论。他认为自己是公司里少数还在看代码的VP,他这样做并非要成为最好的执行者,而是为了保持对一线痛点的理解,从而能看清每个人的贡献,帮助团队成长。

回顾过去20年的职业生涯,刘洺堉提到了几位对他影响深远的人:

1. 博士导师“老马”:教会他沟通的艺术和对人的尊重。

2. 实习时的第一位导师:手把手教他机器学习知识。

3. 英伟达的同事,StyleGAN的作者:这位同事对研究的极致追求给他留下了深刻印象。在许多研究员追求论文数量的时期,他每年只专注打磨一篇论文,将所有精力投入一个想法,深挖问题本质,最终做出重大贡献。刘洺堉从他身上学到了“保持专注”(stay focus)的重要性。

当被问及黄仁勋(老黄)的影响时,刘洺堉表示影响巨大,并由此展开了对黄仁勋工作风格的详细描述。

话题推进:在列举了对自己有重要影响的人物后,刘洺堉开始详细分享他从CEO黄仁勋身上学到的决策方式和工作哲学。

01:00:00–01:10:00向黄仁勋学习:决策、自律与中国功夫

  • 老黄对你有什么影响?
  • 他不懂一个领域为什么敢投入?
  • 老黄会把什么事情排除在他的计算范围之外?
  • 你是怎么保持精力的?

刘洺堉分享了CEO黄仁勋(老黄)对他产生的巨大影响。他形容黄仁勋是一个工作极其认真、热衷学习的人。在刘洺堉加入英伟达的早期,黄仁勋会经常发论文给他,让他阅读并做总结。他指出,黄仁勋并非生来就懂计算机图形学或深度学习,但他敢于投入,并通过强大的学习能力掌握这些领域。

黄仁勋的决策方式基于“第一性原理”(First Principle),即理清事物本质,不受外界信号干扰,做出最合理的长期决策。这使得他能在早期就果断投入深度学习和CUDA,为公司建立了巨大的领先优势。刘洺堉坦言,在认识黄仁勋之前,自己的决策多偏向短期,从他身上学到了如何做长期决策并坚持下去。

黄仁勋处理海量信息和做决策的方式也让刘洺堉印象深刻。黄仁勋每天阅读大量邮件,强迫自己快速判断事情的优先级(prioritization)。刘洺堉推测,这种日复一日的练习,让他能看得非常清楚。在决策执行时,黄仁勋极为理性,不受个人情感影响,唯一的目标是“照顾好整个公司”(take care of the whole company)。从黄仁勋身上,刘洺堉学会了如何进行高强度的“上下文切换”(context switch),从过去同时处理两三个主题就感到疲惫,到现在可以每半小时切换一个新主题。他将此与计算机科学中“懒惰”的原则类比:只计算必要的东西。学会判断什么不重要并将其移除,能极大提升人生效率。

当被问及如何保持精力时,刘洺堉分享了他的个人习惯:练习中国功夫。他从18岁起师从著名武术家徐纪(神枪李书文一脉),练习八极拳、劈挂掌等。他解释说,练习武术并非为了打斗,而是源于金庸小说的影响,并逐渐演变成一种对自我的磨练。武术的核心在于“控制自己”,通过不断练习,实现全身力量的协调与传导。这种对自我的检讨和追求,与他的研究哲学相通。最近,他还养成了“冰水浴”(Ice Plunge)的新习惯,在清晨练完拳后跳入冰桶,帮助身体修复,以应对每天高强度的工作挑战。

话题推进:主持人将刘洺堉练习武术时追求“一击制胜”的理念,巧妙地与他当前最重要的项目Cosmos联系起来,引出了关于Cosmos和世界模型的深入讨论。

01:00:00–01:10:00Cosmos的诞生:为物理AI打造“黑客帝国”

  • 你在个人主页上说要为机器人构建一个“黑客帝国”,请阐释一下这个愿景。
  • Cosmos项目是何时以及如何立项的?
  • 为什么当时选择面向物理AI(Physical AI)这个市场?
  • 大家对世界模型的定义不清晰,你的定义是什么?
  • Cosmos这个词能描述你在做的事吗?还是应该用别的词?

主持人引出刘洺堉的个人愿景——为机器人构建一个“黑客帝国”(The Matrix for Robots),并询问其内涵。刘洺堉解释说,这指的是通过世界模型(World Model)来解决具身智能(Embodied Intelligence)的泛化(generalization)问题。他认为,所有AI的核心问题都是泛化,即模型在未见过的场景中表现良好。Cosmos项目旨在从三个方面帮助物理AI实现泛化:

1. 更好的数据:通过生成模型创造真实世界中难以采集到的“长尾数据”(long-tail data)。

2. 更好的起点:训练一个理解世界运作规律的强大世界模型,其本身优秀的表示(representation)可以作为下游各种物理AI模型的骨干网络(backbone),提供一个更好的初始化或基础。

3. 更好的环境:创造出像“黑客帝国”一样逼真的、可交互的虚拟环境。由于在真实世界中进行实验成本高昂且效率低下,通过大规模并行的虚拟环境,机器人可以快速试错和学习。

关于Cosmos的立项过程,刘洺堉透露,项目始于2024年3月,正是在OpenAI发布Sora之后。Sora的出现让英伟达内部做生成模型的团队达成了共识:必须要做自己的世界模型。他和同事们分别或共同给黄仁勋写邮件表达了这一想法,黄仁勋随后召集会议,具体讨论了执行方案和负责人。在会议上,黄仁勋要求大家为项目命名,刘洺堉虽然觉得黄仁勋心中早有答案,但还是参与了思考。最终定名“Cosmos”(宇宙),这个名字精准地反映了项目的定位:并非为了内容创作,而是为了解决物理世界的问题,服务于物理AI社区。

之所以选择物理AI作为方向,是因为当时已能预见到这将是下一个技术革命,它能解决劳动力短缺、人口老龄化等社会刚需。同时,这也符合英伟达服务开发者(developer market)的商业模式——赋能他人创造产品,而非自己直接做应用。

当被问及“世界模型”的定义时,刘洺堉认为这是一个像“AGI”一样难以形成共识的笼统术语。他从实用角度出发,认为世界模型的形态取决于其用途,例如:用于“预测”未来、用于“理解”因果、或用于“重建”三维世界。由于用途不同,模型的定义和形态也各异,因此强行给出一个统一定义可能并不重要。相比之下,“大语言模型”(LLM)的定义就明确得多。因此,他们将Cosmos定义为“基座模型”(Foundation Model),目标是提供一个底层基础,让其他公司能在此之上构建自己所需的、针对特定用途的世界模型,尤其是那些没有足够资源从零开始的公司。

话题推进:在清晰地定义了Cosmos作为“基座模型”的定位后,主持人进一步询问英伟达如何看待与其他同样在做世界模型的公司(如Covariant.ai、李飞飞的实验室)之间的关系,引出了关于竞争与合作的讨论。

01:00:00–01:10:00从22个模型到1个:Cosmos的演进与“少即是多”

  • 英伟达也投资了其他做世界模型的公司,你们和他们做的世界模型有何差异?
  • 你们有竞争对手吗?
  • 从Cosmos 1到Cosmos 3,你们积累了哪些know-how?
  • 为什么从多个模型收敛到一个模型?

主持人问及英伟达与其他世界模型研究团队(如李飞飞的实验室、杨立昆的I-JEPA)的关系。刘洺堉强调,英伟达的定位是“赋能者”(enabler),希望帮助所有在英伟达生态系统(使用GPU、软件平台)上的公司取得成功,实现双赢。他认为,不同团队看到的切入点和想解决的问题各不相同,英伟达会投资并与他们合作。如果这些顶尖团队对Cosmos感兴趣,可以使用它;而对于那些资金和资源不如他们的公司,Cosmos则提供了更关键的帮助。他的目标是帮助整个领域成功,而非专注于竞争。

当被直接问及竞争对手时,刘洺堉表示,在做Cosmos项目时,他不去想竞争对手,而是思考如何帮助生态系统。他认为自己已经过了那个为了发论文而追求“算法比别人好”的阶段,现在的目标是共同推动领域发展。

接着,话题转向Cosmos项目自身的快速迭代。刘洺堉提到,从Cosmos 1到3的演进非常迅速,他深受DeepSeek一年迭代三次的启发,因此从一开始就强调快速迭代。项目初期(2024年),对于什么样的世界模型最有帮助,业界尚无定论。团队通过与合作伙伴沟通,明确了几个主要需求方向,如预测未来(prediction)、解释过去(reasoning)、以及提升仿真环境的真实感(sim-to-real transfer)。

最初,为了满足这些不同需求,他们开发了多个模型,比如用于预测的Predict模型、用于解释的Reason模型等。刘洺堉回忆,他曾向黄仁勋汇报,预计需要开发22个不同的模型。黄仁勋听后,先是称赞他工作努力,然后用路易威登(LV)的案例点拨他:LV减少专柜陈列的商品数量后,销售额反而提升了。这个“少即是多”的道理让他深受启发,因为过多的模型选项不仅会困惑用户,也会给自己的团队带来巨大的维护负担,拖慢迭代速度,正应了《孙子兵法》中的“备多则力寡”。

最终,团队决定将多个模型统一为一个。这一决策背后有两个核心逻辑:第一,所有模型本质上都是在描述同一个物理世界,它们应该能共享一个统一的内部表示(internal representation);第二,基座模型(Foundation Model)的核心理念就是“海纳百川”,将不同来源、不同任务的数据整合在一起训练,可以突破单一模型的上限。因此,从技术原理和工程实践的双重角度出发,Cosmos最终走向了单一模型的道路。

话题推进:本段详细解释了Cosmos从多模型到单模型的演进逻辑,为后续深入探讨Cosmos 3的具体技术细节和架构设计铺平了道路。

01:10:00–01:20:00连续对话 8

01:10:00–01:20:00从GAN到Diffusion:一次关键的技术路线转向

  • 你提到从GAN转向Diffusion,这大概是哪一年?
  • 面对计算范式的几次变化(传统方法、GAN、Diffusion),作为研究员是什么心态?会不会觉得之前的工作白做了?
  • 你多次提到实习生,在AI Lab里通过实习生涌现想法是否常见?你怎么看待年轻人?

嘉宾刘洺堉回顾了他在研究生涯中的一次关键技术路线转变。他提到,在与实习生Jeremy合作的时期,他们发表了一系列论文,试图让GAN的训练过程更稳定,但多年的努力最终得出的结论是GAN不具备可扩展性(not scalable)。

大约在2021年,刘洺堉的团队注意到了Diffusion模型。他认为Diffusion模型在训练时非常稳定,相比之下,GAN难以扩展,而“不Scalable的东西最后做不远”。因此,他做出了一个艰难的决定:让整个为研究GAN而建立的团队转向Diffusion模型。他解释说,当时他并未早期接触2017年就已出现的Transformer,因为他一直专注于GAN,而早期的GAN主要使用卷积网络(Convolutional Network)。直到后来Diffusion与Transformer结合,做Diffusion的研究者才逐渐转向Transformer架构。

团队转向后,研究路径从图像生成(Image Generation)开始,逐步扩展到多视角图像(Multi-view Image),再到3D生成(3D Generation),最终形成了一系列名为“Edify”的成果,包括Edify Image Generator、Edify 3D和Edify Video。

主持人追问,面对这种从GAN到Diffusion的技术范式转变,是否会觉得以往的工作白费了。刘洺堉否定了这种看法,他引用黄仁勋的话“suffering, little goodness”,认为这些经历让他越来越能掌握事物的本质。他将科研比作寻找描述世界运作的最简单方式,而技术方法的演进正是将事情变得越来越简单的过程,就像他后来的项目Cosmos从多个模型最终统一成一个模型一样。他强调,在当时的技术条件、算力和数据下,过去的研究是合理的,并且那些经验对现在的理解仍有很大帮助。

主持人接着问及实习生在研究中的作用。刘洺堉将研究的繁荣比作思想的快速流动,认为实习生带来了思想的多样性(diversity)。如果只与同事交流,思想来源会比较单一。通过与来自不同背景、充满想法的实习生合作,可以实现教学相长,这对双方的成长都至关重要。

话题推进:在讨论完技术路线的转变和研究方法后,主持人将话题转向了刘洺堉的职业发展,询问他为何在2016年选择加入英伟达。

01:10:00–01:20:00加入英伟达:追逐算力的职业选择

  • 你16年加入英伟达,这个职业变化是怎么发生的?
  • 你在三菱电机时就和英伟达的人有论文合作吗?
  • 加入英伟达做研究,真的像预期的那样有很多GPU吗?
  • 在英伟达这样的公司,要如何获得更多的GPU?

刘洺堉解释了他从三菱电机研究所(MERL)加入英伟达的原因。自从开始做深度学习后,他深信算力的重要性。然而,三菱电机并不重视算力,他需要频繁地向经理争取购买GPU的经费。促使他离职的直接原因是一位对他影响深远的导师(mentor)安佐指导的离开。这位导师离职加入苹果后,刘洺堉也开始考虑新的工作机会。

在与多家科技巨头(如谷歌、苹果、亚马逊、Meta)接触后,英伟达的招聘人员找到了他。他意识到,既然自己如此渴望GPU,为何不直接加入生产GPU的公司?这个决定在当时并未得到父亲的理解,因为那时英伟达的知名度远不如苹果或谷歌。但刘洺堉坚持自己的判断:GPU是最重要的。他当时研究的自监督学习(self-supervised approach)降低了对数据标注的需求,使得算力成为更关键的瓶颈。

主持人提到刘洺堉在三菱电机时似乎就与英伟达有合作,他澄清这并非事实。论文上同时出现两家公司的作者,是因为研究周期长,有些在三菱电机启动的项目,在他加入英伟达后继续优化并发表,并非公司间的直接合作。他当时甚至不知道英伟达有研究机构,面试后才了解到。他加入时,英伟达研究院规模很小,不到100人,且大部分人从事图形学(graphics)而非AI研究。

主持人追问在英伟达是否能获得充足的GPU。刘洺堉笑称“世界上没有任何一个地方GPU是够的”。但他承认自己是幸运的,作为公司内部最早用大量GPU做生成式模型的研究员之一,他早期做出了一些高关注度的工作,获得了公司和黄仁勋的信任,从而能获取较多GPU资源,但即便如此,他还是会觉得“自己的总是不够”。

关于如何在公司内部获得更多GPU,刘洺堉分享了他的心得:首先,必须理解公司需要解决的问题;其次,要能清晰地向领导层解释你的研究为何对公司有重要影响。他指出,研究员通常有很高的自尊心(high ego),但公司的本质是为股东盈利。他学到的是,要将自己坚信对世界重要的研究,转化为能让不懂AI的领导也理解其商业价值的论述。这成为他职业生涯中的一个重大转变。

话题推进:在谈到如何向公司领导解释研究价值后,主持人追问这一转变的具体发生过程,引出了刘洺堉对企业研究周期和“研究即产品”理念的深入思考。

01:10:00–01:20:00从“击败对手”到“生态整合”:模型竞争的终局思考

  • 你之前提到的第二个重要转变时刻,具体是在哪个项目发生的?
  • 你的研究理念似乎是“研究即产品”,这和之前的经历有关吗?
  • 你认为模型能力最终会趋同,但前沿实验室(Frontier Lab)认为智能还能高速提升,你不认可他们的观点吗?
  • 如果模型能力趋同,大家接下来竞争的是什么?大公司和创业公司分别如何竞争?

主持人追问刘洺堉“学会向领导解释研究重要性”这一转变的具体契机。刘洺堉表示这是一个渐进过程,但他在三菱电机研究院(MERL)的经历影响深远。他回顾道,MERL在90年代曾是能与微软研究院媲美的顶尖研究机构,吸引了众多著名学者。但后来公司战略转向,开始质疑“蓝天研究”(Blue Sky Research)的价值,导致经费缩减,大量顶尖学者流失。这让他很早就意识到企业研究机构存在周期性:繁荣期给予研究高度自由,但收缩期则会裁撤与公司短期利益不相关的项目。这段经历让他进入英伟达后,格外注重将自己的研究与公司战略对齐,并花心思向决策层沟通其价值,尤其是在深度学习这种高成本的研究领域。

主持人指出,刘洺堉的许多研究,如GauGAN (SPADE算法),都转化为了产品。刘洺堉对此做了修正,他认为GauGAN不能算是一个完整的产品,并分享了一个更重要的感悟:AI模型本身无法改变一切,最终会趋于同质化。他观察到,各大公司的顶尖模型(如Anthropic、GPT、Gemini)在性能上交替领先,差距逐渐缩小。因此,他很早就意识到,单纯依赖模型本身是不够的,关键在于与公司的生态系统(ecosystem)整合。他以谷歌的Gemini为例,其优势在于能与Google Docs、Search、Mail等庞大产品矩阵结合,形成飞轮效应:越多人使用,反馈越多,模型改进越快,从而获得更多投资。

基于此,他的研究心态也从早期追求在基准测试(benchmark)上“击败”对手,转变为思考如何“帮助这个领域变得更好”。他认为,历史证明,没有任何一家公司能永久垄断技术,人才和知识总会流动和扩散,AI也不例外。他不认为会出现某家公司遥遥领先,让其他所有公司都无法追赶的局面。

当被问及模型能力趋同后的竞争焦点时,刘洺堉明确指出是“整合”——与自身产品和生态的整合。对于大公司而言,这是核心竞争力。对于创业公司,机会在于解决大公司因规模太小(如年收入小于10亿美元)而不愿涉足的问题。他引用《创新者的窘境》的理论,指出创业公司可以在不被看好的领域中发现机会并逐渐壮大,英伟达自身就是这样成长起来的。因此,他认为创业者不应直接与OpenAI等巨头在同一维度竞争,因为资金和客户基础都处于劣势。

话题推进:在讨论了创业公司应寻找差异化定位后,话题自然地转向了具体的案例,如Anthropic如何通过专注Coding实现突围,并引申到当前AI领域的同质化竞争现象。

01:10:00–01:20:00从研究员到VP:在英伟达的晋升之路与管理哲学

  • 从研究员到英伟达VP,这常见吗?为什么是你?
  • 从研究员到管理者,解的题有什么不一样?
  • 成为管理者是否会抑制研究员的天性?你如何平衡?
  • 过去20年,对你影响最大的人是谁?
  • StyleGAN的作者对你有什么影响?

主持人询问刘洺堉从研究员到副总裁(VP)的职业路径在英伟达是否常见,他回答自己“可能是第一个”。他将自己的快速晋升归因于几个因素:首先,他在公司AI人才稀缺的早期就加入了,帮助公司提升了AI研究的知名度;其次,他非常注重研究的落地和与公司战略的对齐,通过一步步将项目成功执行,逐渐赢得了公司的信任。这种信任让他得以负责规模越来越大的项目,例如现在领导的Cosmos项目,每天涉及数百万美元的计算和存储成本。

主持人探讨了研究员与管理者角色的内在冲突。刘洺堉承认,研究员天生追求创新、认可,且自尊心强(high ego),这有时与公司的需求不完全一致。在成为管理者的过程中,他最担心的是与底层技术脱节,不理解问题的核心。为了避免这种情况,他强迫自己持续参与技术细节,包括审查代码(review code)、阅读论文、与团队成员就想法进行辩论。他认为自己是公司里少数还在看代码的VP,他这样做并非要成为最好的执行者,而是为了保持对一线痛点的理解,从而能看清每个人的贡献,帮助团队成长。

回顾过去20年的职业生涯,刘洺堉提到了几位对他影响深远的人:

1. 博士导师“老马”:教会他沟通的艺术和对人的尊重。

2. 实习时的第一位导师:手把手教他机器学习知识。

3. 英伟达的同事,StyleGAN的作者:这位同事对研究的极致追求给他留下了深刻印象。在许多研究员追求论文数量的时期,他每年只专注打磨一篇论文,将所有精力投入一个想法,深挖问题本质,最终做出重大贡献。刘洺堉从他身上学到了“保持专注”(stay focus)的重要性。

当被问及黄仁勋(老黄)的影响时,刘洺堉表示影响巨大,并由此展开了对黄仁勋工作风格的详细描述。

话题推进:在列举了对自己有重要影响的人物后,刘洺堉开始详细分享他从CEO黄仁勋身上学到的决策方式和工作哲学。

01:10:00–01:20:00向黄仁勋学习:决策、自律与中国功夫

  • 老黄对你有什么影响?
  • 他不懂一个领域为什么敢投入?
  • 老黄会把什么事情排除在他的计算范围之外?
  • 你是怎么保持精力的?

刘洺堉分享了CEO黄仁勋(老黄)对他产生的巨大影响。他形容黄仁勋是一个工作极其认真、热衷学习的人。在刘洺堉加入英伟达的早期,黄仁勋会经常发论文给他,让他阅读并做总结。他指出,黄仁勋并非生来就懂计算机图形学或深度学习,但他敢于投入,并通过强大的学习能力掌握这些领域。

黄仁勋的决策方式基于“第一性原理”(First Principle),即理清事物本质,不受外界信号干扰,做出最合理的长期决策。这使得他能在早期就果断投入深度学习和CUDA,为公司建立了巨大的领先优势。刘洺堉坦言,在认识黄仁勋之前,自己的决策多偏向短期,从他身上学到了如何做长期决策并坚持下去。

黄仁勋处理海量信息和做决策的方式也让刘洺堉印象深刻。黄仁勋每天阅读大量邮件,强迫自己快速判断事情的优先级(prioritization)。刘洺堉推测,这种日复一日的练习,让他能看得非常清楚。在决策执行时,黄仁勋极为理性,不受个人情感影响,唯一的目标是“照顾好整个公司”(take care of the whole company)。从黄仁勋身上,刘洺堉学会了如何进行高强度的“上下文切换”(context switch),从过去同时处理两三个主题就感到疲惫,到现在可以每半小时切换一个新主题。他将此与计算机科学中“懒惰”的原则类比:只计算必要的东西。学会判断什么不重要并将其移除,能极大提升人生效率。

当被问及如何保持精力时,刘洺堉分享了他的个人习惯:练习中国功夫。他从18岁起师从著名武术家徐纪(神枪李书文一脉),练习八极拳、劈挂掌等。他解释说,练习武术并非为了打斗,而是源于金庸小说的影响,并逐渐演变成一种对自我的磨练。武术的核心在于“控制自己”,通过不断练习,实现全身力量的协调与传导。这种对自我的检讨和追求,与他的研究哲学相通。最近,他还养成了“冰水浴”(Ice Plunge)的新习惯,在清晨练完拳后跳入冰桶,帮助身体修复,以应对每天高强度的工作挑战。

话题推进:主持人将刘洺堉练习武术时追求“一击制胜”的理念,巧妙地与他当前最重要的项目Cosmos联系起来,引出了关于Cosmos和世界模型的深入讨论。

01:10:00–01:20:00Cosmos的诞生:为物理AI打造“黑客帝国”

  • 你在个人主页上说要为机器人构建一个“黑客帝国”,请阐释一下这个愿景。
  • Cosmos项目是何时以及如何立项的?
  • 为什么当时选择面向物理AI(Physical AI)这个市场?
  • 大家对世界模型的定义不清晰,你的定义是什么?
  • Cosmos这个词能描述你在做的事吗?还是应该用别的词?

主持人引出刘洺堉的个人愿景——为机器人构建一个“黑客帝国”(The Matrix for Robots),并询问其内涵。刘洺堉解释说,这指的是通过世界模型(World Model)来解决具身智能(Embodied Intelligence)的泛化(generalization)问题。他认为,所有AI的核心问题都是泛化,即模型在未见过的场景中表现良好。Cosmos项目旨在从三个方面帮助物理AI实现泛化:

1. 更好的数据:通过生成模型创造真实世界中难以采集到的“长尾数据”(long-tail data)。

2. 更好的起点:训练一个理解世界运作规律的强大世界模型,其本身优秀的表示(representation)可以作为下游各种物理AI模型的骨干网络(backbone),提供一个更好的初始化或基础。

3. 更好的环境:创造出像“黑客帝国”一样逼真的、可交互的虚拟环境。由于在真实世界中进行实验成本高昂且效率低下,通过大规模并行的虚拟环境,机器人可以快速试错和学习。

关于Cosmos的立项过程,刘洺堉透露,项目始于2024年3月,正是在OpenAI发布Sora之后。Sora的出现让英伟达内部做生成模型的团队达成了共识:必须要做自己的世界模型。他和同事们分别或共同给黄仁勋写邮件表达了这一想法,黄仁勋随后召集会议,具体讨论了执行方案和负责人。在会议上,黄仁勋要求大家为项目命名,刘洺堉虽然觉得黄仁勋心中早有答案,但还是参与了思考。最终定名“Cosmos”(宇宙),这个名字精准地反映了项目的定位:并非为了内容创作,而是为了解决物理世界的问题,服务于物理AI社区。

之所以选择物理AI作为方向,是因为当时已能预见到这将是下一个技术革命,它能解决劳动力短缺、人口老龄化等社会刚需。同时,这也符合英伟达服务开发者(developer market)的商业模式——赋能他人创造产品,而非自己直接做应用。

当被问及“世界模型”的定义时,刘洺堉认为这是一个像“AGI”一样难以形成共识的笼统术语。他从实用角度出发,认为世界模型的形态取决于其用途,例如:用于“预测”未来、用于“理解”因果、或用于“重建”三维世界。由于用途不同,模型的定义和形态也各异,因此强行给出一个统一定义可能并不重要。相比之下,“大语言模型”(LLM)的定义就明确得多。因此,他们将Cosmos定义为“基座模型”(Foundation Model),目标是提供一个底层基础,让其他公司能在此之上构建自己所需的、针对特定用途的世界模型,尤其是那些没有足够资源从零开始的公司。

话题推进:在清晰地定义了Cosmos作为“基座模型”的定位后,主持人进一步询问英伟达如何看待与其他同样在做世界模型的公司(如Covariant.ai、李飞飞的实验室)之间的关系,引出了关于竞争与合作的讨论。

01:10:00–01:20:00从22个模型到1个:Cosmos的演进与“少即是多”

  • 英伟达也投资了其他做世界模型的公司,你们和他们做的世界模型有何差异?
  • 你们有竞争对手吗?
  • 从Cosmos 1到Cosmos 3,你们积累了哪些know-how?
  • 为什么从多个模型收敛到一个模型?

主持人问及英伟达与其他世界模型研究团队(如李飞飞的实验室、杨立昆的I-JEPA)的关系。刘洺堉强调,英伟达的定位是“赋能者”(enabler),希望帮助所有在英伟达生态系统(使用GPU、软件平台)上的公司取得成功,实现双赢。他认为,不同团队看到的切入点和想解决的问题各不相同,英伟达会投资并与他们合作。如果这些顶尖团队对Cosmos感兴趣,可以使用它;而对于那些资金和资源不如他们的公司,Cosmos则提供了更关键的帮助。他的目标是帮助整个领域成功,而非专注于竞争。

当被直接问及竞争对手时,刘洺堉表示,在做Cosmos项目时,他不去想竞争对手,而是思考如何帮助生态系统。他认为自己已经过了那个为了发论文而追求“算法比别人好”的阶段,现在的目标是共同推动领域发展。

接着,话题转向Cosmos项目自身的快速迭代。刘洺堉提到,从Cosmos 1到3的演进非常迅速,他深受DeepSeek一年迭代三次的启发,因此从一开始就强调快速迭代。项目初期(2024年),对于什么样的世界模型最有帮助,业界尚无定论。团队通过与合作伙伴沟通,明确了几个主要需求方向,如预测未来(prediction)、解释过去(reasoning)、以及提升仿真环境的真实感(sim-to-real transfer)。

最初,为了满足这些不同需求,他们开发了多个模型,比如用于预测的Predict模型、用于解释的Reason模型等。刘洺堉回忆,他曾向黄仁勋汇报,预计需要开发22个不同的模型。黄仁勋听后,先是称赞他工作努力,然后用路易威登(LV)的案例点拨他:LV减少专柜陈列的商品数量后,销售额反而提升了。这个“少即是多”的道理让他深受启发,因为过多的模型选项不仅会困惑用户,也会给自己的团队带来巨大的维护负担,拖慢迭代速度,正应了《孙子兵法》中的“备多则力寡”。

最终,团队决定将多个模型统一为一个。这一决策背后有两个核心逻辑:第一,所有模型本质上都是在描述同一个物理世界,它们应该能共享一个统一的内部表示(internal representation);第二,基座模型(Foundation Model)的核心理念就是“海纳百川”,将不同来源、不同任务的数据整合在一起训练,可以突破单一模型的上限。因此,从技术原理和工程实践的双重角度出发,Cosmos最终走向了单一模型的道路。

话题推进:本段详细解释了Cosmos从多模型到单模型的演进逻辑,为后续深入探讨Cosmos 3的具体技术细节和架构设计铺平了道路。

01:20:00–01:30:00连续对话 9

01:20:00–01:30:00从GAN到Diffusion:一次关键的技术路线转向

  • 你提到从GAN转向Diffusion,这大概是哪一年?
  • 面对计算范式的几次变化(传统方法、GAN、Diffusion),作为研究员是什么心态?会不会觉得之前的工作白做了?
  • 你多次提到实习生,在AI Lab里通过实习生涌现想法是否常见?你怎么看待年轻人?

嘉宾刘洺堉回顾了他在研究生涯中的一次关键技术路线转变。他提到,在与实习生Jeremy合作的时期,他们发表了一系列论文,试图让GAN的训练过程更稳定,但多年的努力最终得出的结论是GAN不具备可扩展性(not scalable)。

大约在2021年,刘洺堉的团队注意到了Diffusion模型。他认为Diffusion模型在训练时非常稳定,相比之下,GAN难以扩展,而“不Scalable的东西最后做不远”。因此,他做出了一个艰难的决定:让整个为研究GAN而建立的团队转向Diffusion模型。他解释说,当时他并未早期接触2017年就已出现的Transformer,因为他一直专注于GAN,而早期的GAN主要使用卷积网络(Convolutional Network)。直到后来Diffusion与Transformer结合,做Diffusion的研究者才逐渐转向Transformer架构。

团队转向后,研究路径从图像生成(Image Generation)开始,逐步扩展到多视角图像(Multi-view Image),再到3D生成(3D Generation),最终形成了一系列名为“Edify”的成果,包括Edify Image Generator、Edify 3D和Edify Video。

主持人追问,面对这种从GAN到Diffusion的技术范式转变,是否会觉得以往的工作白费了。刘洺堉否定了这种看法,他引用黄仁勋的话“suffering, little goodness”,认为这些经历让他越来越能掌握事物的本质。他将科研比作寻找描述世界运作的最简单方式,而技术方法的演进正是将事情变得越来越简单的过程,就像他后来的项目Cosmos从多个模型最终统一成一个模型一样。他强调,在当时的技术条件、算力和数据下,过去的研究是合理的,并且那些经验对现在的理解仍有很大帮助。

主持人接着问及实习生在研究中的作用。刘洺堉将研究的繁荣比作思想的快速流动,认为实习生带来了思想的多样性(diversity)。如果只与同事交流,思想来源会比较单一。通过与来自不同背景、充满想法的实习生合作,可以实现教学相长,这对双方的成长都至关重要。

话题推进:在讨论完技术路线的转变和研究方法后,主持人将话题转向了刘洺堉的职业发展,询问他为何在2016年选择加入英伟达。

01:20:00–01:30:00加入英伟达:追逐算力的职业选择

  • 你16年加入英伟达,这个职业变化是怎么发生的?
  • 你在三菱电机时就和英伟达的人有论文合作吗?
  • 加入英伟达做研究,真的像预期的那样有很多GPU吗?
  • 在英伟达这样的公司,要如何获得更多的GPU?

刘洺堉解释了他从三菱电机研究所(MERL)加入英伟达的原因。自从开始做深度学习后,他深信算力的重要性。然而,三菱电机并不重视算力,他需要频繁地向经理争取购买GPU的经费。促使他离职的直接原因是一位对他影响深远的导师(mentor)安佐指导的离开。这位导师离职加入苹果后,刘洺堉也开始考虑新的工作机会。

在与多家科技巨头(如谷歌、苹果、亚马逊、Meta)接触后,英伟达的招聘人员找到了他。他意识到,既然自己如此渴望GPU,为何不直接加入生产GPU的公司?这个决定在当时并未得到父亲的理解,因为那时英伟达的知名度远不如苹果或谷歌。但刘洺堉坚持自己的判断:GPU是最重要的。他当时研究的自监督学习(self-supervised approach)降低了对数据标注的需求,使得算力成为更关键的瓶颈。

主持人提到刘洺堉在三菱电机时似乎就与英伟达有合作,他澄清这并非事实。论文上同时出现两家公司的作者,是因为研究周期长,有些在三菱电机启动的项目,在他加入英伟达后继续优化并发表,并非公司间的直接合作。他当时甚至不知道英伟达有研究机构,面试后才了解到。他加入时,英伟达研究院规模很小,不到100人,且大部分人从事图形学(graphics)而非AI研究。

主持人追问在英伟达是否能获得充足的GPU。刘洺堉笑称“世界上没有任何一个地方GPU是够的”。但他承认自己是幸运的,作为公司内部最早用大量GPU做生成式模型的研究员之一,他早期做出了一些高关注度的工作,获得了公司和黄仁勋的信任,从而能获取较多GPU资源,但即便如此,他还是会觉得“自己的总是不够”。

关于如何在公司内部获得更多GPU,刘洺堉分享了他的心得:首先,必须理解公司需要解决的问题;其次,要能清晰地向领导层解释你的研究为何对公司有重要影响。他指出,研究员通常有很高的自尊心(high ego),但公司的本质是为股东盈利。他学到的是,要将自己坚信对世界重要的研究,转化为能让不懂AI的领导也理解其商业价值的论述。这成为他职业生涯中的一个重大转变。

话题推进:在谈到如何向公司领导解释研究价值后,主持人追问这一转变的具体发生过程,引出了刘洺堉对企业研究周期和“研究即产品”理念的深入思考。

01:20:00–01:30:00从“击败对手”到“生态整合”:模型竞争的终局思考

  • 你之前提到的第二个重要转变时刻,具体是在哪个项目发生的?
  • 你的研究理念似乎是“研究即产品”,这和之前的经历有关吗?
  • 你认为模型能力最终会趋同,但前沿实验室(Frontier Lab)认为智能还能高速提升,你不认可他们的观点吗?
  • 如果模型能力趋同,大家接下来竞争的是什么?大公司和创业公司分别如何竞争?

主持人追问刘洺堉“学会向领导解释研究重要性”这一转变的具体契机。刘洺堉表示这是一个渐进过程,但他在三菱电机研究院(MERL)的经历影响深远。他回顾道,MERL在90年代曾是能与微软研究院媲美的顶尖研究机构,吸引了众多著名学者。但后来公司战略转向,开始质疑“蓝天研究”(Blue Sky Research)的价值,导致经费缩减,大量顶尖学者流失。这让他很早就意识到企业研究机构存在周期性:繁荣期给予研究高度自由,但收缩期则会裁撤与公司短期利益不相关的项目。这段经历让他进入英伟达后,格外注重将自己的研究与公司战略对齐,并花心思向决策层沟通其价值,尤其是在深度学习这种高成本的研究领域。

主持人指出,刘洺堉的许多研究,如GauGAN (SPADE算法),都转化为了产品。刘洺堉对此做了修正,他认为GauGAN不能算是一个完整的产品,并分享了一个更重要的感悟:AI模型本身无法改变一切,最终会趋于同质化。他观察到,各大公司的顶尖模型(如Anthropic、GPT、Gemini)在性能上交替领先,差距逐渐缩小。因此,他很早就意识到,单纯依赖模型本身是不够的,关键在于与公司的生态系统(ecosystem)整合。他以谷歌的Gemini为例,其优势在于能与Google Docs、Search、Mail等庞大产品矩阵结合,形成飞轮效应:越多人使用,反馈越多,模型改进越快,从而获得更多投资。

基于此,他的研究心态也从早期追求在基准测试(benchmark)上“击败”对手,转变为思考如何“帮助这个领域变得更好”。他认为,历史证明,没有任何一家公司能永久垄断技术,人才和知识总会流动和扩散,AI也不例外。他不认为会出现某家公司遥遥领先,让其他所有公司都无法追赶的局面。

当被问及模型能力趋同后的竞争焦点时,刘洺堉明确指出是“整合”——与自身产品和生态的整合。对于大公司而言,这是核心竞争力。对于创业公司,机会在于解决大公司因规模太小(如年收入小于10亿美元)而不愿涉足的问题。他引用《创新者的窘境》的理论,指出创业公司可以在不被看好的领域中发现机会并逐渐壮大,英伟达自身就是这样成长起来的。因此,他认为创业者不应直接与OpenAI等巨头在同一维度竞争,因为资金和客户基础都处于劣势。

话题推进:在讨论了创业公司应寻找差异化定位后,话题自然地转向了具体的案例,如Anthropic如何通过专注Coding实现突围,并引申到当前AI领域的同质化竞争现象。

01:20:00–01:30:00从研究员到VP:在英伟达的晋升之路与管理哲学

  • 从研究员到英伟达VP,这常见吗?为什么是你?
  • 从研究员到管理者,解的题有什么不一样?
  • 成为管理者是否会抑制研究员的天性?你如何平衡?
  • 过去20年,对你影响最大的人是谁?
  • StyleGAN的作者对你有什么影响?

主持人询问刘洺堉从研究员到副总裁(VP)的职业路径在英伟达是否常见,他回答自己“可能是第一个”。他将自己的快速晋升归因于几个因素:首先,他在公司AI人才稀缺的早期就加入了,帮助公司提升了AI研究的知名度;其次,他非常注重研究的落地和与公司战略的对齐,通过一步步将项目成功执行,逐渐赢得了公司的信任。这种信任让他得以负责规模越来越大的项目,例如现在领导的Cosmos项目,每天涉及数百万美元的计算和存储成本。

主持人探讨了研究员与管理者角色的内在冲突。刘洺堉承认,研究员天生追求创新、认可,且自尊心强(high ego),这有时与公司的需求不完全一致。在成为管理者的过程中,他最担心的是与底层技术脱节,不理解问题的核心。为了避免这种情况,他强迫自己持续参与技术细节,包括审查代码(review code)、阅读论文、与团队成员就想法进行辩论。他认为自己是公司里少数还在看代码的VP,他这样做并非要成为最好的执行者,而是为了保持对一线痛点的理解,从而能看清每个人的贡献,帮助团队成长。

回顾过去20年的职业生涯,刘洺堉提到了几位对他影响深远的人:

1. 博士导师“老马”:教会他沟通的艺术和对人的尊重。

2. 实习时的第一位导师:手把手教他机器学习知识。

3. 英伟达的同事,StyleGAN的作者:这位同事对研究的极致追求给他留下了深刻印象。在许多研究员追求论文数量的时期,他每年只专注打磨一篇论文,将所有精力投入一个想法,深挖问题本质,最终做出重大贡献。刘洺堉从他身上学到了“保持专注”(stay focus)的重要性。

当被问及黄仁勋(老黄)的影响时,刘洺堉表示影响巨大,并由此展开了对黄仁勋工作风格的详细描述。

话题推进:在列举了对自己有重要影响的人物后,刘洺堉开始详细分享他从CEO黄仁勋身上学到的决策方式和工作哲学。

01:20:00–01:30:00向黄仁勋学习:决策、自律与中国功夫

  • 老黄对你有什么影响?
  • 他不懂一个领域为什么敢投入?
  • 老黄会把什么事情排除在他的计算范围之外?
  • 你是怎么保持精力的?

刘洺堉分享了CEO黄仁勋(老黄)对他产生的巨大影响。他形容黄仁勋是一个工作极其认真、热衷学习的人。在刘洺堉加入英伟达的早期,黄仁勋会经常发论文给他,让他阅读并做总结。他指出,黄仁勋并非生来就懂计算机图形学或深度学习,但他敢于投入,并通过强大的学习能力掌握这些领域。

黄仁勋的决策方式基于“第一性原理”(First Principle),即理清事物本质,不受外界信号干扰,做出最合理的长期决策。这使得他能在早期就果断投入深度学习和CUDA,为公司建立了巨大的领先优势。刘洺堉坦言,在认识黄仁勋之前,自己的决策多偏向短期,从他身上学到了如何做长期决策并坚持下去。

黄仁勋处理海量信息和做决策的方式也让刘洺堉印象深刻。黄仁勋每天阅读大量邮件,强迫自己快速判断事情的优先级(prioritization)。刘洺堉推测,这种日复一日的练习,让他能看得非常清楚。在决策执行时,黄仁勋极为理性,不受个人情感影响,唯一的目标是“照顾好整个公司”(take care of the whole company)。从黄仁勋身上,刘洺堉学会了如何进行高强度的“上下文切换”(context switch),从过去同时处理两三个主题就感到疲惫,到现在可以每半小时切换一个新主题。他将此与计算机科学中“懒惰”的原则类比:只计算必要的东西。学会判断什么不重要并将其移除,能极大提升人生效率。

当被问及如何保持精力时,刘洺堉分享了他的个人习惯:练习中国功夫。他从18岁起师从著名武术家徐纪(神枪李书文一脉),练习八极拳、劈挂掌等。他解释说,练习武术并非为了打斗,而是源于金庸小说的影响,并逐渐演变成一种对自我的磨练。武术的核心在于“控制自己”,通过不断练习,实现全身力量的协调与传导。这种对自我的检讨和追求,与他的研究哲学相通。最近,他还养成了“冰水浴”(Ice Plunge)的新习惯,在清晨练完拳后跳入冰桶,帮助身体修复,以应对每天高强度的工作挑战。

话题推进:主持人将刘洺堉练习武术时追求“一击制胜”的理念,巧妙地与他当前最重要的项目Cosmos联系起来,引出了关于Cosmos和世界模型的深入讨论。

01:20:00–01:30:00Cosmos的诞生:为物理AI打造“黑客帝国”

  • 你在个人主页上说要为机器人构建一个“黑客帝国”,请阐释一下这个愿景。
  • Cosmos项目是何时以及如何立项的?
  • 为什么当时选择面向物理AI(Physical AI)这个市场?
  • 大家对世界模型的定义不清晰,你的定义是什么?
  • Cosmos这个词能描述你在做的事吗?还是应该用别的词?

主持人引出刘洺堉的个人愿景——为机器人构建一个“黑客帝国”(The Matrix for Robots),并询问其内涵。刘洺堉解释说,这指的是通过世界模型(World Model)来解决具身智能(Embodied Intelligence)的泛化(generalization)问题。他认为,所有AI的核心问题都是泛化,即模型在未见过的场景中表现良好。Cosmos项目旨在从三个方面帮助物理AI实现泛化:

1. 更好的数据:通过生成模型创造真实世界中难以采集到的“长尾数据”(long-tail data)。

2. 更好的起点:训练一个理解世界运作规律的强大世界模型,其本身优秀的表示(representation)可以作为下游各种物理AI模型的骨干网络(backbone),提供一个更好的初始化或基础。

3. 更好的环境:创造出像“黑客帝国”一样逼真的、可交互的虚拟环境。由于在真实世界中进行实验成本高昂且效率低下,通过大规模并行的虚拟环境,机器人可以快速试错和学习。

关于Cosmos的立项过程,刘洺堉透露,项目始于2024年3月,正是在OpenAI发布Sora之后。Sora的出现让英伟达内部做生成模型的团队达成了共识:必须要做自己的世界模型。他和同事们分别或共同给黄仁勋写邮件表达了这一想法,黄仁勋随后召集会议,具体讨论了执行方案和负责人。在会议上,黄仁勋要求大家为项目命名,刘洺堉虽然觉得黄仁勋心中早有答案,但还是参与了思考。最终定名“Cosmos”(宇宙),这个名字精准地反映了项目的定位:并非为了内容创作,而是为了解决物理世界的问题,服务于物理AI社区。

之所以选择物理AI作为方向,是因为当时已能预见到这将是下一个技术革命,它能解决劳动力短缺、人口老龄化等社会刚需。同时,这也符合英伟达服务开发者(developer market)的商业模式——赋能他人创造产品,而非自己直接做应用。

当被问及“世界模型”的定义时,刘洺堉认为这是一个像“AGI”一样难以形成共识的笼统术语。他从实用角度出发,认为世界模型的形态取决于其用途,例如:用于“预测”未来、用于“理解”因果、或用于“重建”三维世界。由于用途不同,模型的定义和形态也各异,因此强行给出一个统一定义可能并不重要。相比之下,“大语言模型”(LLM)的定义就明确得多。因此,他们将Cosmos定义为“基座模型”(Foundation Model),目标是提供一个底层基础,让其他公司能在此之上构建自己所需的、针对特定用途的世界模型,尤其是那些没有足够资源从零开始的公司。

话题推进:在清晰地定义了Cosmos作为“基座模型”的定位后,主持人进一步询问英伟达如何看待与其他同样在做世界模型的公司(如Covariant.ai、李飞飞的实验室)之间的关系,引出了关于竞争与合作的讨论。

01:20:00–01:30:00从22个模型到1个:Cosmos的演进与“少即是多”

  • 英伟达也投资了其他做世界模型的公司,你们和他们做的世界模型有何差异?
  • 你们有竞争对手吗?
  • 从Cosmos 1到Cosmos 3,你们积累了哪些know-how?
  • 为什么从多个模型收敛到一个模型?

主持人问及英伟达与其他世界模型研究团队(如李飞飞的实验室、杨立昆的I-JEPA)的关系。刘洺堉强调,英伟达的定位是“赋能者”(enabler),希望帮助所有在英伟达生态系统(使用GPU、软件平台)上的公司取得成功,实现双赢。他认为,不同团队看到的切入点和想解决的问题各不相同,英伟达会投资并与他们合作。如果这些顶尖团队对Cosmos感兴趣,可以使用它;而对于那些资金和资源不如他们的公司,Cosmos则提供了更关键的帮助。他的目标是帮助整个领域成功,而非专注于竞争。

当被直接问及竞争对手时,刘洺堉表示,在做Cosmos项目时,他不去想竞争对手,而是思考如何帮助生态系统。他认为自己已经过了那个为了发论文而追求“算法比别人好”的阶段,现在的目标是共同推动领域发展。

接着,话题转向Cosmos项目自身的快速迭代。刘洺堉提到,从Cosmos 1到3的演进非常迅速,他深受DeepSeek一年迭代三次的启发,因此从一开始就强调快速迭代。项目初期(2024年),对于什么样的世界模型最有帮助,业界尚无定论。团队通过与合作伙伴沟通,明确了几个主要需求方向,如预测未来(prediction)、解释过去(reasoning)、以及提升仿真环境的真实感(sim-to-real transfer)。

最初,为了满足这些不同需求,他们开发了多个模型,比如用于预测的Predict模型、用于解释的Reason模型等。刘洺堉回忆,他曾向黄仁勋汇报,预计需要开发22个不同的模型。黄仁勋听后,先是称赞他工作努力,然后用路易威登(LV)的案例点拨他:LV减少专柜陈列的商品数量后,销售额反而提升了。这个“少即是多”的道理让他深受启发,因为过多的模型选项不仅会困惑用户,也会给自己的团队带来巨大的维护负担,拖慢迭代速度,正应了《孙子兵法》中的“备多则力寡”。

最终,团队决定将多个模型统一为一个。这一决策背后有两个核心逻辑:第一,所有模型本质上都是在描述同一个物理世界,它们应该能共享一个统一的内部表示(internal representation);第二,基座模型(Foundation Model)的核心理念就是“海纳百川”,将不同来源、不同任务的数据整合在一起训练,可以突破单一模型的上限。因此,从技术原理和工程实践的双重角度出发,Cosmos最终走向了单一模型的道路。

话题推进:本段详细解释了Cosmos从多模型到单模型的演进逻辑,为后续深入探讨Cosmos 3的具体技术细节和架构设计铺平了道路。

01:30:00–01:40:00连续对话 10

01:30:00–01:40:00从GAN到Diffusion:一次关键的技术路线转向

  • 你提到从GAN转向Diffusion,这大概是哪一年?
  • 面对计算范式的几次变化(传统方法、GAN、Diffusion),作为研究员是什么心态?会不会觉得之前的工作白做了?
  • 你多次提到实习生,在AI Lab里通过实习生涌现想法是否常见?你怎么看待年轻人?

嘉宾刘洺堉回顾了他在研究生涯中的一次关键技术路线转变。他提到,在与实习生Jeremy合作的时期,他们发表了一系列论文,试图让GAN的训练过程更稳定,但多年的努力最终得出的结论是GAN不具备可扩展性(not scalable)。

大约在2021年,刘洺堉的团队注意到了Diffusion模型。他认为Diffusion模型在训练时非常稳定,相比之下,GAN难以扩展,而“不Scalable的东西最后做不远”。因此,他做出了一个艰难的决定:让整个为研究GAN而建立的团队转向Diffusion模型。他解释说,当时他并未早期接触2017年就已出现的Transformer,因为他一直专注于GAN,而早期的GAN主要使用卷积网络(Convolutional Network)。直到后来Diffusion与Transformer结合,做Diffusion的研究者才逐渐转向Transformer架构。

团队转向后,研究路径从图像生成(Image Generation)开始,逐步扩展到多视角图像(Multi-view Image),再到3D生成(3D Generation),最终形成了一系列名为“Edify”的成果,包括Edify Image Generator、Edify 3D和Edify Video。

主持人追问,面对这种从GAN到Diffusion的技术范式转变,是否会觉得以往的工作白费了。刘洺堉否定了这种看法,他引用黄仁勋的话“suffering, little goodness”,认为这些经历让他越来越能掌握事物的本质。他将科研比作寻找描述世界运作的最简单方式,而技术方法的演进正是将事情变得越来越简单的过程,就像他后来的项目Cosmos从多个模型最终统一成一个模型一样。他强调,在当时的技术条件、算力和数据下,过去的研究是合理的,并且那些经验对现在的理解仍有很大帮助。

主持人接着问及实习生在研究中的作用。刘洺堉将研究的繁荣比作思想的快速流动,认为实习生带来了思想的多样性(diversity)。如果只与同事交流,思想来源会比较单一。通过与来自不同背景、充满想法的实习生合作,可以实现教学相长,这对双方的成长都至关重要。

话题推进:在讨论完技术路线的转变和研究方法后,主持人将话题转向了刘洺堉的职业发展,询问他为何在2016年选择加入英伟达。

01:30:00–01:40:00加入英伟达:追逐算力的职业选择

  • 你16年加入英伟达,这个职业变化是怎么发生的?
  • 你在三菱电机时就和英伟达的人有论文合作吗?
  • 加入英伟达做研究,真的像预期的那样有很多GPU吗?
  • 在英伟达这样的公司,要如何获得更多的GPU?

刘洺堉解释了他从三菱电机研究所(MERL)加入英伟达的原因。自从开始做深度学习后,他深信算力的重要性。然而,三菱电机并不重视算力,他需要频繁地向经理争取购买GPU的经费。促使他离职的直接原因是一位对他影响深远的导师(mentor)安佐指导的离开。这位导师离职加入苹果后,刘洺堉也开始考虑新的工作机会。

在与多家科技巨头(如谷歌、苹果、亚马逊、Meta)接触后,英伟达的招聘人员找到了他。他意识到,既然自己如此渴望GPU,为何不直接加入生产GPU的公司?这个决定在当时并未得到父亲的理解,因为那时英伟达的知名度远不如苹果或谷歌。但刘洺堉坚持自己的判断:GPU是最重要的。他当时研究的自监督学习(self-supervised approach)降低了对数据标注的需求,使得算力成为更关键的瓶颈。

主持人提到刘洺堉在三菱电机时似乎就与英伟达有合作,他澄清这并非事实。论文上同时出现两家公司的作者,是因为研究周期长,有些在三菱电机启动的项目,在他加入英伟达后继续优化并发表,并非公司间的直接合作。他当时甚至不知道英伟达有研究机构,面试后才了解到。他加入时,英伟达研究院规模很小,不到100人,且大部分人从事图形学(graphics)而非AI研究。

主持人追问在英伟达是否能获得充足的GPU。刘洺堉笑称“世界上没有任何一个地方GPU是够的”。但他承认自己是幸运的,作为公司内部最早用大量GPU做生成式模型的研究员之一,他早期做出了一些高关注度的工作,获得了公司和黄仁勋的信任,从而能获取较多GPU资源,但即便如此,他还是会觉得“自己的总是不够”。

关于如何在公司内部获得更多GPU,刘洺堉分享了他的心得:首先,必须理解公司需要解决的问题;其次,要能清晰地向领导层解释你的研究为何对公司有重要影响。他指出,研究员通常有很高的自尊心(high ego),但公司的本质是为股东盈利。他学到的是,要将自己坚信对世界重要的研究,转化为能让不懂AI的领导也理解其商业价值的论述。这成为他职业生涯中的一个重大转变。

话题推进:在谈到如何向公司领导解释研究价值后,主持人追问这一转变的具体发生过程,引出了刘洺堉对企业研究周期和“研究即产品”理念的深入思考。

01:30:00–01:40:00从“击败对手”到“生态整合”:模型竞争的终局思考

  • 你之前提到的第二个重要转变时刻,具体是在哪个项目发生的?
  • 你的研究理念似乎是“研究即产品”,这和之前的经历有关吗?
  • 你认为模型能力最终会趋同,但前沿实验室(Frontier Lab)认为智能还能高速提升,你不认可他们的观点吗?
  • 如果模型能力趋同,大家接下来竞争的是什么?大公司和创业公司分别如何竞争?

主持人追问刘洺堉“学会向领导解释研究重要性”这一转变的具体契机。刘洺堉表示这是一个渐进过程,但他在三菱电机研究院(MERL)的经历影响深远。他回顾道,MERL在90年代曾是能与微软研究院媲美的顶尖研究机构,吸引了众多著名学者。但后来公司战略转向,开始质疑“蓝天研究”(Blue Sky Research)的价值,导致经费缩减,大量顶尖学者流失。这让他很早就意识到企业研究机构存在周期性:繁荣期给予研究高度自由,但收缩期则会裁撤与公司短期利益不相关的项目。这段经历让他进入英伟达后,格外注重将自己的研究与公司战略对齐,并花心思向决策层沟通其价值,尤其是在深度学习这种高成本的研究领域。

主持人指出,刘洺堉的许多研究,如GauGAN (SPADE算法),都转化为了产品。刘洺堉对此做了修正,他认为GauGAN不能算是一个完整的产品,并分享了一个更重要的感悟:AI模型本身无法改变一切,最终会趋于同质化。他观察到,各大公司的顶尖模型(如Anthropic、GPT、Gemini)在性能上交替领先,差距逐渐缩小。因此,他很早就意识到,单纯依赖模型本身是不够的,关键在于与公司的生态系统(ecosystem)整合。他以谷歌的Gemini为例,其优势在于能与Google Docs、Search、Mail等庞大产品矩阵结合,形成飞轮效应:越多人使用,反馈越多,模型改进越快,从而获得更多投资。

基于此,他的研究心态也从早期追求在基准测试(benchmark)上“击败”对手,转变为思考如何“帮助这个领域变得更好”。他认为,历史证明,没有任何一家公司能永久垄断技术,人才和知识总会流动和扩散,AI也不例外。他不认为会出现某家公司遥遥领先,让其他所有公司都无法追赶的局面。

当被问及模型能力趋同后的竞争焦点时,刘洺堉明确指出是“整合”——与自身产品和生态的整合。对于大公司而言,这是核心竞争力。对于创业公司,机会在于解决大公司因规模太小(如年收入小于10亿美元)而不愿涉足的问题。他引用《创新者的窘境》的理论,指出创业公司可以在不被看好的领域中发现机会并逐渐壮大,英伟达自身就是这样成长起来的。因此,他认为创业者不应直接与OpenAI等巨头在同一维度竞争,因为资金和客户基础都处于劣势。

话题推进:在讨论了创业公司应寻找差异化定位后,话题自然地转向了具体的案例,如Anthropic如何通过专注Coding实现突围,并引申到当前AI领域的同质化竞争现象。

01:30:00–01:40:00从研究员到VP:在英伟达的晋升之路与管理哲学

  • 从研究员到英伟达VP,这常见吗?为什么是你?
  • 从研究员到管理者,解的题有什么不一样?
  • 成为管理者是否会抑制研究员的天性?你如何平衡?
  • 过去20年,对你影响最大的人是谁?
  • StyleGAN的作者对你有什么影响?

主持人询问刘洺堉从研究员到副总裁(VP)的职业路径在英伟达是否常见,他回答自己“可能是第一个”。他将自己的快速晋升归因于几个因素:首先,他在公司AI人才稀缺的早期就加入了,帮助公司提升了AI研究的知名度;其次,他非常注重研究的落地和与公司战略的对齐,通过一步步将项目成功执行,逐渐赢得了公司的信任。这种信任让他得以负责规模越来越大的项目,例如现在领导的Cosmos项目,每天涉及数百万美元的计算和存储成本。

主持人探讨了研究员与管理者角色的内在冲突。刘洺堉承认,研究员天生追求创新、认可,且自尊心强(high ego),这有时与公司的需求不完全一致。在成为管理者的过程中,他最担心的是与底层技术脱节,不理解问题的核心。为了避免这种情况,他强迫自己持续参与技术细节,包括审查代码(review code)、阅读论文、与团队成员就想法进行辩论。他认为自己是公司里少数还在看代码的VP,他这样做并非要成为最好的执行者,而是为了保持对一线痛点的理解,从而能看清每个人的贡献,帮助团队成长。

回顾过去20年的职业生涯,刘洺堉提到了几位对他影响深远的人:

1. 博士导师“老马”:教会他沟通的艺术和对人的尊重。

2. 实习时的第一位导师:手把手教他机器学习知识。

3. 英伟达的同事,StyleGAN的作者:这位同事对研究的极致追求给他留下了深刻印象。在许多研究员追求论文数量的时期,他每年只专注打磨一篇论文,将所有精力投入一个想法,深挖问题本质,最终做出重大贡献。刘洺堉从他身上学到了“保持专注”(stay focus)的重要性。

当被问及黄仁勋(老黄)的影响时,刘洺堉表示影响巨大,并由此展开了对黄仁勋工作风格的详细描述。

话题推进:在列举了对自己有重要影响的人物后,刘洺堉开始详细分享他从CEO黄仁勋身上学到的决策方式和工作哲学。

01:30:00–01:40:00向黄仁勋学习:决策、自律与中国功夫

  • 老黄对你有什么影响?
  • 他不懂一个领域为什么敢投入?
  • 老黄会把什么事情排除在他的计算范围之外?
  • 你是怎么保持精力的?

刘洺堉分享了CEO黄仁勋(老黄)对他产生的巨大影响。他形容黄仁勋是一个工作极其认真、热衷学习的人。在刘洺堉加入英伟达的早期,黄仁勋会经常发论文给他,让他阅读并做总结。他指出,黄仁勋并非生来就懂计算机图形学或深度学习,但他敢于投入,并通过强大的学习能力掌握这些领域。

黄仁勋的决策方式基于“第一性原理”(First Principle),即理清事物本质,不受外界信号干扰,做出最合理的长期决策。这使得他能在早期就果断投入深度学习和CUDA,为公司建立了巨大的领先优势。刘洺堉坦言,在认识黄仁勋之前,自己的决策多偏向短期,从他身上学到了如何做长期决策并坚持下去。

黄仁勋处理海量信息和做决策的方式也让刘洺堉印象深刻。黄仁勋每天阅读大量邮件,强迫自己快速判断事情的优先级(prioritization)。刘洺堉推测,这种日复一日的练习,让他能看得非常清楚。在决策执行时,黄仁勋极为理性,不受个人情感影响,唯一的目标是“照顾好整个公司”(take care of the whole company)。从黄仁勋身上,刘洺堉学会了如何进行高强度的“上下文切换”(context switch),从过去同时处理两三个主题就感到疲惫,到现在可以每半小时切换一个新主题。他将此与计算机科学中“懒惰”的原则类比:只计算必要的东西。学会判断什么不重要并将其移除,能极大提升人生效率。

当被问及如何保持精力时,刘洺堉分享了他的个人习惯:练习中国功夫。他从18岁起师从著名武术家徐纪(神枪李书文一脉),练习八极拳、劈挂掌等。他解释说,练习武术并非为了打斗,而是源于金庸小说的影响,并逐渐演变成一种对自我的磨练。武术的核心在于“控制自己”,通过不断练习,实现全身力量的协调与传导。这种对自我的检讨和追求,与他的研究哲学相通。最近,他还养成了“冰水浴”(Ice Plunge)的新习惯,在清晨练完拳后跳入冰桶,帮助身体修复,以应对每天高强度的工作挑战。

话题推进:主持人将刘洺堉练习武术时追求“一击制胜”的理念,巧妙地与他当前最重要的项目Cosmos联系起来,引出了关于Cosmos和世界模型的深入讨论。

01:30:00–01:40:00Cosmos的诞生:为物理AI打造“黑客帝国”

  • 你在个人主页上说要为机器人构建一个“黑客帝国”,请阐释一下这个愿景。
  • Cosmos项目是何时以及如何立项的?
  • 为什么当时选择面向物理AI(Physical AI)这个市场?
  • 大家对世界模型的定义不清晰,你的定义是什么?
  • Cosmos这个词能描述你在做的事吗?还是应该用别的词?

主持人引出刘洺堉的个人愿景——为机器人构建一个“黑客帝国”(The Matrix for Robots),并询问其内涵。刘洺堉解释说,这指的是通过世界模型(World Model)来解决具身智能(Embodied Intelligence)的泛化(generalization)问题。他认为,所有AI的核心问题都是泛化,即模型在未见过的场景中表现良好。Cosmos项目旨在从三个方面帮助物理AI实现泛化:

1. 更好的数据:通过生成模型创造真实世界中难以采集到的“长尾数据”(long-tail data)。

2. 更好的起点:训练一个理解世界运作规律的强大世界模型,其本身优秀的表示(representation)可以作为下游各种物理AI模型的骨干网络(backbone),提供一个更好的初始化或基础。

3. 更好的环境:创造出像“黑客帝国”一样逼真的、可交互的虚拟环境。由于在真实世界中进行实验成本高昂且效率低下,通过大规模并行的虚拟环境,机器人可以快速试错和学习。

关于Cosmos的立项过程,刘洺堉透露,项目始于2024年3月,正是在OpenAI发布Sora之后。Sora的出现让英伟达内部做生成模型的团队达成了共识:必须要做自己的世界模型。他和同事们分别或共同给黄仁勋写邮件表达了这一想法,黄仁勋随后召集会议,具体讨论了执行方案和负责人。在会议上,黄仁勋要求大家为项目命名,刘洺堉虽然觉得黄仁勋心中早有答案,但还是参与了思考。最终定名“Cosmos”(宇宙),这个名字精准地反映了项目的定位:并非为了内容创作,而是为了解决物理世界的问题,服务于物理AI社区。

之所以选择物理AI作为方向,是因为当时已能预见到这将是下一个技术革命,它能解决劳动力短缺、人口老龄化等社会刚需。同时,这也符合英伟达服务开发者(developer market)的商业模式——赋能他人创造产品,而非自己直接做应用。

当被问及“世界模型”的定义时,刘洺堉认为这是一个像“AGI”一样难以形成共识的笼统术语。他从实用角度出发,认为世界模型的形态取决于其用途,例如:用于“预测”未来、用于“理解”因果、或用于“重建”三维世界。由于用途不同,模型的定义和形态也各异,因此强行给出一个统一定义可能并不重要。相比之下,“大语言模型”(LLM)的定义就明确得多。因此,他们将Cosmos定义为“基座模型”(Foundation Model),目标是提供一个底层基础,让其他公司能在此之上构建自己所需的、针对特定用途的世界模型,尤其是那些没有足够资源从零开始的公司。

话题推进:在清晰地定义了Cosmos作为“基座模型”的定位后,主持人进一步询问英伟达如何看待与其他同样在做世界模型的公司(如Covariant.ai、李飞飞的实验室)之间的关系,引出了关于竞争与合作的讨论。

01:30:00–01:40:00从22个模型到1个:Cosmos的演进与“少即是多”

  • 英伟达也投资了其他做世界模型的公司,你们和他们做的世界模型有何差异?
  • 你们有竞争对手吗?
  • 从Cosmos 1到Cosmos 3,你们积累了哪些know-how?
  • 为什么从多个模型收敛到一个模型?

主持人问及英伟达与其他世界模型研究团队(如李飞飞的实验室、杨立昆的I-JEPA)的关系。刘洺堉强调,英伟达的定位是“赋能者”(enabler),希望帮助所有在英伟达生态系统(使用GPU、软件平台)上的公司取得成功,实现双赢。他认为,不同团队看到的切入点和想解决的问题各不相同,英伟达会投资并与他们合作。如果这些顶尖团队对Cosmos感兴趣,可以使用它;而对于那些资金和资源不如他们的公司,Cosmos则提供了更关键的帮助。他的目标是帮助整个领域成功,而非专注于竞争。

当被直接问及竞争对手时,刘洺堉表示,在做Cosmos项目时,他不去想竞争对手,而是思考如何帮助生态系统。他认为自己已经过了那个为了发论文而追求“算法比别人好”的阶段,现在的目标是共同推动领域发展。

接着,话题转向Cosmos项目自身的快速迭代。刘洺堉提到,从Cosmos 1到3的演进非常迅速,他深受DeepSeek一年迭代三次的启发,因此从一开始就强调快速迭代。项目初期(2024年),对于什么样的世界模型最有帮助,业界尚无定论。团队通过与合作伙伴沟通,明确了几个主要需求方向,如预测未来(prediction)、解释过去(reasoning)、以及提升仿真环境的真实感(sim-to-real transfer)。

最初,为了满足这些不同需求,他们开发了多个模型,比如用于预测的Predict模型、用于解释的Reason模型等。刘洺堉回忆,他曾向黄仁勋汇报,预计需要开发22个不同的模型。黄仁勋听后,先是称赞他工作努力,然后用路易威登(LV)的案例点拨他:LV减少专柜陈列的商品数量后,销售额反而提升了。这个“少即是多”的道理让他深受启发,因为过多的模型选项不仅会困惑用户,也会给自己的团队带来巨大的维护负担,拖慢迭代速度,正应了《孙子兵法》中的“备多则力寡”。

最终,团队决定将多个模型统一为一个。这一决策背后有两个核心逻辑:第一,所有模型本质上都是在描述同一个物理世界,它们应该能共享一个统一的内部表示(internal representation);第二,基座模型(Foundation Model)的核心理念就是“海纳百川”,将不同来源、不同任务的数据整合在一起训练,可以突破单一模型的上限。因此,从技术原理和工程实践的双重角度出发,Cosmos最终走向了单一模型的道路。

话题推进:本段详细解释了Cosmos从多模型到单模型的演进逻辑,为后续深入探讨Cosmos 3的具体技术细节和架构设计铺平了道路。

01:40:00–01:50:00连续对话 11

01:40:00–01:50:00从GAN到Diffusion:一次关键的技术路线转向

  • 你提到从GAN转向Diffusion,这大概是哪一年?
  • 面对计算范式的几次变化(传统方法、GAN、Diffusion),作为研究员是什么心态?会不会觉得之前的工作白做了?
  • 你多次提到实习生,在AI Lab里通过实习生涌现想法是否常见?你怎么看待年轻人?

嘉宾刘洺堉回顾了他在研究生涯中的一次关键技术路线转变。他提到,在与实习生Jeremy合作的时期,他们发表了一系列论文,试图让GAN的训练过程更稳定,但多年的努力最终得出的结论是GAN不具备可扩展性(not scalable)。

大约在2021年,刘洺堉的团队注意到了Diffusion模型。他认为Diffusion模型在训练时非常稳定,相比之下,GAN难以扩展,而“不Scalable的东西最后做不远”。因此,他做出了一个艰难的决定:让整个为研究GAN而建立的团队转向Diffusion模型。他解释说,当时他并未早期接触2017年就已出现的Transformer,因为他一直专注于GAN,而早期的GAN主要使用卷积网络(Convolutional Network)。直到后来Diffusion与Transformer结合,做Diffusion的研究者才逐渐转向Transformer架构。

团队转向后,研究路径从图像生成(Image Generation)开始,逐步扩展到多视角图像(Multi-view Image),再到3D生成(3D Generation),最终形成了一系列名为“Edify”的成果,包括Edify Image Generator、Edify 3D和Edify Video。

主持人追问,面对这种从GAN到Diffusion的技术范式转变,是否会觉得以往的工作白费了。刘洺堉否定了这种看法,他引用黄仁勋的话“suffering, little goodness”,认为这些经历让他越来越能掌握事物的本质。他将科研比作寻找描述世界运作的最简单方式,而技术方法的演进正是将事情变得越来越简单的过程,就像他后来的项目Cosmos从多个模型最终统一成一个模型一样。他强调,在当时的技术条件、算力和数据下,过去的研究是合理的,并且那些经验对现在的理解仍有很大帮助。

主持人接着问及实习生在研究中的作用。刘洺堉将研究的繁荣比作思想的快速流动,认为实习生带来了思想的多样性(diversity)。如果只与同事交流,思想来源会比较单一。通过与来自不同背景、充满想法的实习生合作,可以实现教学相长,这对双方的成长都至关重要。

话题推进:在讨论完技术路线的转变和研究方法后,主持人将话题转向了刘洺堉的职业发展,询问他为何在2016年选择加入英伟达。

01:40:00–01:50:00加入英伟达:追逐算力的职业选择

  • 你16年加入英伟达,这个职业变化是怎么发生的?
  • 你在三菱电机时就和英伟达的人有论文合作吗?
  • 加入英伟达做研究,真的像预期的那样有很多GPU吗?
  • 在英伟达这样的公司,要如何获得更多的GPU?

刘洺堉解释了他从三菱电机研究所(MERL)加入英伟达的原因。自从开始做深度学习后,他深信算力的重要性。然而,三菱电机并不重视算力,他需要频繁地向经理争取购买GPU的经费。促使他离职的直接原因是一位对他影响深远的导师(mentor)安佐指导的离开。这位导师离职加入苹果后,刘洺堉也开始考虑新的工作机会。

在与多家科技巨头(如谷歌、苹果、亚马逊、Meta)接触后,英伟达的招聘人员找到了他。他意识到,既然自己如此渴望GPU,为何不直接加入生产GPU的公司?这个决定在当时并未得到父亲的理解,因为那时英伟达的知名度远不如苹果或谷歌。但刘洺堉坚持自己的判断:GPU是最重要的。他当时研究的自监督学习(self-supervised approach)降低了对数据标注的需求,使得算力成为更关键的瓶颈。

主持人提到刘洺堉在三菱电机时似乎就与英伟达有合作,他澄清这并非事实。论文上同时出现两家公司的作者,是因为研究周期长,有些在三菱电机启动的项目,在他加入英伟达后继续优化并发表,并非公司间的直接合作。他当时甚至不知道英伟达有研究机构,面试后才了解到。他加入时,英伟达研究院规模很小,不到100人,且大部分人从事图形学(graphics)而非AI研究。

主持人追问在英伟达是否能获得充足的GPU。刘洺堉笑称“世界上没有任何一个地方GPU是够的”。但他承认自己是幸运的,作为公司内部最早用大量GPU做生成式模型的研究员之一,他早期做出了一些高关注度的工作,获得了公司和黄仁勋的信任,从而能获取较多GPU资源,但即便如此,他还是会觉得“自己的总是不够”。

关于如何在公司内部获得更多GPU,刘洺堉分享了他的心得:首先,必须理解公司需要解决的问题;其次,要能清晰地向领导层解释你的研究为何对公司有重要影响。他指出,研究员通常有很高的自尊心(high ego),但公司的本质是为股东盈利。他学到的是,要将自己坚信对世界重要的研究,转化为能让不懂AI的领导也理解其商业价值的论述。这成为他职业生涯中的一个重大转变。

话题推进:在谈到如何向公司领导解释研究价值后,主持人追问这一转变的具体发生过程,引出了刘洺堉对企业研究周期和“研究即产品”理念的深入思考。

01:40:00–01:50:00从“击败对手”到“生态整合”:模型竞争的终局思考

  • 你之前提到的第二个重要转变时刻,具体是在哪个项目发生的?
  • 你的研究理念似乎是“研究即产品”,这和之前的经历有关吗?
  • 你认为模型能力最终会趋同,但前沿实验室(Frontier Lab)认为智能还能高速提升,你不认可他们的观点吗?
  • 如果模型能力趋同,大家接下来竞争的是什么?大公司和创业公司分别如何竞争?

主持人追问刘洺堉“学会向领导解释研究重要性”这一转变的具体契机。刘洺堉表示这是一个渐进过程,但他在三菱电机研究院(MERL)的经历影响深远。他回顾道,MERL在90年代曾是能与微软研究院媲美的顶尖研究机构,吸引了众多著名学者。但后来公司战略转向,开始质疑“蓝天研究”(Blue Sky Research)的价值,导致经费缩减,大量顶尖学者流失。这让他很早就意识到企业研究机构存在周期性:繁荣期给予研究高度自由,但收缩期则会裁撤与公司短期利益不相关的项目。这段经历让他进入英伟达后,格外注重将自己的研究与公司战略对齐,并花心思向决策层沟通其价值,尤其是在深度学习这种高成本的研究领域。

主持人指出,刘洺堉的许多研究,如GauGAN (SPADE算法),都转化为了产品。刘洺堉对此做了修正,他认为GauGAN不能算是一个完整的产品,并分享了一个更重要的感悟:AI模型本身无法改变一切,最终会趋于同质化。他观察到,各大公司的顶尖模型(如Anthropic、GPT、Gemini)在性能上交替领先,差距逐渐缩小。因此,他很早就意识到,单纯依赖模型本身是不够的,关键在于与公司的生态系统(ecosystem)整合。他以谷歌的Gemini为例,其优势在于能与Google Docs、Search、Mail等庞大产品矩阵结合,形成飞轮效应:越多人使用,反馈越多,模型改进越快,从而获得更多投资。

基于此,他的研究心态也从早期追求在基准测试(benchmark)上“击败”对手,转变为思考如何“帮助这个领域变得更好”。他认为,历史证明,没有任何一家公司能永久垄断技术,人才和知识总会流动和扩散,AI也不例外。他不认为会出现某家公司遥遥领先,让其他所有公司都无法追赶的局面。

当被问及模型能力趋同后的竞争焦点时,刘洺堉明确指出是“整合”——与自身产品和生态的整合。对于大公司而言,这是核心竞争力。对于创业公司,机会在于解决大公司因规模太小(如年收入小于10亿美元)而不愿涉足的问题。他引用《创新者的窘境》的理论,指出创业公司可以在不被看好的领域中发现机会并逐渐壮大,英伟达自身就是这样成长起来的。因此,他认为创业者不应直接与OpenAI等巨头在同一维度竞争,因为资金和客户基础都处于劣势。

话题推进:在讨论了创业公司应寻找差异化定位后,话题自然地转向了具体的案例,如Anthropic如何通过专注Coding实现突围,并引申到当前AI领域的同质化竞争现象。

01:40:00–01:50:00从研究员到VP:在英伟达的晋升之路与管理哲学

  • 从研究员到英伟达VP,这常见吗?为什么是你?
  • 从研究员到管理者,解的题有什么不一样?
  • 成为管理者是否会抑制研究员的天性?你如何平衡?
  • 过去20年,对你影响最大的人是谁?
  • StyleGAN的作者对你有什么影响?

主持人询问刘洺堉从研究员到副总裁(VP)的职业路径在英伟达是否常见,他回答自己“可能是第一个”。他将自己的快速晋升归因于几个因素:首先,他在公司AI人才稀缺的早期就加入了,帮助公司提升了AI研究的知名度;其次,他非常注重研究的落地和与公司战略的对齐,通过一步步将项目成功执行,逐渐赢得了公司的信任。这种信任让他得以负责规模越来越大的项目,例如现在领导的Cosmos项目,每天涉及数百万美元的计算和存储成本。

主持人探讨了研究员与管理者角色的内在冲突。刘洺堉承认,研究员天生追求创新、认可,且自尊心强(high ego),这有时与公司的需求不完全一致。在成为管理者的过程中,他最担心的是与底层技术脱节,不理解问题的核心。为了避免这种情况,他强迫自己持续参与技术细节,包括审查代码(review code)、阅读论文、与团队成员就想法进行辩论。他认为自己是公司里少数还在看代码的VP,他这样做并非要成为最好的执行者,而是为了保持对一线痛点的理解,从而能看清每个人的贡献,帮助团队成长。

回顾过去20年的职业生涯,刘洺堉提到了几位对他影响深远的人:

1. 博士导师“老马”:教会他沟通的艺术和对人的尊重。

2. 实习时的第一位导师:手把手教他机器学习知识。

3. 英伟达的同事,StyleGAN的作者:这位同事对研究的极致追求给他留下了深刻印象。在许多研究员追求论文数量的时期,他每年只专注打磨一篇论文,将所有精力投入一个想法,深挖问题本质,最终做出重大贡献。刘洺堉从他身上学到了“保持专注”(stay focus)的重要性。

当被问及黄仁勋(老黄)的影响时,刘洺堉表示影响巨大,并由此展开了对黄仁勋工作风格的详细描述。

话题推进:在列举了对自己有重要影响的人物后,刘洺堉开始详细分享他从CEO黄仁勋身上学到的决策方式和工作哲学。

01:40:00–01:50:00向黄仁勋学习:决策、自律与中国功夫

  • 老黄对你有什么影响?
  • 他不懂一个领域为什么敢投入?
  • 老黄会把什么事情排除在他的计算范围之外?
  • 你是怎么保持精力的?

刘洺堉分享了CEO黄仁勋(老黄)对他产生的巨大影响。他形容黄仁勋是一个工作极其认真、热衷学习的人。在刘洺堉加入英伟达的早期,黄仁勋会经常发论文给他,让他阅读并做总结。他指出,黄仁勋并非生来就懂计算机图形学或深度学习,但他敢于投入,并通过强大的学习能力掌握这些领域。

黄仁勋的决策方式基于“第一性原理”(First Principle),即理清事物本质,不受外界信号干扰,做出最合理的长期决策。这使得他能在早期就果断投入深度学习和CUDA,为公司建立了巨大的领先优势。刘洺堉坦言,在认识黄仁勋之前,自己的决策多偏向短期,从他身上学到了如何做长期决策并坚持下去。

黄仁勋处理海量信息和做决策的方式也让刘洺堉印象深刻。黄仁勋每天阅读大量邮件,强迫自己快速判断事情的优先级(prioritization)。刘洺堉推测,这种日复一日的练习,让他能看得非常清楚。在决策执行时,黄仁勋极为理性,不受个人情感影响,唯一的目标是“照顾好整个公司”(take care of the whole company)。从黄仁勋身上,刘洺堉学会了如何进行高强度的“上下文切换”(context switch),从过去同时处理两三个主题就感到疲惫,到现在可以每半小时切换一个新主题。他将此与计算机科学中“懒惰”的原则类比:只计算必要的东西。学会判断什么不重要并将其移除,能极大提升人生效率。

当被问及如何保持精力时,刘洺堉分享了他的个人习惯:练习中国功夫。他从18岁起师从著名武术家徐纪(神枪李书文一脉),练习八极拳、劈挂掌等。他解释说,练习武术并非为了打斗,而是源于金庸小说的影响,并逐渐演变成一种对自我的磨练。武术的核心在于“控制自己”,通过不断练习,实现全身力量的协调与传导。这种对自我的检讨和追求,与他的研究哲学相通。最近,他还养成了“冰水浴”(Ice Plunge)的新习惯,在清晨练完拳后跳入冰桶,帮助身体修复,以应对每天高强度的工作挑战。

话题推进:主持人将刘洺堉练习武术时追求“一击制胜”的理念,巧妙地与他当前最重要的项目Cosmos联系起来,引出了关于Cosmos和世界模型的深入讨论。

01:40:00–01:50:00Cosmos的诞生:为物理AI打造“黑客帝国”

  • 你在个人主页上说要为机器人构建一个“黑客帝国”,请阐释一下这个愿景。
  • Cosmos项目是何时以及如何立项的?
  • 为什么当时选择面向物理AI(Physical AI)这个市场?
  • 大家对世界模型的定义不清晰,你的定义是什么?
  • Cosmos这个词能描述你在做的事吗?还是应该用别的词?

主持人引出刘洺堉的个人愿景——为机器人构建一个“黑客帝国”(The Matrix for Robots),并询问其内涵。刘洺堉解释说,这指的是通过世界模型(World Model)来解决具身智能(Embodied Intelligence)的泛化(generalization)问题。他认为,所有AI的核心问题都是泛化,即模型在未见过的场景中表现良好。Cosmos项目旨在从三个方面帮助物理AI实现泛化:

1. 更好的数据:通过生成模型创造真实世界中难以采集到的“长尾数据”(long-tail data)。

2. 更好的起点:训练一个理解世界运作规律的强大世界模型,其本身优秀的表示(representation)可以作为下游各种物理AI模型的骨干网络(backbone),提供一个更好的初始化或基础。

3. 更好的环境:创造出像“黑客帝国”一样逼真的、可交互的虚拟环境。由于在真实世界中进行实验成本高昂且效率低下,通过大规模并行的虚拟环境,机器人可以快速试错和学习。

关于Cosmos的立项过程,刘洺堉透露,项目始于2024年3月,正是在OpenAI发布Sora之后。Sora的出现让英伟达内部做生成模型的团队达成了共识:必须要做自己的世界模型。他和同事们分别或共同给黄仁勋写邮件表达了这一想法,黄仁勋随后召集会议,具体讨论了执行方案和负责人。在会议上,黄仁勋要求大家为项目命名,刘洺堉虽然觉得黄仁勋心中早有答案,但还是参与了思考。最终定名“Cosmos”(宇宙),这个名字精准地反映了项目的定位:并非为了内容创作,而是为了解决物理世界的问题,服务于物理AI社区。

之所以选择物理AI作为方向,是因为当时已能预见到这将是下一个技术革命,它能解决劳动力短缺、人口老龄化等社会刚需。同时,这也符合英伟达服务开发者(developer market)的商业模式——赋能他人创造产品,而非自己直接做应用。

当被问及“世界模型”的定义时,刘洺堉认为这是一个像“AGI”一样难以形成共识的笼统术语。他从实用角度出发,认为世界模型的形态取决于其用途,例如:用于“预测”未来、用于“理解”因果、或用于“重建”三维世界。由于用途不同,模型的定义和形态也各异,因此强行给出一个统一定义可能并不重要。相比之下,“大语言模型”(LLM)的定义就明确得多。因此,他们将Cosmos定义为“基座模型”(Foundation Model),目标是提供一个底层基础,让其他公司能在此之上构建自己所需的、针对特定用途的世界模型,尤其是那些没有足够资源从零开始的公司。

话题推进:在清晰地定义了Cosmos作为“基座模型”的定位后,主持人进一步询问英伟达如何看待与其他同样在做世界模型的公司(如Covariant.ai、李飞飞的实验室)之间的关系,引出了关于竞争与合作的讨论。

01:40:00–01:50:00从22个模型到1个:Cosmos的演进与“少即是多”

  • 英伟达也投资了其他做世界模型的公司,你们和他们做的世界模型有何差异?
  • 你们有竞争对手吗?
  • 从Cosmos 1到Cosmos 3,你们积累了哪些know-how?
  • 为什么从多个模型收敛到一个模型?

主持人问及英伟达与其他世界模型研究团队(如李飞飞的实验室、杨立昆的I-JEPA)的关系。刘洺堉强调,英伟达的定位是“赋能者”(enabler),希望帮助所有在英伟达生态系统(使用GPU、软件平台)上的公司取得成功,实现双赢。他认为,不同团队看到的切入点和想解决的问题各不相同,英伟达会投资并与他们合作。如果这些顶尖团队对Cosmos感兴趣,可以使用它;而对于那些资金和资源不如他们的公司,Cosmos则提供了更关键的帮助。他的目标是帮助整个领域成功,而非专注于竞争。

当被直接问及竞争对手时,刘洺堉表示,在做Cosmos项目时,他不去想竞争对手,而是思考如何帮助生态系统。他认为自己已经过了那个为了发论文而追求“算法比别人好”的阶段,现在的目标是共同推动领域发展。

接着,话题转向Cosmos项目自身的快速迭代。刘洺堉提到,从Cosmos 1到3的演进非常迅速,他深受DeepSeek一年迭代三次的启发,因此从一开始就强调快速迭代。项目初期(2024年),对于什么样的世界模型最有帮助,业界尚无定论。团队通过与合作伙伴沟通,明确了几个主要需求方向,如预测未来(prediction)、解释过去(reasoning)、以及提升仿真环境的真实感(sim-to-real transfer)。

最初,为了满足这些不同需求,他们开发了多个模型,比如用于预测的Predict模型、用于解释的Reason模型等。刘洺堉回忆,他曾向黄仁勋汇报,预计需要开发22个不同的模型。黄仁勋听后,先是称赞他工作努力,然后用路易威登(LV)的案例点拨他:LV减少专柜陈列的商品数量后,销售额反而提升了。这个“少即是多”的道理让他深受启发,因为过多的模型选项不仅会困惑用户,也会给自己的团队带来巨大的维护负担,拖慢迭代速度,正应了《孙子兵法》中的“备多则力寡”。

最终,团队决定将多个模型统一为一个。这一决策背后有两个核心逻辑:第一,所有模型本质上都是在描述同一个物理世界,它们应该能共享一个统一的内部表示(internal representation);第二,基座模型(Foundation Model)的核心理念就是“海纳百川”,将不同来源、不同任务的数据整合在一起训练,可以突破单一模型的上限。因此,从技术原理和工程实践的双重角度出发,Cosmos最终走向了单一模型的道路。

话题推进:本段详细解释了Cosmos从多模型到单模型的演进逻辑,为后续深入探讨Cosmos 3的具体技术细节和架构设计铺平了道路。

01:50:00–02:00:00连续对话 12

01:50:00–02:00:00Cosmos 2到3:从多个模型到统一模型,创新落在整合和工程验证

  • 为什么从Cosmos 2走向统一的Cosmos 3?
  • 外界说‘技术大创新不多但工程验证很多’,这个评价准确吗?
  • 为什么把模型、训练框架和部分数据都开放?

刘洺堉说,Cosmos 2阶段已在快速推进中意识到多个分散模型难以长期维持:它们实际上在描述同一事件,foundation model又可以吸收不同数据,合并后开发与使用更简单。因此Cosmos 3走向omni model,而不只是数据规模继续增加。

面对‘创新不多、细节工程验证很多’的评价,他没有把每个组件说成原创,而是强调把audio、video、action放到一起并做大做稳的难度。概念可以早已存在,能否真正训练、验证并解决问题是另一层贡献。他个人越来越重视实际impact,而不是只追求论文里的革命性标签。

开源的目的与此相连:模型、训练框架和部分数据尽量讲清楚,便于别人复用或做出类似模型。他说许多实验室走向闭源、论文保留关键环节,Cosmos希望走另一条路,帮助physical AI社区。这里既有技术生态选择,也有英伟达希望帮助使用者和基础设施生态成功的商业背景,不能将开源等同于没有利益诉求。

话题推进:统一模型之后,下一问题是不同模态分别提供什么信息,以及双塔架构为何是现阶段的用户友好选择。

02:00:00–02:10:00连续对话 13

02:00:00–02:10:00Language、Video/Audio、Action:物理AI为什么需要不同作用的信息

  • 为什么把language、video、audio和action放进同一个模型?
  • 不同模态会互相污染还是互补?
  • 双塔架构为什么不直接追求最优雅的统一?

刘洺堉把三种输入的作用分开:language带来人类知识并支持人与模型沟通,video/audio描述世界怎样变化,action让模型能够干预物理世界。物理AI的目标不是单纯聊天或Coding,因此action需要成为first-class citizen。把模态合在一起的理由不是‘信息越多越好’,而是它们描述同一个世界,可能互补。

他给出的互补例子包括:action model同时预测下一动作和动作后的observation,有助于训练收敛;声音可帮助判断接触时刻;详细语言描述可减少视频生成的一对多不确定性。是否互补仍要通过数据比例与严格实验验证,不能把模态相加自动当作能力相加。

双塔是现阶段的部署与定制权衡。离散理解塔和连续生成塔可以分别post-train:客户若要改变生成分布,不必连带破坏理解表示。完全统一可能更优雅,却会让某类数据变化影响另一部分能力。团队仍希望探索更简单的单塔,但是否成功要看后续实验和部署成本。

这也解释‘备多则力寡’:通用模型可追求广泛能力,具体应用却可能需要放弃无关指标。机器人是否需要解奥数或Coding并非核心问题,任务操作、可靠性、成本和下游可用性更重要。

话题推进:统一模型的评估因此不能只看通用榜单,还要看不同physical builder能否把它变成有用的系统。

02:10:00–02:20:00连续对话 14

02:10:00–02:20:00从Cosmos 2到3:走向统一模型与开源共享

  • 所以二到三其实是一个大的变化?
  • 三做了多久?
  • 一个中国做世界模型的创作者,他说他看Cosmo3论文看了一周,而且是每天看,里面有很多的细节。我觉得他们的观点是说就是觉得Cosmo3它在技术的大的创新上不多。但是它把很多的细节都工程验证出来了,你觉得他们这个评价准确吗?

嘉宾刘洺堉解释了Cosmos系列模型的演进历程。Cosmos 1旨在理解问题,Cosmos 2则在1的基础上提升了数据量并引入了新技术。然而,团队在开发Cosmos 2的过程中意识到,为不同模态(如视觉、声音、动作)分别构建模型的做法不可持续,因此决定转向开发一个统一的全模态模型(Omni model),即Cosmos 3。这一转变发生在2024年9月左右,10月正式开始执行,历时超过半年。

主持人转述了一位创业者的观点,认为Cosmos 3在技术上没有革命性创新,但工程细节做得非常扎实。刘洺堉回应称,评价一个模型不应只看其是否具有“革命性原创”,更应看它能否产生实际效果(impact)和解决问题。他以Transformer架构为例,指出虽然所有大语言模型都基于此,但正是细节的差异导致了性能的巨大不同。他强调,Cosmos 3是第一个将音频(audio)、视频(video)和动作(action)在如此大的规模上用Transformer架构融合在一起的模型,将概念转化为现实的正是这些工程细节。

刘洺堉进一步阐述了Cosmos 3选择开源的动机。他观察到许多实验室近年来趋向闭源,即使发表论文也隐藏关键环节。英伟达决定走相反的道路,尽可能清晰地公开技术细节,开源模型、训练框架及部分数据。其目标是保持透明,赋能整个Physical AI社区,希望其他研究者能利用这些资源做出类似或更好的模型,从而加速整个领域的进步。

话题推进:对话自然地从Cosmos 3的开源策略,引向了其多模态融合的具体技术决策。

02:10:00–02:20:00多模态融合:为何将语言、视觉和动作视为同等重要

  • 你们在这次为什么选择首先在输入层同时能够输入video, audio和action, 这是一个重要的决策吗?
  • 你怎么看待他们(指杨植麟等研究者)这两种观念(语言中心 vs. 视觉中心),以及你把他们这些信号都训到一起的时候会出现问题吗?就互相的污染。
  • 多模态融合到一起,这些模态是相互的还是相互制约的?
  • 这里面有什么secret sauce吗?在互相benefit上。

主持人询问Cosmos 3为何要同时处理视频、音频和动作输入。刘洺堉确认这是一个重要决策,因为物理世界是多模态的。他解释,大模型研究主要有两条路径:一是将语言(language)作为核心,如聊天或编程模型;二是将视觉信号(video)作为核心。而英伟达认为,物理世界模型与数字世界模型的根本区别在于前者能改变世界状态,因此动作(action)也必须被当作“一等公民”(first-class citizen)。Cosmos 3的目标是成为物理AI的基础模型,因此必须融合这三种模态。

针对主持人提及其他研究者担心多模态融合会互相“污染”的观点,刘洺堉阐述了不同模态的独特作用:语言是人机沟通和知识传入的桥梁;视频和音频能更精准地捕捉物理世界的运作规律;而动作则赋予模型改变世界的能力。他强调,其目标并非追求通用人工智能(AGI),而是构建一个服务于物理AI的实用基础模型。对于这个明确的目标,三种模态缺一不可。他承认,如果目标是纯粹的数字智能(如编程),视觉信号可能构成干扰,反之亦然,这取决于最终想解决什么问题。

关于模态间的相互作用,刘洺堉表示,团队过去一年多的研究表明,不同模态可以互补。例如,预测动作发生后的视觉状态(video)有助于训练动作模型(action model);声音可以帮助更精准地生成视频(如碰撞声对应接触点);详尽的文字描述也能提升视频生成质量。Cosmos 3的设计理念正是基于这些发现,相信这些描述同一世界的信号融合后能相互促进。实现这种互补而非互斥的关键在于实验设计和数据比例的调整。他总结,做大模型没有“秘方”(secret sauce),而是依赖于严谨、扎实的假设、实验、验证和知识积累。

话题推进:从多模态融合的理念,话题转向了Cosmos 3具体的“双塔”架构设计及其背后的考量。

02:10:00–02:20:00双塔架构的权衡:在工程完美与用户易用性之间

  • 因为你们这次采取的是一个双塔的设计,一个塔在处理离散信息,一个塔在处理连续信息。为什么采取这个设计?
  • 但是相对来说,离散的信号更好处理,把融合进了连续的变量之后,它的处理难度会变高,你们怎么合在一起并且能够把它scale上去呢?
  • 直觉来看离散更容易还是连续更容易啊?

主持人问及Cosmos 3采用“双塔”架构的原因。刘洺堉解释,这是一个基于当前阶段的合理选择。一个塔(reasoning tower)处理离散信息,用于理解(understanding);另一个塔(generation tower)处理连续信息,用于生成(generation)。这种分离式设计主要出于用户易用性的考虑。许多用户需要对基础模型进行后训练(post-training),例如用自己的数据微调生成器。如果两个功能完全耦合在一个模型里,微调生成部分时,可能会因为数据分布的改变而损害模型的理解能力。

刘洺堉承认,双塔架构并非最“优雅”(elegant)的方案,因为它有人为划分的痕迹,而深度学习的理想是让数据自行决定结构。但他强调,现阶段这种设计更便于客户使用。同时,他也透露团队的下一步目标是走向更简洁的单塔架构。然而,在追求工程简约的同时,必须兼顾用户的易用性,因为英伟达的目标是“帮助大家赢”,而不是仅仅创造一个技术上完美的模型。机器人、自动驾驶等不同应用的相机位置、数量各不相同,模型需要支持定制化,双塔结构为此提供了便利。

当被问及离散与连续信号处理的难易时,刘洺堉表示各有优劣。离散信号的训练相对容易,而连续信号在推理(inference)时有其优势。他指出,最终模型的部署成本是关键考量,最适合部署的模型最容易成功。因此,未来的架构演进会综合考虑训练、推理、部署成本以及用户定制化需求等多个因素。

话题推进:讨论完架构选择后,话题转向了全能模型与专用模型之间的取舍,以及Cosmos未来的发展方向。

02:10:00–02:20:00“备多则力寡”:Physical AI模型不需要在所有维度上都最强

  • 有一个研究员问你,因为你现在是把所有的模态都训练到一个模型里去,那理论上就是它也可以coding做的很好,也可以让机器人能够运作,然后也能生成我们现在这种创作者的内容,那它有可能在就是单一维度,比如说coding上比cloud还要强吗?
  • 这双塔之间会互相的提升吗?
  • 除了可能会更简单,双塔有可能会变成一个塔,还会有什么在未来模型中可能带看到的一些变化?
  • 比如说你们为这个(泛化)有哪些具体的优化呀?
  • 也有研究员提出这个模型的语言渲染是不是可以把它的比重加得更大一些,因为他们还是认为LLM是提升智能的关键。你认可吗?
  • 你现在有初步的答案没有,有没有一些直觉?

主持人转述研究员的提问:一个融合所有模态的“全能”模型,能否在单一维度(如编程)上超越专门模型?刘洺堉引用《孙子兵法》的“备多则力寡”来回应。他认为,模型训练时需要“博学多闻”,但在特定应用上,可能需要放弃一些不相关的功能以求达到最佳性能。策略的关键在于决定“可以放弃什么”。

关于Cosmos 3未来的演进,刘洺堉指出,团队非常关注如何帮助“physical builder”(物理世界应用的开发者),核心是提升模型的泛化能力。例如,让机器人看过一两次演示就能学会叠衣服,或读了说明书就会操作设备。未来的模型迭代会围绕提升这类泛化能力展开,可能涉及架构、训练目标或特定数据的调整。他将深度学习比作“中医”,是一个需要通过严格控制变量的实验来探索规律的“实验科学”。

对于是否应加大语言模型比重以提升智能的建议,刘洺堉表示认同更强的语言理解有助于生成任务,但他同时强调,Physical AI的应用场景与编程、聊天等数字智能场景截然不同。他反问:“你需要你的机器人会解奥数问题吗?”他认为,Physical AI更关注的是完成具体的物理操作。由于目标问题不同,最终的理想架构很可能与当前的Agent模型不一样。当被追问直觉时,他再次引用“备多则力寡”并回顾人类历史,认为针对不同任务的工具本就应该不同。

话题推进:从模型的哲学思辨,话题转向了Cosmos项目在英伟达内部的战略定位和资源投入。

02:10:00–02:20:00Cosmos的定位、评估与挑战

  • Cosmos你们未来会投入多少卡和资源啊?
  • 这会是Nvidia最重要的一个模型的项目吗?
  • Physical AI在你们看来会是一个多大的市场?
  • 因为世界模型现在缺乏有效的评估方法,你们有一些好的探索吗?
  • 数据也是一个难点,你们这次怎么怎么做的?
  • 在刚才说的那些现在的限制和局限之下, Nvidia有显著的一些优势吗?
  • 这个模型让你非常满意的一点是什么,然后让你有点遗憾的可能是什么?
  • 你有想过像老黄说的做到97代或是什麽样子吗?

关于资源投入,刘洺堉透露Cosmos项目已在使用“万”级别的GPU,并希望未来能有更多。在英伟达内部,模型项目主要分为两大类:一类是面向数字世界的Agent AI,由Nemo团队负责;另一类是面向物理世界的Physical AI,以Cosmos为核心基础模型。自动驾驶(阿玛的ference)和机器人([unintelligible])等项目都是在Cosmos之上针对特定领域进行的优化。他认为两类AI同等重要,只是当前Agent AI竞争更激烈,而Physical AI是“下一步”。

谈及世界模型的评估,刘洺堉介绍了三种方法:1. 标准数据集(benchmark);2. 模型对战(arena style);3. 与合作伙伴一起解决真实痛点。他强调,对于应用场景各异的Physical AI,第三种方法尤为重要。数据方面,Physical AI的数据收集是巨大难点。英伟达的策略是寻找共通点,主要聚焦两类数据:一是相对容易获取的导航(navigation)数据;二是操作(manipulation)数据。对于后者,团队观察到行业趋势是开发接近人手的机械臂,因为世界是为人手设计的,且人类是主要的数据收集者。因此,Cosmos 3特地加入了“第一人称视角”(Egocentric)的数据。

刘洺堉认为英伟达的优势在于:GPU计算成本低、在物理世界领域深耕多年(拥有芯片、模拟器等完整工具链),以及作为平台方“真心想帮助其他公司成功”的合作心态。他对Cosmos 3最满意之处在于,它成功地将过去所有独立模型整合为一,且性能超越了所有旧模型,并凝聚了整个团队。遗憾之处则是受时间限制,模型未能完全收敛,还有很多想做的改进没来得及实现,这些将留待未来的3.1、3.2版本。对于黄仁勋“做到Cosmos 97”的说法,他理解为公司将长期投入、坚定不移地把世界模型做好的决心,最终目标是创造一个可以随时模拟真实世界的“黑客帝国”(Matrix)。

话题推进:从Cosmos项目的具体情况,话题转向了英伟达更宏观的组织管理哲学。

02:10:00–02:20:00管理大型项目:在目标一致与自主决策间寻求平衡

  • 刚才你也提到就是Cosmos是一个非常大的团队。嗯,你觉得驱动这么大的一个团队一起工作,难点是什么?
  • 怎么让两百多人都同时做决定啊,这个好难啊。
  • 你设计了什么样的管理方法,让大家的信息能更透明,能更好的协作?有什么样的管理技巧?
  • 注重沟通,不开例会这样的会议吗?
  • 你说的矽谷现在大家说OpenAI的企业文化是自下而上,Anthropic是自上而下,你们属于哪一种?

主持人询问如何管理Cosmos项目近300人的庞大团队。刘洺堉指出,核心难题是在“目标一致”与“自主决策”之间找到平衡。如果只有少数人能做决定,项目进展会很缓慢;如果人人都能做决定但目标不一致,团队就会发散,甚至出现内部赛马。因此,关键是让大家目标一致,同时每个人又能自主决策。

为了实现这一点,刘洺堉在组织架构上花了大量心思,核心是“信息透明化”和“提供容错空间”。他会提前向团队清晰地描绘项目的最终愿景,就像罚球前想象篮球空心入网一样,让每个人在自己的岗位上能做出对整体有利的决定。他非常注重沟通,与各小组(如video组、understanding组)每周都会开两三次会,确保信息充分流动。他承认会议过多可能影响效率,但关键是让会议有参与感(engagement),在“一直开会”和“从不开会”之间找到动态平衡。

当被问及英伟达的管理模式是自上而下还是自下而上时,刘洺堉认为两者兼有。他引用“天下分久必合,合久必分”,表示任何单一模式走向极端都会出问题。正确的做法是根据不同时间点的具体情况,灵活选择对团队最有利的方式,而不是固守一种公式。

话题推进:从项目管理,话题进一步深入到英伟达独特的公司文化,特别是其“不裁员”和“不赛马”的原则。

02:10:00–02:20:00英伟达的生存哲学:不裁员、不赛马与长期主义

  • 你在过程中没有见证因为打哪些pain and suffering没有?
  • 为什么Nvidia一直坚持不裁员啊?他真的没有裁过员工吗?
  • 也没有末位淘汰对吧?
  • 它的优缺点是什么呢?
  • 组织效率怎么提升呢?这对你们来说是个问题吗?
  • 听上去不裁员有很多好处,但是大部分公司都不是这么做的,对吧?这是为什么?然后以及老黄为什么从一开始就觉得不应该裁员?
  • 那是不是意味着当新技术来的时候,Nvidia不会是最快的那个,但是它是依赖于你早十年或者早五年的提前布局。
  • 你们也不赛马,对吗?

主持人问及英伟达经历的痛苦与磨难。刘洺堉提到,CEO黄仁勋常说“公司只有30天的现金流”,以此保持危机感。他举例,在疫情期间经济下行时,许多公司选择裁员,而英伟达的对策是削减差旅、评估是否停用Slack等工具来节省开销,力求保住员工。刘洺堉在英伟达的十年间,从未经历过裁员或末位淘汰。

他分析了这种“不裁员”文化的优缺点。优点是员工有安全感和认同感,敢于讲真话,也更容易团结合作,避免了因担心被淘汰而过度“抢出头”的内耗。缺点是,当技术转型时,培养现有员工学习新技能会比直接裁掉旧人、招聘新人要慢。但公司得到的是员工的信任和忠诚。他认为,组织效率的提升源于让员工做自己充满热情、有成就感且对公司有巨大利益的事。黄仁勋选择这种模式是深思熟虑的结果,旨在建立一种追求长久经营的独特企业文化。

这种文化也体现在“不赛马”的原则上。英伟达的模式是:确定一个任务(mission),信任并赋能一个团队去完成,通过不断给予考验和指导(coach you to greatness)来磨练团队,使其成长。这与公司“放长线钓大鱼”的长期主义战略一脉相承,正如CUDA项目提前布局十年终获成功一样。公司依赖的是远见和长期投资,而非内部竞争和短期反应速度。

话题推进:本段结束。

02:20:00–02:30:00连续对话 15

02:20:00–02:30:00Physical AI的评估与数据:共同基座如何接受不同下游任务的检验

  • Cosmos是NVIDIA最重要的模型项目吗?
  • 物理世界的数据和评估与Coding Agent有什么不同?
  • 为什么强调第一人称人类操作数据?

刘洺堉把NVIDIA的模型方向分成digital Agent AI与physical AI,前者服务Coding、Chat和Agent,后者以Cosmos为共同基座,支持汽车、机器人、工厂等不同开发者。他说两类都重要,不能把Cosmos单列为唯一中心。

physical AI的评估尤其依赖场景:不同机器人形态、传感器、任务和部署条件使通用分数难以直接比较。团队需要与合作伙伴共同定义‘真正有用’,而不是只用Coding Agent的标准判断。数据也分为navigation与manipulation:位移和旋转较容易共享,具体操作更依赖手、工具和接触方式。

他由此解释第一人称人类操作数据的重要性:世界多数工具按人手设计,人也能提供操作示范。Cosmos目标不是直接制造某一台机器人,而是帮助不同builder,所以寻找较容易共享的结构。这里有嘉宾对数据路线的判断,不能推成第一人称视频天然包含机器人动作标签或已解决跨本体迁移。

他满意于统一模型优于过去独立模型和团队凝聚,也承认模型受时间限制未完全收敛,很多想法要留到3.1、3.2继续。这些是项目自述与后续计划,不能把‘还要改进’写成当前能力已经完成全部目标。

话题推进:下游任务多样也带来组织问题:大团队如何统一目标,又让成员保留实际决策权。

02:30:00–02:40:00连续对话 16

02:30:00–02:40:00管理大型模型团队:目标一致、信息透明与允许犯错

  • 几百人的项目怎样避免只有少数人决策?
  • 怎样让不同方向的人目标一致而不变成赛马?
  • 自下而上与自上而下如何取舍?

刘洺堉把大型Cosmos团队的组织难题说成两个条件必须同时成立:共同目标一致,每个人又能在自己的位置做实际决策。如果只有负责人能决定数据比例和架构,知识与时间都会成为瓶颈;如果人人决策却各自只优化video、action或understanding,项目会发散,甚至形成赛马。

他的做法是反复讲清共同愿景,让不同leader和成员知道最终模型大致要长什么样,再通过信息透明支持局部选择。开会很多,但他强调参与和投入,而不是会议数量本身;不同阶段的沟通密度需要调整。

允许错误是另一项条件:若成员害怕犯错,就不会做决定。组织需要让错误能被快速修正,而不是预先保证每个选择正确。他把自上而下和自下而上都看作会走向极端的方式,实际管理随任务与时间变化,不把英伟达概括成一种固定组织口号。

话题推进:组织中的容错与信任随后被延伸到公司层面的不裁员、不赛马与长期投入,也暴露了转型成本。

02:40:00–02:50:00连续对话 17

02:40:00–02:50:00从Cosmos 2到3:走向统一模型与开源共享

  • 所以二到三其实是一个大的变化?
  • 三做了多久?
  • 一个中国做世界模型的创作者,他说他看Cosmo3论文看了一周,而且是每天看,里面有很多的细节。我觉得他们的观点是说就是觉得Cosmo3它在技术的大的创新上不多。但是它把很多的细节都工程验证出来了,你觉得他们这个评价准确吗?

嘉宾刘洺堉解释了Cosmos系列模型的演进历程。Cosmos 1旨在理解问题,Cosmos 2则在1的基础上提升了数据量并引入了新技术。然而,团队在开发Cosmos 2的过程中意识到,为不同模态(如视觉、声音、动作)分别构建模型的做法不可持续,因此决定转向开发一个统一的全模态模型(Omni model),即Cosmos 3。这一转变发生在2024年9月左右,10月正式开始执行,历时超过半年。

主持人转述了一位创业者的观点,认为Cosmos 3在技术上没有革命性创新,但工程细节做得非常扎实。刘洺堉回应称,评价一个模型不应只看其是否具有“革命性原创”,更应看它能否产生实际效果(impact)和解决问题。他以Transformer架构为例,指出虽然所有大语言模型都基于此,但正是细节的差异导致了性能的巨大不同。他强调,Cosmos 3是第一个将音频(audio)、视频(video)和动作(action)在如此大的规模上用Transformer架构融合在一起的模型,将概念转化为现实的正是这些工程细节。

刘洺堉进一步阐述了Cosmos 3选择开源的动机。他观察到许多实验室近年来趋向闭源,即使发表论文也隐藏关键环节。英伟达决定走相反的道路,尽可能清晰地公开技术细节,开源模型、训练框架及部分数据。其目标是保持透明,赋能整个Physical AI社区,希望其他研究者能利用这些资源做出类似或更好的模型,从而加速整个领域的进步。

话题推进:对话自然地从Cosmos 3的开源策略,引向了其多模态融合的具体技术决策。

02:40:00–02:50:00多模态融合:为何将语言、视觉和动作视为同等重要

  • 你们在这次为什么选择首先在输入层同时能够输入video, audio和action, 这是一个重要的决策吗?
  • 你怎么看待他们(指杨植麟等研究者)这两种观念(语言中心 vs. 视觉中心),以及你把他们这些信号都训到一起的时候会出现问题吗?就互相的污染。
  • 多模态融合到一起,这些模态是相互的还是相互制约的?
  • 这里面有什么secret sauce吗?在互相benefit上。

主持人询问Cosmos 3为何要同时处理视频、音频和动作输入。刘洺堉确认这是一个重要决策,因为物理世界是多模态的。他解释,大模型研究主要有两条路径:一是将语言(language)作为核心,如聊天或编程模型;二是将视觉信号(video)作为核心。而英伟达认为,物理世界模型与数字世界模型的根本区别在于前者能改变世界状态,因此动作(action)也必须被当作“一等公民”(first-class citizen)。Cosmos 3的目标是成为物理AI的基础模型,因此必须融合这三种模态。

针对主持人提及其他研究者担心多模态融合会互相“污染”的观点,刘洺堉阐述了不同模态的独特作用:语言是人机沟通和知识传入的桥梁;视频和音频能更精准地捕捉物理世界的运作规律;而动作则赋予模型改变世界的能力。他强调,其目标并非追求通用人工智能(AGI),而是构建一个服务于物理AI的实用基础模型。对于这个明确的目标,三种模态缺一不可。他承认,如果目标是纯粹的数字智能(如编程),视觉信号可能构成干扰,反之亦然,这取决于最终想解决什么问题。

关于模态间的相互作用,刘洺堉表示,团队过去一年多的研究表明,不同模态可以互补。例如,预测动作发生后的视觉状态(video)有助于训练动作模型(action model);声音可以帮助更精准地生成视频(如碰撞声对应接触点);详尽的文字描述也能提升视频生成质量。Cosmos 3的设计理念正是基于这些发现,相信这些描述同一世界的信号融合后能相互促进。实现这种互补而非互斥的关键在于实验设计和数据比例的调整。他总结,做大模型没有“秘方”(secret sauce),而是依赖于严谨、扎实的假设、实验、验证和知识积累。

话题推进:从多模态融合的理念,话题转向了Cosmos 3具体的“双塔”架构设计及其背后的考量。

02:40:00–02:50:00双塔架构的权衡:在工程完美与用户易用性之间

  • 因为你们这次采取的是一个双塔的设计,一个塔在处理离散信息,一个塔在处理连续信息。为什么采取这个设计?
  • 但是相对来说,离散的信号更好处理,把融合进了连续的变量之后,它的处理难度会变高,你们怎么合在一起并且能够把它scale上去呢?
  • 直觉来看离散更容易还是连续更容易啊?

主持人问及Cosmos 3采用“双塔”架构的原因。刘洺堉解释,这是一个基于当前阶段的合理选择。一个塔(reasoning tower)处理离散信息,用于理解(understanding);另一个塔(generation tower)处理连续信息,用于生成(generation)。这种分离式设计主要出于用户易用性的考虑。许多用户需要对基础模型进行后训练(post-training),例如用自己的数据微调生成器。如果两个功能完全耦合在一个模型里,微调生成部分时,可能会因为数据分布的改变而损害模型的理解能力。

刘洺堉承认,双塔架构并非最“优雅”(elegant)的方案,因为它有人为划分的痕迹,而深度学习的理想是让数据自行决定结构。但他强调,现阶段这种设计更便于客户使用。同时,他也透露团队的下一步目标是走向更简洁的单塔架构。然而,在追求工程简约的同时,必须兼顾用户的易用性,因为英伟达的目标是“帮助大家赢”,而不是仅仅创造一个技术上完美的模型。机器人、自动驾驶等不同应用的相机位置、数量各不相同,模型需要支持定制化,双塔结构为此提供了便利。

当被问及离散与连续信号处理的难易时,刘洺堉表示各有优劣。离散信号的训练相对容易,而连续信号在推理(inference)时有其优势。他指出,最终模型的部署成本是关键考量,最适合部署的模型最容易成功。因此,未来的架构演进会综合考虑训练、推理、部署成本以及用户定制化需求等多个因素。

话题推进:讨论完架构选择后,话题转向了全能模型与专用模型之间的取舍,以及Cosmos未来的发展方向。

02:40:00–02:50:00“备多则力寡”:Physical AI模型不需要在所有维度上都最强

  • 有一个研究员问你,因为你现在是把所有的模态都训练到一个模型里去,那理论上就是它也可以coding做的很好,也可以让机器人能够运作,然后也能生成我们现在这种创作者的内容,那它有可能在就是单一维度,比如说coding上比cloud还要强吗?
  • 这双塔之间会互相的提升吗?
  • 除了可能会更简单,双塔有可能会变成一个塔,还会有什么在未来模型中可能带看到的一些变化?
  • 比如说你们为这个(泛化)有哪些具体的优化呀?
  • 也有研究员提出这个模型的语言渲染是不是可以把它的比重加得更大一些,因为他们还是认为LLM是提升智能的关键。你认可吗?
  • 你现在有初步的答案没有,有没有一些直觉?

主持人转述研究员的提问:一个融合所有模态的“全能”模型,能否在单一维度(如编程)上超越专门模型?刘洺堉引用《孙子兵法》的“备多则力寡”来回应。他认为,模型训练时需要“博学多闻”,但在特定应用上,可能需要放弃一些不相关的功能以求达到最佳性能。策略的关键在于决定“可以放弃什么”。

关于Cosmos 3未来的演进,刘洺堉指出,团队非常关注如何帮助“physical builder”(物理世界应用的开发者),核心是提升模型的泛化能力。例如,让机器人看过一两次演示就能学会叠衣服,或读了说明书就会操作设备。未来的模型迭代会围绕提升这类泛化能力展开,可能涉及架构、训练目标或特定数据的调整。他将深度学习比作“中医”,是一个需要通过严格控制变量的实验来探索规律的“实验科学”。

对于是否应加大语言模型比重以提升智能的建议,刘洺堉表示认同更强的语言理解有助于生成任务,但他同时强调,Physical AI的应用场景与编程、聊天等数字智能场景截然不同。他反问:“你需要你的机器人会解奥数问题吗?”他认为,Physical AI更关注的是完成具体的物理操作。由于目标问题不同,最终的理想架构很可能与当前的Agent模型不一样。当被追问直觉时,他再次引用“备多则力寡”并回顾人类历史,认为针对不同任务的工具本就应该不同。

话题推进:从模型的哲学思辨,话题转向了Cosmos项目在英伟达内部的战略定位和资源投入。

02:40:00–02:50:00Cosmos的定位、评估与挑战

  • Cosmos你们未来会投入多少卡和资源啊?
  • 这会是Nvidia最重要的一个模型的项目吗?
  • Physical AI在你们看来会是一个多大的市场?
  • 因为世界模型现在缺乏有效的评估方法,你们有一些好的探索吗?
  • 数据也是一个难点,你们这次怎么怎么做的?
  • 在刚才说的那些现在的限制和局限之下, Nvidia有显著的一些优势吗?
  • 这个模型让你非常满意的一点是什么,然后让你有点遗憾的可能是什么?
  • 你有想过像老黄说的做到97代或是什麽样子吗?

关于资源投入,刘洺堉透露Cosmos项目已在使用“万”级别的GPU,并希望未来能有更多。在英伟达内部,模型项目主要分为两大类:一类是面向数字世界的Agent AI,由Nemo团队负责;另一类是面向物理世界的Physical AI,以Cosmos为核心基础模型。自动驾驶(阿玛的ference)和机器人([unintelligible])等项目都是在Cosmos之上针对特定领域进行的优化。他认为两类AI同等重要,只是当前Agent AI竞争更激烈,而Physical AI是“下一步”。

谈及世界模型的评估,刘洺堉介绍了三种方法:1. 标准数据集(benchmark);2. 模型对战(arena style);3. 与合作伙伴一起解决真实痛点。他强调,对于应用场景各异的Physical AI,第三种方法尤为重要。数据方面,Physical AI的数据收集是巨大难点。英伟达的策略是寻找共通点,主要聚焦两类数据:一是相对容易获取的导航(navigation)数据;二是操作(manipulation)数据。对于后者,团队观察到行业趋势是开发接近人手的机械臂,因为世界是为人手设计的,且人类是主要的数据收集者。因此,Cosmos 3特地加入了“第一人称视角”(Egocentric)的数据。

刘洺堉认为英伟达的优势在于:GPU计算成本低、在物理世界领域深耕多年(拥有芯片、模拟器等完整工具链),以及作为平台方“真心想帮助其他公司成功”的合作心态。他对Cosmos 3最满意之处在于,它成功地将过去所有独立模型整合为一,且性能超越了所有旧模型,并凝聚了整个团队。遗憾之处则是受时间限制,模型未能完全收敛,还有很多想做的改进没来得及实现,这些将留待未来的3.1、3.2版本。对于黄仁勋“做到Cosmos 97”的说法,他理解为公司将长期投入、坚定不移地把世界模型做好的决心,最终目标是创造一个可以随时模拟真实世界的“黑客帝国”(Matrix)。

话题推进:从Cosmos项目的具体情况,话题转向了英伟达更宏观的组织管理哲学。

02:40:00–02:50:00管理大型项目:在目标一致与自主决策间寻求平衡

  • 刚才你也提到就是Cosmos是一个非常大的团队。嗯,你觉得驱动这么大的一个团队一起工作,难点是什么?
  • 怎么让两百多人都同时做决定啊,这个好难啊。
  • 你设计了什么样的管理方法,让大家的信息能更透明,能更好的协作?有什么样的管理技巧?
  • 注重沟通,不开例会这样的会议吗?
  • 你说的矽谷现在大家说OpenAI的企业文化是自下而上,Anthropic是自上而下,你们属于哪一种?

主持人询问如何管理Cosmos项目近300人的庞大团队。刘洺堉指出,核心难题是在“目标一致”与“自主决策”之间找到平衡。如果只有少数人能做决定,项目进展会很缓慢;如果人人都能做决定但目标不一致,团队就会发散,甚至出现内部赛马。因此,关键是让大家目标一致,同时每个人又能自主决策。

为了实现这一点,刘洺堉在组织架构上花了大量心思,核心是“信息透明化”和“提供容错空间”。他会提前向团队清晰地描绘项目的最终愿景,就像罚球前想象篮球空心入网一样,让每个人在自己的岗位上能做出对整体有利的决定。他非常注重沟通,与各小组(如video组、understanding组)每周都会开两三次会,确保信息充分流动。他承认会议过多可能影响效率,但关键是让会议有参与感(engagement),在“一直开会”和“从不开会”之间找到动态平衡。

当被问及英伟达的管理模式是自上而下还是自下而上时,刘洺堉认为两者兼有。他引用“天下分久必合,合久必分”,表示任何单一模式走向极端都会出问题。正确的做法是根据不同时间点的具体情况,灵活选择对团队最有利的方式,而不是固守一种公式。

话题推进:从项目管理,话题进一步深入到英伟达独特的公司文化,特别是其“不裁员”和“不赛马”的原则。

02:40:00–02:50:00英伟达的生存哲学:不裁员、不赛马与长期主义

  • 你在过程中没有见证因为打哪些pain and suffering没有?
  • 为什么Nvidia一直坚持不裁员啊?他真的没有裁过员工吗?
  • 也没有末位淘汰对吧?
  • 它的优缺点是什么呢?
  • 组织效率怎么提升呢?这对你们来说是个问题吗?
  • 听上去不裁员有很多好处,但是大部分公司都不是这么做的,对吧?这是为什么?然后以及老黄为什么从一开始就觉得不应该裁员?
  • 那是不是意味着当新技术来的时候,Nvidia不会是最快的那个,但是它是依赖于你早十年或者早五年的提前布局。
  • 你们也不赛马,对吗?

主持人问及英伟达经历的痛苦与磨难。刘洺堉提到,CEO黄仁勋常说“公司只有30天的现金流”,以此保持危机感。他举例,在疫情期间经济下行时,许多公司选择裁员,而英伟达的对策是削减差旅、评估是否停用Slack等工具来节省开销,力求保住员工。刘洺堉在英伟达的十年间,从未经历过裁员或末位淘汰。

他分析了这种“不裁员”文化的优缺点。优点是员工有安全感和认同感,敢于讲真话,也更容易团结合作,避免了因担心被淘汰而过度“抢出头”的内耗。缺点是,当技术转型时,培养现有员工学习新技能会比直接裁掉旧人、招聘新人要慢。但公司得到的是员工的信任和忠诚。他认为,组织效率的提升源于让员工做自己充满热情、有成就感且对公司有巨大利益的事。黄仁勋选择这种模式是深思熟虑的结果,旨在建立一种追求长久经营的独特企业文化。

这种文化也体现在“不赛马”的原则上。英伟达的模式是:确定一个任务(mission),信任并赋能一个团队去完成,通过不断给予考验和指导(coach you to greatness)来磨练团队,使其成长。这与公司“放长线钓大鱼”的长期主义战略一脉相承,正如CUDA项目提前布局十年终获成功一样。公司依赖的是远见和长期投资,而非内部竞争和短期反应速度。

话题推进:本段结束。

02:50:00–03:00:00连续对话 18

02:50:00–03:00:00不裁员与不赛马的另一面:信任、长期投入与转型成本

  • 公司在困难时期怎样节省开支?
  • 不裁员与不赛马有什么优点和缺点?
  • 怎样平衡长期布局与技术变化速度?

刘洺堉先以公司困难时期为例:减少差旅、讨论是否取消部分云服务和通信工具,而不是直接裁员。他说在自己任职期间未听到裁员消息,这属于个人经历,不能扩写为公司历史上从未发生任何形式的人员退出;他也明确提到绩效不满意或其他因素导致离开。

他认为不以末位淘汰推动竞争,能让员工更敢讲真话、减少彼此争功并促进合作。但主持人追问缺点时,他承认成熟技术变化后,员工需要时间学习和转型;直接换一批已具备新技能的人可能更快,内部培养会更慢。长期信任因此不是零成本管理选择。

公司偏好把任务交给成员并持续磨练,而不是多个团队赛马。它与长期投入相互支持:像CUDA那样提前布局,要求方向判断、耐心和资源承受力。这里的组织效率并非只靠热情,仍需要个人擅长、任务意义和公司利益对齐。

新版保留这组正反证据:安全感和合作可能增强知识共享,转型速度和技能更新则需要额外机制,不能把‘不裁员’写成普遍最优或没有绩效压力。

话题推进:最后把长期布局与Physical AI的未来、开源生态和个人职业选择连接起来,区分已经发生的变化与嘉宾预测。

03:00:00–03:10:00连续对话 19

03:00:00–03:10:00英伟达的管理哲学:Top 5、透明度与有机组织

  • 你的生活状态发生变化了吗?在这过去几年?
  • 能不能从更一线的视角来讲一讲,就是Nvidia的一些不一样的管理方式?

嘉宾刘洺堉首先谈及自GPT兴起后,整个AI行业从业者都感受到巨大的压力和快速的迭代节奏,他称之为“pain and suffering”。当成果未达预期时,消耗的GPU资源和年轻人的时间都会带来无形的压力。主持人追问其生活状态的变化,刘洺堉表示自己变得更高效,通常凌晨四五点起床,利用早晨连续的时间运动,九、十点到公司后便投入密集的会议中。他晚上大约十点到十一点睡觉。

随后,主持人希望他从一线视角分享英伟达独特的管理方式。刘洺堉介绍了几个关键点:

1. Top 5 邮件机制:员工需要向许多人汇报自己最重要的五件事。刘洺堉认为,这个机制能让员工清晰地了解公司内各种大小信号,并能自然地发现不同团队间是否存在重复工作,从而促进信息透明。

2. 信息透明:与苹果等公司可能采取的保密文化相反,英伟达追求信息透明,这是一种独特的管理考量。

3. “Mission is the boss”:刘洺堉形容英伟达像一个没有强硬框架的“有机体”。当公司确定一个战略方向时,不同组织中具备相关技能的团队会自动对齐(align),共同向目标前进,形成一个新的合力。员工的归属部门不重要,重要的是能否为当前的任务(mission)做出贡献。主持人总结为“任务是你的老板,而不是你的直属老板是你的老板”。

4. 不裁员与信任文化:公司不轻易裁员,而是强调员工转型和企业文化,以此建立员工对公司的信任,促进彼此合作。刘洺堉认为,这几点共同构成了英伟达独特的、充满活力的组织形态。

话题推进:在讨论了英伟达独特的组织文化后,主持人进一步提问,关于团队协作中人才水平与合作氛围哪个更重要,引出了关于个人竞争心态转变的话题。

03:00:00–03:10:00从“击败对手”到“创造价值”:受黄仁勋影响的竞争观转变

  • 一群S级的人一起工作和一群A plus或者A级的人一起工作,哪个可能取得的成功更大呀,你觉得?
  • 你看你今天说了很多,你没有竞争对手……这种low ego的状态是在英伟达发生的变化吗?这真的是low ego还是只是一种隐藏?
  • 这是跟老黄学的吗?这是什么时候学的?
  • 你看英伟达包括你,然后包括Jason(黄仁勋),他出来经常会说take care of audience……这种take care是一种真实的吗?
  • 你近距离观察过老黄很多年,如果只用几个词来形容他,你会怎么形容他?
  • 他(黄仁勋)对你鼓励比较多还是批评比较多,一般来说?
  • 他(黄仁勋)对你让你印象最深的一句话是什么呢?

主持人提问,顶尖人才(S级)团队与优秀人才(A级)团队哪个更容易成功。刘洺堉回应,关键在于能否实现“一加一大于二”的协同效应。他认为,即使团队成员都非常聪明,如果彼此无法互信、互相防备,甚至想证明自己比别人更强,就很难产生好的合作效果。他用游戏打比方,一个好的团队需要多元化的角色,如弓箭手、防御者和治疗者,而不是单一类型的成员。

主持人接着问,他“没有竞争对手”的“low ego”状态是否是在英伟达形成的。刘洺堉表示认同,并解释这并非隐藏,而是一种源于自信(confidence)的心态:专注于做出能帮助大家的好东西,而不是以击败对手为目标。他坦言深受CEO黄仁勋的影响。作为研究员出身,他曾是一个“高度竞争的个体”,因为学术界的评价标准就是论文是否达到“state-of-the-art”,即击败所有人。但随着职位变化和在英伟达的经历,他逐渐认识到,看到合作伙伴因使用其模型而提升效率所带来的成就感,同样是一种重要的贡献。

刘洺堉认为,英伟达“照顾生态伙伴”的理念是真诚的。公司早期作为芯片设计公司(design house),依赖生态伙伴制造GPU卡和开发游戏,形成了共荣共生的习惯。后来进入深度学习领域,英伟达也支持了包括PyTorch、TensorFlow在内的多种框架。他解释,帮助客户成功,客户就能服务更多用户,从而增加对GPU的需求,这是一种共赢的商业逻辑。

谈及黄仁勋,刘洺堉称他为“六边形战士”,既能深入到计算机架构中极度微观的寄存器(register)细节,也能探讨市场营销等宏观战略,在产品定价、客户关系等各方面都面面俱到,并对公司成功抱有极大热情。他透露,在自己尚未完全理解公司运作方式时,黄仁勋的批评较多,但批评中也带着鼓励,目的是“push everybody to greatness”。他认为,愿意花时间和精力去“push”别人进步,本身就是一件不容易的事。

刘洺堉分享了一段令他印象深刻的经历:一次会议上,他在比较自家方案与另一方案时,抱怨对方的设定(setting)不公平。黄仁勋当即反问:“Are you a cry baby?”(你是在哭诉吗?)。这句话让他深刻反思,从此不再为失败找理由,而是更严格地要求自己,这与西点军校“no excuse”的理念相通。

话题推进:在分享了黄仁勋对其个人价值观的深刻影响后,对话转向了如何在“成为第一”的个人追求与公司“创造价值”的理念之间做出选择。

03:00:00–03:10:00个人成就与社会贡献:从追求“第一”到创造“最大影响”

  • 如果当一个研究员想成为 number one和英伟达的本身的业务……发生了冲突的话,你会选择哪个?
  • 你还有什么在研究生涯上觉得遗憾的吗?你还有什么最想得到的?
  • 你也经常来中国吗?你怎么看中国的这一批模型发展啊?
  • 现在你跟我说硅谷已经被LLM催眠了。你怎么看他这句话?
  • 昨天SpaceX上市,然后马上OpenAI和Anthropic也要上市,今年这些公司大模型公司的上市会对这个行业发生什么样的影响吗?
  • 那模型市场竞赛的终局可能是什么样?
  • 所以没有必要神话模型或者模型公司什么?
  • 现在假设一个新公司说我要训练一个模型,他还有很大概率赶上来吗?

主持人提问,当研究员追求“第一”的个人目标与英伟达的商业哲学冲突时如何选择。刘洺堉回答,他现在更倾向于“具备做出第一名模型的能力,但用此能力去做对社会贡献最大的事”。他解释,科学发展是持续进步的,今天的“第一”很快会被超越。做出一个“第一”的模型但只让少数人使用,可能导致权力过度集中,并非好事。他认为人来世间走一遭,留下来的应该是影响,因此贡献比能力本身更重要。

回顾研究生涯,刘洺堉表示最大的目标是推动Physical AI成功,这是继他十年前预测“深度学习将取代传统计算机图形学成为影像生成主流”(现已实现)之后的下一个重大目标。他认为,与追求拿不完的奖项、比不完的引用数和赚不完的钱相比,更重要的是做出让自己骄傲、在能力范围内满意的成果。随着年龄增长,他的重心已从外部衡量指标转向帮助他人。

谈及中国的大模型发展,刘洺堉表示“非常impressive”,并列举了多家公司。他特别指出,与美国顶尖实验室倾向于将知识(know-how)保留在内部不同,中国的公司通过招收大量实习生,促进了知识的扩散,这对人类整体知识的增长是好事。

对于“硅谷被LLM催眠”的说法,刘洺堉不完全认同。他承认LLM带来了巨大便利(如coding agent),领先公司也确实从此出发。但他认为,当一个领域被充分理解后,聪明人自然会去寻找新的突破点,不会一辈子只做LLM。这只是特定时间点的正确选择,而非永久的“催眠”。

关于大模型公司上市潮,他认为这是对早期投资者远见、勇气和决心的合理回报,但科技不会就此停滞。展望模型竞赛的终局,他预测模型本身的能力会趋于统一(commoditize),就像软件开发一样,最终活下来的公司将依靠模型之外的其他东西形成区分度。他将模型比作工具或一门学问,关键在于用它做什么。因此,他认为后来者如Kimi、月之暗面(Moonshot AI)等仍有机会追赶。

话题推进:在讨论了模型竞赛的终局和后来者的机会后,对话进一步深入到Physical AI的未来、中美机器人产业的对比,以及对成功的定义。

03:00:00–03:10:00Physical AI的“GPT时刻”与中美机器人产业差异

  • 端侧模型你觉得会多久之后爆发吗?
  • 对于今年或明年的模型竞赛你有哪些预测?
  • 中国的机器人公司呢,你应该也见了很多,你觉得跟美国有什么不一样吗,两边?
  • 你觉得美国现在会不会有点,就是不那么重视硬件可能是错的?
  • moment在physical AI,你觉得有可能在哪里爆发?
  • 对泛化来说现在最重要的一个问题是什么呀,如果只说一个?
  • 如果它在Cosmos这套系统里学习了,它走向现实世界之后,它还是会有gap对不对?怎么解决这个问题呢?
  • 如果五年后我再来采访你,你希望Cosmos发展到什么阶段?
  • 在人工智能的历史上,你希望别人怎么来记录你啊?
  • 是大模型竞争不是由于游戏,还是世界模型竞争不是由于游戏啊?

刘洺堉预测,Physical AI的“GPT时刻”即将到来。他认为,世界模型是强化物理世界模型泛化能力的关键。虽然具体落地方式仍在探索,但他期望五年后再次受访时,能明确说出这个“时刻”发生的具体日期和事件。

主持人询问中美机器人公司的差异。刘洺堉指出,美国做机器人本体的公司很少,主要是特斯拉和Figure AI;而中国则有很多公司在做本体。他分析,自研本体可以更好地控制软硬件整合,而中国强大的制造业为此提供了优势条件,使得这些公司能做一些在美国不易实现的事情。这种垂直整合可能会带来突破。对于美国是否“不重视硬件”,他认为很难说,但如果软硬件整合是趋势,那么没有硬件确实会处于被动。

关于Physical AI的“GPT时刻”具体会是什么样,刘洺堉设想的场景是:当一个产品出现,只需人类简单示范一个操作,机器人就能就地学会并泛化应用。他强调,AI的核心就是解决泛化问题。在Physical AI领域,关键的泛化问题是从有限的“观察-行动”(observation-action)数据对中学习,并应用到未见过的新场景。从模拟环境(如Cosmos)到现实世界的“gap”,本质上也是一个泛化问题。他认为,短期内Cosmos能通过提供更好的数据(better data)和更好的模型起点(better starting points),帮助开发者构建更易于泛化的策略模型(policy model)。

当被问及希望在AI历史上留下什么印记时,刘洺堉表示希望人们记住的是Cosmos,而不是他个人。他希望Cosmos能成为推动Physical AI实现“GPT时刻”的重要推手。

最后,主持人重提“鱿鱼游戏”的比喻。刘洺堉重申,模型竞争不应该是“鱿鱼游戏”,因为世界上需要解决的问题很多,可以提供价值的方向也很多。如果大家的目标完全一样,那才是“鱿鱼游戏”。

话题推进:在明确了自己对模型竞争和个人历史定位的看法后,对话进入了最后部分,嘉宾进一步阐述了英伟达“创造市场”的哲学,并对一些核心概念进行了总结。

03:00:00–03:10:00创造市场,而非存量竞争:英伟达的“Zero-Billion-Dollar Business”哲学

  • 你有过那种特别high ego的时候吗?
  • 是每个公司都需要训一个自己的大模型吗?
  • Cosmos对你们来说是一场不能输的战争吗?
  • 老黄会分享类似观点吗?
  • 这是一种拥抱风险还是一种抵抗风险?
  • 你还要从老黄身上学到什么没有?
  • 为什么其他公司都说CEO不应该最努力的人,但你们公司CEO是最努力的人?
  • 他现在驱动力是什么呀?

主持人追问嘉宾是否有过“high ego”的时期,刘洺堉承认年轻时会觉得自己的算法最好、论文最漂亮。但他现在认为,算法迭代速度比单个算法更重要,而迭代速度依赖于强大的基础设施(infrastructure)和数据。如果一个问题能用数据解决,就应该优先用数据,因为这比开发新算法更简单。

对于“每个公司是否都需要自研大模型”的问题,刘洺堉用“每家公司都需要建自己的电厂吗?”来类比。他认为这取决于经济效益。在电力供应不充裕的早期,自建电厂或许能保证工厂24小时运转,但现在已无必要。同理,当模型能力变成商品(commodity)后,并非所有公司都需要自研。

主持人再次提问,Cosmos是否是英伟达“不能输的战争”。刘洺堉明确否定,并解释了英伟达的核心心态不是“杀死别人”,而是“创造市场”(造市场)。他举例,现在家家户户都没有机器人,如果未来每家都买两三个,每个机器人都需要算力,这将极大地扩展对算力的总需求,对英伟达是巨大的好处。在这个过程中,其他公司也能通过卖机器人或自研芯片赚钱,整个市场被共同做大。他强调,黄仁勋经常表达这一观点,即英伟达要做“zero-billion-dollar business”——投身于那些当前市场规模为零,但成功后能达到十亿美元以上规模的业务。如果一个领域已经有人在做,可能就不值得投入。

主持人问这是否是拥抱风险。刘洺堉认为这是一种高风险(risky)策略,比如当年投入CUDA,导致GPU价格更高,是在“赔本”支持一个新生态。但他补充说,“不做这件事情更加risky”,因为不创新,产品就会逐渐商品化。

最后,谈及黄仁勋为何如此努力,刘洺堉认为其驱动力是“take care of families”(照顾家人,这里指公司员工和生态伙伴),以及亲眼看到自己的贡献改变世界所带来的巨大成就感。

话题推进:访谈以对英伟达核心竞争哲学的深入阐述结束。

03:10:00–03:20:00连续对话 20

03:10:00–03:20:00英伟达的管理哲学:Top 5、透明度与有机组织

  • 你的生活状态发生变化了吗?在这过去几年?
  • 能不能从更一线的视角来讲一讲,就是Nvidia的一些不一样的管理方式?

嘉宾刘洺堉首先谈及自GPT兴起后,整个AI行业从业者都感受到巨大的压力和快速的迭代节奏,他称之为“pain and suffering”。当成果未达预期时,消耗的GPU资源和年轻人的时间都会带来无形的压力。主持人追问其生活状态的变化,刘洺堉表示自己变得更高效,通常凌晨四五点起床,利用早晨连续的时间运动,九、十点到公司后便投入密集的会议中。他晚上大约十点到十一点睡觉。

随后,主持人希望他从一线视角分享英伟达独特的管理方式。刘洺堉介绍了几个关键点:

1. Top 5 邮件机制:员工需要向许多人汇报自己最重要的五件事。刘洺堉认为,这个机制能让员工清晰地了解公司内各种大小信号,并能自然地发现不同团队间是否存在重复工作,从而促进信息透明。

2. 信息透明:与苹果等公司可能采取的保密文化相反,英伟达追求信息透明,这是一种独特的管理考量。

3. “Mission is the boss”:刘洺堉形容英伟达像一个没有强硬框架的“有机体”。当公司确定一个战略方向时,不同组织中具备相关技能的团队会自动对齐(align),共同向目标前进,形成一个新的合力。员工的归属部门不重要,重要的是能否为当前的任务(mission)做出贡献。主持人总结为“任务是你的老板,而不是你的直属老板是你的老板”。

4. 不裁员与信任文化:公司不轻易裁员,而是强调员工转型和企业文化,以此建立员工对公司的信任,促进彼此合作。刘洺堉认为,这几点共同构成了英伟达独特的、充满活力的组织形态。

话题推进:在讨论了英伟达独特的组织文化后,主持人进一步提问,关于团队协作中人才水平与合作氛围哪个更重要,引出了关于个人竞争心态转变的话题。

03:10:00–03:20:00从“击败对手”到“创造价值”:受黄仁勋影响的竞争观转变

  • 一群S级的人一起工作和一群A plus或者A级的人一起工作,哪个可能取得的成功更大呀,你觉得?
  • 你看你今天说了很多,你没有竞争对手……这种low ego的状态是在英伟达发生的变化吗?这真的是low ego还是只是一种隐藏?
  • 这是跟老黄学的吗?这是什么时候学的?
  • 你看英伟达包括你,然后包括Jason(黄仁勋),他出来经常会说take care of audience……这种take care是一种真实的吗?
  • 你近距离观察过老黄很多年,如果只用几个词来形容他,你会怎么形容他?
  • 他(黄仁勋)对你鼓励比较多还是批评比较多,一般来说?
  • 他(黄仁勋)对你让你印象最深的一句话是什么呢?

主持人提问,顶尖人才(S级)团队与优秀人才(A级)团队哪个更容易成功。刘洺堉回应,关键在于能否实现“一加一大于二”的协同效应。他认为,即使团队成员都非常聪明,如果彼此无法互信、互相防备,甚至想证明自己比别人更强,就很难产生好的合作效果。他用游戏打比方,一个好的团队需要多元化的角色,如弓箭手、防御者和治疗者,而不是单一类型的成员。

主持人接着问,他“没有竞争对手”的“low ego”状态是否是在英伟达形成的。刘洺堉表示认同,并解释这并非隐藏,而是一种源于自信(confidence)的心态:专注于做出能帮助大家的好东西,而不是以击败对手为目标。他坦言深受CEO黄仁勋的影响。作为研究员出身,他曾是一个“高度竞争的个体”,因为学术界的评价标准就是论文是否达到“state-of-the-art”,即击败所有人。但随着职位变化和在英伟达的经历,他逐渐认识到,看到合作伙伴因使用其模型而提升效率所带来的成就感,同样是一种重要的贡献。

刘洺堉认为,英伟达“照顾生态伙伴”的理念是真诚的。公司早期作为芯片设计公司(design house),依赖生态伙伴制造GPU卡和开发游戏,形成了共荣共生的习惯。后来进入深度学习领域,英伟达也支持了包括PyTorch、TensorFlow在内的多种框架。他解释,帮助客户成功,客户就能服务更多用户,从而增加对GPU的需求,这是一种共赢的商业逻辑。

谈及黄仁勋,刘洺堉称他为“六边形战士”,既能深入到计算机架构中极度微观的寄存器(register)细节,也能探讨市场营销等宏观战略,在产品定价、客户关系等各方面都面面俱到,并对公司成功抱有极大热情。他透露,在自己尚未完全理解公司运作方式时,黄仁勋的批评较多,但批评中也带着鼓励,目的是“push everybody to greatness”。他认为,愿意花时间和精力去“push”别人进步,本身就是一件不容易的事。

刘洺堉分享了一段令他印象深刻的经历:一次会议上,他在比较自家方案与另一方案时,抱怨对方的设定(setting)不公平。黄仁勋当即反问:“Are you a cry baby?”(你是在哭诉吗?)。这句话让他深刻反思,从此不再为失败找理由,而是更严格地要求自己,这与西点军校“no excuse”的理念相通。

话题推进:在分享了黄仁勋对其个人价值观的深刻影响后,对话转向了如何在“成为第一”的个人追求与公司“创造价值”的理念之间做出选择。

03:10:00–03:20:00个人成就与社会贡献:从追求“第一”到创造“最大影响”

  • 如果当一个研究员想成为 number one和英伟达的本身的业务……发生了冲突的话,你会选择哪个?
  • 你还有什么在研究生涯上觉得遗憾的吗?你还有什么最想得到的?
  • 你也经常来中国吗?你怎么看中国的这一批模型发展啊?
  • 现在你跟我说硅谷已经被LLM催眠了。你怎么看他这句话?
  • 昨天SpaceX上市,然后马上OpenAI和Anthropic也要上市,今年这些公司大模型公司的上市会对这个行业发生什么样的影响吗?
  • 那模型市场竞赛的终局可能是什么样?
  • 所以没有必要神话模型或者模型公司什么?
  • 现在假设一个新公司说我要训练一个模型,他还有很大概率赶上来吗?

主持人提问,当研究员追求“第一”的个人目标与英伟达的商业哲学冲突时如何选择。刘洺堉回答,他现在更倾向于“具备做出第一名模型的能力,但用此能力去做对社会贡献最大的事”。他解释,科学发展是持续进步的,今天的“第一”很快会被超越。做出一个“第一”的模型但只让少数人使用,可能导致权力过度集中,并非好事。他认为人来世间走一遭,留下来的应该是影响,因此贡献比能力本身更重要。

回顾研究生涯,刘洺堉表示最大的目标是推动Physical AI成功,这是继他十年前预测“深度学习将取代传统计算机图形学成为影像生成主流”(现已实现)之后的下一个重大目标。他认为,与追求拿不完的奖项、比不完的引用数和赚不完的钱相比,更重要的是做出让自己骄傲、在能力范围内满意的成果。随着年龄增长,他的重心已从外部衡量指标转向帮助他人。

谈及中国的大模型发展,刘洺堉表示“非常impressive”,并列举了多家公司。他特别指出,与美国顶尖实验室倾向于将知识(know-how)保留在内部不同,中国的公司通过招收大量实习生,促进了知识的扩散,这对人类整体知识的增长是好事。

对于“硅谷被LLM催眠”的说法,刘洺堉不完全认同。他承认LLM带来了巨大便利(如coding agent),领先公司也确实从此出发。但他认为,当一个领域被充分理解后,聪明人自然会去寻找新的突破点,不会一辈子只做LLM。这只是特定时间点的正确选择,而非永久的“催眠”。

关于大模型公司上市潮,他认为这是对早期投资者远见、勇气和决心的合理回报,但科技不会就此停滞。展望模型竞赛的终局,他预测模型本身的能力会趋于统一(commoditize),就像软件开发一样,最终活下来的公司将依靠模型之外的其他东西形成区分度。他将模型比作工具或一门学问,关键在于用它做什么。因此,他认为后来者如Kimi、月之暗面(Moonshot AI)等仍有机会追赶。

话题推进:在讨论了模型竞赛的终局和后来者的机会后,对话进一步深入到Physical AI的未来、中美机器人产业的对比,以及对成功的定义。

03:10:00–03:20:00Physical AI的“GPT时刻”与中美机器人产业差异

  • 端侧模型你觉得会多久之后爆发吗?
  • 对于今年或明年的模型竞赛你有哪些预测?
  • 中国的机器人公司呢,你应该也见了很多,你觉得跟美国有什么不一样吗,两边?
  • 你觉得美国现在会不会有点,就是不那么重视硬件可能是错的?
  • moment在physical AI,你觉得有可能在哪里爆发?
  • 对泛化来说现在最重要的一个问题是什么呀,如果只说一个?
  • 如果它在Cosmos这套系统里学习了,它走向现实世界之后,它还是会有gap对不对?怎么解决这个问题呢?
  • 如果五年后我再来采访你,你希望Cosmos发展到什么阶段?
  • 在人工智能的历史上,你希望别人怎么来记录你啊?
  • 是大模型竞争不是由于游戏,还是世界模型竞争不是由于游戏啊?

刘洺堉预测,Physical AI的“GPT时刻”即将到来。他认为,世界模型是强化物理世界模型泛化能力的关键。虽然具体落地方式仍在探索,但他期望五年后再次受访时,能明确说出这个“时刻”发生的具体日期和事件。

主持人询问中美机器人公司的差异。刘洺堉指出,美国做机器人本体的公司很少,主要是特斯拉和Figure AI;而中国则有很多公司在做本体。他分析,自研本体可以更好地控制软硬件整合,而中国强大的制造业为此提供了优势条件,使得这些公司能做一些在美国不易实现的事情。这种垂直整合可能会带来突破。对于美国是否“不重视硬件”,他认为很难说,但如果软硬件整合是趋势,那么没有硬件确实会处于被动。

关于Physical AI的“GPT时刻”具体会是什么样,刘洺堉设想的场景是:当一个产品出现,只需人类简单示范一个操作,机器人就能就地学会并泛化应用。他强调,AI的核心就是解决泛化问题。在Physical AI领域,关键的泛化问题是从有限的“观察-行动”(observation-action)数据对中学习,并应用到未见过的新场景。从模拟环境(如Cosmos)到现实世界的“gap”,本质上也是一个泛化问题。他认为,短期内Cosmos能通过提供更好的数据(better data)和更好的模型起点(better starting points),帮助开发者构建更易于泛化的策略模型(policy model)。

当被问及希望在AI历史上留下什么印记时,刘洺堉表示希望人们记住的是Cosmos,而不是他个人。他希望Cosmos能成为推动Physical AI实现“GPT时刻”的重要推手。

最后,主持人重提“鱿鱼游戏”的比喻。刘洺堉重申,模型竞争不应该是“鱿鱼游戏”,因为世界上需要解决的问题很多,可以提供价值的方向也很多。如果大家的目标完全一样,那才是“鱿鱼游戏”。

话题推进:在明确了自己对模型竞争和个人历史定位的看法后,对话进入了最后部分,嘉宾进一步阐述了英伟达“创造市场”的哲学,并对一些核心概念进行了总结。

03:10:00–03:20:00创造市场,而非存量竞争:英伟达的“Zero-Billion-Dollar Business”哲学

  • 你有过那种特别high ego的时候吗?
  • 是每个公司都需要训一个自己的大模型吗?
  • Cosmos对你们来说是一场不能输的战争吗?
  • 老黄会分享类似观点吗?
  • 这是一种拥抱风险还是一种抵抗风险?
  • 你还要从老黄身上学到什么没有?
  • 为什么其他公司都说CEO不应该最努力的人,但你们公司CEO是最努力的人?
  • 他现在驱动力是什么呀?

主持人追问嘉宾是否有过“high ego”的时期,刘洺堉承认年轻时会觉得自己的算法最好、论文最漂亮。但他现在认为,算法迭代速度比单个算法更重要,而迭代速度依赖于强大的基础设施(infrastructure)和数据。如果一个问题能用数据解决,就应该优先用数据,因为这比开发新算法更简单。

对于“每个公司是否都需要自研大模型”的问题,刘洺堉用“每家公司都需要建自己的电厂吗?”来类比。他认为这取决于经济效益。在电力供应不充裕的早期,自建电厂或许能保证工厂24小时运转,但现在已无必要。同理,当模型能力变成商品(commodity)后,并非所有公司都需要自研。

主持人再次提问,Cosmos是否是英伟达“不能输的战争”。刘洺堉明确否定,并解释了英伟达的核心心态不是“杀死别人”,而是“创造市场”(造市场)。他举例,现在家家户户都没有机器人,如果未来每家都买两三个,每个机器人都需要算力,这将极大地扩展对算力的总需求,对英伟达是巨大的好处。在这个过程中,其他公司也能通过卖机器人或自研芯片赚钱,整个市场被共同做大。他强调,黄仁勋经常表达这一观点,即英伟达要做“zero-billion-dollar business”——投身于那些当前市场规模为零,但成功后能达到十亿美元以上规模的业务。如果一个领域已经有人在做,可能就不值得投入。

主持人问这是否是拥抱风险。刘洺堉认为这是一种高风险(risky)策略,比如当年投入CUDA,导致GPU价格更高,是在“赔本”支持一个新生态。但他补充说,“不做这件事情更加risky”,因为不创新,产品就会逐渐商品化。

最后,谈及黄仁勋为何如此努力,刘洺堉认为其驱动力是“take care of families”(照顾家人,这里指公司员工和生态伙伴),以及亲眼看到自己的贡献改变世界所带来的巨大成就感。

话题推进:访谈以对英伟达核心竞争哲学的深入阐述结束。

03:20:00–03:30:00连续对话 21

03:20:00–03:30:00英伟达的管理哲学:Top 5、透明度与有机组织

  • 你的生活状态发生变化了吗?在这过去几年?
  • 能不能从更一线的视角来讲一讲,就是Nvidia的一些不一样的管理方式?

嘉宾刘洺堉首先谈及自GPT兴起后,整个AI行业从业者都感受到巨大的压力和快速的迭代节奏,他称之为“pain and suffering”。当成果未达预期时,消耗的GPU资源和年轻人的时间都会带来无形的压力。主持人追问其生活状态的变化,刘洺堉表示自己变得更高效,通常凌晨四五点起床,利用早晨连续的时间运动,九、十点到公司后便投入密集的会议中。他晚上大约十点到十一点睡觉。

随后,主持人希望他从一线视角分享英伟达独特的管理方式。刘洺堉介绍了几个关键点:

1. Top 5 邮件机制:员工需要向许多人汇报自己最重要的五件事。刘洺堉认为,这个机制能让员工清晰地了解公司内各种大小信号,并能自然地发现不同团队间是否存在重复工作,从而促进信息透明。

2. 信息透明:与苹果等公司可能采取的保密文化相反,英伟达追求信息透明,这是一种独特的管理考量。

3. “Mission is the boss”:刘洺堉形容英伟达像一个没有强硬框架的“有机体”。当公司确定一个战略方向时,不同组织中具备相关技能的团队会自动对齐(align),共同向目标前进,形成一个新的合力。员工的归属部门不重要,重要的是能否为当前的任务(mission)做出贡献。主持人总结为“任务是你的老板,而不是你的直属老板是你的老板”。

4. 不裁员与信任文化:公司不轻易裁员,而是强调员工转型和企业文化,以此建立员工对公司的信任,促进彼此合作。刘洺堉认为,这几点共同构成了英伟达独特的、充满活力的组织形态。

话题推进:在讨论了英伟达独特的组织文化后,主持人进一步提问,关于团队协作中人才水平与合作氛围哪个更重要,引出了关于个人竞争心态转变的话题。

03:20:00–03:30:00从“击败对手”到“创造价值”:受黄仁勋影响的竞争观转变

  • 一群S级的人一起工作和一群A plus或者A级的人一起工作,哪个可能取得的成功更大呀,你觉得?
  • 你看你今天说了很多,你没有竞争对手……这种low ego的状态是在英伟达发生的变化吗?这真的是low ego还是只是一种隐藏?
  • 这是跟老黄学的吗?这是什么时候学的?
  • 你看英伟达包括你,然后包括Jason(黄仁勋),他出来经常会说take care of audience……这种take care是一种真实的吗?
  • 你近距离观察过老黄很多年,如果只用几个词来形容他,你会怎么形容他?
  • 他(黄仁勋)对你鼓励比较多还是批评比较多,一般来说?
  • 他(黄仁勋)对你让你印象最深的一句话是什么呢?

主持人提问,顶尖人才(S级)团队与优秀人才(A级)团队哪个更容易成功。刘洺堉回应,关键在于能否实现“一加一大于二”的协同效应。他认为,即使团队成员都非常聪明,如果彼此无法互信、互相防备,甚至想证明自己比别人更强,就很难产生好的合作效果。他用游戏打比方,一个好的团队需要多元化的角色,如弓箭手、防御者和治疗者,而不是单一类型的成员。

主持人接着问,他“没有竞争对手”的“low ego”状态是否是在英伟达形成的。刘洺堉表示认同,并解释这并非隐藏,而是一种源于自信(confidence)的心态:专注于做出能帮助大家的好东西,而不是以击败对手为目标。他坦言深受CEO黄仁勋的影响。作为研究员出身,他曾是一个“高度竞争的个体”,因为学术界的评价标准就是论文是否达到“state-of-the-art”,即击败所有人。但随着职位变化和在英伟达的经历,他逐渐认识到,看到合作伙伴因使用其模型而提升效率所带来的成就感,同样是一种重要的贡献。

刘洺堉认为,英伟达“照顾生态伙伴”的理念是真诚的。公司早期作为芯片设计公司(design house),依赖生态伙伴制造GPU卡和开发游戏,形成了共荣共生的习惯。后来进入深度学习领域,英伟达也支持了包括PyTorch、TensorFlow在内的多种框架。他解释,帮助客户成功,客户就能服务更多用户,从而增加对GPU的需求,这是一种共赢的商业逻辑。

谈及黄仁勋,刘洺堉称他为“六边形战士”,既能深入到计算机架构中极度微观的寄存器(register)细节,也能探讨市场营销等宏观战略,在产品定价、客户关系等各方面都面面俱到,并对公司成功抱有极大热情。他透露,在自己尚未完全理解公司运作方式时,黄仁勋的批评较多,但批评中也带着鼓励,目的是“push everybody to greatness”。他认为,愿意花时间和精力去“push”别人进步,本身就是一件不容易的事。

刘洺堉分享了一段令他印象深刻的经历:一次会议上,他在比较自家方案与另一方案时,抱怨对方的设定(setting)不公平。黄仁勋当即反问:“Are you a cry baby?”(你是在哭诉吗?)。这句话让他深刻反思,从此不再为失败找理由,而是更严格地要求自己,这与西点军校“no excuse”的理念相通。

话题推进:在分享了黄仁勋对其个人价值观的深刻影响后,对话转向了如何在“成为第一”的个人追求与公司“创造价值”的理念之间做出选择。

03:20:00–03:30:00个人成就与社会贡献:从追求“第一”到创造“最大影响”

  • 如果当一个研究员想成为 number one和英伟达的本身的业务……发生了冲突的话,你会选择哪个?
  • 你还有什么在研究生涯上觉得遗憾的吗?你还有什么最想得到的?
  • 你也经常来中国吗?你怎么看中国的这一批模型发展啊?
  • 现在你跟我说硅谷已经被LLM催眠了。你怎么看他这句话?
  • 昨天SpaceX上市,然后马上OpenAI和Anthropic也要上市,今年这些公司大模型公司的上市会对这个行业发生什么样的影响吗?
  • 那模型市场竞赛的终局可能是什么样?
  • 所以没有必要神话模型或者模型公司什么?
  • 现在假设一个新公司说我要训练一个模型,他还有很大概率赶上来吗?

主持人提问,当研究员追求“第一”的个人目标与英伟达的商业哲学冲突时如何选择。刘洺堉回答,他现在更倾向于“具备做出第一名模型的能力,但用此能力去做对社会贡献最大的事”。他解释,科学发展是持续进步的,今天的“第一”很快会被超越。做出一个“第一”的模型但只让少数人使用,可能导致权力过度集中,并非好事。他认为人来世间走一遭,留下来的应该是影响,因此贡献比能力本身更重要。

回顾研究生涯,刘洺堉表示最大的目标是推动Physical AI成功,这是继他十年前预测“深度学习将取代传统计算机图形学成为影像生成主流”(现已实现)之后的下一个重大目标。他认为,与追求拿不完的奖项、比不完的引用数和赚不完的钱相比,更重要的是做出让自己骄傲、在能力范围内满意的成果。随着年龄增长,他的重心已从外部衡量指标转向帮助他人。

谈及中国的大模型发展,刘洺堉表示“非常impressive”,并列举了多家公司。他特别指出,与美国顶尖实验室倾向于将知识(know-how)保留在内部不同,中国的公司通过招收大量实习生,促进了知识的扩散,这对人类整体知识的增长是好事。

对于“硅谷被LLM催眠”的说法,刘洺堉不完全认同。他承认LLM带来了巨大便利(如coding agent),领先公司也确实从此出发。但他认为,当一个领域被充分理解后,聪明人自然会去寻找新的突破点,不会一辈子只做LLM。这只是特定时间点的正确选择,而非永久的“催眠”。

关于大模型公司上市潮,他认为这是对早期投资者远见、勇气和决心的合理回报,但科技不会就此停滞。展望模型竞赛的终局,他预测模型本身的能力会趋于统一(commoditize),就像软件开发一样,最终活下来的公司将依靠模型之外的其他东西形成区分度。他将模型比作工具或一门学问,关键在于用它做什么。因此,他认为后来者如Kimi、月之暗面(Moonshot AI)等仍有机会追赶。

话题推进:在讨论了模型竞赛的终局和后来者的机会后,对话进一步深入到Physical AI的未来、中美机器人产业的对比,以及对成功的定义。

03:20:00–03:30:00Physical AI的“GPT时刻”与中美机器人产业差异

  • 端侧模型你觉得会多久之后爆发吗?
  • 对于今年或明年的模型竞赛你有哪些预测?
  • 中国的机器人公司呢,你应该也见了很多,你觉得跟美国有什么不一样吗,两边?
  • 你觉得美国现在会不会有点,就是不那么重视硬件可能是错的?
  • moment在physical AI,你觉得有可能在哪里爆发?
  • 对泛化来说现在最重要的一个问题是什么呀,如果只说一个?
  • 如果它在Cosmos这套系统里学习了,它走向现实世界之后,它还是会有gap对不对?怎么解决这个问题呢?
  • 如果五年后我再来采访你,你希望Cosmos发展到什么阶段?
  • 在人工智能的历史上,你希望别人怎么来记录你啊?
  • 是大模型竞争不是由于游戏,还是世界模型竞争不是由于游戏啊?

刘洺堉预测,Physical AI的“GPT时刻”即将到来。他认为,世界模型是强化物理世界模型泛化能力的关键。虽然具体落地方式仍在探索,但他期望五年后再次受访时,能明确说出这个“时刻”发生的具体日期和事件。

主持人询问中美机器人公司的差异。刘洺堉指出,美国做机器人本体的公司很少,主要是特斯拉和Figure AI;而中国则有很多公司在做本体。他分析,自研本体可以更好地控制软硬件整合,而中国强大的制造业为此提供了优势条件,使得这些公司能做一些在美国不易实现的事情。这种垂直整合可能会带来突破。对于美国是否“不重视硬件”,他认为很难说,但如果软硬件整合是趋势,那么没有硬件确实会处于被动。

关于Physical AI的“GPT时刻”具体会是什么样,刘洺堉设想的场景是:当一个产品出现,只需人类简单示范一个操作,机器人就能就地学会并泛化应用。他强调,AI的核心就是解决泛化问题。在Physical AI领域,关键的泛化问题是从有限的“观察-行动”(observation-action)数据对中学习,并应用到未见过的新场景。从模拟环境(如Cosmos)到现实世界的“gap”,本质上也是一个泛化问题。他认为,短期内Cosmos能通过提供更好的数据(better data)和更好的模型起点(better starting points),帮助开发者构建更易于泛化的策略模型(policy model)。

当被问及希望在AI历史上留下什么印记时,刘洺堉表示希望人们记住的是Cosmos,而不是他个人。他希望Cosmos能成为推动Physical AI实现“GPT时刻”的重要推手。

最后,主持人重提“鱿鱼游戏”的比喻。刘洺堉重申,模型竞争不应该是“鱿鱼游戏”,因为世界上需要解决的问题很多,可以提供价值的方向也很多。如果大家的目标完全一样,那才是“鱿鱼游戏”。

话题推进:在明确了自己对模型竞争和个人历史定位的看法后,对话进入了最后部分,嘉宾进一步阐述了英伟达“创造市场”的哲学,并对一些核心概念进行了总结。

03:20:00–03:30:00创造市场,而非存量竞争:英伟达的“Zero-Billion-Dollar Business”哲学

  • 你有过那种特别high ego的时候吗?
  • 是每个公司都需要训一个自己的大模型吗?
  • Cosmos对你们来说是一场不能输的战争吗?
  • 老黄会分享类似观点吗?
  • 这是一种拥抱风险还是一种抵抗风险?
  • 你还要从老黄身上学到什么没有?
  • 为什么其他公司都说CEO不应该最努力的人,但你们公司CEO是最努力的人?
  • 他现在驱动力是什么呀?

主持人追问嘉宾是否有过“high ego”的时期,刘洺堉承认年轻时会觉得自己的算法最好、论文最漂亮。但他现在认为,算法迭代速度比单个算法更重要,而迭代速度依赖于强大的基础设施(infrastructure)和数据。如果一个问题能用数据解决,就应该优先用数据,因为这比开发新算法更简单。

对于“每个公司是否都需要自研大模型”的问题,刘洺堉用“每家公司都需要建自己的电厂吗?”来类比。他认为这取决于经济效益。在电力供应不充裕的早期,自建电厂或许能保证工厂24小时运转,但现在已无必要。同理,当模型能力变成商品(commodity)后,并非所有公司都需要自研。

主持人再次提问,Cosmos是否是英伟达“不能输的战争”。刘洺堉明确否定,并解释了英伟达的核心心态不是“杀死别人”,而是“创造市场”(造市场)。他举例,现在家家户户都没有机器人,如果未来每家都买两三个,每个机器人都需要算力,这将极大地扩展对算力的总需求,对英伟达是巨大的好处。在这个过程中,其他公司也能通过卖机器人或自研芯片赚钱,整个市场被共同做大。他强调,黄仁勋经常表达这一观点,即英伟达要做“zero-billion-dollar business”——投身于那些当前市场规模为零,但成功后能达到十亿美元以上规模的业务。如果一个领域已经有人在做,可能就不值得投入。

主持人问这是否是拥抱风险。刘洺堉认为这是一种高风险(risky)策略,比如当年投入CUDA,导致GPU价格更高,是在“赔本”支持一个新生态。但他补充说,“不做这件事情更加risky”,因为不创新,产品就会逐渐商品化。

最后,谈及黄仁勋为何如此努力,刘洺堉认为其驱动力是“take care of families”(照顾家人,这里指公司员工和生态伙伴),以及亲眼看到自己的贡献改变世界所带来的巨大成就感。

话题推进:访谈以对英伟达核心竞争哲学的深入阐述结束。

03:30:00–03:36:12连续对话 22

03:30:00–03:36:12英伟达的管理哲学:Top 5、透明度与有机组织

  • 你的生活状态发生变化了吗?在这过去几年?
  • 能不能从更一线的视角来讲一讲,就是Nvidia的一些不一样的管理方式?

嘉宾刘洺堉首先谈及自GPT兴起后,整个AI行业从业者都感受到巨大的压力和快速的迭代节奏,他称之为“pain and suffering”。当成果未达预期时,消耗的GPU资源和年轻人的时间都会带来无形的压力。主持人追问其生活状态的变化,刘洺堉表示自己变得更高效,通常凌晨四五点起床,利用早晨连续的时间运动,九、十点到公司后便投入密集的会议中。他晚上大约十点到十一点睡觉。

随后,主持人希望他从一线视角分享英伟达独特的管理方式。刘洺堉介绍了几个关键点:

1. Top 5 邮件机制:员工需要向许多人汇报自己最重要的五件事。刘洺堉认为,这个机制能让员工清晰地了解公司内各种大小信号,并能自然地发现不同团队间是否存在重复工作,从而促进信息透明。

2. 信息透明:与苹果等公司可能采取的保密文化相反,英伟达追求信息透明,这是一种独特的管理考量。

3. “Mission is the boss”:刘洺堉形容英伟达像一个没有强硬框架的“有机体”。当公司确定一个战略方向时,不同组织中具备相关技能的团队会自动对齐(align),共同向目标前进,形成一个新的合力。员工的归属部门不重要,重要的是能否为当前的任务(mission)做出贡献。主持人总结为“任务是你的老板,而不是你的直属老板是你的老板”。

4. 不裁员与信任文化:公司不轻易裁员,而是强调员工转型和企业文化,以此建立员工对公司的信任,促进彼此合作。刘洺堉认为,这几点共同构成了英伟达独特的、充满活力的组织形态。

话题推进:在讨论了英伟达独特的组织文化后,主持人进一步提问,关于团队协作中人才水平与合作氛围哪个更重要,引出了关于个人竞争心态转变的话题。

03:30:00–03:36:12从“击败对手”到“创造价值”:受黄仁勋影响的竞争观转变

  • 一群S级的人一起工作和一群A plus或者A级的人一起工作,哪个可能取得的成功更大呀,你觉得?
  • 你看你今天说了很多,你没有竞争对手……这种low ego的状态是在英伟达发生的变化吗?这真的是low ego还是只是一种隐藏?
  • 这是跟老黄学的吗?这是什么时候学的?
  • 你看英伟达包括你,然后包括Jason(黄仁勋),他出来经常会说take care of audience……这种take care是一种真实的吗?
  • 你近距离观察过老黄很多年,如果只用几个词来形容他,你会怎么形容他?
  • 他(黄仁勋)对你鼓励比较多还是批评比较多,一般来说?
  • 他(黄仁勋)对你让你印象最深的一句话是什么呢?

主持人提问,顶尖人才(S级)团队与优秀人才(A级)团队哪个更容易成功。刘洺堉回应,关键在于能否实现“一加一大于二”的协同效应。他认为,即使团队成员都非常聪明,如果彼此无法互信、互相防备,甚至想证明自己比别人更强,就很难产生好的合作效果。他用游戏打比方,一个好的团队需要多元化的角色,如弓箭手、防御者和治疗者,而不是单一类型的成员。

主持人接着问,他“没有竞争对手”的“low ego”状态是否是在英伟达形成的。刘洺堉表示认同,并解释这并非隐藏,而是一种源于自信(confidence)的心态:专注于做出能帮助大家的好东西,而不是以击败对手为目标。他坦言深受CEO黄仁勋的影响。作为研究员出身,他曾是一个“高度竞争的个体”,因为学术界的评价标准就是论文是否达到“state-of-the-art”,即击败所有人。但随着职位变化和在英伟达的经历,他逐渐认识到,看到合作伙伴因使用其模型而提升效率所带来的成就感,同样是一种重要的贡献。

刘洺堉认为,英伟达“照顾生态伙伴”的理念是真诚的。公司早期作为芯片设计公司(design house),依赖生态伙伴制造GPU卡和开发游戏,形成了共荣共生的习惯。后来进入深度学习领域,英伟达也支持了包括PyTorch、TensorFlow在内的多种框架。他解释,帮助客户成功,客户就能服务更多用户,从而增加对GPU的需求,这是一种共赢的商业逻辑。

谈及黄仁勋,刘洺堉称他为“六边形战士”,既能深入到计算机架构中极度微观的寄存器(register)细节,也能探讨市场营销等宏观战略,在产品定价、客户关系等各方面都面面俱到,并对公司成功抱有极大热情。他透露,在自己尚未完全理解公司运作方式时,黄仁勋的批评较多,但批评中也带着鼓励,目的是“push everybody to greatness”。他认为,愿意花时间和精力去“push”别人进步,本身就是一件不容易的事。

刘洺堉分享了一段令他印象深刻的经历:一次会议上,他在比较自家方案与另一方案时,抱怨对方的设定(setting)不公平。黄仁勋当即反问:“Are you a cry baby?”(你是在哭诉吗?)。这句话让他深刻反思,从此不再为失败找理由,而是更严格地要求自己,这与西点军校“no excuse”的理念相通。

话题推进:在分享了黄仁勋对其个人价值观的深刻影响后,对话转向了如何在“成为第一”的个人追求与公司“创造价值”的理念之间做出选择。

03:30:00–03:36:12个人成就与社会贡献:从追求“第一”到创造“最大影响”

  • 如果当一个研究员想成为 number one和英伟达的本身的业务……发生了冲突的话,你会选择哪个?
  • 你还有什么在研究生涯上觉得遗憾的吗?你还有什么最想得到的?
  • 你也经常来中国吗?你怎么看中国的这一批模型发展啊?
  • 现在你跟我说硅谷已经被LLM催眠了。你怎么看他这句话?
  • 昨天SpaceX上市,然后马上OpenAI和Anthropic也要上市,今年这些公司大模型公司的上市会对这个行业发生什么样的影响吗?
  • 那模型市场竞赛的终局可能是什么样?
  • 所以没有必要神话模型或者模型公司什么?
  • 现在假设一个新公司说我要训练一个模型,他还有很大概率赶上来吗?

主持人提问,当研究员追求“第一”的个人目标与英伟达的商业哲学冲突时如何选择。刘洺堉回答,他现在更倾向于“具备做出第一名模型的能力,但用此能力去做对社会贡献最大的事”。他解释,科学发展是持续进步的,今天的“第一”很快会被超越。做出一个“第一”的模型但只让少数人使用,可能导致权力过度集中,并非好事。他认为人来世间走一遭,留下来的应该是影响,因此贡献比能力本身更重要。

回顾研究生涯,刘洺堉表示最大的目标是推动Physical AI成功,这是继他十年前预测“深度学习将取代传统计算机图形学成为影像生成主流”(现已实现)之后的下一个重大目标。他认为,与追求拿不完的奖项、比不完的引用数和赚不完的钱相比,更重要的是做出让自己骄傲、在能力范围内满意的成果。随着年龄增长,他的重心已从外部衡量指标转向帮助他人。

谈及中国的大模型发展,刘洺堉表示“非常impressive”,并列举了多家公司。他特别指出,与美国顶尖实验室倾向于将知识(know-how)保留在内部不同,中国的公司通过招收大量实习生,促进了知识的扩散,这对人类整体知识的增长是好事。

对于“硅谷被LLM催眠”的说法,刘洺堉不完全认同。他承认LLM带来了巨大便利(如coding agent),领先公司也确实从此出发。但他认为,当一个领域被充分理解后,聪明人自然会去寻找新的突破点,不会一辈子只做LLM。这只是特定时间点的正确选择,而非永久的“催眠”。

关于大模型公司上市潮,他认为这是对早期投资者远见、勇气和决心的合理回报,但科技不会就此停滞。展望模型竞赛的终局,他预测模型本身的能力会趋于统一(commoditize),就像软件开发一样,最终活下来的公司将依靠模型之外的其他东西形成区分度。他将模型比作工具或一门学问,关键在于用它做什么。因此,他认为后来者如Kimi、月之暗面(Moonshot AI)等仍有机会追赶。

话题推进:在讨论了模型竞赛的终局和后来者的机会后,对话进一步深入到Physical AI的未来、中美机器人产业的对比,以及对成功的定义。

03:30:00–03:36:12Physical AI的“GPT时刻”与中美机器人产业差异

  • 端侧模型你觉得会多久之后爆发吗?
  • 对于今年或明年的模型竞赛你有哪些预测?
  • 中国的机器人公司呢,你应该也见了很多,你觉得跟美国有什么不一样吗,两边?
  • 你觉得美国现在会不会有点,就是不那么重视硬件可能是错的?
  • moment在physical AI,你觉得有可能在哪里爆发?
  • 对泛化来说现在最重要的一个问题是什么呀,如果只说一个?
  • 如果它在Cosmos这套系统里学习了,它走向现实世界之后,它还是会有gap对不对?怎么解决这个问题呢?
  • 如果五年后我再来采访你,你希望Cosmos发展到什么阶段?
  • 在人工智能的历史上,你希望别人怎么来记录你啊?
  • 是大模型竞争不是由于游戏,还是世界模型竞争不是由于游戏啊?

刘洺堉预测,Physical AI的“GPT时刻”即将到来。他认为,世界模型是强化物理世界模型泛化能力的关键。虽然具体落地方式仍在探索,但他期望五年后再次受访时,能明确说出这个“时刻”发生的具体日期和事件。

主持人询问中美机器人公司的差异。刘洺堉指出,美国做机器人本体的公司很少,主要是特斯拉和Figure AI;而中国则有很多公司在做本体。他分析,自研本体可以更好地控制软硬件整合,而中国强大的制造业为此提供了优势条件,使得这些公司能做一些在美国不易实现的事情。这种垂直整合可能会带来突破。对于美国是否“不重视硬件”,他认为很难说,但如果软硬件整合是趋势,那么没有硬件确实会处于被动。

关于Physical AI的“GPT时刻”具体会是什么样,刘洺堉设想的场景是:当一个产品出现,只需人类简单示范一个操作,机器人就能就地学会并泛化应用。他强调,AI的核心就是解决泛化问题。在Physical AI领域,关键的泛化问题是从有限的“观察-行动”(observation-action)数据对中学习,并应用到未见过的新场景。从模拟环境(如Cosmos)到现实世界的“gap”,本质上也是一个泛化问题。他认为,短期内Cosmos能通过提供更好的数据(better data)和更好的模型起点(better starting points),帮助开发者构建更易于泛化的策略模型(policy model)。

当被问及希望在AI历史上留下什么印记时,刘洺堉表示希望人们记住的是Cosmos,而不是他个人。他希望Cosmos能成为推动Physical AI实现“GPT时刻”的重要推手。

最后,主持人重提“鱿鱼游戏”的比喻。刘洺堉重申,模型竞争不应该是“鱿鱼游戏”,因为世界上需要解决的问题很多,可以提供价值的方向也很多。如果大家的目标完全一样,那才是“鱿鱼游戏”。

话题推进:在明确了自己对模型竞争和个人历史定位的看法后,对话进入了最后部分,嘉宾进一步阐述了英伟达“创造市场”的哲学,并对一些核心概念进行了总结。

03:30:00–03:36:12创造市场,而非存量竞争:英伟达的“Zero-Billion-Dollar Business”哲学

  • 你有过那种特别high ego的时候吗?
  • 是每个公司都需要训一个自己的大模型吗?
  • Cosmos对你们来说是一场不能输的战争吗?
  • 老黄会分享类似观点吗?
  • 这是一种拥抱风险还是一种抵抗风险?
  • 你还要从老黄身上学到什么没有?
  • 为什么其他公司都说CEO不应该最努力的人,但你们公司CEO是最努力的人?
  • 他现在驱动力是什么呀?

主持人追问嘉宾是否有过“high ego”的时期,刘洺堉承认年轻时会觉得自己的算法最好、论文最漂亮。但他现在认为,算法迭代速度比单个算法更重要,而迭代速度依赖于强大的基础设施(infrastructure)和数据。如果一个问题能用数据解决,就应该优先用数据,因为这比开发新算法更简单。

对于“每个公司是否都需要自研大模型”的问题,刘洺堉用“每家公司都需要建自己的电厂吗?”来类比。他认为这取决于经济效益。在电力供应不充裕的早期,自建电厂或许能保证工厂24小时运转,但现在已无必要。同理,当模型能力变成商品(commodity)后,并非所有公司都需要自研。

主持人再次提问,Cosmos是否是英伟达“不能输的战争”。刘洺堉明确否定,并解释了英伟达的核心心态不是“杀死别人”,而是“创造市场”(造市场)。他举例,现在家家户户都没有机器人,如果未来每家都买两三个,每个机器人都需要算力,这将极大地扩展对算力的总需求,对英伟达是巨大的好处。在这个过程中,其他公司也能通过卖机器人或自研芯片赚钱,整个市场被共同做大。他强调,黄仁勋经常表达这一观点,即英伟达要做“zero-billion-dollar business”——投身于那些当前市场规模为零,但成功后能达到十亿美元以上规模的业务。如果一个领域已经有人在做,可能就不值得投入。

主持人问这是否是拥抱风险。刘洺堉认为这是一种高风险(risky)策略,比如当年投入CUDA,导致GPU价格更高,是在“赔本”支持一个新生态。但他补充说,“不做这件事情更加risky”,因为不创新,产品就会逐渐商品化。

最后,谈及黄仁勋为何如此努力,刘洺堉认为其驱动力是“take care of families”(照顾家人,这里指公司员工和生态伙伴),以及亲眼看到自己的贡献改变世界所带来的巨大成就感。

话题推进:访谈以对英伟达核心竞争哲学的深入阐述结束。

以上是原对话的分段阅读。下面才开始提炼论证、解释机制并给出本文自己的判断。

主要论证:观点怎样由经历与例子支撑

英伟达作为基础设施公司必须亲自做应用层研究,这与客户并非竞争,而是为了更好地服务客户和生态。

刘洺堉 · 00:21:52;00:23:14;00:24:28

1. 预判需求:芯片和计算机架构的设计周期长达数年。如果不亲自实践最前沿的应用(如大模型训练),就无法预知未来客户会遇到什么瓶颈,从而无法设计出真正满足未来需求的下一代基础设施。2. 赋能生态:通过开源Cosmos这样的基础模型,可以降低中小企业和研究者的创新门槛,让他们不必从零开始,而是专注于解决具体的应用问题。这会催生更多元的应用,繁荣整个生态。3. 建立信心:通过持续迭代并展示成果,向市场传递英伟达将长期投入该领域的信号,鼓励生态伙伴放心在此基础上进行长期投资。这是一种“造市场”而非“抢市场”的逻辑。

成立条件:该论证成立的前提是,英伟达的研究成果(如Cosmos)主要以开源或基础能力的形式提供,而不是作为与客户直接竞争的闭源商业产品。同时,需要假设生态伙伴确实能从这些基础模型中获益,并创造出新的市场需求。

顶尖大模型的能力最终会趋于同质化,竞争的关键将是模型与公司自身产品生态的“整合”能力。

刘洺堉 · 01:14:13;01:15:06

1. 观察事实:他观察到,当前顶尖的大语言模型(如GPT、Gemini、Claude)在性能上已经开始交替领先,差距逐渐缩小,没有哪一家能形成绝对、持久的技术垄断。2. 历史规律:技术和知识总会流动和扩散,AI领域也不例外。人才流动和开源研究会加速能力的趋同。3. 价值实现:模型本身只是工具,其最终价值体现在与具体应用的结合中。他以谷歌Gemini为例,其巨大优势在于能与搜索、文档、邮件等庞大产品矩阵深度整合,形成数据和体验的飞轮效应。因此,单纯的模型能力领先不足以构筑长期壁垒。

成立条件:此论证的成立条件是,不存在一种能导致智能水平出现数量级差异、且能被长期独占的“超级智能”技术路径。如果出现这种情况,模型本身的能力差距将压倒整合优势。

Cosmos项目从最初设想的22个独立模型,最终统一为单一全模态模型,是基于“少即是多”的战略选择和技术认知。

刘洺堉 · 01:53:03;01:53:49

1. 战略启发:黄仁勋用LV减少商品陈列反而提升销量的例子点拨他,让他意识到过多的模型选项会困惑用户,并极大地增加团队的维护成本,拖慢迭代速度,陷入“备多则力寡”的困境。2. 技术原理:所有模型(预测、推理等)本质上都是在描述同一个物理世界,它们应该能共享一个统一的内部表示(internal representation)。3. 工程实践:基座模型的核心理念就是“海纳百川”,将不同来源、不同任务的数据整合在一起训练,有望突破单一模型的性能上限。因此,统一模型既符合技术趋势,也解决了工程上的扩展性问题。

成立条件:这个决策的成功依赖于团队能够找到一种有效的架构和训练方法,使得融合了多种模态和任务的单一模型,其综合性能确实能超越为各个子任务优化的独立模型之和,并且不会因为任务冲突导致性能下降。

物理AI模型不需要在所有维度上都最强,其核心是完成物理操作,理想架构可能与追求通用数字智能的Agent模型不同。

刘洺堉 · 02:13:03;02:17:40

1. 目标导向:他引用《孙子兵法》“备多则力寡”,认为一个试图包罗万象的模型,在特定任务上可能不如专用模型。策略的关键在于为特定目标决定“可以放弃什么”。2. 场景差异:Physical AI的应用场景(如让机器人叠衣服)与数字智能场景(如编程、解奥数题)截然不同。他反问:“你需要你的机器人会解奥数问题吗?”这说明物理世界对智能的要求更侧重于对物理规律的理解和操作的精准泛化,而非抽象推理能力。3. 历史类比:回顾人类历史,针对不同任务的工具本就应该不同。因此,为物理世界设计的模型架构,最终很可能演化出与为数字世界设计的模型不同的形态。

成立条件:此论证成立的前提是,物理操作能力和抽象认知能力在模型层面是可以有效解耦的,或者说,提升物理能力的路径并不高度依赖于发展通用数字智能。如果事实证明,只有达到极高通用智能水平的模型才能真正解决物理泛化问题,那么这个论点就会被削弱。

英伟达的商业哲学是“创造市场”(造市场),而非进行存量竞争,其标志是追求“zero-billion-dollar business”。

刘洺堉 · 03:32:41;03:33:28

1. 心态定义:他明确表示,英伟达的心态不是“杀死别人”,而是通过技术创新开拓全新的市场。2. 案例说明:他以机器人市场为例。当前市场规模很小,但如果未来每个家庭都有机器人,对算力的总需求将是巨大的。英伟达通过提供Cosmos等基础技术赋能机器人公司,共同做大市场蛋糕,最终自己也能从中受益。3. CEO理念:他引用黄仁勋的“zero-billion-dollar business”理念,即公司应该投身于那些当前市场规模为零,但成功后能达到十亿美元以上规模的业务。如果一个领域已经有成熟的竞争者,可能就不值得投入。这解释了公司为何敢于在CUDA等项目上进行长期、高风险的投入。

成立条件:这种策略的成功依赖于公司具备极强的技术预见能力和战略耐心,能够准确判断未来的蓝海市场,并能承受在市场成熟前长期的、没有回报的巨大投入。同时,也要求公司在核心技术上拥有难以被绕过的壁垒(如GPU)。

Cosmos 3把language、video/audio和action统一,是因为它们对物理AI承担不同作用,不是简单追求模态数量。

刘洺堉 · 02:00:00;02:01:14;02:06:55

语言提供知识与交互,视觉和声音提供世界变化的观察,动作提供改变世界的接口。动作后的observation预测、接触声音和详细语言描述可形成互补,但是否有效需要数据配比和严格实验,不能把相加当成能力必然提升。

成立条件:不同下游任务需要不同模态比重与定制,统一模型不自动适合所有physical builder,也不等于通用AGI。

大型模型团队需要共同目标和分散决策同时成立,容错是行动条件之一。

刘洺堉 · 02:31:37;02:32:20;02:33:10

只有共同目标而决策集中会受限负责人知识时间,只有分散决策而目标分散会造成分裂与赛马。共同愿景、信息透明和容错让成员在局部做选择,错误则要快速修正。

成立条件:这是嘉宾的管理经验和组织选择,不是大型团队效率的唯一机制,也不证明会议多或宽容必然提高产出。

机制与术语:对象、输入输出和中间过程

AI Foundry (AI代工厂) 商业模式

这是一个由刘洺堉提出的商业合作模式,旨在帮助拥有数据但缺乏AI能力的公司开发定制化大模型。

- 输入:1. 合作伙伴拥有的独特、高质量的数据集(如Getty Images的图片库);2. 英伟达提供的算力(GPU集群)和模型研发能力。

- 过程:1. 英伟达利用其AI专长和算力,在合作伙伴提供的数据上训练、定制一个专有的大模型(如Picasso项目中的文生图模型)。2. 双方共同将该模型打包成服务,面向市场提供。3. 合作伙伴负责处理与数据相关的版权、合规等问题。

- 输出:1. 一个为特定数据和应用场景定制的AI模型/服务。2. 双方共享该服务产生的商业利润。

- 失败条件:1. 合作伙伴提供的数据质量或数量不足以训练出有竞争力的模型。2. 定制化模型产生的商业价值不足以覆盖高昂的训练成本和双方的投入。3. 市场出现更强大或成本更低的通用模型,使得定制化模型的优势不再明显。

对应节目:00:12:41

Cosmos 3 的双塔架构

这是Cosmos 3为兼顾模型能力与用户易用性而采用的一种折衷设计。

- 输入:多模态数据流,包括视频、音频、文本和动作指令。

- 过程:1. 输入数据被分发到两个并行的处理“塔”中。2. Reasoning Tower (理解塔):处理离散化后的信息,专注于理解、推理和表征学习。它负责学习物理世界的通用规律。3. Generation Tower (生成塔):处理连续信息,专注于根据指令生成高质量的视频、音频等内容。4. 两个塔在训练中可能存在信息交换以互相促进,但结构上相对独立。

- 输出:1. 一个统一的世界表征。2. 可控的、多模态的生成内容。

- 设计优势:用户(如机器人公司)可以对其中一个塔(如生成塔)进行独立的微调(post-training),以适应自己特定的硬件(如不同视角的摄像头)或任务,而不会“污染”或损害另一个塔(理解塔)已经学到的通用物理知识。这降低了模型定制化的难度和风险。

- 失败条件:1. 双塔之间的信息交互不足,导致模型整体性能不如一个端到端训练的单塔模型。2. 两个塔的划分是人为的,可能与数据内在的最优结构不符,限制了模型能力的上限。3. 维护双塔架构的工程复杂度和计算成本过高。

对应节目:02:07:05;02:10:12

英伟达的 Top 5 邮件机制

这是一种促进组织内部信息透明化的管理工具。

- 输入:每个员工对自己当前工作的梳理和优先级判断。

- 过程:1. 员工定期(如每周)识别出自己最重要的五项工作任务(Top 5)。2. 将这五项任务以简洁的格式(如邮件)发送给自己的直接领导、相关同事以及任何需要了解这些信息的人。3. 收件人(包括管理者)通过阅读大量的Top 5邮件,可以快速了解整个组织正在发生什么。

- 输出:1. 信息透明:让组织内的“信号”高效流动,减少信息孤岛。2. 自动发现冗余:当管理者发现两个不同团队的Top 5中出现了完全一样的工作时,就能自然地识别出重复劳动,并进行协调。3. 促进对齐:帮助员工理解自己的工作如何与公司更大的目标相结合,也让同事之间更容易发现协作机会。

- 失败条件:1. 员工敷衍了事,汇报的不是真正重要的工作。2. 管理者没有时间或意愿去阅读和处理这些信息,导致机制流于形式。3. 组织文化不鼓励透明,员工因担心暴露问题或被评价而不敢真实汇报。

对应节目:02:57:34

动作条件预测与世界模型的互补训练

输入是当前视觉/声音观察、语言条件和动作,模型不仅预测下一动作,也预测动作之后的世界状态。这样训练信号同时约束‘做什么’与‘世界会如何变化’,可辅助学习动作后果。声音和详细语言可进一步提供接触时间与语义约束,但不能证明所有物理规律都已学会。

对应节目:02:00:00;02:01:14

例子来源:嘉宾原例重述,不是本文虚构场景

嘉宾原例重述:action model在预测动作的同时预测后续observation,刘洺堉说这有助于训练收敛;接触声音也可提示接触时刻。具体架构、损失和收益需以Cosmos论文为准。

双塔分离定制与单塔统一的权衡

理解塔和生成塔可分别post-train,客户改变生成分布时不必同时改变理解表示;但双塔需要预先选择结构,增加了系统复杂度。统一单塔可能更简洁,却可能让生成数据变化影响理解能力。最终要比较部署成本、客户定制、能力与训练稳定性,而不是只按架构优雅排序。

对应节目:02:06:55

本文自拟示意,不是嘉宾实验

本文自拟示意:某机器人团队只更换动作—视频生成数据时,双塔允许保留理解塔;单塔若共享全部参数,可能同时改变原有理解表示。这个例子解释接口,不是Cosmos实测结果。

组织容错如何变成决策与纠错

共同愿景提供选择目标,信息透明提供判断依据,容错让成员敢于作出决定。输出不是永不犯错,而是更多局部决策能被快速验证和修正。若容错没有反馈与责任,可能变成逃避;若只有目标没有自主决策,则形成负责人瓶颈。

对应节目:02:31:37;02:33:10

例子来源:嘉宾原例重述,不是本文虚构场景

嘉宾原例重述:Cosmos团队需要让成员能选择数据比例或局部架构,而不是所有决定都等负责人;错误要能快速修正,共同愿景避免各自只优化单一模态。

独立判断:这些对话改变了什么理解

【本文推断】Cosmos 3最值得检验的不是‘全模态’标签,而是action是否真正改变了模型对物理任务的用途。

推理:视频与语言可描述世界,action将模型放到干预链条中。预测动作后的状态若确实帮助收敛,说明多模态训练服务于动作后果理解;若action只作为额外输入而没有提高真实任务选择与执行,统一标签并不能证明物理智能。

竞争解释与边界:效果也可能来自更多数据、算力和工程调参,而非action接口本身。应比较相同数据和预算下有无动作与动作后状态目标,并在下游任务检验,而不是只看生成画面。

【本文推断】双塔与统一模型之争,本质是复用和干扰之间的权衡。

推理:统一模型可共享表示、简化开发,双塔可隔离不同数据对能力的影响。Cosmos选择先服务客户定制,说明‘共同基座’不是一成不变的最优形态,而是要根据下游变化管理复用范围。

竞争解释与边界:若统一训练带来显著迁移收益,单塔可能后来居上;若不同下游冲突强,分离或模块化可能长期合理。需要同条件实验,不应把当前双塔写成过渡失败或终局。

【本文推断】英伟达组织案例的关键是允许长期学习与转型,而不是把不裁员当作道德标签。

推理:信任与安全感支持真话和合作,长期培养允许成员随技术变化转型;代价是学习速度和即时技能匹配可能较慢。它适合需要长期积累的基础设施,但要求提前布局、培训和容错机制。

竞争解释与边界:在快速变化或短期现金流压力下,其他组织可能选择不同人员策略。嘉宾的个人经历也不等于公司全部历史或每个团队的实践,应保留范围和反例。

尚未解决的问题与可检验的下一步

待解问题:action与动作后状态预测是否对物理任务产生独立增益?

下一步信息或小实验:固定数据、模型规模和训练预算,比较仅视觉/语言、加入action、加入action+下一状态目标三组,评估真实操作成功率、数据效率、接触错误与跨任务迁移。

怎样的结果会改变判断:若action目标在同条件下提高真实操作而非只改善视频,支持其独立价值;若收益主要来自更多数据或生成指标,应缩小全模态主张。

待解问题:双塔和单塔在不同下游定制频率下,哪个更有利于复用与部署?

下一步信息或小实验:在相同基座上比较分别微调与统一微调,记录理解能力保持、生成质量、训练成本、部署延迟和多任务干扰。

怎样的结果会改变判断:若单塔保持稳定迁移且更简单,统一路线增强;若双塔持续减少能力损失和定制成本,当前选择更合理。

待解问题:长期信任与不赛马的组织怎样同时保持技术转型速度?

下一步信息或小实验:跟踪团队成员技能转型时间、内部流动、决策周期、项目失败修正与外部招聘,比较不同组织机制下的长期产出。

怎样的结果会改变判断:若内部学习能在可接受周期内完成转型且保留合作,长期机制有效;若转型持续错过窗口,需要增加技能更新和人员机制。

影响理解的转录疑点

优先连读 00:50:00—01:02:22 的GAN可扩展性反思,再读 01:54:41—02:18:24 的Cosmos统一模型、模态作用、双塔和部署取舍。随后读 02:20:16—02:35:42 的评估、数据和大团队组织,最后读 02:50:38—03:01:36 的不裁员、不赛马与转型成本,避免只记文化口号。

延伸研读:原有专题与外部资料

以下保留本期此前的专题解释、公开资料对照和研究讨论,作为上述逐段阅读的补充。不同部分的写作范围可能不同,外部资料中的新事实不反向冒充节目原话。

刘洺堉是英伟达研究副总裁、Cosmos Lab 负责人。这期对话从基础设施公司为什么做模型,沿他的研究与管理经历走到世界模型的用途,再讨论组织和竞争。公开编辑文字先写他的练武日常:从青年时期练八极拳、劈挂掌,到持续训练全身协调。他后来解释“不以打倒对手为目标”时,又回到控制自己、反复修正的经验;这条个人线索贯穿了技术和市场讨论。

为什么卖算力的公司,还要亲自做模型

面对一家芯片公司为何投入模型研发的问题,他先讲设计周期:芯片和计算架构要提前数年规划,等客户的新需求明确出现,再改变硬件往往已经太晚。亲自做应用,才能知道实际训练、推理需要什么。按他的介绍,直属团队约八九十人,参与 Cosmos 的相关人员约两三百人,Cosmos 3 论文作者接近三百人。这些口述人数说明项目跨团队协作的规模,不是模型能力的指标。

Cosmos 面向的是物理 AI,即能感知现实状态并通过动作完成任务的系统,而不只是在屏幕里回答问题。刘洺堉把开放模型、训练框架和部分合成数据——模型产生的训练样本——解释为一种分工:英伟达承诺持续建设供其他团队再开发的共同底座,其他公司把有限资源投入自己的痛点。他借黄仁勋的“zero-billion-dollar business”说明投入逻辑:眼下还没有成熟收入,但做成后要足够重要;对英伟达而言,小而分散的收入机会也可能分散注意力。

谈到持续投入的决心,他讲到做完第一代后询问黄仁勋是否继续,黄仁勋随口让他做到 Cosmos 97。他按半年一代算出四十多年,是用夸张数字表达长期承诺,不是已经批准的九十七代产品计划。开放在这套叙事中也有商业逻辑:物理 AI 的公司更容易成功,整个市场就更需要计算基础设施,而非英伟达必须直接做完每一家客户的业务。

从无线通信到生成模型:转向来自具体观察

对话接着回到他的起点。他在台北长大,在台湾交通大学学无线通信;看到美国博士研究与自己熟悉的协议优化不同,开始想出去探索。原本考虑量子通信,却在赴美前的英特尔实习中看到计算机从像素识别人和物体,转向计算机视觉——让机器从图像、视频提取信息。他在马里兰大学随 Rama Chellappa 做博士,早期题目是根据视频中的步态识别人。工作后在三菱电机研究院继续学习用多层神经网络从数据学习规律的深度学习,并逐渐相信“能生成出来”也是理解的一部分。

早期生成的目标很小:按他的回忆,生成一张 32×32 像素、看起来像人的脸就有意义。他做过耦合 GAN:GAN 是生成器制造样本、判别器辨别样本真假的相互训练方法;把两个生成网络联系起来,可探索没有成对示例的图像转换,例如马与斑马之间的变化。到了约 2021 年,团队反复尝试提高稳定性,仍不断遇到扩大规模的困难,他据此决定离开 GAN,转向学习逐步去噪生成样本的扩散模型,后来做图像、多视角和三维生成。这里是他的团队选择依据,不是所有 GAN 任务都已失效的定论。

他还总结三个改变研究方式的教训。年轻时追求漂亮数学,为证明接近最优而加的假设却可能把问题推离现实,后来更在意究竟解决了什么;成果即使做得很好,解释不清重要性,也很难获得认可;团队扩大后,人人逐对沟通的联系数增长很快,必须把任务讲清楚,让人能围绕共同目标协作。这些教训把算法、表达和组织放在一起,而非把研究成败只归结为聪明程度。

一千张 A100 的背后,是把条件争取到手

资源问题不是后来的附注。在三菱电机研究院,他反复向经理争取 GPU,也就是擅长并行计算、用于模型训练的图形处理器;最终选择英伟达,正是因为研究最缺的东西在那里。2016 年加入后,他向公司解释深度学习会改变视频生成。DALL-E 图像生成模型出现后,他写信给黄仁勋,认为客户已在使用 GPU 做图形,英伟达应投入生成影像,并提出一千张 A100 的需求。一千张不是论文性能分数,而是他争取的硬件规模;把卡连接成高效训练系统,本身仍有工程难题。

他同时与 Getty Images 合作,对方提供图像数据,英伟达提供算力和模型,探索为有数据却缺 AI 人才与基础设施的企业建设模型。他称这类服务为 AI foundry,可理解为替客户组织模型生产能力,而不是只卖一个统一成品。谈到曾在团队实习、后来参与视频生成模型 Sora 的 Tim Brooks,他既高兴,也失落:已经有人才和资源,为什么没有在合适时机押中视频生成?这段反省保留了成功叙事里的错过,资源充足也不自动产生正确选题。

主持人再问研究员如何成为管理者,他把晋升归于早期帮助公司理解 AI、建立社区信誉、持续做出成果并积累信任。他仍读论文、看实现和审阅代码,担心脱离底层后看不出问题与个人贡献。按他的口述,Cosmos 每天的算力和存储成本达数百万美元;它说明决策责任的量级,不是经独立审计的费用。Sora 之后,研究员共同提议世界模拟器,项目于 2024 年 3 月启动;命名讨论也围绕定位:Cosmos 要解决物理世界问题,而不只是创作内容。

从二十二个模型到双塔基座:先减复杂度,再谈统一收益

第一版规划根据合作伙伴需求拆分,刘洺堉估计需要二十二个模型。黄仁勋用减少货架商品种类的故事提醒他:选择过多会让客户困惑。他自己也开始分不清该用哪个模型,维护、评测与迭代又被分散,于是推动统一。原有 Predict 预测未来,Reason 解释状态,Transfer 把仿真画面变得更逼真,Policy 根据观察输出动作。它们都描述同一个物理世界,合并首先解决产品选择和重复维护,再追求共享数据带来的学习收益。

他介绍的 Cosmos 3 采用双塔:一侧以能结合图像与文字的视觉语言模型为起点,处理离散符号表示并负责理解;另一侧沿扩散路线处理画面等连续信息并负责生成。语言、视频、音频、动作共同参与。双塔不是两个无关产品,它让客户在基础训练之后做面向自身任务的后训练时,可调整生成分布而少牵动理解侧。他认为单塔更优雅,但当下先照顾客户使用;单塔是后续目标,不是本期已经完成的结构。

动作被放到“一等公民”的位置,是因为智能体要改变状态,而非只解释眼前画面。他举出 Cosmos Policy 的研究观察:同时预测动作和动作之后的画面,有助于动作模型训练逐渐稳定,也就是收敛;接触时的声音能提示哪一帧发生接触;详尽文字则缩小视频生成的可能范围。面对语言是否会干扰视觉的争议,他回答用途不同:服务物理 AI 的基座需要这些互补信号,探索 AGI——通用人工智能——则可能有不同取舍。这些是项目经验与解释,不是各模态在一切任务上都必然有益。

按他的叙述,Cosmos 3 从 2025 年 10 月开始做,半年多后实现旧模型合并,效果比原来的单项模型更好;他同时承认发布时尚未完全收敛,后续 3.1、3.2 还要补工作。这里没有给出可复核的统一评测协议,故保留“他报告的改进”,而不写成独立比较结果。他否认有神秘配方,强调提出假设、严格实验、记录结果、积累知识后再做下一轮。

“为机器人造黑客帝国”,实际是三个验收对象

主持人把话题转向他的愿景,他拆出三种用途。第一是补数据:生成真实采集尚未覆盖、任务又确实需要的情形。第二是给策略更好的起点:策略是把观察转成动作的规则或模型,世界模型学到的表征可作为其骨干,帮助在新场景学习。第三是提供学习环境:机器人能在多个生成环境里反复行动、得到后果,减少现实试错的时间与成本。他明确说第三项最难,还没有真正发生;逼真视频与可正确响应动作的交互环境是两回事。

这也解释他为什么用“世界基座模型”定位 Cosmos。世界模型有人用于预测,有人用于理解,有人用于三维重建,形态随目的变化;基座是让这些团队不必从零训练。英伟达支持不同路线的生态公司,也不要求它们都采用同一方案。谈到物理 AI 的关键时刻,他区分 GPT moment 的规模扩展与能力提升,以及 ChatGPT moment 的普通人看见技术真正有用。他希望后者尽快发生,却给不出确定日期。

人形机器人同样被他放回成本和用途:环境、工具多为人手设计,人手数据较易取得,但轮式底盘加半身人形也能解决许多问题。他转述其他研究者对 2035—2036 年拐点的预测,只表达希望更早。被问到下一代 CUDA——连接应用与 GPU 计算的软件平台——他认为更可能是模型、工具和多层软件栈共同承担,Cosmos 与用于模型开发的 NeMo 等可能是其中一部分,而非某个模型独占这一位置。

组织如何支持转向,市场判断又保留什么条件

后半段回到英伟达的变化。他回忆 TPU 这类专用 AI 芯片出现时,有同事怀疑公司未来,而公司通过 MLPerf 等机器学习计算性能评测继续改善产品性价比。他描述黄仁勋既钻技术细节,也讨论产品、定价与客户,靠抓问题本质筛掉无关信号。有次他用实验设置不公平解释落后,得到的提醒是:论文比较应说明设置差别,真要解决问题则要主动拿到需要的条件。这不是说不必控制实验变量,而是把资源争取也视为工作。

他讲员工写 top five email,共享最重要的五项工作,让重复投入和合作机会可见;“mission is the boss”则是围绕任务聚合能力,许多参与 Cosmos 的人并不向他直接汇报。按他个人在公司的经历,他未听过裁员消息,认为稳定预期有助于讲真话与合作,但技术转型也会比换一批人慢。他把高强度批评解释为培养,把“只剩三十天现金流”解释为保持警醒;两者均是其管理观察,后者不是公司的实际现金余额。

竞争话题接回练武:他希望创造市场,不以消灭对手为目标。模型能力长期可能趋同,是他的强判断,依据是人才流动和技术经验扩散;因此差异会更多来自整合、生态和产品结合。他举 Anthropic 集中投入代码作为找准方向的例子,用“是否每家工厂都要自建电厂”反问创业公司是否必须训练底层模型。答案保留条件:有决心和资源可以做,却并非人人必要;它不是否认底层模型的战略价值。

他看好中国模型团队通过实习生扩散经验,也关注制造业带来的软硬整合与快速迭代。与此同时,机器人形体不同,数据难直接共用;Cosmos 先选较共通的导航与操作数据,并加入第一人称观察与手部操作。这让评价不能只停在固定数据集的 benchmark,或两个结果成对比较的 arena,还要与有具体痛点的客户一起解决问题。结尾他希望五年后能指出物理 AI 真正改变生活的时刻,记录 Cosmos 帮助了哪些建设者;给年轻研究员的建议是冷静看清值得投入的地方,不要因焦虑草率否定自己的道路。编辑文字最后把长期目标概括为泛化:机器人看人做一两次,就能在新场景学会类似操作;这是待实现的目标,不是本期已展示的能力。

本文补充解释:用同一只杯子分清世界模型的三种用途

以下是本文自拟的检验例子,不是实际 Cosmos 实验。刘洺堉提出补数据、策略起点、交互环境三种用途;为看清区别,假设目标是让机械臂把桌上的杯子移到托盘,杯子原先靠近桌边。

第一种用途是补数据。输入可以是起始画面、杯子位置、光照等条件,输出是现实采集中缺少的图像或视频,例如逆光下手遮住杯子的片段。这些样本还需要可靠的任务标签或动作信息;仅有漂亮画面,不会自动告诉策略怎样抓。检验应固定策略结构、训练预算和真实数据,比较加入合成样本前后,在未参与生成和筛选的真实逆光任务中是否更少失手。生成画面更逼真只是中间检查,真正目标是补上有效经验;收益也可能来自样本数量而非世界知识,应加入同量其他增广作对照。

第二种用途是给策略起点。输入是相机观察和任务,世界模型先把画面转换成可供策略使用的内部表示,策略再输出手的移动、抓取和放置动作。区别在于这次复用的是模型学到的表示,不是只把它生成的画面加入数据。可以固定后续示范数量和训练预算,比较从世界模型初始化与从普通视觉模型初始化,是否在新杯型、新桌面上更快学会。若只在见过的杯子上改善,证据支持熟悉任务,不支持更广的迁移;还要排除更大参数量和更多预训练计算的影响。

第三种用途才是模拟器。输入必须含当前状态和实际动作,输出下一状态,策略据此继续行动。现在把同一场景重置两次:一次不推杯子,一次向桌边推杯子。在无外力等条件相同的设置里,前者应留在原处,后者应移动,越过边缘后还应出现相应倾倒或掉落;接触时间、运动方向与停止位置要随动作而变。这里检验的是改变动作是否改变后果,而不只是两段视频各自像真。

若模型无论收到什么动作都播放一段自然的杯子视频,策略其实没有在与环境交互。即使它能按“杯子掉落”这段文字生成视频,也不等于正确模拟了手的力、接触与位置。应在动作可控的真实试验中比较后果,并继续测试连续多步误差以及在生成环境中学出的策略能否迁移。前两种用途有效,仍不足以证明第三种成立;这正是刘洺堉说交互环境最难、尚未真正实现时需要保留的差别。

独立分析:共同基座的成功,最终要落在下游结果

本文判断:这期最有解释力的不是“统一模型一定赢”,而是三个瓶颈接续出现:算力和数据不足时先争取条件;模型数量过多时减少选择与维护;形成基座后再检查客户能否完成任务。统一既可能改善共享学习,也可能只是减少产品复杂度,二者要分别验收。三种世界模型用途尤其应拆开评测:数据是否补上未见情形,策略是否更易迁移,交互环境中的动作后果是否可靠。前两项有效也不证明第三项已成立。

他的开放与“不竞争”也应按基础设施公司的位置理解:下游成功可扩大算力需求,所以协助生态与商业收益相容。其他公司收入来源不同,未必适合复制同一投入方式。对个人研究者可借鉴的,是将问题价值、资源条件、可解释的实验和真实使用结果连起来;既别把资源缺口误当算法无效,也别把争到资源误当方向正确。Sora 的错过和模型未收敛,正是这两种边界在访谈中的具体证据。

材料定位:原节目与章节 · 公开编辑文字。Cosmos 规格、资源、实验改进及组织叙述按嘉宾或编辑文字口径处理;模型能力趋同与应用时间表是观点,不是本文独立确认的事实。

证据边界与资料索引

本页依据整期机器转录、官方节目介绍与章节逐段重建,未宣称逐字人工听审。说话人、专名、数字和时间可能存在识别误差;原声仍是最终核对依据。嘉宾关于公司、市场、研究、个人经历与未来的说法按口述保留,不自动等于独立核验的事实。

本期部分文字来自分段机器转录。可靠回听范围以音频切分区间为准,逐句秒数可能压缩,不能把估计时码当作精确字幕。

原节目:150. 对英伟达研究副总裁刘洺堉的4小时访谈:功夫、Cosmos 3、开源世界模型、黄仁勋、你不需要击败所有对手

本页使用的公开文字或字幕来源

返回顶部