原对话:沿提问、回答和转折完整展开 下面先按节目顺序重建。主持人在追问什么,嘉宾如何以自己的经历、例子和推理作答,尽量保留在具体语境中;案例中的事实、数字和判断先归属于发言人。随后才进入本文的机制解释与独立判断。
00:00:00–00:10:00 连续对话 100:00:00–00:10:00 开场:嘉宾介绍与核心观点预告主持人张小珺在节目开场介绍了本次的访谈对象——英伟达研究副总裁刘洺堉(Ming-Yue Liu)。她描述了对刘洺堉的个人印象:穿着朴素、态度谦和。但她也引述了英伟达内部人士的看法,认为刘洺堉更像一位工程领导者,而非典型的研究员,并提及CEO黄仁勋(Jensen Huang)对他的评价是“GSD”(Getting Shit Done),意指执行力强。
主持人预告了本次访谈的核心内容,包括刘洺堉团队近期发布的英伟达世界模型Cosmos 3、他作为一名研究员在英伟达这个庞大系统内的20年求索经历,以及一些关于英伟达和黄仁勋的内部故事。
节目剪辑了后续访谈中的几段精彩观点作为预告:
1. 黄仁勋的商业哲学:偏爱“从零到十亿美元”(zero-billion-dollar)的业务,即项目可以不赚钱,但成功时必须具备巨大的影响力(influential)。
2. 刘洺堉对研究生态的比喻:经济的繁荣在于资金流动的速度,而研究的繁荣在于思想(idea)在不同头脑间流动的速度。
3. 黄仁勋对Cosmos项目的长期承诺:在刘洺堉完成Cosmos 1后,黄仁勋让他一直做到“Cosmos 97”。
4. 黄仁勋的行事风格:他是一个有纪律、擅长打“马拉松战”的人,会要求团队掌握节奏(pace your steps),并始终保持危机感,认为公司随时可能在30天后破产。
话题推进: 在简短的寒暄和确认嘉宾身份后,主持人正式开始访谈,询问刘洺堉在英伟达的职位和团队情况。
00:00:00–00:10:00 从Deep Imagination到Cosmos Lab:刘洺堉在英伟达的团队演进你现在讲中文还多吗?在公司里面? 这次你来中国的行程是什么样的?你多久会来一次中国? 这次来感觉到有什么不一样吗?跟之前? 你现在在英伟达的title是研究副总裁。你能不能介绍一下这个职位,然后以及你们团队的一些构造和人数? 我看到你之前还管一个团队叫Deep Imagination Research Group,Cosmos是它演化来的吗?他们是什么关系啊? 这是哪一年? 访谈正式开始,主持人首先关心刘洺堉的工作语言环境。刘洺堉表示,由于团队成员的多样性,日常沟通以英文为主,但在参与者都会中文的小组会议中,会自然切换到中文。
随后,主持人问及他来中国的行程。刘洺堉解释,他每年会来中国两到三次,主要任务是围绕他个人及公司都非常关注的“物理AI”(Physical AI)领域进行交流。他观察到中国在这一领域发展非常迅速,希望通过交流了解如何能帮助这里的公司和研究员。他此次来访,感受到中国在“灵巧手”(dexterous hand)等关键技术上的突破速度很快。
主持人请刘洺堉介绍其职位与团队。他说明自己是研究副总裁,同时也是Cosmos Lab的副总裁。其直属团队(研究员加工程师)约有八九十人。此外,公司内还有其他团队以“虚线汇报”(dotted line)的方式参与Cosmos项目,总规模达到二三百人。他作为项目总负责人,决定整体方向并发布指令。他强调,Cosmos是英伟达内部的一个重大项目,投入了大量资源。
接着,主持人追问他之前领导的“Deep Imagination Research Group”与Cosmos的关系。刘洺堉确认了演化关系,并回顾了自己十年前加入英伟达时的初衷。当时,他预测深度学习(Deep Learning)将取代传统计算机图形学(Computer Graphics),成为生成视频的主要运算方式。他在求职演讲(job talk)中提出,未来可以用小说作为输入直接生成电影。这个想法吸引了公司,他得以加入并朝此方向努力。
刘洺堉讲述,早期他主要研究“生成对抗网络”(GAN),并取得了一些成果,如实现了“无监督/非配对图像翻译”(unsupervised/unpaired image translation)。他解释,这是一种在没有成对输入输出数据(例如,没有同一匹马变成斑马前后的照片)的情况下,学习图像转换的技术。他当时利用了“信息瓶颈”(information bottleneck)的方法来实现。他提到,当时英伟达还未被广泛认同为一家AI公司,他与同事们(如研究StyleGAN的团队)的工作,帮助公司树立了在AI模型研发方面的形象。其中一个让他自豪的项目是“GauGAN”(中文昵称“马良神笔”),用户可以通过涂抹不同颜色的色块(代表不同语义,如山、水)来生成逼真的风景画。随着这些工作的成功,公司允许他成立自己的团队,即“Deep Imagination Research”,时间大约在2019到2020年间,与他最初的设想一致。
话题推进: 在建立了Deep Imagination Research团队后,刘洺堉继续朝着“小说生成电影”的目标前进,但一系列外部的技术突破让他不断反思自己的决心和策略。
00:00:00–00:10:00 两次“顿悟”:从DALL-E到Sora,Cosmos项目的诞生在算力最多的地方。 当时要了多少GPU啊? 当时1000张很多嘛,那时候。 我听说Sora没有出自你的团队,让你很遗憾是吗? 刘洺堉继续讲述Deep Imagination Research团队时期的经历。他们曾为CEO黄仁勋的Keynote制作了一个“数字人”替代真人的demo,并在疫情期间持续贡献数字人技术。然而,当OpenAI发布初代的文本到图像模型DALL-E时,刘洺堉坦言自己经历了一次“顿悟”:他意识到自己虽然身处算力最丰富的公司,但“野心不够大,不够勇敢”,没有下决心去挑战这个方向。
这次冲击促使他采取行动。他给黄仁勋写信,论证了用深度学习做影像生成的未来趋势已然明确,英伟达不能落后,并成功申请到了1000张A100 GPU的算力支持。他提到,在当时(Ampere架构时代),1000张GPU已是巨大资源,且将它们高效串联训练也非易事。同时,他也联系了合作伙伴Getty Images,说服对方合作,由Getty Images提供数据,英伟达提供算力和模型,共同开发文本到图像的大模型。这个合作催生了名为“Picasso”的专案,其商业模式是“AI foundry”(AI代工厂):为拥有数据但缺乏AI人才和基础设施的公司定制模型,然后共享收益。这是他正式踏入大模型领域的起点。
刘洺堉提到了几位曾在他团队实习的优秀年轻人,包括现在Meta的俞家辉和OpenAI Sora模型的作者之一Tim Brooks。他回忆,Tim Brooks实习时就对视频生成充满热情,但当时技术条件所限,他们还在用GAN进行研究。后来Tim Brooks加入OpenAI并做出了Sora。
Sora的发布是刘洺堉经历的第二次“顿悟”。他再次感到自己的“决心还是不够”。这次,他联合公司内其他几位学者,包括Sanja Fidler和Bryan Catanzaro等人,共同向黄仁勋建言,必须加大对世界模型(World Model)的投资。这直接催生了Cosmos项目。黄仁勋任命刘洺堉和Sanja Fidler共同领导这个项目,并亲自将其命名为“Cosmos”。
随着Cosmos项目的重要性日益凸显,刘洺堉发现自己无法兼顾Picasso和Cosmos两个重大项目。他最终决定收尾Picasso项目,将全部精力投入到Cosmos。随着Cosmos从1代发展到3代,客户和内部依赖增多,项目进入“一定要成功”的阶段,需要更庞大的资源。因此,在2024年年初,他正式离开NVIDIA Research,带着原Deep Imagination团队组建了新的“Cosmos Lab”,并开始向公司软件高级副总裁Dwight Buck汇报,以获得更强的工程和产品支持。
对于Sora,刘洺堉澄清“遗憾”并非负面情绪。他为前同事的巨大成就感到开心,但更多的是进行自我反省:“在我的决策过程中,是哪些地方我没有看对,而导致我没有在正确的时机做出正确的事情。”
话题推进: 主持人从Sora聊开,追问OpenAI为何似乎搁置了Sora,并进一步探讨英伟达作为一家基础设施公司,为何要亲自下场做研究。
00:00:00–00:10:00 英伟达为何做研究:预判未来、开源赋能与Physical AI的抉择因为说到Sora还是会想多说一句,你觉得为什么OpenAI后来把这条产品线基本上算是关掉了? 对于英伟达这样的一个基础设施公司,或者说是一个平台公司,我卖token给这些前沿实验室就好了,我为什么还要自己做自己的研究呢?就是研究这件事情本身对于英伟达的意义是什么样? 那你们的研究成果会跟客户去有一些竞争关系吗? 所以为什么你们当时要立一个非常重要的项目,没有选择当时最火的大语言模型,也没有选择像Sora这样的模型,而是选择了一个具身(Physical)的世界模型呢? Jensen对于这个团队提过什么要求没有? 主持人询问刘洺堉对OpenAI似乎搁置Sora的看法。刘洺堉认为,OpenAI是一家有野心的公司,Sora本身是重大的研究工作,但过去一年,OpenAI面临巨大的竞争压力。他观察到,像“coding agent”(编程智能体)这样的应用能产生巨大的经济效应,因为它们可以持续工作,消耗大量token,远超普通聊天应用。他引用《孙子兵法》的“备多则力寡”,推测OpenAI是出于战略考量,将有限的资源重新调整,集中投入到商业回报更明确的coding方向,这是一个艰难但必要的决定。
接着,主持人提出了一个核心问题:英伟达作为一家基础设施公司,为何要亲自做应用层面的研究,而不是仅仅卖算力?刘洺堉解释,这背后有几个关键原因:
1. 预判客户需求:如果不亲身实践应用,就无法真正理解应用公司的需求和痛点。芯片和计算机架构的设计周期很长,必须通过前瞻性研究来预测未来的重要问题,从而设计出更适合未来AI大公司的基础设施。
2. 赋能生态:英伟达希望通过开源模型,为整个社会有抱负的年轻人和创业公司提供工具,让他们有机会实现自己的想法。当更多元的想法得以实现,社会才会进步得更快。这与客户并非竞争关系,而是帮助他们分担基础模型研发的压力,让他们能更专注于解决具体应用中的硬件、商业等“最后一公里”的难题。
3. 建立行业信心:通过持续迭代Cosmos(从1代到3代),英伟达向外界传递了一个明确信号:公司将长期投入并推动该领域发展。这能给生态内的公司带来信心,让他们敢于在英伟达提供的基础上投入自己的资源,去解决更关键的问题。
主持人追问,为何英伟达选择“具身世界模型”(Physical World Model)作为重点项目,而非当时更火的大语言模型或Sora那样的内容创作模型。刘洺堉回答:
* 背景与专长:他本人和团队出身于计算机视觉(CV),而非大语言模型(LLM)。同时,英伟达已有强大的LLM团队,他在那里贡献有限。
* 应用价值判断:Sora代表的“内容创作”(content creation)应用很有价值,但他们看到了“物理AI”(Physical AI)能解决更根本的社会问题。例如,自动驾驶能帮助老年人维持出行能力;机器人可以从事危险、劳累或繁琐的家务劳动,从而改善人类生活品质。他们认为世界模型对物理AI的贡献更大,因此选择了这条路线。
最后,关于CEO黄仁勋对团队的要求,刘洺堉总结为:目标极高,要求严格。核心要求是“帮助客户成功”和“产生巨大影响力”(make impact)。黄仁勋常说他喜欢“zero-billion-dollar business”,即可以不赚钱,但成功后必须是规模巨大、影响深远的业务,而不能满足于每年赚一亿美元这种对英伟达而言是“分心”(distraction)的规模。因此,团队必须聚焦于解决最重要的问题,创造最大的贡献。
话题推进: 在讨论了团队的战略选择后,主持人将话题转向刘洺堉的个人成长经历,探寻他研究之路的起点和转变。
00:00:00–00:10:00 从无线通讯到AI:一位研究员的意外转向与早期探索作为研究员的刘明月,你是怎么一步一步探索你的研究之路的? 还没有想过。 就是大几啊? 这是一个传统计算机视觉的时期。 这是你后来的一个工作对吧? 在美国的第一份工作。 那刻会失落吗? 什么都不work。 你好像很早开始做生成了。 所以为什么生成是理解的一部分? 而这个人的学习有点像。 当你可讲的时候,意味着你已经理解了。 主持人引导话题转向刘洺堉的个人研究历程。刘洺堉首先修正了之前关于“野心”的说法,他认为自己一直很有野心(例如很早就想用小说生成电影),但在英伟达的十年让他学会了如何把握时机、争取公司内部资源和支持,从而将野心付诸实践。
他回顾了自己的求学之路。在台北读高中时,最热门的领域是无线通讯。他因此进入台湾交通大学学习该专业。大学期间,许多同学毕业后进入了联发科、台积电等台湾优势产业的公司。然而,他在大三时开始反思这是否是自己想要的道路。通过对比美国研究生的研究课题,他发现美国的研究更侧重于“从0到1”的突破,而自己当时的工作更像是“从1到1.1”的优化。这激发了他去美国留学的想法,这个决定让他的父母感到非常震惊,因为他从未表露过此意向。
他最初计划去美国研究“量子通讯”,但在去美国前,他在台湾的英特尔实习了一年。在那里,他第一次接触到AI——一位朋友正在做影像辨识。他对计算机能从像素中识别物体感到非常神奇。后来,他进入美国马里兰大学读博,该校因靠近华盛顿特区,聚集了许多早期由国防经费支持的计算机视觉(Computer Vision)领域的大佬。他被CV的魅力吸引,放弃了量子通讯,转而师从该领域的先驱拉马·恰拉帕(Rama Chellappa)教授,正式踏入AI领域。他博士期间的第一个课题是通过视频中人物的走路姿态来识别身份。
刘洺堉强调,他读博的时期是“传统计算机视觉”时代,深度学习尚未兴起,“什么都不work”。因此,研究者需要学习各种技术,如支持向量机(SVM)、优化算法、图模型(graphical model)、能量最小化等,这为他打下了扎实的基础。在他即将毕业时,AlexNet的出现改变了整个领域。他并未因此感到失落,反而对新技术充满兴趣,并组织实验室的学弟学妹一起研究深度学习。
博士毕业后,他加入了位于麻省剑桥的三菱电机研究院(MERL)。在那里,他有充足的时间学习深度学习。受其导师相信生成模型(Generative Model)的理念影响,他尤其关注生成领域。当他看到伊恩·古德费洛(Ian Goodfellow)关于生成对抗网络(GAN)的论文后,便对此产生了浓厚兴趣,并开始大量投入研究,成为最早一批研究生成模型的研究员。他回忆,当时能生成32x32像素、看起来“不像鬼”的人脸就已经算成功了。
最后,他引用物理学家理查德·费曼的名言“What I cannot create, I do not understand”(我无法创造的,我就不理解),解释了为何“生成是理解的一部分”。他认为,当一个模型能够生成或重建某个事物时,才意味着它真正理解了它。
刘洺堉 · 00:39:02
刘洺堉引用费曼名言“What I cannot create, I do not understand”来解释生成模型的重要性,即生成能力是深层理解的体现。
话题推进: 在解释了生成与理解的关系后,主持人进一步询问工程经验对研究的影响,并引出了刘洺堉对自己研究生涯中几个重要转折点的思考。
00:00:00–00:10:00 研究生涯的三个教训:从追求数学之美到学会团队协作其实你最早做了一年的工程师,你觉得这个经历对你后来做research有影响吗?你觉得做engineering和做researcher的本质的差异是什么呀? 所以AI对你来说也是一场意外。 它最初打动你的是什么呢? 如果要找到一个早期对你研究生涯都非常重要的一个时刻,你会怎么描述它? 你要做应用,然后你要销售你的工作,然后你要团队协作。 GauGAN是取自高更吗? 主持人询问刘洺堉早期的工程师经历对其研究生涯的影响。刘洺堉认为,那段经历最大的影响是让他认识了AI和计算机视觉这个领域。他区分了研究与工程的本质差异:研究(research)最重要的是“问对问题”,而工程(engineering)则是实现想法、证明问题重要性的能力。他承认自己进入AI领域并非源于从小对人类智能的哲学思考,而是在接触后因“不懂”而产生好奇,并能直观理解其重要性,便一步步深入探索。
当被问及研究生涯中最重要的时刻,刘洺堉分享了三个关键的“教训”或转变:
1. 从追求数学之美到拥抱应用本质:在传统CV早期,由于很多问题无法找到最优解(如非凸优化问题),研究者为了证明算法的有效性(例如,证明解与最优解的差距有界),常常引入各种假设。这些假设能让数学推导变得“干净”,但却脱离了现实世界。他逐渐意识到,AI本质上是应用科学,不应为了追求数学上的优美而忽略问题的本质,应更贴近真实问题。
2. 从做出成果到有效沟通:刚加入英伟达时,他专注于把事情做出来,但不擅长向他人解释自己工作的价值。他比喻自己做出了100分的工作,但解释只有10分,导致外界只能看到10分。他后来意识到,让别人理解工作的重要性同样关键,这促使他开始重视沟通和“销售”自己的研究成果。
3. 从单打独斗到团队协作:在开始做大模型后,他深刻体会到团队合作的重要性。他用复杂度理论来解释,如果N个人的团队需要两两沟通,沟通成本是N的平方(N²),这种方式难以扩展。为了实现高效协作,必须把目标和路径讲得非常明确,让所有人目标一致。这需要领导者不仅能做出成果、解释成果,还要能激励团队,让大家理解“为什么这很重要”,从而朝同一个方向前进。
主持人总结这三点(做应用、销售工作、团队协作)正是他成长的路线。刘洺堉表示认同,并以GauGAN项目为例。当他看到普通用户使用GauGAN并给出积极反馈时,他获得了巨大的成就感,感到自己的工作能影响更广泛的人群,生命更有价值。
最后,他分享了GauGAN命名的趣事。项目最初的技术名称叫“SPADE”,黄仁勋认为这个名字不够用户友好。在准备GTC大会发布时,公司一位营销天才Greg Estes提出了“GauGAN”这个名字,既结合了当时流行的“GAN”后缀,又致敬了法国画家高更(Gauguin),非常贴切。虽然该项目最后因Keynote时间紧张被临时拿下,但发布后依然成为那届GTC最受瞩目的成果之一。
话题推进: GauGAN的成功是刘洺堉在GAN领域一系列工作的体现。主持人接着追问,他从早期的GAN研究到GauGAN,其技术路线是如何一步步演进的。
00:00:00–00:10:00 从图像翻译到可扩展性思考:GAN时代的技术演进与反思其实GauGAN是不是跟你之前的研究轨迹是一步一步递进的,它不是第一天就做到那里了,因为你从博士毕业以后加入了三菱电机研究所,Computer Vision就进入了GAN的时代,然后你其实围绕GAN做了一系列的工作,包括CoGAN,MoCoGAN,暂时到了NVIDIA之后,的比如说GauGAN,这一系列的工作对吗?它它是怎么延展的呀? 容易的,最早是? 所以你是沿着Image,然后到Text的这个路径一点一点的延伸的。 是哪年? 后面这几个GAN的工作你再讲一下。 主持人询问刘洺堉在GAN领域的研究是如何一步步演进的。刘洺堉详细梳理了他的技术路线:
他的第一个GAN项目是“Coupled GAN”,通过将两个GAN耦合(couple)在一起,创造了一个“信息瓶颈”(Information Bottleneck)。他解释,深度学习的核心在于学习如何压缩信息,而瓶颈结构能迫使网络去寻找事物的本质。通过让一个GAN建模“马”的分布,另一个GAN建模“斑马”的分布,并将它们耦合,网络就能找到两者间的共性,从而实现从马到斑马的转换。这属于“图像到图像翻译”(Image-to-Image Translation)的范畴。
他指出,生成式网络的核心是“分布建模”(Distribution Modeling),即生成符合某种数据分布的样本(如一张山水画)。但人类的需求不止于此,还需要“控制”生成的内容。控制需要输入信号,信号有多种形式,他按照从易到难的顺序进行了探索:
1. 结构化信号:如另一张图像(马变斑马)、分割图(segmentation map,用不同颜色代表山、水等,像素级对齐)、或边缘图(edge map)。这些信号与输出图像的结构相似,对位明确,相对容易学习。
2. 类别标签:如“山”、“车”等简单的文本标签。
3. 自然语言文本:如“Text-to-Image”。这是最自然但也最难的控制信号,因为文本的结构与图像/视频的结构差异巨大,需要更多数据才能学习其间的复杂关系。
刘洺堉坦言,他的研究路径正是遵循了这种从易到难的逻辑。这也是他再次反思自己当初在DALL-E出现时“决心不够”的原因:他当时认为Text-to-Image问题太难,数据和算力尚不具备,但事实证明条件已经成熟。
尽管他早在2016-2017年与朋友讨论时就预测,AI的第一个重大突破将发生在语言(Text)领域,因为文本是更纯净、更接近知识本质的信号,而图像信号包含太多“噪音”。但他个人更偏爱视觉信号,所以一直留在这个领域。在英伟达期间,他继续沿着这条路探索,从图像翻译扩展到视频翻译(Video-to-Video Translation),例如一个叫“V2V”的项目,能将赛车模拟器生成的卡通画面转换为逼真的驾驶场景,这已非常接近现在的世界模型。
在研究GAN的过程中,他始终在思考一个核心问题:GAN是否是可扩展的(scalable)?GAN训练困难是众所周知的问题,他担心这种方法最终无法规模化。为了探索GAN的可扩展性,他曾与实习生俞家辉合作,尝试用多个不同的判别器(Discriminator)同时与一个生成器(Generator)对抗,模拟多人对抗训练。他还与另一位后来发明了著名优化器AdamW的实习生合作,试图从算法层面稳定GAN的训练。尽管这些具体的探索没有直接成功,但过程中的思考和与优秀人才的合作让他受益匪浅,也体现了他对“简单且可扩展的方法更容易成功”(即后来Rich Sutton提出的“The Bitter Lesson”)这一原则的早期认知。
话题推进: 本段访谈内容结束。
00:10:00–00:20:00 连续对话 200:10:00–00:20:00 开场:嘉宾介绍与核心观点预告主持人张小珺在节目开场介绍了本次的访谈对象——英伟达研究副总裁刘洺堉(Ming-Yue Liu)。她描述了对刘洺堉的个人印象:穿着朴素、态度谦和。但她也引述了英伟达内部人士的看法,认为刘洺堉更像一位工程领导者,而非典型的研究员,并提及CEO黄仁勋(Jensen Huang)对他的评价是“GSD”(Getting Shit Done),意指执行力强。
主持人预告了本次访谈的核心内容,包括刘洺堉团队近期发布的英伟达世界模型Cosmos 3、他作为一名研究员在英伟达这个庞大系统内的20年求索经历,以及一些关于英伟达和黄仁勋的内部故事。
节目剪辑了后续访谈中的几段精彩观点作为预告:
1. 黄仁勋的商业哲学:偏爱“从零到十亿美元”(zero-billion-dollar)的业务,即项目可以不赚钱,但成功时必须具备巨大的影响力(influential)。
2. 刘洺堉对研究生态的比喻:经济的繁荣在于资金流动的速度,而研究的繁荣在于思想(idea)在不同头脑间流动的速度。
3. 黄仁勋对Cosmos项目的长期承诺:在刘洺堉完成Cosmos 1后,黄仁勋让他一直做到“Cosmos 97”。
4. 黄仁勋的行事风格:他是一个有纪律、擅长打“马拉松战”的人,会要求团队掌握节奏(pace your steps),并始终保持危机感,认为公司随时可能在30天后破产。
话题推进: 在简短的寒暄和确认嘉宾身份后,主持人正式开始访谈,询问刘洺堉在英伟达的职位和团队情况。
00:10:00–00:20:00 从Deep Imagination到Cosmos Lab:刘洺堉在英伟达的团队演进你现在讲中文还多吗?在公司里面? 这次你来中国的行程是什么样的?你多久会来一次中国? 这次来感觉到有什么不一样吗?跟之前? 你现在在英伟达的title是研究副总裁。你能不能介绍一下这个职位,然后以及你们团队的一些构造和人数? 我看到你之前还管一个团队叫Deep Imagination Research Group,Cosmos是它演化来的吗?他们是什么关系啊? 这是哪一年? 访谈正式开始,主持人首先关心刘洺堉的工作语言环境。刘洺堉表示,由于团队成员的多样性,日常沟通以英文为主,但在参与者都会中文的小组会议中,会自然切换到中文。
随后,主持人问及他来中国的行程。刘洺堉解释,他每年会来中国两到三次,主要任务是围绕他个人及公司都非常关注的“物理AI”(Physical AI)领域进行交流。他观察到中国在这一领域发展非常迅速,希望通过交流了解如何能帮助这里的公司和研究员。他此次来访,感受到中国在“灵巧手”(dexterous hand)等关键技术上的突破速度很快。
主持人请刘洺堉介绍其职位与团队。他说明自己是研究副总裁,同时也是Cosmos Lab的副总裁。其直属团队(研究员加工程师)约有八九十人。此外,公司内还有其他团队以“虚线汇报”(dotted line)的方式参与Cosmos项目,总规模达到二三百人。他作为项目总负责人,决定整体方向并发布指令。他强调,Cosmos是英伟达内部的一个重大项目,投入了大量资源。
接着,主持人追问他之前领导的“Deep Imagination Research Group”与Cosmos的关系。刘洺堉确认了演化关系,并回顾了自己十年前加入英伟达时的初衷。当时,他预测深度学习(Deep Learning)将取代传统计算机图形学(Computer Graphics),成为生成视频的主要运算方式。他在求职演讲(job talk)中提出,未来可以用小说作为输入直接生成电影。这个想法吸引了公司,他得以加入并朝此方向努力。
刘洺堉讲述,早期他主要研究“生成对抗网络”(GAN),并取得了一些成果,如实现了“无监督/非配对图像翻译”(unsupervised/unpaired image translation)。他解释,这是一种在没有成对输入输出数据(例如,没有同一匹马变成斑马前后的照片)的情况下,学习图像转换的技术。他当时利用了“信息瓶颈”(information bottleneck)的方法来实现。他提到,当时英伟达还未被广泛认同为一家AI公司,他与同事们(如研究StyleGAN的团队)的工作,帮助公司树立了在AI模型研发方面的形象。其中一个让他自豪的项目是“GauGAN”(中文昵称“马良神笔”),用户可以通过涂抹不同颜色的色块(代表不同语义,如山、水)来生成逼真的风景画。随着这些工作的成功,公司允许他成立自己的团队,即“Deep Imagination Research”,时间大约在2019到2020年间,与他最初的设想一致。
话题推进: 在建立了Deep Imagination Research团队后,刘洺堉继续朝着“小说生成电影”的目标前进,但一系列外部的技术突破让他不断反思自己的决心和策略。
00:10:00–00:20:00 两次“顿悟”:从DALL-E到Sora,Cosmos项目的诞生在算力最多的地方。 当时要了多少GPU啊? 当时1000张很多嘛,那时候。 我听说Sora没有出自你的团队,让你很遗憾是吗? 刘洺堉继续讲述Deep Imagination Research团队时期的经历。他们曾为CEO黄仁勋的Keynote制作了一个“数字人”替代真人的demo,并在疫情期间持续贡献数字人技术。然而,当OpenAI发布初代的文本到图像模型DALL-E时,刘洺堉坦言自己经历了一次“顿悟”:他意识到自己虽然身处算力最丰富的公司,但“野心不够大,不够勇敢”,没有下决心去挑战这个方向。
这次冲击促使他采取行动。他给黄仁勋写信,论证了用深度学习做影像生成的未来趋势已然明确,英伟达不能落后,并成功申请到了1000张A100 GPU的算力支持。他提到,在当时(Ampere架构时代),1000张GPU已是巨大资源,且将它们高效串联训练也非易事。同时,他也联系了合作伙伴Getty Images,说服对方合作,由Getty Images提供数据,英伟达提供算力和模型,共同开发文本到图像的大模型。这个合作催生了名为“Picasso”的专案,其商业模式是“AI foundry”(AI代工厂):为拥有数据但缺乏AI人才和基础设施的公司定制模型,然后共享收益。这是他正式踏入大模型领域的起点。
刘洺堉提到了几位曾在他团队实习的优秀年轻人,包括现在Meta的俞家辉和OpenAI Sora模型的作者之一Tim Brooks。他回忆,Tim Brooks实习时就对视频生成充满热情,但当时技术条件所限,他们还在用GAN进行研究。后来Tim Brooks加入OpenAI并做出了Sora。
Sora的发布是刘洺堉经历的第二次“顿悟”。他再次感到自己的“决心还是不够”。这次,他联合公司内其他几位学者,包括Sanja Fidler和Bryan Catanzaro等人,共同向黄仁勋建言,必须加大对世界模型(World Model)的投资。这直接催生了Cosmos项目。黄仁勋任命刘洺堉和Sanja Fidler共同领导这个项目,并亲自将其命名为“Cosmos”。
随着Cosmos项目的重要性日益凸显,刘洺堉发现自己无法兼顾Picasso和Cosmos两个重大项目。他最终决定收尾Picasso项目,将全部精力投入到Cosmos。随着Cosmos从1代发展到3代,客户和内部依赖增多,项目进入“一定要成功”的阶段,需要更庞大的资源。因此,在2024年年初,他正式离开NVIDIA Research,带着原Deep Imagination团队组建了新的“Cosmos Lab”,并开始向公司软件高级副总裁Dwight Buck汇报,以获得更强的工程和产品支持。
对于Sora,刘洺堉澄清“遗憾”并非负面情绪。他为前同事的巨大成就感到开心,但更多的是进行自我反省:“在我的决策过程中,是哪些地方我没有看对,而导致我没有在正确的时机做出正确的事情。”
话题推进: 主持人从Sora聊开,追问OpenAI为何似乎搁置了Sora,并进一步探讨英伟达作为一家基础设施公司,为何要亲自下场做研究。
00:10:00–00:20:00 英伟达为何做研究:预判未来、开源赋能与Physical AI的抉择因为说到Sora还是会想多说一句,你觉得为什么OpenAI后来把这条产品线基本上算是关掉了? 对于英伟达这样的一个基础设施公司,或者说是一个平台公司,我卖token给这些前沿实验室就好了,我为什么还要自己做自己的研究呢?就是研究这件事情本身对于英伟达的意义是什么样? 那你们的研究成果会跟客户去有一些竞争关系吗? 所以为什么你们当时要立一个非常重要的项目,没有选择当时最火的大语言模型,也没有选择像Sora这样的模型,而是选择了一个具身(Physical)的世界模型呢? Jensen对于这个团队提过什么要求没有? 主持人询问刘洺堉对OpenAI似乎搁置Sora的看法。刘洺堉认为,OpenAI是一家有野心的公司,Sora本身是重大的研究工作,但过去一年,OpenAI面临巨大的竞争压力。他观察到,像“coding agent”(编程智能体)这样的应用能产生巨大的经济效应,因为它们可以持续工作,消耗大量token,远超普通聊天应用。他引用《孙子兵法》的“备多则力寡”,推测OpenAI是出于战略考量,将有限的资源重新调整,集中投入到商业回报更明确的coding方向,这是一个艰难但必要的决定。
接着,主持人提出了一个核心问题:英伟达作为一家基础设施公司,为何要亲自做应用层面的研究,而不是仅仅卖算力?刘洺堉解释,这背后有几个关键原因:
1. 预判客户需求:如果不亲身实践应用,就无法真正理解应用公司的需求和痛点。芯片和计算机架构的设计周期很长,必须通过前瞻性研究来预测未来的重要问题,从而设计出更适合未来AI大公司的基础设施。
2. 赋能生态:英伟达希望通过开源模型,为整个社会有抱负的年轻人和创业公司提供工具,让他们有机会实现自己的想法。当更多元的想法得以实现,社会才会进步得更快。这与客户并非竞争关系,而是帮助他们分担基础模型研发的压力,让他们能更专注于解决具体应用中的硬件、商业等“最后一公里”的难题。
3. 建立行业信心:通过持续迭代Cosmos(从1代到3代),英伟达向外界传递了一个明确信号:公司将长期投入并推动该领域发展。这能给生态内的公司带来信心,让他们敢于在英伟达提供的基础上投入自己的资源,去解决更关键的问题。
主持人追问,为何英伟达选择“具身世界模型”(Physical World Model)作为重点项目,而非当时更火的大语言模型或Sora那样的内容创作模型。刘洺堉回答:
* 背景与专长:他本人和团队出身于计算机视觉(CV),而非大语言模型(LLM)。同时,英伟达已有强大的LLM团队,他在那里贡献有限。
* 应用价值判断:Sora代表的“内容创作”(content creation)应用很有价值,但他们看到了“物理AI”(Physical AI)能解决更根本的社会问题。例如,自动驾驶能帮助老年人维持出行能力;机器人可以从事危险、劳累或繁琐的家务劳动,从而改善人类生活品质。他们认为世界模型对物理AI的贡献更大,因此选择了这条路线。
最后,关于CEO黄仁勋对团队的要求,刘洺堉总结为:目标极高,要求严格。核心要求是“帮助客户成功”和“产生巨大影响力”(make impact)。黄仁勋常说他喜欢“zero-billion-dollar business”,即可以不赚钱,但成功后必须是规模巨大、影响深远的业务,而不能满足于每年赚一亿美元这种对英伟达而言是“分心”(distraction)的规模。因此,团队必须聚焦于解决最重要的问题,创造最大的贡献。
话题推进: 在讨论了团队的战略选择后,主持人将话题转向刘洺堉的个人成长经历,探寻他研究之路的起点和转变。
00:10:00–00:20:00 从无线通讯到AI:一位研究员的意外转向与早期探索作为研究员的刘明月,你是怎么一步一步探索你的研究之路的? 还没有想过。 就是大几啊? 这是一个传统计算机视觉的时期。 这是你后来的一个工作对吧? 在美国的第一份工作。 那刻会失落吗? 什么都不work。 你好像很早开始做生成了。 所以为什么生成是理解的一部分? 而这个人的学习有点像。 当你可讲的时候,意味着你已经理解了。 主持人引导话题转向刘洺堉的个人研究历程。刘洺堉首先修正了之前关于“野心”的说法,他认为自己一直很有野心(例如很早就想用小说生成电影),但在英伟达的十年让他学会了如何把握时机、争取公司内部资源和支持,从而将野心付诸实践。
他回顾了自己的求学之路。在台北读高中时,最热门的领域是无线通讯。他因此进入台湾交通大学学习该专业。大学期间,许多同学毕业后进入了联发科、台积电等台湾优势产业的公司。然而,他在大三时开始反思这是否是自己想要的道路。通过对比美国研究生的研究课题,他发现美国的研究更侧重于“从0到1”的突破,而自己当时的工作更像是“从1到1.1”的优化。这激发了他去美国留学的想法,这个决定让他的父母感到非常震惊,因为他从未表露过此意向。
他最初计划去美国研究“量子通讯”,但在去美国前,他在台湾的英特尔实习了一年。在那里,他第一次接触到AI——一位朋友正在做影像辨识。他对计算机能从像素中识别物体感到非常神奇。后来,他进入美国马里兰大学读博,该校因靠近华盛顿特区,聚集了许多早期由国防经费支持的计算机视觉(Computer Vision)领域的大佬。他被CV的魅力吸引,放弃了量子通讯,转而师从该领域的先驱拉马·恰拉帕(Rama Chellappa)教授,正式踏入AI领域。他博士期间的第一个课题是通过视频中人物的走路姿态来识别身份。
刘洺堉强调,他读博的时期是“传统计算机视觉”时代,深度学习尚未兴起,“什么都不work”。因此,研究者需要学习各种技术,如支持向量机(SVM)、优化算法、图模型(graphical model)、能量最小化等,这为他打下了扎实的基础。在他即将毕业时,AlexNet的出现改变了整个领域。他并未因此感到失落,反而对新技术充满兴趣,并组织实验室的学弟学妹一起研究深度学习。
博士毕业后,他加入了位于麻省剑桥的三菱电机研究院(MERL)。在那里,他有充足的时间学习深度学习。受其导师相信生成模型(Generative Model)的理念影响,他尤其关注生成领域。当他看到伊恩·古德费洛(Ian Goodfellow)关于生成对抗网络(GAN)的论文后,便对此产生了浓厚兴趣,并开始大量投入研究,成为最早一批研究生成模型的研究员。他回忆,当时能生成32x32像素、看起来“不像鬼”的人脸就已经算成功了。
最后,他引用物理学家理查德·费曼的名言“What I cannot create, I do not understand”(我无法创造的,我就不理解),解释了为何“生成是理解的一部分”。他认为,当一个模型能够生成或重建某个事物时,才意味着它真正理解了它。
刘洺堉 · 00:39:02
刘洺堉引用费曼名言“What I cannot create, I do not understand”来解释生成模型的重要性,即生成能力是深层理解的体现。
话题推进: 在解释了生成与理解的关系后,主持人进一步询问工程经验对研究的影响,并引出了刘洺堉对自己研究生涯中几个重要转折点的思考。
00:10:00–00:20:00 研究生涯的三个教训:从追求数学之美到学会团队协作其实你最早做了一年的工程师,你觉得这个经历对你后来做research有影响吗?你觉得做engineering和做researcher的本质的差异是什么呀? 所以AI对你来说也是一场意外。 它最初打动你的是什么呢? 如果要找到一个早期对你研究生涯都非常重要的一个时刻,你会怎么描述它? 你要做应用,然后你要销售你的工作,然后你要团队协作。 GauGAN是取自高更吗? 主持人询问刘洺堉早期的工程师经历对其研究生涯的影响。刘洺堉认为,那段经历最大的影响是让他认识了AI和计算机视觉这个领域。他区分了研究与工程的本质差异:研究(research)最重要的是“问对问题”,而工程(engineering)则是实现想法、证明问题重要性的能力。他承认自己进入AI领域并非源于从小对人类智能的哲学思考,而是在接触后因“不懂”而产生好奇,并能直观理解其重要性,便一步步深入探索。
当被问及研究生涯中最重要的时刻,刘洺堉分享了三个关键的“教训”或转变:
1. 从追求数学之美到拥抱应用本质:在传统CV早期,由于很多问题无法找到最优解(如非凸优化问题),研究者为了证明算法的有效性(例如,证明解与最优解的差距有界),常常引入各种假设。这些假设能让数学推导变得“干净”,但却脱离了现实世界。他逐渐意识到,AI本质上是应用科学,不应为了追求数学上的优美而忽略问题的本质,应更贴近真实问题。
2. 从做出成果到有效沟通:刚加入英伟达时,他专注于把事情做出来,但不擅长向他人解释自己工作的价值。他比喻自己做出了100分的工作,但解释只有10分,导致外界只能看到10分。他后来意识到,让别人理解工作的重要性同样关键,这促使他开始重视沟通和“销售”自己的研究成果。
3. 从单打独斗到团队协作:在开始做大模型后,他深刻体会到团队合作的重要性。他用复杂度理论来解释,如果N个人的团队需要两两沟通,沟通成本是N的平方(N²),这种方式难以扩展。为了实现高效协作,必须把目标和路径讲得非常明确,让所有人目标一致。这需要领导者不仅能做出成果、解释成果,还要能激励团队,让大家理解“为什么这很重要”,从而朝同一个方向前进。
主持人总结这三点(做应用、销售工作、团队协作)正是他成长的路线。刘洺堉表示认同,并以GauGAN项目为例。当他看到普通用户使用GauGAN并给出积极反馈时,他获得了巨大的成就感,感到自己的工作能影响更广泛的人群,生命更有价值。
最后,他分享了GauGAN命名的趣事。项目最初的技术名称叫“SPADE”,黄仁勋认为这个名字不够用户友好。在准备GTC大会发布时,公司一位营销天才Greg Estes提出了“GauGAN”这个名字,既结合了当时流行的“GAN”后缀,又致敬了法国画家高更(Gauguin),非常贴切。虽然该项目最后因Keynote时间紧张被临时拿下,但发布后依然成为那届GTC最受瞩目的成果之一。
话题推进: GauGAN的成功是刘洺堉在GAN领域一系列工作的体现。主持人接着追问,他从早期的GAN研究到GauGAN,其技术路线是如何一步步演进的。
00:10:00–00:20:00 从图像翻译到可扩展性思考:GAN时代的技术演进与反思其实GauGAN是不是跟你之前的研究轨迹是一步一步递进的,它不是第一天就做到那里了,因为你从博士毕业以后加入了三菱电机研究所,Computer Vision就进入了GAN的时代,然后你其实围绕GAN做了一系列的工作,包括CoGAN,MoCoGAN,暂时到了NVIDIA之后,的比如说GauGAN,这一系列的工作对吗?它它是怎么延展的呀? 容易的,最早是? 所以你是沿着Image,然后到Text的这个路径一点一点的延伸的。 是哪年? 后面这几个GAN的工作你再讲一下。 主持人询问刘洺堉在GAN领域的研究是如何一步步演进的。刘洺堉详细梳理了他的技术路线:
他的第一个GAN项目是“Coupled GAN”,通过将两个GAN耦合(couple)在一起,创造了一个“信息瓶颈”(Information Bottleneck)。他解释,深度学习的核心在于学习如何压缩信息,而瓶颈结构能迫使网络去寻找事物的本质。通过让一个GAN建模“马”的分布,另一个GAN建模“斑马”的分布,并将它们耦合,网络就能找到两者间的共性,从而实现从马到斑马的转换。这属于“图像到图像翻译”(Image-to-Image Translation)的范畴。
他指出,生成式网络的核心是“分布建模”(Distribution Modeling),即生成符合某种数据分布的样本(如一张山水画)。但人类的需求不止于此,还需要“控制”生成的内容。控制需要输入信号,信号有多种形式,他按照从易到难的顺序进行了探索:
1. 结构化信号:如另一张图像(马变斑马)、分割图(segmentation map,用不同颜色代表山、水等,像素级对齐)、或边缘图(edge map)。这些信号与输出图像的结构相似,对位明确,相对容易学习。
2. 类别标签:如“山”、“车”等简单的文本标签。
3. 自然语言文本:如“Text-to-Image”。这是最自然但也最难的控制信号,因为文本的结构与图像/视频的结构差异巨大,需要更多数据才能学习其间的复杂关系。
刘洺堉坦言,他的研究路径正是遵循了这种从易到难的逻辑。这也是他再次反思自己当初在DALL-E出现时“决心不够”的原因:他当时认为Text-to-Image问题太难,数据和算力尚不具备,但事实证明条件已经成熟。
尽管他早在2016-2017年与朋友讨论时就预测,AI的第一个重大突破将发生在语言(Text)领域,因为文本是更纯净、更接近知识本质的信号,而图像信号包含太多“噪音”。但他个人更偏爱视觉信号,所以一直留在这个领域。在英伟达期间,他继续沿着这条路探索,从图像翻译扩展到视频翻译(Video-to-Video Translation),例如一个叫“V2V”的项目,能将赛车模拟器生成的卡通画面转换为逼真的驾驶场景,这已非常接近现在的世界模型。
在研究GAN的过程中,他始终在思考一个核心问题:GAN是否是可扩展的(scalable)?GAN训练困难是众所周知的问题,他担心这种方法最终无法规模化。为了探索GAN的可扩展性,他曾与实习生俞家辉合作,尝试用多个不同的判别器(Discriminator)同时与一个生成器(Generator)对抗,模拟多人对抗训练。他还与另一位后来发明了著名优化器AdamW的实习生合作,试图从算法层面稳定GAN的训练。尽管这些具体的探索没有直接成功,但过程中的思考和与优秀人才的合作让他受益匪浅,也体现了他对“简单且可扩展的方法更容易成功”(即后来Rich Sutton提出的“The Bitter Lesson”)这一原则的早期认知。
话题推进: 本段访谈内容结束。
00:20:00–00:30:00 连续对话 300:20:00–00:30:00 开场:嘉宾介绍与核心观点预告主持人张小珺在节目开场介绍了本次的访谈对象——英伟达研究副总裁刘洺堉(Ming-Yue Liu)。她描述了对刘洺堉的个人印象:穿着朴素、态度谦和。但她也引述了英伟达内部人士的看法,认为刘洺堉更像一位工程领导者,而非典型的研究员,并提及CEO黄仁勋(Jensen Huang)对他的评价是“GSD”(Getting Shit Done),意指执行力强。
主持人预告了本次访谈的核心内容,包括刘洺堉团队近期发布的英伟达世界模型Cosmos 3、他作为一名研究员在英伟达这个庞大系统内的20年求索经历,以及一些关于英伟达和黄仁勋的内部故事。
节目剪辑了后续访谈中的几段精彩观点作为预告:
1. 黄仁勋的商业哲学:偏爱“从零到十亿美元”(zero-billion-dollar)的业务,即项目可以不赚钱,但成功时必须具备巨大的影响力(influential)。
2. 刘洺堉对研究生态的比喻:经济的繁荣在于资金流动的速度,而研究的繁荣在于思想(idea)在不同头脑间流动的速度。
3. 黄仁勋对Cosmos项目的长期承诺:在刘洺堉完成Cosmos 1后,黄仁勋让他一直做到“Cosmos 97”。
4. 黄仁勋的行事风格:他是一个有纪律、擅长打“马拉松战”的人,会要求团队掌握节奏(pace your steps),并始终保持危机感,认为公司随时可能在30天后破产。
话题推进: 在简短的寒暄和确认嘉宾身份后,主持人正式开始访谈,询问刘洺堉在英伟达的职位和团队情况。
00:20:00–00:30:00 从Deep Imagination到Cosmos Lab:刘洺堉在英伟达的团队演进你现在讲中文还多吗?在公司里面? 这次你来中国的行程是什么样的?你多久会来一次中国? 这次来感觉到有什么不一样吗?跟之前? 你现在在英伟达的title是研究副总裁。你能不能介绍一下这个职位,然后以及你们团队的一些构造和人数? 我看到你之前还管一个团队叫Deep Imagination Research Group,Cosmos是它演化来的吗?他们是什么关系啊? 这是哪一年? 访谈正式开始,主持人首先关心刘洺堉的工作语言环境。刘洺堉表示,由于团队成员的多样性,日常沟通以英文为主,但在参与者都会中文的小组会议中,会自然切换到中文。
随后,主持人问及他来中国的行程。刘洺堉解释,他每年会来中国两到三次,主要任务是围绕他个人及公司都非常关注的“物理AI”(Physical AI)领域进行交流。他观察到中国在这一领域发展非常迅速,希望通过交流了解如何能帮助这里的公司和研究员。他此次来访,感受到中国在“灵巧手”(dexterous hand)等关键技术上的突破速度很快。
主持人请刘洺堉介绍其职位与团队。他说明自己是研究副总裁,同时也是Cosmos Lab的副总裁。其直属团队(研究员加工程师)约有八九十人。此外,公司内还有其他团队以“虚线汇报”(dotted line)的方式参与Cosmos项目,总规模达到二三百人。他作为项目总负责人,决定整体方向并发布指令。他强调,Cosmos是英伟达内部的一个重大项目,投入了大量资源。
接着,主持人追问他之前领导的“Deep Imagination Research Group”与Cosmos的关系。刘洺堉确认了演化关系,并回顾了自己十年前加入英伟达时的初衷。当时,他预测深度学习(Deep Learning)将取代传统计算机图形学(Computer Graphics),成为生成视频的主要运算方式。他在求职演讲(job talk)中提出,未来可以用小说作为输入直接生成电影。这个想法吸引了公司,他得以加入并朝此方向努力。
刘洺堉讲述,早期他主要研究“生成对抗网络”(GAN),并取得了一些成果,如实现了“无监督/非配对图像翻译”(unsupervised/unpaired image translation)。他解释,这是一种在没有成对输入输出数据(例如,没有同一匹马变成斑马前后的照片)的情况下,学习图像转换的技术。他当时利用了“信息瓶颈”(information bottleneck)的方法来实现。他提到,当时英伟达还未被广泛认同为一家AI公司,他与同事们(如研究StyleGAN的团队)的工作,帮助公司树立了在AI模型研发方面的形象。其中一个让他自豪的项目是“GauGAN”(中文昵称“马良神笔”),用户可以通过涂抹不同颜色的色块(代表不同语义,如山、水)来生成逼真的风景画。随着这些工作的成功,公司允许他成立自己的团队,即“Deep Imagination Research”,时间大约在2019到2020年间,与他最初的设想一致。
话题推进: 在建立了Deep Imagination Research团队后,刘洺堉继续朝着“小说生成电影”的目标前进,但一系列外部的技术突破让他不断反思自己的决心和策略。
00:20:00–00:30:00 两次“顿悟”:从DALL-E到Sora,Cosmos项目的诞生在算力最多的地方。 当时要了多少GPU啊? 当时1000张很多嘛,那时候。 我听说Sora没有出自你的团队,让你很遗憾是吗? 刘洺堉继续讲述Deep Imagination Research团队时期的经历。他们曾为CEO黄仁勋的Keynote制作了一个“数字人”替代真人的demo,并在疫情期间持续贡献数字人技术。然而,当OpenAI发布初代的文本到图像模型DALL-E时,刘洺堉坦言自己经历了一次“顿悟”:他意识到自己虽然身处算力最丰富的公司,但“野心不够大,不够勇敢”,没有下决心去挑战这个方向。
这次冲击促使他采取行动。他给黄仁勋写信,论证了用深度学习做影像生成的未来趋势已然明确,英伟达不能落后,并成功申请到了1000张A100 GPU的算力支持。他提到,在当时(Ampere架构时代),1000张GPU已是巨大资源,且将它们高效串联训练也非易事。同时,他也联系了合作伙伴Getty Images,说服对方合作,由Getty Images提供数据,英伟达提供算力和模型,共同开发文本到图像的大模型。这个合作催生了名为“Picasso”的专案,其商业模式是“AI foundry”(AI代工厂):为拥有数据但缺乏AI人才和基础设施的公司定制模型,然后共享收益。这是他正式踏入大模型领域的起点。
刘洺堉提到了几位曾在他团队实习的优秀年轻人,包括现在Meta的俞家辉和OpenAI Sora模型的作者之一Tim Brooks。他回忆,Tim Brooks实习时就对视频生成充满热情,但当时技术条件所限,他们还在用GAN进行研究。后来Tim Brooks加入OpenAI并做出了Sora。
Sora的发布是刘洺堉经历的第二次“顿悟”。他再次感到自己的“决心还是不够”。这次,他联合公司内其他几位学者,包括Sanja Fidler和Bryan Catanzaro等人,共同向黄仁勋建言,必须加大对世界模型(World Model)的投资。这直接催生了Cosmos项目。黄仁勋任命刘洺堉和Sanja Fidler共同领导这个项目,并亲自将其命名为“Cosmos”。
随着Cosmos项目的重要性日益凸显,刘洺堉发现自己无法兼顾Picasso和Cosmos两个重大项目。他最终决定收尾Picasso项目,将全部精力投入到Cosmos。随着Cosmos从1代发展到3代,客户和内部依赖增多,项目进入“一定要成功”的阶段,需要更庞大的资源。因此,在2024年年初,他正式离开NVIDIA Research,带着原Deep Imagination团队组建了新的“Cosmos Lab”,并开始向公司软件高级副总裁Dwight Buck汇报,以获得更强的工程和产品支持。
对于Sora,刘洺堉澄清“遗憾”并非负面情绪。他为前同事的巨大成就感到开心,但更多的是进行自我反省:“在我的决策过程中,是哪些地方我没有看对,而导致我没有在正确的时机做出正确的事情。”
话题推进: 主持人从Sora聊开,追问OpenAI为何似乎搁置了Sora,并进一步探讨英伟达作为一家基础设施公司,为何要亲自下场做研究。
00:20:00–00:30:00 英伟达为何做研究:预判未来、开源赋能与Physical AI的抉择因为说到Sora还是会想多说一句,你觉得为什么OpenAI后来把这条产品线基本上算是关掉了? 对于英伟达这样的一个基础设施公司,或者说是一个平台公司,我卖token给这些前沿实验室就好了,我为什么还要自己做自己的研究呢?就是研究这件事情本身对于英伟达的意义是什么样? 那你们的研究成果会跟客户去有一些竞争关系吗? 所以为什么你们当时要立一个非常重要的项目,没有选择当时最火的大语言模型,也没有选择像Sora这样的模型,而是选择了一个具身(Physical)的世界模型呢? Jensen对于这个团队提过什么要求没有? 主持人询问刘洺堉对OpenAI似乎搁置Sora的看法。刘洺堉认为,OpenAI是一家有野心的公司,Sora本身是重大的研究工作,但过去一年,OpenAI面临巨大的竞争压力。他观察到,像“coding agent”(编程智能体)这样的应用能产生巨大的经济效应,因为它们可以持续工作,消耗大量token,远超普通聊天应用。他引用《孙子兵法》的“备多则力寡”,推测OpenAI是出于战略考量,将有限的资源重新调整,集中投入到商业回报更明确的coding方向,这是一个艰难但必要的决定。
接着,主持人提出了一个核心问题:英伟达作为一家基础设施公司,为何要亲自做应用层面的研究,而不是仅仅卖算力?刘洺堉解释,这背后有几个关键原因:
1. 预判客户需求:如果不亲身实践应用,就无法真正理解应用公司的需求和痛点。芯片和计算机架构的设计周期很长,必须通过前瞻性研究来预测未来的重要问题,从而设计出更适合未来AI大公司的基础设施。
2. 赋能生态:英伟达希望通过开源模型,为整个社会有抱负的年轻人和创业公司提供工具,让他们有机会实现自己的想法。当更多元的想法得以实现,社会才会进步得更快。这与客户并非竞争关系,而是帮助他们分担基础模型研发的压力,让他们能更专注于解决具体应用中的硬件、商业等“最后一公里”的难题。
3. 建立行业信心:通过持续迭代Cosmos(从1代到3代),英伟达向外界传递了一个明确信号:公司将长期投入并推动该领域发展。这能给生态内的公司带来信心,让他们敢于在英伟达提供的基础上投入自己的资源,去解决更关键的问题。
主持人追问,为何英伟达选择“具身世界模型”(Physical World Model)作为重点项目,而非当时更火的大语言模型或Sora那样的内容创作模型。刘洺堉回答:
* 背景与专长:他本人和团队出身于计算机视觉(CV),而非大语言模型(LLM)。同时,英伟达已有强大的LLM团队,他在那里贡献有限。
* 应用价值判断:Sora代表的“内容创作”(content creation)应用很有价值,但他们看到了“物理AI”(Physical AI)能解决更根本的社会问题。例如,自动驾驶能帮助老年人维持出行能力;机器人可以从事危险、劳累或繁琐的家务劳动,从而改善人类生活品质。他们认为世界模型对物理AI的贡献更大,因此选择了这条路线。
最后,关于CEO黄仁勋对团队的要求,刘洺堉总结为:目标极高,要求严格。核心要求是“帮助客户成功”和“产生巨大影响力”(make impact)。黄仁勋常说他喜欢“zero-billion-dollar business”,即可以不赚钱,但成功后必须是规模巨大、影响深远的业务,而不能满足于每年赚一亿美元这种对英伟达而言是“分心”(distraction)的规模。因此,团队必须聚焦于解决最重要的问题,创造最大的贡献。
话题推进: 在讨论了团队的战略选择后,主持人将话题转向刘洺堉的个人成长经历,探寻他研究之路的起点和转变。
00:20:00–00:30:00 从无线通讯到AI:一位研究员的意外转向与早期探索作为研究员的刘明月,你是怎么一步一步探索你的研究之路的? 还没有想过。 就是大几啊? 这是一个传统计算机视觉的时期。 这是你后来的一个工作对吧? 在美国的第一份工作。 那刻会失落吗? 什么都不work。 你好像很早开始做生成了。 所以为什么生成是理解的一部分? 而这个人的学习有点像。 当你可讲的时候,意味着你已经理解了。 主持人引导话题转向刘洺堉的个人研究历程。刘洺堉首先修正了之前关于“野心”的说法,他认为自己一直很有野心(例如很早就想用小说生成电影),但在英伟达的十年让他学会了如何把握时机、争取公司内部资源和支持,从而将野心付诸实践。
他回顾了自己的求学之路。在台北读高中时,最热门的领域是无线通讯。他因此进入台湾交通大学学习该专业。大学期间,许多同学毕业后进入了联发科、台积电等台湾优势产业的公司。然而,他在大三时开始反思这是否是自己想要的道路。通过对比美国研究生的研究课题,他发现美国的研究更侧重于“从0到1”的突破,而自己当时的工作更像是“从1到1.1”的优化。这激发了他去美国留学的想法,这个决定让他的父母感到非常震惊,因为他从未表露过此意向。
他最初计划去美国研究“量子通讯”,但在去美国前,他在台湾的英特尔实习了一年。在那里,他第一次接触到AI——一位朋友正在做影像辨识。他对计算机能从像素中识别物体感到非常神奇。后来,他进入美国马里兰大学读博,该校因靠近华盛顿特区,聚集了许多早期由国防经费支持的计算机视觉(Computer Vision)领域的大佬。他被CV的魅力吸引,放弃了量子通讯,转而师从该领域的先驱拉马·恰拉帕(Rama Chellappa)教授,正式踏入AI领域。他博士期间的第一个课题是通过视频中人物的走路姿态来识别身份。
刘洺堉强调,他读博的时期是“传统计算机视觉”时代,深度学习尚未兴起,“什么都不work”。因此,研究者需要学习各种技术,如支持向量机(SVM)、优化算法、图模型(graphical model)、能量最小化等,这为他打下了扎实的基础。在他即将毕业时,AlexNet的出现改变了整个领域。他并未因此感到失落,反而对新技术充满兴趣,并组织实验室的学弟学妹一起研究深度学习。
博士毕业后,他加入了位于麻省剑桥的三菱电机研究院(MERL)。在那里,他有充足的时间学习深度学习。受其导师相信生成模型(Generative Model)的理念影响,他尤其关注生成领域。当他看到伊恩·古德费洛(Ian Goodfellow)关于生成对抗网络(GAN)的论文后,便对此产生了浓厚兴趣,并开始大量投入研究,成为最早一批研究生成模型的研究员。他回忆,当时能生成32x32像素、看起来“不像鬼”的人脸就已经算成功了。
最后,他引用物理学家理查德·费曼的名言“What I cannot create, I do not understand”(我无法创造的,我就不理解),解释了为何“生成是理解的一部分”。他认为,当一个模型能够生成或重建某个事物时,才意味着它真正理解了它。
刘洺堉 · 00:39:02
刘洺堉引用费曼名言“What I cannot create, I do not understand”来解释生成模型的重要性,即生成能力是深层理解的体现。
话题推进: 在解释了生成与理解的关系后,主持人进一步询问工程经验对研究的影响,并引出了刘洺堉对自己研究生涯中几个重要转折点的思考。
00:20:00–00:30:00 研究生涯的三个教训:从追求数学之美到学会团队协作其实你最早做了一年的工程师,你觉得这个经历对你后来做research有影响吗?你觉得做engineering和做researcher的本质的差异是什么呀? 所以AI对你来说也是一场意外。 它最初打动你的是什么呢? 如果要找到一个早期对你研究生涯都非常重要的一个时刻,你会怎么描述它? 你要做应用,然后你要销售你的工作,然后你要团队协作。 GauGAN是取自高更吗? 主持人询问刘洺堉早期的工程师经历对其研究生涯的影响。刘洺堉认为,那段经历最大的影响是让他认识了AI和计算机视觉这个领域。他区分了研究与工程的本质差异:研究(research)最重要的是“问对问题”,而工程(engineering)则是实现想法、证明问题重要性的能力。他承认自己进入AI领域并非源于从小对人类智能的哲学思考,而是在接触后因“不懂”而产生好奇,并能直观理解其重要性,便一步步深入探索。
当被问及研究生涯中最重要的时刻,刘洺堉分享了三个关键的“教训”或转变:
1. 从追求数学之美到拥抱应用本质:在传统CV早期,由于很多问题无法找到最优解(如非凸优化问题),研究者为了证明算法的有效性(例如,证明解与最优解的差距有界),常常引入各种假设。这些假设能让数学推导变得“干净”,但却脱离了现实世界。他逐渐意识到,AI本质上是应用科学,不应为了追求数学上的优美而忽略问题的本质,应更贴近真实问题。
2. 从做出成果到有效沟通:刚加入英伟达时,他专注于把事情做出来,但不擅长向他人解释自己工作的价值。他比喻自己做出了100分的工作,但解释只有10分,导致外界只能看到10分。他后来意识到,让别人理解工作的重要性同样关键,这促使他开始重视沟通和“销售”自己的研究成果。
3. 从单打独斗到团队协作:在开始做大模型后,他深刻体会到团队合作的重要性。他用复杂度理论来解释,如果N个人的团队需要两两沟通,沟通成本是N的平方(N²),这种方式难以扩展。为了实现高效协作,必须把目标和路径讲得非常明确,让所有人目标一致。这需要领导者不仅能做出成果、解释成果,还要能激励团队,让大家理解“为什么这很重要”,从而朝同一个方向前进。
主持人总结这三点(做应用、销售工作、团队协作)正是他成长的路线。刘洺堉表示认同,并以GauGAN项目为例。当他看到普通用户使用GauGAN并给出积极反馈时,他获得了巨大的成就感,感到自己的工作能影响更广泛的人群,生命更有价值。
最后,他分享了GauGAN命名的趣事。项目最初的技术名称叫“SPADE”,黄仁勋认为这个名字不够用户友好。在准备GTC大会发布时,公司一位营销天才Greg Estes提出了“GauGAN”这个名字,既结合了当时流行的“GAN”后缀,又致敬了法国画家高更(Gauguin),非常贴切。虽然该项目最后因Keynote时间紧张被临时拿下,但发布后依然成为那届GTC最受瞩目的成果之一。
话题推进: GauGAN的成功是刘洺堉在GAN领域一系列工作的体现。主持人接着追问,他从早期的GAN研究到GauGAN,其技术路线是如何一步步演进的。
00:20:00–00:30:00 从图像翻译到可扩展性思考:GAN时代的技术演进与反思其实GauGAN是不是跟你之前的研究轨迹是一步一步递进的,它不是第一天就做到那里了,因为你从博士毕业以后加入了三菱电机研究所,Computer Vision就进入了GAN的时代,然后你其实围绕GAN做了一系列的工作,包括CoGAN,MoCoGAN,暂时到了NVIDIA之后,的比如说GauGAN,这一系列的工作对吗?它它是怎么延展的呀? 容易的,最早是? 所以你是沿着Image,然后到Text的这个路径一点一点的延伸的。 是哪年? 后面这几个GAN的工作你再讲一下。 主持人询问刘洺堉在GAN领域的研究是如何一步步演进的。刘洺堉详细梳理了他的技术路线:
他的第一个GAN项目是“Coupled GAN”,通过将两个GAN耦合(couple)在一起,创造了一个“信息瓶颈”(Information Bottleneck)。他解释,深度学习的核心在于学习如何压缩信息,而瓶颈结构能迫使网络去寻找事物的本质。通过让一个GAN建模“马”的分布,另一个GAN建模“斑马”的分布,并将它们耦合,网络就能找到两者间的共性,从而实现从马到斑马的转换。这属于“图像到图像翻译”(Image-to-Image Translation)的范畴。
他指出,生成式网络的核心是“分布建模”(Distribution Modeling),即生成符合某种数据分布的样本(如一张山水画)。但人类的需求不止于此,还需要“控制”生成的内容。控制需要输入信号,信号有多种形式,他按照从易到难的顺序进行了探索:
1. 结构化信号:如另一张图像(马变斑马)、分割图(segmentation map,用不同颜色代表山、水等,像素级对齐)、或边缘图(edge map)。这些信号与输出图像的结构相似,对位明确,相对容易学习。
2. 类别标签:如“山”、“车”等简单的文本标签。
3. 自然语言文本:如“Text-to-Image”。这是最自然但也最难的控制信号,因为文本的结构与图像/视频的结构差异巨大,需要更多数据才能学习其间的复杂关系。
刘洺堉坦言,他的研究路径正是遵循了这种从易到难的逻辑。这也是他再次反思自己当初在DALL-E出现时“决心不够”的原因:他当时认为Text-to-Image问题太难,数据和算力尚不具备,但事实证明条件已经成熟。
尽管他早在2016-2017年与朋友讨论时就预测,AI的第一个重大突破将发生在语言(Text)领域,因为文本是更纯净、更接近知识本质的信号,而图像信号包含太多“噪音”。但他个人更偏爱视觉信号,所以一直留在这个领域。在英伟达期间,他继续沿着这条路探索,从图像翻译扩展到视频翻译(Video-to-Video Translation),例如一个叫“V2V”的项目,能将赛车模拟器生成的卡通画面转换为逼真的驾驶场景,这已非常接近现在的世界模型。
在研究GAN的过程中,他始终在思考一个核心问题:GAN是否是可扩展的(scalable)?GAN训练困难是众所周知的问题,他担心这种方法最终无法规模化。为了探索GAN的可扩展性,他曾与实习生俞家辉合作,尝试用多个不同的判别器(Discriminator)同时与一个生成器(Generator)对抗,模拟多人对抗训练。他还与另一位后来发明了著名优化器AdamW的实习生合作,试图从算法层面稳定GAN的训练。尽管这些具体的探索没有直接成功,但过程中的思考和与优秀人才的合作让他受益匪浅,也体现了他对“简单且可扩展的方法更容易成功”(即后来Rich Sutton提出的“The Bitter Lesson”)这一原则的早期认知。
话题推进: 本段访谈内容结束。
00:30:00–00:40:00 连续对话 400:30:00–00:40:00 开场:嘉宾介绍与核心观点预告主持人张小珺在节目开场介绍了本次的访谈对象——英伟达研究副总裁刘洺堉(Ming-Yue Liu)。她描述了对刘洺堉的个人印象:穿着朴素、态度谦和。但她也引述了英伟达内部人士的看法,认为刘洺堉更像一位工程领导者,而非典型的研究员,并提及CEO黄仁勋(Jensen Huang)对他的评价是“GSD”(Getting Shit Done),意指执行力强。
主持人预告了本次访谈的核心内容,包括刘洺堉团队近期发布的英伟达世界模型Cosmos 3、他作为一名研究员在英伟达这个庞大系统内的20年求索经历,以及一些关于英伟达和黄仁勋的内部故事。
节目剪辑了后续访谈中的几段精彩观点作为预告:
1. 黄仁勋的商业哲学:偏爱“从零到十亿美元”(zero-billion-dollar)的业务,即项目可以不赚钱,但成功时必须具备巨大的影响力(influential)。
2. 刘洺堉对研究生态的比喻:经济的繁荣在于资金流动的速度,而研究的繁荣在于思想(idea)在不同头脑间流动的速度。
3. 黄仁勋对Cosmos项目的长期承诺:在刘洺堉完成Cosmos 1后,黄仁勋让他一直做到“Cosmos 97”。
4. 黄仁勋的行事风格:他是一个有纪律、擅长打“马拉松战”的人,会要求团队掌握节奏(pace your steps),并始终保持危机感,认为公司随时可能在30天后破产。
话题推进: 在简短的寒暄和确认嘉宾身份后,主持人正式开始访谈,询问刘洺堉在英伟达的职位和团队情况。
00:30:00–00:40:00 从Deep Imagination到Cosmos Lab:刘洺堉在英伟达的团队演进你现在讲中文还多吗?在公司里面? 这次你来中国的行程是什么样的?你多久会来一次中国? 这次来感觉到有什么不一样吗?跟之前? 你现在在英伟达的title是研究副总裁。你能不能介绍一下这个职位,然后以及你们团队的一些构造和人数? 我看到你之前还管一个团队叫Deep Imagination Research Group,Cosmos是它演化来的吗?他们是什么关系啊? 这是哪一年? 访谈正式开始,主持人首先关心刘洺堉的工作语言环境。刘洺堉表示,由于团队成员的多样性,日常沟通以英文为主,但在参与者都会中文的小组会议中,会自然切换到中文。
随后,主持人问及他来中国的行程。刘洺堉解释,他每年会来中国两到三次,主要任务是围绕他个人及公司都非常关注的“物理AI”(Physical AI)领域进行交流。他观察到中国在这一领域发展非常迅速,希望通过交流了解如何能帮助这里的公司和研究员。他此次来访,感受到中国在“灵巧手”(dexterous hand)等关键技术上的突破速度很快。
主持人请刘洺堉介绍其职位与团队。他说明自己是研究副总裁,同时也是Cosmos Lab的副总裁。其直属团队(研究员加工程师)约有八九十人。此外,公司内还有其他团队以“虚线汇报”(dotted line)的方式参与Cosmos项目,总规模达到二三百人。他作为项目总负责人,决定整体方向并发布指令。他强调,Cosmos是英伟达内部的一个重大项目,投入了大量资源。
接着,主持人追问他之前领导的“Deep Imagination Research Group”与Cosmos的关系。刘洺堉确认了演化关系,并回顾了自己十年前加入英伟达时的初衷。当时,他预测深度学习(Deep Learning)将取代传统计算机图形学(Computer Graphics),成为生成视频的主要运算方式。他在求职演讲(job talk)中提出,未来可以用小说作为输入直接生成电影。这个想法吸引了公司,他得以加入并朝此方向努力。
刘洺堉讲述,早期他主要研究“生成对抗网络”(GAN),并取得了一些成果,如实现了“无监督/非配对图像翻译”(unsupervised/unpaired image translation)。他解释,这是一种在没有成对输入输出数据(例如,没有同一匹马变成斑马前后的照片)的情况下,学习图像转换的技术。他当时利用了“信息瓶颈”(information bottleneck)的方法来实现。他提到,当时英伟达还未被广泛认同为一家AI公司,他与同事们(如研究StyleGAN的团队)的工作,帮助公司树立了在AI模型研发方面的形象。其中一个让他自豪的项目是“GauGAN”(中文昵称“马良神笔”),用户可以通过涂抹不同颜色的色块(代表不同语义,如山、水)来生成逼真的风景画。随着这些工作的成功,公司允许他成立自己的团队,即“Deep Imagination Research”,时间大约在2019到2020年间,与他最初的设想一致。
话题推进: 在建立了Deep Imagination Research团队后,刘洺堉继续朝着“小说生成电影”的目标前进,但一系列外部的技术突破让他不断反思自己的决心和策略。
00:30:00–00:40:00 两次“顿悟”:从DALL-E到Sora,Cosmos项目的诞生在算力最多的地方。 当时要了多少GPU啊? 当时1000张很多嘛,那时候。 我听说Sora没有出自你的团队,让你很遗憾是吗? 刘洺堉继续讲述Deep Imagination Research团队时期的经历。他们曾为CEO黄仁勋的Keynote制作了一个“数字人”替代真人的demo,并在疫情期间持续贡献数字人技术。然而,当OpenAI发布初代的文本到图像模型DALL-E时,刘洺堉坦言自己经历了一次“顿悟”:他意识到自己虽然身处算力最丰富的公司,但“野心不够大,不够勇敢”,没有下决心去挑战这个方向。
这次冲击促使他采取行动。他给黄仁勋写信,论证了用深度学习做影像生成的未来趋势已然明确,英伟达不能落后,并成功申请到了1000张A100 GPU的算力支持。他提到,在当时(Ampere架构时代),1000张GPU已是巨大资源,且将它们高效串联训练也非易事。同时,他也联系了合作伙伴Getty Images,说服对方合作,由Getty Images提供数据,英伟达提供算力和模型,共同开发文本到图像的大模型。这个合作催生了名为“Picasso”的专案,其商业模式是“AI foundry”(AI代工厂):为拥有数据但缺乏AI人才和基础设施的公司定制模型,然后共享收益。这是他正式踏入大模型领域的起点。
刘洺堉提到了几位曾在他团队实习的优秀年轻人,包括现在Meta的俞家辉和OpenAI Sora模型的作者之一Tim Brooks。他回忆,Tim Brooks实习时就对视频生成充满热情,但当时技术条件所限,他们还在用GAN进行研究。后来Tim Brooks加入OpenAI并做出了Sora。
Sora的发布是刘洺堉经历的第二次“顿悟”。他再次感到自己的“决心还是不够”。这次,他联合公司内其他几位学者,包括Sanja Fidler和Bryan Catanzaro等人,共同向黄仁勋建言,必须加大对世界模型(World Model)的投资。这直接催生了Cosmos项目。黄仁勋任命刘洺堉和Sanja Fidler共同领导这个项目,并亲自将其命名为“Cosmos”。
随着Cosmos项目的重要性日益凸显,刘洺堉发现自己无法兼顾Picasso和Cosmos两个重大项目。他最终决定收尾Picasso项目,将全部精力投入到Cosmos。随着Cosmos从1代发展到3代,客户和内部依赖增多,项目进入“一定要成功”的阶段,需要更庞大的资源。因此,在2024年年初,他正式离开NVIDIA Research,带着原Deep Imagination团队组建了新的“Cosmos Lab”,并开始向公司软件高级副总裁Dwight Buck汇报,以获得更强的工程和产品支持。
对于Sora,刘洺堉澄清“遗憾”并非负面情绪。他为前同事的巨大成就感到开心,但更多的是进行自我反省:“在我的决策过程中,是哪些地方我没有看对,而导致我没有在正确的时机做出正确的事情。”
话题推进: 主持人从Sora聊开,追问OpenAI为何似乎搁置了Sora,并进一步探讨英伟达作为一家基础设施公司,为何要亲自下场做研究。
00:30:00–00:40:00 英伟达为何做研究:预判未来、开源赋能与Physical AI的抉择因为说到Sora还是会想多说一句,你觉得为什么OpenAI后来把这条产品线基本上算是关掉了? 对于英伟达这样的一个基础设施公司,或者说是一个平台公司,我卖token给这些前沿实验室就好了,我为什么还要自己做自己的研究呢?就是研究这件事情本身对于英伟达的意义是什么样? 那你们的研究成果会跟客户去有一些竞争关系吗? 所以为什么你们当时要立一个非常重要的项目,没有选择当时最火的大语言模型,也没有选择像Sora这样的模型,而是选择了一个具身(Physical)的世界模型呢? Jensen对于这个团队提过什么要求没有? 主持人询问刘洺堉对OpenAI似乎搁置Sora的看法。刘洺堉认为,OpenAI是一家有野心的公司,Sora本身是重大的研究工作,但过去一年,OpenAI面临巨大的竞争压力。他观察到,像“coding agent”(编程智能体)这样的应用能产生巨大的经济效应,因为它们可以持续工作,消耗大量token,远超普通聊天应用。他引用《孙子兵法》的“备多则力寡”,推测OpenAI是出于战略考量,将有限的资源重新调整,集中投入到商业回报更明确的coding方向,这是一个艰难但必要的决定。
接着,主持人提出了一个核心问题:英伟达作为一家基础设施公司,为何要亲自做应用层面的研究,而不是仅仅卖算力?刘洺堉解释,这背后有几个关键原因:
1. 预判客户需求:如果不亲身实践应用,就无法真正理解应用公司的需求和痛点。芯片和计算机架构的设计周期很长,必须通过前瞻性研究来预测未来的重要问题,从而设计出更适合未来AI大公司的基础设施。
2. 赋能生态:英伟达希望通过开源模型,为整个社会有抱负的年轻人和创业公司提供工具,让他们有机会实现自己的想法。当更多元的想法得以实现,社会才会进步得更快。这与客户并非竞争关系,而是帮助他们分担基础模型研发的压力,让他们能更专注于解决具体应用中的硬件、商业等“最后一公里”的难题。
3. 建立行业信心:通过持续迭代Cosmos(从1代到3代),英伟达向外界传递了一个明确信号:公司将长期投入并推动该领域发展。这能给生态内的公司带来信心,让他们敢于在英伟达提供的基础上投入自己的资源,去解决更关键的问题。
主持人追问,为何英伟达选择“具身世界模型”(Physical World Model)作为重点项目,而非当时更火的大语言模型或Sora那样的内容创作模型。刘洺堉回答:
* 背景与专长:他本人和团队出身于计算机视觉(CV),而非大语言模型(LLM)。同时,英伟达已有强大的LLM团队,他在那里贡献有限。
* 应用价值判断:Sora代表的“内容创作”(content creation)应用很有价值,但他们看到了“物理AI”(Physical AI)能解决更根本的社会问题。例如,自动驾驶能帮助老年人维持出行能力;机器人可以从事危险、劳累或繁琐的家务劳动,从而改善人类生活品质。他们认为世界模型对物理AI的贡献更大,因此选择了这条路线。
最后,关于CEO黄仁勋对团队的要求,刘洺堉总结为:目标极高,要求严格。核心要求是“帮助客户成功”和“产生巨大影响力”(make impact)。黄仁勋常说他喜欢“zero-billion-dollar business”,即可以不赚钱,但成功后必须是规模巨大、影响深远的业务,而不能满足于每年赚一亿美元这种对英伟达而言是“分心”(distraction)的规模。因此,团队必须聚焦于解决最重要的问题,创造最大的贡献。
话题推进: 在讨论了团队的战略选择后,主持人将话题转向刘洺堉的个人成长经历,探寻他研究之路的起点和转变。
00:30:00–00:40:00 从无线通讯到AI:一位研究员的意外转向与早期探索作为研究员的刘明月,你是怎么一步一步探索你的研究之路的? 还没有想过。 就是大几啊? 这是一个传统计算机视觉的时期。 这是你后来的一个工作对吧? 在美国的第一份工作。 那刻会失落吗? 什么都不work。 你好像很早开始做生成了。 所以为什么生成是理解的一部分? 而这个人的学习有点像。 当你可讲的时候,意味着你已经理解了。 主持人引导话题转向刘洺堉的个人研究历程。刘洺堉首先修正了之前关于“野心”的说法,他认为自己一直很有野心(例如很早就想用小说生成电影),但在英伟达的十年让他学会了如何把握时机、争取公司内部资源和支持,从而将野心付诸实践。
他回顾了自己的求学之路。在台北读高中时,最热门的领域是无线通讯。他因此进入台湾交通大学学习该专业。大学期间,许多同学毕业后进入了联发科、台积电等台湾优势产业的公司。然而,他在大三时开始反思这是否是自己想要的道路。通过对比美国研究生的研究课题,他发现美国的研究更侧重于“从0到1”的突破,而自己当时的工作更像是“从1到1.1”的优化。这激发了他去美国留学的想法,这个决定让他的父母感到非常震惊,因为他从未表露过此意向。
他最初计划去美国研究“量子通讯”,但在去美国前,他在台湾的英特尔实习了一年。在那里,他第一次接触到AI——一位朋友正在做影像辨识。他对计算机能从像素中识别物体感到非常神奇。后来,他进入美国马里兰大学读博,该校因靠近华盛顿特区,聚集了许多早期由国防经费支持的计算机视觉(Computer Vision)领域的大佬。他被CV的魅力吸引,放弃了量子通讯,转而师从该领域的先驱拉马·恰拉帕(Rama Chellappa)教授,正式踏入AI领域。他博士期间的第一个课题是通过视频中人物的走路姿态来识别身份。
刘洺堉强调,他读博的时期是“传统计算机视觉”时代,深度学习尚未兴起,“什么都不work”。因此,研究者需要学习各种技术,如支持向量机(SVM)、优化算法、图模型(graphical model)、能量最小化等,这为他打下了扎实的基础。在他即将毕业时,AlexNet的出现改变了整个领域。他并未因此感到失落,反而对新技术充满兴趣,并组织实验室的学弟学妹一起研究深度学习。
博士毕业后,他加入了位于麻省剑桥的三菱电机研究院(MERL)。在那里,他有充足的时间学习深度学习。受其导师相信生成模型(Generative Model)的理念影响,他尤其关注生成领域。当他看到伊恩·古德费洛(Ian Goodfellow)关于生成对抗网络(GAN)的论文后,便对此产生了浓厚兴趣,并开始大量投入研究,成为最早一批研究生成模型的研究员。他回忆,当时能生成32x32像素、看起来“不像鬼”的人脸就已经算成功了。
最后,他引用物理学家理查德·费曼的名言“What I cannot create, I do not understand”(我无法创造的,我就不理解),解释了为何“生成是理解的一部分”。他认为,当一个模型能够生成或重建某个事物时,才意味着它真正理解了它。
刘洺堉 · 00:39:02
刘洺堉引用费曼名言“What I cannot create, I do not understand”来解释生成模型的重要性,即生成能力是深层理解的体现。
话题推进: 在解释了生成与理解的关系后,主持人进一步询问工程经验对研究的影响,并引出了刘洺堉对自己研究生涯中几个重要转折点的思考。
00:30:00–00:40:00 研究生涯的三个教训:从追求数学之美到学会团队协作其实你最早做了一年的工程师,你觉得这个经历对你后来做research有影响吗?你觉得做engineering和做researcher的本质的差异是什么呀? 所以AI对你来说也是一场意外。 它最初打动你的是什么呢? 如果要找到一个早期对你研究生涯都非常重要的一个时刻,你会怎么描述它? 你要做应用,然后你要销售你的工作,然后你要团队协作。 GauGAN是取自高更吗? 主持人询问刘洺堉早期的工程师经历对其研究生涯的影响。刘洺堉认为,那段经历最大的影响是让他认识了AI和计算机视觉这个领域。他区分了研究与工程的本质差异:研究(research)最重要的是“问对问题”,而工程(engineering)则是实现想法、证明问题重要性的能力。他承认自己进入AI领域并非源于从小对人类智能的哲学思考,而是在接触后因“不懂”而产生好奇,并能直观理解其重要性,便一步步深入探索。
当被问及研究生涯中最重要的时刻,刘洺堉分享了三个关键的“教训”或转变:
1. 从追求数学之美到拥抱应用本质:在传统CV早期,由于很多问题无法找到最优解(如非凸优化问题),研究者为了证明算法的有效性(例如,证明解与最优解的差距有界),常常引入各种假设。这些假设能让数学推导变得“干净”,但却脱离了现实世界。他逐渐意识到,AI本质上是应用科学,不应为了追求数学上的优美而忽略问题的本质,应更贴近真实问题。
2. 从做出成果到有效沟通:刚加入英伟达时,他专注于把事情做出来,但不擅长向他人解释自己工作的价值。他比喻自己做出了100分的工作,但解释只有10分,导致外界只能看到10分。他后来意识到,让别人理解工作的重要性同样关键,这促使他开始重视沟通和“销售”自己的研究成果。
3. 从单打独斗到团队协作:在开始做大模型后,他深刻体会到团队合作的重要性。他用复杂度理论来解释,如果N个人的团队需要两两沟通,沟通成本是N的平方(N²),这种方式难以扩展。为了实现高效协作,必须把目标和路径讲得非常明确,让所有人目标一致。这需要领导者不仅能做出成果、解释成果,还要能激励团队,让大家理解“为什么这很重要”,从而朝同一个方向前进。
主持人总结这三点(做应用、销售工作、团队协作)正是他成长的路线。刘洺堉表示认同,并以GauGAN项目为例。当他看到普通用户使用GauGAN并给出积极反馈时,他获得了巨大的成就感,感到自己的工作能影响更广泛的人群,生命更有价值。
最后,他分享了GauGAN命名的趣事。项目最初的技术名称叫“SPADE”,黄仁勋认为这个名字不够用户友好。在准备GTC大会发布时,公司一位营销天才Greg Estes提出了“GauGAN”这个名字,既结合了当时流行的“GAN”后缀,又致敬了法国画家高更(Gauguin),非常贴切。虽然该项目最后因Keynote时间紧张被临时拿下,但发布后依然成为那届GTC最受瞩目的成果之一。
话题推进: GauGAN的成功是刘洺堉在GAN领域一系列工作的体现。主持人接着追问,他从早期的GAN研究到GauGAN,其技术路线是如何一步步演进的。
00:30:00–00:40:00 从图像翻译到可扩展性思考:GAN时代的技术演进与反思其实GauGAN是不是跟你之前的研究轨迹是一步一步递进的,它不是第一天就做到那里了,因为你从博士毕业以后加入了三菱电机研究所,Computer Vision就进入了GAN的时代,然后你其实围绕GAN做了一系列的工作,包括CoGAN,MoCoGAN,暂时到了NVIDIA之后,的比如说GauGAN,这一系列的工作对吗?它它是怎么延展的呀? 容易的,最早是? 所以你是沿着Image,然后到Text的这个路径一点一点的延伸的。 是哪年? 后面这几个GAN的工作你再讲一下。 主持人询问刘洺堉在GAN领域的研究是如何一步步演进的。刘洺堉详细梳理了他的技术路线:
他的第一个GAN项目是“Coupled GAN”,通过将两个GAN耦合(couple)在一起,创造了一个“信息瓶颈”(Information Bottleneck)。他解释,深度学习的核心在于学习如何压缩信息,而瓶颈结构能迫使网络去寻找事物的本质。通过让一个GAN建模“马”的分布,另一个GAN建模“斑马”的分布,并将它们耦合,网络就能找到两者间的共性,从而实现从马到斑马的转换。这属于“图像到图像翻译”(Image-to-Image Translation)的范畴。
他指出,生成式网络的核心是“分布建模”(Distribution Modeling),即生成符合某种数据分布的样本(如一张山水画)。但人类的需求不止于此,还需要“控制”生成的内容。控制需要输入信号,信号有多种形式,他按照从易到难的顺序进行了探索:
1. 结构化信号:如另一张图像(马变斑马)、分割图(segmentation map,用不同颜色代表山、水等,像素级对齐)、或边缘图(edge map)。这些信号与输出图像的结构相似,对位明确,相对容易学习。
2. 类别标签:如“山”、“车”等简单的文本标签。
3. 自然语言文本:如“Text-to-Image”。这是最自然但也最难的控制信号,因为文本的结构与图像/视频的结构差异巨大,需要更多数据才能学习其间的复杂关系。
刘洺堉坦言,他的研究路径正是遵循了这种从易到难的逻辑。这也是他再次反思自己当初在DALL-E出现时“决心不够”的原因:他当时认为Text-to-Image问题太难,数据和算力尚不具备,但事实证明条件已经成熟。
尽管他早在2016-2017年与朋友讨论时就预测,AI的第一个重大突破将发生在语言(Text)领域,因为文本是更纯净、更接近知识本质的信号,而图像信号包含太多“噪音”。但他个人更偏爱视觉信号,所以一直留在这个领域。在英伟达期间,他继续沿着这条路探索,从图像翻译扩展到视频翻译(Video-to-Video Translation),例如一个叫“V2V”的项目,能将赛车模拟器生成的卡通画面转换为逼真的驾驶场景,这已非常接近现在的世界模型。
在研究GAN的过程中,他始终在思考一个核心问题:GAN是否是可扩展的(scalable)?GAN训练困难是众所周知的问题,他担心这种方法最终无法规模化。为了探索GAN的可扩展性,他曾与实习生俞家辉合作,尝试用多个不同的判别器(Discriminator)同时与一个生成器(Generator)对抗,模拟多人对抗训练。他还与另一位后来发明了著名优化器AdamW的实习生合作,试图从算法层面稳定GAN的训练。尽管这些具体的探索没有直接成功,但过程中的思考和与优秀人才的合作让他受益匪浅,也体现了他对“简单且可扩展的方法更容易成功”(即后来Rich Sutton提出的“The Bitter Lesson”)这一原则的早期认知。
话题推进: 本段访谈内容结束。
00:40:00–00:50:00 连续对话 500:40:00–00:50:00 开场:嘉宾介绍与核心观点预告主持人张小珺在节目开场介绍了本次的访谈对象——英伟达研究副总裁刘洺堉(Ming-Yue Liu)。她描述了对刘洺堉的个人印象:穿着朴素、态度谦和。但她也引述了英伟达内部人士的看法,认为刘洺堉更像一位工程领导者,而非典型的研究员,并提及CEO黄仁勋(Jensen Huang)对他的评价是“GSD”(Getting Shit Done),意指执行力强。
主持人预告了本次访谈的核心内容,包括刘洺堉团队近期发布的英伟达世界模型Cosmos 3、他作为一名研究员在英伟达这个庞大系统内的20年求索经历,以及一些关于英伟达和黄仁勋的内部故事。
节目剪辑了后续访谈中的几段精彩观点作为预告:
1. 黄仁勋的商业哲学:偏爱“从零到十亿美元”(zero-billion-dollar)的业务,即项目可以不赚钱,但成功时必须具备巨大的影响力(influential)。
2. 刘洺堉对研究生态的比喻:经济的繁荣在于资金流动的速度,而研究的繁荣在于思想(idea)在不同头脑间流动的速度。
3. 黄仁勋对Cosmos项目的长期承诺:在刘洺堉完成Cosmos 1后,黄仁勋让他一直做到“Cosmos 97”。
4. 黄仁勋的行事风格:他是一个有纪律、擅长打“马拉松战”的人,会要求团队掌握节奏(pace your steps),并始终保持危机感,认为公司随时可能在30天后破产。
话题推进: 在简短的寒暄和确认嘉宾身份后,主持人正式开始访谈,询问刘洺堉在英伟达的职位和团队情况。
00:40:00–00:50:00 从Deep Imagination到Cosmos Lab:刘洺堉在英伟达的团队演进你现在讲中文还多吗?在公司里面? 这次你来中国的行程是什么样的?你多久会来一次中国? 这次来感觉到有什么不一样吗?跟之前? 你现在在英伟达的title是研究副总裁。你能不能介绍一下这个职位,然后以及你们团队的一些构造和人数? 我看到你之前还管一个团队叫Deep Imagination Research Group,Cosmos是它演化来的吗?他们是什么关系啊? 这是哪一年? 访谈正式开始,主持人首先关心刘洺堉的工作语言环境。刘洺堉表示,由于团队成员的多样性,日常沟通以英文为主,但在参与者都会中文的小组会议中,会自然切换到中文。
随后,主持人问及他来中国的行程。刘洺堉解释,他每年会来中国两到三次,主要任务是围绕他个人及公司都非常关注的“物理AI”(Physical AI)领域进行交流。他观察到中国在这一领域发展非常迅速,希望通过交流了解如何能帮助这里的公司和研究员。他此次来访,感受到中国在“灵巧手”(dexterous hand)等关键技术上的突破速度很快。
主持人请刘洺堉介绍其职位与团队。他说明自己是研究副总裁,同时也是Cosmos Lab的副总裁。其直属团队(研究员加工程师)约有八九十人。此外,公司内还有其他团队以“虚线汇报”(dotted line)的方式参与Cosmos项目,总规模达到二三百人。他作为项目总负责人,决定整体方向并发布指令。他强调,Cosmos是英伟达内部的一个重大项目,投入了大量资源。
接着,主持人追问他之前领导的“Deep Imagination Research Group”与Cosmos的关系。刘洺堉确认了演化关系,并回顾了自己十年前加入英伟达时的初衷。当时,他预测深度学习(Deep Learning)将取代传统计算机图形学(Computer Graphics),成为生成视频的主要运算方式。他在求职演讲(job talk)中提出,未来可以用小说作为输入直接生成电影。这个想法吸引了公司,他得以加入并朝此方向努力。
刘洺堉讲述,早期他主要研究“生成对抗网络”(GAN),并取得了一些成果,如实现了“无监督/非配对图像翻译”(unsupervised/unpaired image translation)。他解释,这是一种在没有成对输入输出数据(例如,没有同一匹马变成斑马前后的照片)的情况下,学习图像转换的技术。他当时利用了“信息瓶颈”(information bottleneck)的方法来实现。他提到,当时英伟达还未被广泛认同为一家AI公司,他与同事们(如研究StyleGAN的团队)的工作,帮助公司树立了在AI模型研发方面的形象。其中一个让他自豪的项目是“GauGAN”(中文昵称“马良神笔”),用户可以通过涂抹不同颜色的色块(代表不同语义,如山、水)来生成逼真的风景画。随着这些工作的成功,公司允许他成立自己的团队,即“Deep Imagination Research”,时间大约在2019到2020年间,与他最初的设想一致。
话题推进: 在建立了Deep Imagination Research团队后,刘洺堉继续朝着“小说生成电影”的目标前进,但一系列外部的技术突破让他不断反思自己的决心和策略。
00:40:00–00:50:00 两次“顿悟”:从DALL-E到Sora,Cosmos项目的诞生在算力最多的地方。 当时要了多少GPU啊? 当时1000张很多嘛,那时候。 我听说Sora没有出自你的团队,让你很遗憾是吗? 刘洺堉继续讲述Deep Imagination Research团队时期的经历。他们曾为CEO黄仁勋的Keynote制作了一个“数字人”替代真人的demo,并在疫情期间持续贡献数字人技术。然而,当OpenAI发布初代的文本到图像模型DALL-E时,刘洺堉坦言自己经历了一次“顿悟”:他意识到自己虽然身处算力最丰富的公司,但“野心不够大,不够勇敢”,没有下决心去挑战这个方向。
这次冲击促使他采取行动。他给黄仁勋写信,论证了用深度学习做影像生成的未来趋势已然明确,英伟达不能落后,并成功申请到了1000张A100 GPU的算力支持。他提到,在当时(Ampere架构时代),1000张GPU已是巨大资源,且将它们高效串联训练也非易事。同时,他也联系了合作伙伴Getty Images,说服对方合作,由Getty Images提供数据,英伟达提供算力和模型,共同开发文本到图像的大模型。这个合作催生了名为“Picasso”的专案,其商业模式是“AI foundry”(AI代工厂):为拥有数据但缺乏AI人才和基础设施的公司定制模型,然后共享收益。这是他正式踏入大模型领域的起点。
刘洺堉提到了几位曾在他团队实习的优秀年轻人,包括现在Meta的俞家辉和OpenAI Sora模型的作者之一Tim Brooks。他回忆,Tim Brooks实习时就对视频生成充满热情,但当时技术条件所限,他们还在用GAN进行研究。后来Tim Brooks加入OpenAI并做出了Sora。
Sora的发布是刘洺堉经历的第二次“顿悟”。他再次感到自己的“决心还是不够”。这次,他联合公司内其他几位学者,包括Sanja Fidler和Bryan Catanzaro等人,共同向黄仁勋建言,必须加大对世界模型(World Model)的投资。这直接催生了Cosmos项目。黄仁勋任命刘洺堉和Sanja Fidler共同领导这个项目,并亲自将其命名为“Cosmos”。
随着Cosmos项目的重要性日益凸显,刘洺堉发现自己无法兼顾Picasso和Cosmos两个重大项目。他最终决定收尾Picasso项目,将全部精力投入到Cosmos。随着Cosmos从1代发展到3代,客户和内部依赖增多,项目进入“一定要成功”的阶段,需要更庞大的资源。因此,在2024年年初,他正式离开NVIDIA Research,带着原Deep Imagination团队组建了新的“Cosmos Lab”,并开始向公司软件高级副总裁Dwight Buck汇报,以获得更强的工程和产品支持。
对于Sora,刘洺堉澄清“遗憾”并非负面情绪。他为前同事的巨大成就感到开心,但更多的是进行自我反省:“在我的决策过程中,是哪些地方我没有看对,而导致我没有在正确的时机做出正确的事情。”
话题推进: 主持人从Sora聊开,追问OpenAI为何似乎搁置了Sora,并进一步探讨英伟达作为一家基础设施公司,为何要亲自下场做研究。
00:40:00–00:50:00 英伟达为何做研究:预判未来、开源赋能与Physical AI的抉择因为说到Sora还是会想多说一句,你觉得为什么OpenAI后来把这条产品线基本上算是关掉了? 对于英伟达这样的一个基础设施公司,或者说是一个平台公司,我卖token给这些前沿实验室就好了,我为什么还要自己做自己的研究呢?就是研究这件事情本身对于英伟达的意义是什么样? 那你们的研究成果会跟客户去有一些竞争关系吗? 所以为什么你们当时要立一个非常重要的项目,没有选择当时最火的大语言模型,也没有选择像Sora这样的模型,而是选择了一个具身(Physical)的世界模型呢? Jensen对于这个团队提过什么要求没有? 主持人询问刘洺堉对OpenAI似乎搁置Sora的看法。刘洺堉认为,OpenAI是一家有野心的公司,Sora本身是重大的研究工作,但过去一年,OpenAI面临巨大的竞争压力。他观察到,像“coding agent”(编程智能体)这样的应用能产生巨大的经济效应,因为它们可以持续工作,消耗大量token,远超普通聊天应用。他引用《孙子兵法》的“备多则力寡”,推测OpenAI是出于战略考量,将有限的资源重新调整,集中投入到商业回报更明确的coding方向,这是一个艰难但必要的决定。
接着,主持人提出了一个核心问题:英伟达作为一家基础设施公司,为何要亲自做应用层面的研究,而不是仅仅卖算力?刘洺堉解释,这背后有几个关键原因:
1. 预判客户需求:如果不亲身实践应用,就无法真正理解应用公司的需求和痛点。芯片和计算机架构的设计周期很长,必须通过前瞻性研究来预测未来的重要问题,从而设计出更适合未来AI大公司的基础设施。
2. 赋能生态:英伟达希望通过开源模型,为整个社会有抱负的年轻人和创业公司提供工具,让他们有机会实现自己的想法。当更多元的想法得以实现,社会才会进步得更快。这与客户并非竞争关系,而是帮助他们分担基础模型研发的压力,让他们能更专注于解决具体应用中的硬件、商业等“最后一公里”的难题。
3. 建立行业信心:通过持续迭代Cosmos(从1代到3代),英伟达向外界传递了一个明确信号:公司将长期投入并推动该领域发展。这能给生态内的公司带来信心,让他们敢于在英伟达提供的基础上投入自己的资源,去解决更关键的问题。
主持人追问,为何英伟达选择“具身世界模型”(Physical World Model)作为重点项目,而非当时更火的大语言模型或Sora那样的内容创作模型。刘洺堉回答:
* 背景与专长:他本人和团队出身于计算机视觉(CV),而非大语言模型(LLM)。同时,英伟达已有强大的LLM团队,他在那里贡献有限。
* 应用价值判断:Sora代表的“内容创作”(content creation)应用很有价值,但他们看到了“物理AI”(Physical AI)能解决更根本的社会问题。例如,自动驾驶能帮助老年人维持出行能力;机器人可以从事危险、劳累或繁琐的家务劳动,从而改善人类生活品质。他们认为世界模型对物理AI的贡献更大,因此选择了这条路线。
最后,关于CEO黄仁勋对团队的要求,刘洺堉总结为:目标极高,要求严格。核心要求是“帮助客户成功”和“产生巨大影响力”(make impact)。黄仁勋常说他喜欢“zero-billion-dollar business”,即可以不赚钱,但成功后必须是规模巨大、影响深远的业务,而不能满足于每年赚一亿美元这种对英伟达而言是“分心”(distraction)的规模。因此,团队必须聚焦于解决最重要的问题,创造最大的贡献。
话题推进: 在讨论了团队的战略选择后,主持人将话题转向刘洺堉的个人成长经历,探寻他研究之路的起点和转变。
00:40:00–00:50:00 从无线通讯到AI:一位研究员的意外转向与早期探索作为研究员的刘明月,你是怎么一步一步探索你的研究之路的? 还没有想过。 就是大几啊? 这是一个传统计算机视觉的时期。 这是你后来的一个工作对吧? 在美国的第一份工作。 那刻会失落吗? 什么都不work。 你好像很早开始做生成了。 所以为什么生成是理解的一部分? 而这个人的学习有点像。 当你可讲的时候,意味着你已经理解了。 主持人引导话题转向刘洺堉的个人研究历程。刘洺堉首先修正了之前关于“野心”的说法,他认为自己一直很有野心(例如很早就想用小说生成电影),但在英伟达的十年让他学会了如何把握时机、争取公司内部资源和支持,从而将野心付诸实践。
他回顾了自己的求学之路。在台北读高中时,最热门的领域是无线通讯。他因此进入台湾交通大学学习该专业。大学期间,许多同学毕业后进入了联发科、台积电等台湾优势产业的公司。然而,他在大三时开始反思这是否是自己想要的道路。通过对比美国研究生的研究课题,他发现美国的研究更侧重于“从0到1”的突破,而自己当时的工作更像是“从1到1.1”的优化。这激发了他去美国留学的想法,这个决定让他的父母感到非常震惊,因为他从未表露过此意向。
他最初计划去美国研究“量子通讯”,但在去美国前,他在台湾的英特尔实习了一年。在那里,他第一次接触到AI——一位朋友正在做影像辨识。他对计算机能从像素中识别物体感到非常神奇。后来,他进入美国马里兰大学读博,该校因靠近华盛顿特区,聚集了许多早期由国防经费支持的计算机视觉(Computer Vision)领域的大佬。他被CV的魅力吸引,放弃了量子通讯,转而师从该领域的先驱拉马·恰拉帕(Rama Chellappa)教授,正式踏入AI领域。他博士期间的第一个课题是通过视频中人物的走路姿态来识别身份。
刘洺堉强调,他读博的时期是“传统计算机视觉”时代,深度学习尚未兴起,“什么都不work”。因此,研究者需要学习各种技术,如支持向量机(SVM)、优化算法、图模型(graphical model)、能量最小化等,这为他打下了扎实的基础。在他即将毕业时,AlexNet的出现改变了整个领域。他并未因此感到失落,反而对新技术充满兴趣,并组织实验室的学弟学妹一起研究深度学习。
博士毕业后,他加入了位于麻省剑桥的三菱电机研究院(MERL)。在那里,他有充足的时间学习深度学习。受其导师相信生成模型(Generative Model)的理念影响,他尤其关注生成领域。当他看到伊恩·古德费洛(Ian Goodfellow)关于生成对抗网络(GAN)的论文后,便对此产生了浓厚兴趣,并开始大量投入研究,成为最早一批研究生成模型的研究员。他回忆,当时能生成32x32像素、看起来“不像鬼”的人脸就已经算成功了。
最后,他引用物理学家理查德·费曼的名言“What I cannot create, I do not understand”(我无法创造的,我就不理解),解释了为何“生成是理解的一部分”。他认为,当一个模型能够生成或重建某个事物时,才意味着它真正理解了它。
刘洺堉 · 00:39:02
刘洺堉引用费曼名言“What I cannot create, I do not understand”来解释生成模型的重要性,即生成能力是深层理解的体现。
话题推进: 在解释了生成与理解的关系后,主持人进一步询问工程经验对研究的影响,并引出了刘洺堉对自己研究生涯中几个重要转折点的思考。
00:40:00–00:50:00 研究生涯的三个教训:从追求数学之美到学会团队协作其实你最早做了一年的工程师,你觉得这个经历对你后来做research有影响吗?你觉得做engineering和做researcher的本质的差异是什么呀? 所以AI对你来说也是一场意外。 它最初打动你的是什么呢? 如果要找到一个早期对你研究生涯都非常重要的一个时刻,你会怎么描述它? 你要做应用,然后你要销售你的工作,然后你要团队协作。 GauGAN是取自高更吗? 主持人询问刘洺堉早期的工程师经历对其研究生涯的影响。刘洺堉认为,那段经历最大的影响是让他认识了AI和计算机视觉这个领域。他区分了研究与工程的本质差异:研究(research)最重要的是“问对问题”,而工程(engineering)则是实现想法、证明问题重要性的能力。他承认自己进入AI领域并非源于从小对人类智能的哲学思考,而是在接触后因“不懂”而产生好奇,并能直观理解其重要性,便一步步深入探索。
当被问及研究生涯中最重要的时刻,刘洺堉分享了三个关键的“教训”或转变:
1. 从追求数学之美到拥抱应用本质:在传统CV早期,由于很多问题无法找到最优解(如非凸优化问题),研究者为了证明算法的有效性(例如,证明解与最优解的差距有界),常常引入各种假设。这些假设能让数学推导变得“干净”,但却脱离了现实世界。他逐渐意识到,AI本质上是应用科学,不应为了追求数学上的优美而忽略问题的本质,应更贴近真实问题。
2. 从做出成果到有效沟通:刚加入英伟达时,他专注于把事情做出来,但不擅长向他人解释自己工作的价值。他比喻自己做出了100分的工作,但解释只有10分,导致外界只能看到10分。他后来意识到,让别人理解工作的重要性同样关键,这促使他开始重视沟通和“销售”自己的研究成果。
3. 从单打独斗到团队协作:在开始做大模型后,他深刻体会到团队合作的重要性。他用复杂度理论来解释,如果N个人的团队需要两两沟通,沟通成本是N的平方(N²),这种方式难以扩展。为了实现高效协作,必须把目标和路径讲得非常明确,让所有人目标一致。这需要领导者不仅能做出成果、解释成果,还要能激励团队,让大家理解“为什么这很重要”,从而朝同一个方向前进。
主持人总结这三点(做应用、销售工作、团队协作)正是他成长的路线。刘洺堉表示认同,并以GauGAN项目为例。当他看到普通用户使用GauGAN并给出积极反馈时,他获得了巨大的成就感,感到自己的工作能影响更广泛的人群,生命更有价值。
最后,他分享了GauGAN命名的趣事。项目最初的技术名称叫“SPADE”,黄仁勋认为这个名字不够用户友好。在准备GTC大会发布时,公司一位营销天才Greg Estes提出了“GauGAN”这个名字,既结合了当时流行的“GAN”后缀,又致敬了法国画家高更(Gauguin),非常贴切。虽然该项目最后因Keynote时间紧张被临时拿下,但发布后依然成为那届GTC最受瞩目的成果之一。
话题推进: GauGAN的成功是刘洺堉在GAN领域一系列工作的体现。主持人接着追问,他从早期的GAN研究到GauGAN,其技术路线是如何一步步演进的。
00:40:00–00:50:00 从图像翻译到可扩展性思考:GAN时代的技术演进与反思其实GauGAN是不是跟你之前的研究轨迹是一步一步递进的,它不是第一天就做到那里了,因为你从博士毕业以后加入了三菱电机研究所,Computer Vision就进入了GAN的时代,然后你其实围绕GAN做了一系列的工作,包括CoGAN,MoCoGAN,暂时到了NVIDIA之后,的比如说GauGAN,这一系列的工作对吗?它它是怎么延展的呀? 容易的,最早是? 所以你是沿着Image,然后到Text的这个路径一点一点的延伸的。 是哪年? 后面这几个GAN的工作你再讲一下。 主持人询问刘洺堉在GAN领域的研究是如何一步步演进的。刘洺堉详细梳理了他的技术路线:
他的第一个GAN项目是“Coupled GAN”,通过将两个GAN耦合(couple)在一起,创造了一个“信息瓶颈”(Information Bottleneck)。他解释,深度学习的核心在于学习如何压缩信息,而瓶颈结构能迫使网络去寻找事物的本质。通过让一个GAN建模“马”的分布,另一个GAN建模“斑马”的分布,并将它们耦合,网络就能找到两者间的共性,从而实现从马到斑马的转换。这属于“图像到图像翻译”(Image-to-Image Translation)的范畴。
他指出,生成式网络的核心是“分布建模”(Distribution Modeling),即生成符合某种数据分布的样本(如一张山水画)。但人类的需求不止于此,还需要“控制”生成的内容。控制需要输入信号,信号有多种形式,他按照从易到难的顺序进行了探索:
1. 结构化信号:如另一张图像(马变斑马)、分割图(segmentation map,用不同颜色代表山、水等,像素级对齐)、或边缘图(edge map)。这些信号与输出图像的结构相似,对位明确,相对容易学习。
2. 类别标签:如“山”、“车”等简单的文本标签。
3. 自然语言文本:如“Text-to-Image”。这是最自然但也最难的控制信号,因为文本的结构与图像/视频的结构差异巨大,需要更多数据才能学习其间的复杂关系。
刘洺堉坦言,他的研究路径正是遵循了这种从易到难的逻辑。这也是他再次反思自己当初在DALL-E出现时“决心不够”的原因:他当时认为Text-to-Image问题太难,数据和算力尚不具备,但事实证明条件已经成熟。
尽管他早在2016-2017年与朋友讨论时就预测,AI的第一个重大突破将发生在语言(Text)领域,因为文本是更纯净、更接近知识本质的信号,而图像信号包含太多“噪音”。但他个人更偏爱视觉信号,所以一直留在这个领域。在英伟达期间,他继续沿着这条路探索,从图像翻译扩展到视频翻译(Video-to-Video Translation),例如一个叫“V2V”的项目,能将赛车模拟器生成的卡通画面转换为逼真的驾驶场景,这已非常接近现在的世界模型。
在研究GAN的过程中,他始终在思考一个核心问题:GAN是否是可扩展的(scalable)?GAN训练困难是众所周知的问题,他担心这种方法最终无法规模化。为了探索GAN的可扩展性,他曾与实习生俞家辉合作,尝试用多个不同的判别器(Discriminator)同时与一个生成器(Generator)对抗,模拟多人对抗训练。他还与另一位后来发明了著名优化器AdamW的实习生合作,试图从算法层面稳定GAN的训练。尽管这些具体的探索没有直接成功,但过程中的思考和与优秀人才的合作让他受益匪浅,也体现了他对“简单且可扩展的方法更容易成功”(即后来Rich Sutton提出的“The Bitter Lesson”)这一原则的早期认知。
话题推进: 本段访谈内容结束。
00:50:00–01:00:00 连续对话 600:50:00–01:00:00 GAN的可扩展性疑问:从图像翻译到生成控制的渐进路径GAN的一系列工作怎样从CoGAN、图像翻译发展到视频? 为什么当时会觉得Text-to-Image很难? 为什么后来转向更可扩展的方法? 刘洺堉把早期生成研究描述为逐步增加控制条件的过程。CoGAN把两个生成过程耦合,试图找到不同分布之间的共同结构;随后图像翻译以图像、边缘、分割图和类别标签作为控制信号,再发展到文本。分割图已对好像素位置,文本与图像结构差异更大,需要更多数据与算力,因此他先走较容易的路径。
这解释了他对DALL-E的震动:并非不知道文本可能更接近知识与智能,而是曾判断视觉文本生成所需的数据与算力不足,结果证明这一前提可被突破。视觉研究中从模拟驾驶画面到真实场景的转换,也成为后来世界模型兴趣的早期线索。
他同时一直追问GAN是否scalable:训练困难使简单、可扩展的方法更有吸引力。与实习生探索多Discriminator和训练稳定算法的尝试没有直接形成论文,却提供了研究训练与合作经验。这里应保留失败和转向,不把后来的Diffusion成功倒推为GAN路线一开始就知道答案。
话题推进: 从GAN到Diffusion的路线变化,后来又在Cosmos多模型统一中重复出现:怎样在简洁、能力和工程验证之间做选择。
01:00:00–01:10:00 连续对话 701:00:00–01:10:00 从GAN到Diffusion:一次关键的技术路线转向你提到从GAN转向Diffusion,这大概是哪一年? 面对计算范式的几次变化(传统方法、GAN、Diffusion),作为研究员是什么心态?会不会觉得之前的工作白做了? 你多次提到实习生,在AI Lab里通过实习生涌现想法是否常见?你怎么看待年轻人? 嘉宾刘洺堉回顾了他在研究生涯中的一次关键技术路线转变。他提到,在与实习生Jeremy合作的时期,他们发表了一系列论文,试图让GAN的训练过程更稳定,但多年的努力最终得出的结论是GAN不具备可扩展性(not scalable)。
大约在2021年,刘洺堉的团队注意到了Diffusion模型。他认为Diffusion模型在训练时非常稳定,相比之下,GAN难以扩展,而“不Scalable的东西最后做不远”。因此,他做出了一个艰难的决定:让整个为研究GAN而建立的团队转向Diffusion模型。他解释说,当时他并未早期接触2017年就已出现的Transformer,因为他一直专注于GAN,而早期的GAN主要使用卷积网络(Convolutional Network)。直到后来Diffusion与Transformer结合,做Diffusion的研究者才逐渐转向Transformer架构。
团队转向后,研究路径从图像生成(Image Generation)开始,逐步扩展到多视角图像(Multi-view Image),再到3D生成(3D Generation),最终形成了一系列名为“Edify”的成果,包括Edify Image Generator、Edify 3D和Edify Video。
主持人追问,面对这种从GAN到Diffusion的技术范式转变,是否会觉得以往的工作白费了。刘洺堉否定了这种看法,他引用黄仁勋的话“suffering, little goodness”,认为这些经历让他越来越能掌握事物的本质。他将科研比作寻找描述世界运作的最简单方式,而技术方法的演进正是将事情变得越来越简单的过程,就像他后来的项目Cosmos从多个模型最终统一成一个模型一样。他强调,在当时的技术条件、算力和数据下,过去的研究是合理的,并且那些经验对现在的理解仍有很大帮助。
主持人接着问及实习生在研究中的作用。刘洺堉将研究的繁荣比作思想的快速流动,认为实习生带来了思想的多样性(diversity)。如果只与同事交流,思想来源会比较单一。通过与来自不同背景、充满想法的实习生合作,可以实现教学相长,这对双方的成长都至关重要。
话题推进: 在讨论完技术路线的转变和研究方法后,主持人将话题转向了刘洺堉的职业发展,询问他为何在2016年选择加入英伟达。
01:00:00–01:10:00 加入英伟达:追逐算力的职业选择你16年加入英伟达,这个职业变化是怎么发生的? 你在三菱电机时就和英伟达的人有论文合作吗? 加入英伟达做研究,真的像预期的那样有很多GPU吗? 在英伟达这样的公司,要如何获得更多的GPU? 刘洺堉解释了他从三菱电机研究所(MERL)加入英伟达的原因。自从开始做深度学习后,他深信算力的重要性。然而,三菱电机并不重视算力,他需要频繁地向经理争取购买GPU的经费。促使他离职的直接原因是一位对他影响深远的导师(mentor)安佐指导的离开。这位导师离职加入苹果后,刘洺堉也开始考虑新的工作机会。
在与多家科技巨头(如谷歌、苹果、亚马逊、Meta)接触后,英伟达的招聘人员找到了他。他意识到,既然自己如此渴望GPU,为何不直接加入生产GPU的公司?这个决定在当时并未得到父亲的理解,因为那时英伟达的知名度远不如苹果或谷歌。但刘洺堉坚持自己的判断:GPU是最重要的。他当时研究的自监督学习(self-supervised approach)降低了对数据标注的需求,使得算力成为更关键的瓶颈。
主持人提到刘洺堉在三菱电机时似乎就与英伟达有合作,他澄清这并非事实。论文上同时出现两家公司的作者,是因为研究周期长,有些在三菱电机启动的项目,在他加入英伟达后继续优化并发表,并非公司间的直接合作。他当时甚至不知道英伟达有研究机构,面试后才了解到。他加入时,英伟达研究院规模很小,不到100人,且大部分人从事图形学(graphics)而非AI研究。
主持人追问在英伟达是否能获得充足的GPU。刘洺堉笑称“世界上没有任何一个地方GPU是够的”。但他承认自己是幸运的,作为公司内部最早用大量GPU做生成式模型的研究员之一,他早期做出了一些高关注度的工作,获得了公司和黄仁勋的信任,从而能获取较多GPU资源,但即便如此,他还是会觉得“自己的总是不够”。
关于如何在公司内部获得更多GPU,刘洺堉分享了他的心得:首先,必须理解公司需要解决的问题;其次,要能清晰地向领导层解释你的研究为何对公司有重要影响。他指出,研究员通常有很高的自尊心(high ego),但公司的本质是为股东盈利。他学到的是,要将自己坚信对世界重要的研究,转化为能让不懂AI的领导也理解其商业价值的论述。这成为他职业生涯中的一个重大转变。
话题推进: 在谈到如何向公司领导解释研究价值后,主持人追问这一转变的具体发生过程,引出了刘洺堉对企业研究周期和“研究即产品”理念的深入思考。
01:00:00–01:10:00 从“击败对手”到“生态整合”:模型竞争的终局思考你之前提到的第二个重要转变时刻,具体是在哪个项目发生的? 你的研究理念似乎是“研究即产品”,这和之前的经历有关吗? 你认为模型能力最终会趋同,但前沿实验室(Frontier Lab)认为智能还能高速提升,你不认可他们的观点吗? 如果模型能力趋同,大家接下来竞争的是什么?大公司和创业公司分别如何竞争? 主持人追问刘洺堉“学会向领导解释研究重要性”这一转变的具体契机。刘洺堉表示这是一个渐进过程,但他在三菱电机研究院(MERL)的经历影响深远。他回顾道,MERL在90年代曾是能与微软研究院媲美的顶尖研究机构,吸引了众多著名学者。但后来公司战略转向,开始质疑“蓝天研究”(Blue Sky Research)的价值,导致经费缩减,大量顶尖学者流失。这让他很早就意识到企业研究机构存在周期性:繁荣期给予研究高度自由,但收缩期则会裁撤与公司短期利益不相关的项目。这段经历让他进入英伟达后,格外注重将自己的研究与公司战略对齐,并花心思向决策层沟通其价值,尤其是在深度学习这种高成本的研究领域。
主持人指出,刘洺堉的许多研究,如GauGAN (SPADE算法),都转化为了产品。刘洺堉对此做了修正,他认为GauGAN不能算是一个完整的产品,并分享了一个更重要的感悟:AI模型本身无法改变一切,最终会趋于同质化。他观察到,各大公司的顶尖模型(如Anthropic、GPT、Gemini)在性能上交替领先,差距逐渐缩小。因此,他很早就意识到,单纯依赖模型本身是不够的,关键在于与公司的生态系统(ecosystem)整合。他以谷歌的Gemini为例,其优势在于能与Google Docs、Search、Mail等庞大产品矩阵结合,形成飞轮效应:越多人使用,反馈越多,模型改进越快,从而获得更多投资。
基于此,他的研究心态也从早期追求在基准测试(benchmark)上“击败”对手,转变为思考如何“帮助这个领域变得更好”。他认为,历史证明,没有任何一家公司能永久垄断技术,人才和知识总会流动和扩散,AI也不例外。他不认为会出现某家公司遥遥领先,让其他所有公司都无法追赶的局面。
当被问及模型能力趋同后的竞争焦点时,刘洺堉明确指出是“整合”——与自身产品和生态的整合。对于大公司而言,这是核心竞争力。对于创业公司,机会在于解决大公司因规模太小(如年收入小于10亿美元)而不愿涉足的问题。他引用《创新者的窘境》的理论,指出创业公司可以在不被看好的领域中发现机会并逐渐壮大,英伟达自身就是这样成长起来的。因此,他认为创业者不应直接与OpenAI等巨头在同一维度竞争,因为资金和客户基础都处于劣势。
话题推进: 在讨论了创业公司应寻找差异化定位后,话题自然地转向了具体的案例,如Anthropic如何通过专注Coding实现突围,并引申到当前AI领域的同质化竞争现象。
01:00:00–01:10:00 从研究员到VP:在英伟达的晋升之路与管理哲学从研究员到英伟达VP,这常见吗?为什么是你? 从研究员到管理者,解的题有什么不一样? 成为管理者是否会抑制研究员的天性?你如何平衡? 过去20年,对你影响最大的人是谁? StyleGAN的作者对你有什么影响? 主持人询问刘洺堉从研究员到副总裁(VP)的职业路径在英伟达是否常见,他回答自己“可能是第一个”。他将自己的快速晋升归因于几个因素:首先,他在公司AI人才稀缺的早期就加入了,帮助公司提升了AI研究的知名度;其次,他非常注重研究的落地和与公司战略的对齐,通过一步步将项目成功执行,逐渐赢得了公司的信任。这种信任让他得以负责规模越来越大的项目,例如现在领导的Cosmos项目,每天涉及数百万美元的计算和存储成本。
主持人探讨了研究员与管理者角色的内在冲突。刘洺堉承认,研究员天生追求创新、认可,且自尊心强(high ego),这有时与公司的需求不完全一致。在成为管理者的过程中,他最担心的是与底层技术脱节,不理解问题的核心。为了避免这种情况,他强迫自己持续参与技术细节,包括审查代码(review code)、阅读论文、与团队成员就想法进行辩论。他认为自己是公司里少数还在看代码的VP,他这样做并非要成为最好的执行者,而是为了保持对一线痛点的理解,从而能看清每个人的贡献,帮助团队成长。
回顾过去20年的职业生涯,刘洺堉提到了几位对他影响深远的人:
1. 博士导师“老马”:教会他沟通的艺术和对人的尊重。
2. 实习时的第一位导师:手把手教他机器学习知识。
3. 英伟达的同事,StyleGAN的作者:这位同事对研究的极致追求给他留下了深刻印象。在许多研究员追求论文数量的时期,他每年只专注打磨一篇论文,将所有精力投入一个想法,深挖问题本质,最终做出重大贡献。刘洺堉从他身上学到了“保持专注”(stay focus)的重要性。
当被问及黄仁勋(老黄)的影响时,刘洺堉表示影响巨大,并由此展开了对黄仁勋工作风格的详细描述。
话题推进: 在列举了对自己有重要影响的人物后,刘洺堉开始详细分享他从CEO黄仁勋身上学到的决策方式和工作哲学。
01:00:00–01:10:00 向黄仁勋学习:决策、自律与中国功夫老黄对你有什么影响? 他不懂一个领域为什么敢投入? 老黄会把什么事情排除在他的计算范围之外? 你是怎么保持精力的? 刘洺堉分享了CEO黄仁勋(老黄)对他产生的巨大影响。他形容黄仁勋是一个工作极其认真、热衷学习的人。在刘洺堉加入英伟达的早期,黄仁勋会经常发论文给他,让他阅读并做总结。他指出,黄仁勋并非生来就懂计算机图形学或深度学习,但他敢于投入,并通过强大的学习能力掌握这些领域。
黄仁勋的决策方式基于“第一性原理”(First Principle),即理清事物本质,不受外界信号干扰,做出最合理的长期决策。这使得他能在早期就果断投入深度学习和CUDA,为公司建立了巨大的领先优势。刘洺堉坦言,在认识黄仁勋之前,自己的决策多偏向短期,从他身上学到了如何做长期决策并坚持下去。
黄仁勋处理海量信息和做决策的方式也让刘洺堉印象深刻。黄仁勋每天阅读大量邮件,强迫自己快速判断事情的优先级(prioritization)。刘洺堉推测,这种日复一日的练习,让他能看得非常清楚。在决策执行时,黄仁勋极为理性,不受个人情感影响,唯一的目标是“照顾好整个公司”(take care of the whole company)。从黄仁勋身上,刘洺堉学会了如何进行高强度的“上下文切换”(context switch),从过去同时处理两三个主题就感到疲惫,到现在可以每半小时切换一个新主题。他将此与计算机科学中“懒惰”的原则类比:只计算必要的东西。学会判断什么不重要并将其移除,能极大提升人生效率。
当被问及如何保持精力时,刘洺堉分享了他的个人习惯:练习中国功夫。他从18岁起师从著名武术家徐纪(神枪李书文一脉),练习八极拳、劈挂掌等。他解释说,练习武术并非为了打斗,而是源于金庸小说的影响,并逐渐演变成一种对自我的磨练。武术的核心在于“控制自己”,通过不断练习,实现全身力量的协调与传导。这种对自我的检讨和追求,与他的研究哲学相通。最近,他还养成了“冰水浴”(Ice Plunge)的新习惯,在清晨练完拳后跳入冰桶,帮助身体修复,以应对每天高强度的工作挑战。
话题推进: 主持人将刘洺堉练习武术时追求“一击制胜”的理念,巧妙地与他当前最重要的项目Cosmos联系起来,引出了关于Cosmos和世界模型的深入讨论。
01:00:00–01:10:00 Cosmos的诞生:为物理AI打造“黑客帝国”你在个人主页上说要为机器人构建一个“黑客帝国”,请阐释一下这个愿景。 Cosmos项目是何时以及如何立项的? 为什么当时选择面向物理AI(Physical AI)这个市场? 大家对世界模型的定义不清晰,你的定义是什么? Cosmos这个词能描述你在做的事吗?还是应该用别的词? 主持人引出刘洺堉的个人愿景——为机器人构建一个“黑客帝国”(The Matrix for Robots),并询问其内涵。刘洺堉解释说,这指的是通过世界模型(World Model)来解决具身智能(Embodied Intelligence)的泛化(generalization)问题。他认为,所有AI的核心问题都是泛化,即模型在未见过的场景中表现良好。Cosmos项目旨在从三个方面帮助物理AI实现泛化:
1. 更好的数据:通过生成模型创造真实世界中难以采集到的“长尾数据”(long-tail data)。
2. 更好的起点:训练一个理解世界运作规律的强大世界模型,其本身优秀的表示(representation)可以作为下游各种物理AI模型的骨干网络(backbone),提供一个更好的初始化或基础。
3. 更好的环境:创造出像“黑客帝国”一样逼真的、可交互的虚拟环境。由于在真实世界中进行实验成本高昂且效率低下,通过大规模并行的虚拟环境,机器人可以快速试错和学习。
关于Cosmos的立项过程,刘洺堉透露,项目始于2024年3月,正是在OpenAI发布Sora之后。Sora的出现让英伟达内部做生成模型的团队达成了共识:必须要做自己的世界模型。他和同事们分别或共同给黄仁勋写邮件表达了这一想法,黄仁勋随后召集会议,具体讨论了执行方案和负责人。在会议上,黄仁勋要求大家为项目命名,刘洺堉虽然觉得黄仁勋心中早有答案,但还是参与了思考。最终定名“Cosmos”(宇宙),这个名字精准地反映了项目的定位:并非为了内容创作,而是为了解决物理世界的问题,服务于物理AI社区。
之所以选择物理AI作为方向,是因为当时已能预见到这将是下一个技术革命,它能解决劳动力短缺、人口老龄化等社会刚需。同时,这也符合英伟达服务开发者(developer market)的商业模式——赋能他人创造产品,而非自己直接做应用。
当被问及“世界模型”的定义时,刘洺堉认为这是一个像“AGI”一样难以形成共识的笼统术语。他从实用角度出发,认为世界模型的形态取决于其用途,例如:用于“预测”未来、用于“理解”因果、或用于“重建”三维世界。由于用途不同,模型的定义和形态也各异,因此强行给出一个统一定义可能并不重要。相比之下,“大语言模型”(LLM)的定义就明确得多。因此,他们将Cosmos定义为“基座模型”(Foundation Model),目标是提供一个底层基础,让其他公司能在此之上构建自己所需的、针对特定用途的世界模型,尤其是那些没有足够资源从零开始的公司。
话题推进: 在清晰地定义了Cosmos作为“基座模型”的定位后,主持人进一步询问英伟达如何看待与其他同样在做世界模型的公司(如Covariant.ai、李飞飞的实验室)之间的关系,引出了关于竞争与合作的讨论。
01:00:00–01:10:00 从22个模型到1个:Cosmos的演进与“少即是多”英伟达也投资了其他做世界模型的公司,你们和他们做的世界模型有何差异? 你们有竞争对手吗? 从Cosmos 1到Cosmos 3,你们积累了哪些know-how? 为什么从多个模型收敛到一个模型? 主持人问及英伟达与其他世界模型研究团队(如李飞飞的实验室、杨立昆的I-JEPA)的关系。刘洺堉强调,英伟达的定位是“赋能者”(enabler),希望帮助所有在英伟达生态系统(使用GPU、软件平台)上的公司取得成功,实现双赢。他认为,不同团队看到的切入点和想解决的问题各不相同,英伟达会投资并与他们合作。如果这些顶尖团队对Cosmos感兴趣,可以使用它;而对于那些资金和资源不如他们的公司,Cosmos则提供了更关键的帮助。他的目标是帮助整个领域成功,而非专注于竞争。
当被直接问及竞争对手时,刘洺堉表示,在做Cosmos项目时,他不去想竞争对手,而是思考如何帮助生态系统。他认为自己已经过了那个为了发论文而追求“算法比别人好”的阶段,现在的目标是共同推动领域发展。
接着,话题转向Cosmos项目自身的快速迭代。刘洺堉提到,从Cosmos 1到3的演进非常迅速,他深受DeepSeek一年迭代三次的启发,因此从一开始就强调快速迭代。项目初期(2024年),对于什么样的世界模型最有帮助,业界尚无定论。团队通过与合作伙伴沟通,明确了几个主要需求方向,如预测未来(prediction)、解释过去(reasoning)、以及提升仿真环境的真实感(sim-to-real transfer)。
最初,为了满足这些不同需求,他们开发了多个模型,比如用于预测的Predict模型、用于解释的Reason模型等。刘洺堉回忆,他曾向黄仁勋汇报,预计需要开发22个不同的模型。黄仁勋听后,先是称赞他工作努力,然后用路易威登(LV)的案例点拨他:LV减少专柜陈列的商品数量后,销售额反而提升了。这个“少即是多”的道理让他深受启发,因为过多的模型选项不仅会困惑用户,也会给自己的团队带来巨大的维护负担,拖慢迭代速度,正应了《孙子兵法》中的“备多则力寡”。
最终,团队决定将多个模型统一为一个。这一决策背后有两个核心逻辑:第一,所有模型本质上都是在描述同一个物理世界,它们应该能共享一个统一的内部表示(internal representation);第二,基座模型(Foundation Model)的核心理念就是“海纳百川”,将不同来源、不同任务的数据整合在一起训练,可以突破单一模型的上限。因此,从技术原理和工程实践的双重角度出发,Cosmos最终走向了单一模型的道路。
话题推进: 本段详细解释了Cosmos从多模型到单模型的演进逻辑,为后续深入探讨Cosmos 3的具体技术细节和架构设计铺平了道路。
01:10:00–01:20:00 连续对话 801:10:00–01:20:00 从GAN到Diffusion:一次关键的技术路线转向你提到从GAN转向Diffusion,这大概是哪一年? 面对计算范式的几次变化(传统方法、GAN、Diffusion),作为研究员是什么心态?会不会觉得之前的工作白做了? 你多次提到实习生,在AI Lab里通过实习生涌现想法是否常见?你怎么看待年轻人? 嘉宾刘洺堉回顾了他在研究生涯中的一次关键技术路线转变。他提到,在与实习生Jeremy合作的时期,他们发表了一系列论文,试图让GAN的训练过程更稳定,但多年的努力最终得出的结论是GAN不具备可扩展性(not scalable)。
大约在2021年,刘洺堉的团队注意到了Diffusion模型。他认为Diffusion模型在训练时非常稳定,相比之下,GAN难以扩展,而“不Scalable的东西最后做不远”。因此,他做出了一个艰难的决定:让整个为研究GAN而建立的团队转向Diffusion模型。他解释说,当时他并未早期接触2017年就已出现的Transformer,因为他一直专注于GAN,而早期的GAN主要使用卷积网络(Convolutional Network)。直到后来Diffusion与Transformer结合,做Diffusion的研究者才逐渐转向Transformer架构。
团队转向后,研究路径从图像生成(Image Generation)开始,逐步扩展到多视角图像(Multi-view Image),再到3D生成(3D Generation),最终形成了一系列名为“Edify”的成果,包括Edify Image Generator、Edify 3D和Edify Video。
主持人追问,面对这种从GAN到Diffusion的技术范式转变,是否会觉得以往的工作白费了。刘洺堉否定了这种看法,他引用黄仁勋的话“suffering, little goodness”,认为这些经历让他越来越能掌握事物的本质。他将科研比作寻找描述世界运作的最简单方式,而技术方法的演进正是将事情变得越来越简单的过程,就像他后来的项目Cosmos从多个模型最终统一成一个模型一样。他强调,在当时的技术条件、算力和数据下,过去的研究是合理的,并且那些经验对现在的理解仍有很大帮助。
主持人接着问及实习生在研究中的作用。刘洺堉将研究的繁荣比作思想的快速流动,认为实习生带来了思想的多样性(diversity)。如果只与同事交流,思想来源会比较单一。通过与来自不同背景、充满想法的实习生合作,可以实现教学相长,这对双方的成长都至关重要。
话题推进: 在讨论完技术路线的转变和研究方法后,主持人将话题转向了刘洺堉的职业发展,询问他为何在2016年选择加入英伟达。
01:10:00–01:20:00 加入英伟达:追逐算力的职业选择你16年加入英伟达,这个职业变化是怎么发生的? 你在三菱电机时就和英伟达的人有论文合作吗? 加入英伟达做研究,真的像预期的那样有很多GPU吗? 在英伟达这样的公司,要如何获得更多的GPU? 刘洺堉解释了他从三菱电机研究所(MERL)加入英伟达的原因。自从开始做深度学习后,他深信算力的重要性。然而,三菱电机并不重视算力,他需要频繁地向经理争取购买GPU的经费。促使他离职的直接原因是一位对他影响深远的导师(mentor)安佐指导的离开。这位导师离职加入苹果后,刘洺堉也开始考虑新的工作机会。
在与多家科技巨头(如谷歌、苹果、亚马逊、Meta)接触后,英伟达的招聘人员找到了他。他意识到,既然自己如此渴望GPU,为何不直接加入生产GPU的公司?这个决定在当时并未得到父亲的理解,因为那时英伟达的知名度远不如苹果或谷歌。但刘洺堉坚持自己的判断:GPU是最重要的。他当时研究的自监督学习(self-supervised approach)降低了对数据标注的需求,使得算力成为更关键的瓶颈。
主持人提到刘洺堉在三菱电机时似乎就与英伟达有合作,他澄清这并非事实。论文上同时出现两家公司的作者,是因为研究周期长,有些在三菱电机启动的项目,在他加入英伟达后继续优化并发表,并非公司间的直接合作。他当时甚至不知道英伟达有研究机构,面试后才了解到。他加入时,英伟达研究院规模很小,不到100人,且大部分人从事图形学(graphics)而非AI研究。
主持人追问在英伟达是否能获得充足的GPU。刘洺堉笑称“世界上没有任何一个地方GPU是够的”。但他承认自己是幸运的,作为公司内部最早用大量GPU做生成式模型的研究员之一,他早期做出了一些高关注度的工作,获得了公司和黄仁勋的信任,从而能获取较多GPU资源,但即便如此,他还是会觉得“自己的总是不够”。
关于如何在公司内部获得更多GPU,刘洺堉分享了他的心得:首先,必须理解公司需要解决的问题;其次,要能清晰地向领导层解释你的研究为何对公司有重要影响。他指出,研究员通常有很高的自尊心(high ego),但公司的本质是为股东盈利。他学到的是,要将自己坚信对世界重要的研究,转化为能让不懂AI的领导也理解其商业价值的论述。这成为他职业生涯中的一个重大转变。
话题推进: 在谈到如何向公司领导解释研究价值后,主持人追问这一转变的具体发生过程,引出了刘洺堉对企业研究周期和“研究即产品”理念的深入思考。
01:10:00–01:20:00 从“击败对手”到“生态整合”:模型竞争的终局思考你之前提到的第二个重要转变时刻,具体是在哪个项目发生的? 你的研究理念似乎是“研究即产品”,这和之前的经历有关吗? 你认为模型能力最终会趋同,但前沿实验室(Frontier Lab)认为智能还能高速提升,你不认可他们的观点吗? 如果模型能力趋同,大家接下来竞争的是什么?大公司和创业公司分别如何竞争? 主持人追问刘洺堉“学会向领导解释研究重要性”这一转变的具体契机。刘洺堉表示这是一个渐进过程,但他在三菱电机研究院(MERL)的经历影响深远。他回顾道,MERL在90年代曾是能与微软研究院媲美的顶尖研究机构,吸引了众多著名学者。但后来公司战略转向,开始质疑“蓝天研究”(Blue Sky Research)的价值,导致经费缩减,大量顶尖学者流失。这让他很早就意识到企业研究机构存在周期性:繁荣期给予研究高度自由,但收缩期则会裁撤与公司短期利益不相关的项目。这段经历让他进入英伟达后,格外注重将自己的研究与公司战略对齐,并花心思向决策层沟通其价值,尤其是在深度学习这种高成本的研究领域。
主持人指出,刘洺堉的许多研究,如GauGAN (SPADE算法),都转化为了产品。刘洺堉对此做了修正,他认为GauGAN不能算是一个完整的产品,并分享了一个更重要的感悟:AI模型本身无法改变一切,最终会趋于同质化。他观察到,各大公司的顶尖模型(如Anthropic、GPT、Gemini)在性能上交替领先,差距逐渐缩小。因此,他很早就意识到,单纯依赖模型本身是不够的,关键在于与公司的生态系统(ecosystem)整合。他以谷歌的Gemini为例,其优势在于能与Google Docs、Search、Mail等庞大产品矩阵结合,形成飞轮效应:越多人使用,反馈越多,模型改进越快,从而获得更多投资。
基于此,他的研究心态也从早期追求在基准测试(benchmark)上“击败”对手,转变为思考如何“帮助这个领域变得更好”。他认为,历史证明,没有任何一家公司能永久垄断技术,人才和知识总会流动和扩散,AI也不例外。他不认为会出现某家公司遥遥领先,让其他所有公司都无法追赶的局面。
当被问及模型能力趋同后的竞争焦点时,刘洺堉明确指出是“整合”——与自身产品和生态的整合。对于大公司而言,这是核心竞争力。对于创业公司,机会在于解决大公司因规模太小(如年收入小于10亿美元)而不愿涉足的问题。他引用《创新者的窘境》的理论,指出创业公司可以在不被看好的领域中发现机会并逐渐壮大,英伟达自身就是这样成长起来的。因此,他认为创业者不应直接与OpenAI等巨头在同一维度竞争,因为资金和客户基础都处于劣势。
话题推进: 在讨论了创业公司应寻找差异化定位后,话题自然地转向了具体的案例,如Anthropic如何通过专注Coding实现突围,并引申到当前AI领域的同质化竞争现象。
01:10:00–01:20:00 从研究员到VP:在英伟达的晋升之路与管理哲学从研究员到英伟达VP,这常见吗?为什么是你? 从研究员到管理者,解的题有什么不一样? 成为管理者是否会抑制研究员的天性?你如何平衡? 过去20年,对你影响最大的人是谁? StyleGAN的作者对你有什么影响? 主持人询问刘洺堉从研究员到副总裁(VP)的职业路径在英伟达是否常见,他回答自己“可能是第一个”。他将自己的快速晋升归因于几个因素:首先,他在公司AI人才稀缺的早期就加入了,帮助公司提升了AI研究的知名度;其次,他非常注重研究的落地和与公司战略的对齐,通过一步步将项目成功执行,逐渐赢得了公司的信任。这种信任让他得以负责规模越来越大的项目,例如现在领导的Cosmos项目,每天涉及数百万美元的计算和存储成本。
主持人探讨了研究员与管理者角色的内在冲突。刘洺堉承认,研究员天生追求创新、认可,且自尊心强(high ego),这有时与公司的需求不完全一致。在成为管理者的过程中,他最担心的是与底层技术脱节,不理解问题的核心。为了避免这种情况,他强迫自己持续参与技术细节,包括审查代码(review code)、阅读论文、与团队成员就想法进行辩论。他认为自己是公司里少数还在看代码的VP,他这样做并非要成为最好的执行者,而是为了保持对一线痛点的理解,从而能看清每个人的贡献,帮助团队成长。
回顾过去20年的职业生涯,刘洺堉提到了几位对他影响深远的人:
1. 博士导师“老马”:教会他沟通的艺术和对人的尊重。
2. 实习时的第一位导师:手把手教他机器学习知识。
3. 英伟达的同事,StyleGAN的作者:这位同事对研究的极致追求给他留下了深刻印象。在许多研究员追求论文数量的时期,他每年只专注打磨一篇论文,将所有精力投入一个想法,深挖问题本质,最终做出重大贡献。刘洺堉从他身上学到了“保持专注”(stay focus)的重要性。
当被问及黄仁勋(老黄)的影响时,刘洺堉表示影响巨大,并由此展开了对黄仁勋工作风格的详细描述。
话题推进: 在列举了对自己有重要影响的人物后,刘洺堉开始详细分享他从CEO黄仁勋身上学到的决策方式和工作哲学。
01:10:00–01:20:00 向黄仁勋学习:决策、自律与中国功夫老黄对你有什么影响? 他不懂一个领域为什么敢投入? 老黄会把什么事情排除在他的计算范围之外? 你是怎么保持精力的? 刘洺堉分享了CEO黄仁勋(老黄)对他产生的巨大影响。他形容黄仁勋是一个工作极其认真、热衷学习的人。在刘洺堉加入英伟达的早期,黄仁勋会经常发论文给他,让他阅读并做总结。他指出,黄仁勋并非生来就懂计算机图形学或深度学习,但他敢于投入,并通过强大的学习能力掌握这些领域。
黄仁勋的决策方式基于“第一性原理”(First Principle),即理清事物本质,不受外界信号干扰,做出最合理的长期决策。这使得他能在早期就果断投入深度学习和CUDA,为公司建立了巨大的领先优势。刘洺堉坦言,在认识黄仁勋之前,自己的决策多偏向短期,从他身上学到了如何做长期决策并坚持下去。
黄仁勋处理海量信息和做决策的方式也让刘洺堉印象深刻。黄仁勋每天阅读大量邮件,强迫自己快速判断事情的优先级(prioritization)。刘洺堉推测,这种日复一日的练习,让他能看得非常清楚。在决策执行时,黄仁勋极为理性,不受个人情感影响,唯一的目标是“照顾好整个公司”(take care of the whole company)。从黄仁勋身上,刘洺堉学会了如何进行高强度的“上下文切换”(context switch),从过去同时处理两三个主题就感到疲惫,到现在可以每半小时切换一个新主题。他将此与计算机科学中“懒惰”的原则类比:只计算必要的东西。学会判断什么不重要并将其移除,能极大提升人生效率。
当被问及如何保持精力时,刘洺堉分享了他的个人习惯:练习中国功夫。他从18岁起师从著名武术家徐纪(神枪李书文一脉),练习八极拳、劈挂掌等。他解释说,练习武术并非为了打斗,而是源于金庸小说的影响,并逐渐演变成一种对自我的磨练。武术的核心在于“控制自己”,通过不断练习,实现全身力量的协调与传导。这种对自我的检讨和追求,与他的研究哲学相通。最近,他还养成了“冰水浴”(Ice Plunge)的新习惯,在清晨练完拳后跳入冰桶,帮助身体修复,以应对每天高强度的工作挑战。
话题推进: 主持人将刘洺堉练习武术时追求“一击制胜”的理念,巧妙地与他当前最重要的项目Cosmos联系起来,引出了关于Cosmos和世界模型的深入讨论。
01:10:00–01:20:00 Cosmos的诞生:为物理AI打造“黑客帝国”你在个人主页上说要为机器人构建一个“黑客帝国”,请阐释一下这个愿景。 Cosmos项目是何时以及如何立项的? 为什么当时选择面向物理AI(Physical AI)这个市场? 大家对世界模型的定义不清晰,你的定义是什么? Cosmos这个词能描述你在做的事吗?还是应该用别的词? 主持人引出刘洺堉的个人愿景——为机器人构建一个“黑客帝国”(The Matrix for Robots),并询问其内涵。刘洺堉解释说,这指的是通过世界模型(World Model)来解决具身智能(Embodied Intelligence)的泛化(generalization)问题。他认为,所有AI的核心问题都是泛化,即模型在未见过的场景中表现良好。Cosmos项目旨在从三个方面帮助物理AI实现泛化:
1. 更好的数据:通过生成模型创造真实世界中难以采集到的“长尾数据”(long-tail data)。
2. 更好的起点:训练一个理解世界运作规律的强大世界模型,其本身优秀的表示(representation)可以作为下游各种物理AI模型的骨干网络(backbone),提供一个更好的初始化或基础。
3. 更好的环境:创造出像“黑客帝国”一样逼真的、可交互的虚拟环境。由于在真实世界中进行实验成本高昂且效率低下,通过大规模并行的虚拟环境,机器人可以快速试错和学习。
关于Cosmos的立项过程,刘洺堉透露,项目始于2024年3月,正是在OpenAI发布Sora之后。Sora的出现让英伟达内部做生成模型的团队达成了共识:必须要做自己的世界模型。他和同事们分别或共同给黄仁勋写邮件表达了这一想法,黄仁勋随后召集会议,具体讨论了执行方案和负责人。在会议上,黄仁勋要求大家为项目命名,刘洺堉虽然觉得黄仁勋心中早有答案,但还是参与了思考。最终定名“Cosmos”(宇宙),这个名字精准地反映了项目的定位:并非为了内容创作,而是为了解决物理世界的问题,服务于物理AI社区。
之所以选择物理AI作为方向,是因为当时已能预见到这将是下一个技术革命,它能解决劳动力短缺、人口老龄化等社会刚需。同时,这也符合英伟达服务开发者(developer market)的商业模式——赋能他人创造产品,而非自己直接做应用。
当被问及“世界模型”的定义时,刘洺堉认为这是一个像“AGI”一样难以形成共识的笼统术语。他从实用角度出发,认为世界模型的形态取决于其用途,例如:用于“预测”未来、用于“理解”因果、或用于“重建”三维世界。由于用途不同,模型的定义和形态也各异,因此强行给出一个统一定义可能并不重要。相比之下,“大语言模型”(LLM)的定义就明确得多。因此,他们将Cosmos定义为“基座模型”(Foundation Model),目标是提供一个底层基础,让其他公司能在此之上构建自己所需的、针对特定用途的世界模型,尤其是那些没有足够资源从零开始的公司。
话题推进: 在清晰地定义了Cosmos作为“基座模型”的定位后,主持人进一步询问英伟达如何看待与其他同样在做世界模型的公司(如Covariant.ai、李飞飞的实验室)之间的关系,引出了关于竞争与合作的讨论。
01:10:00–01:20:00 从22个模型到1个:Cosmos的演进与“少即是多”英伟达也投资了其他做世界模型的公司,你们和他们做的世界模型有何差异? 你们有竞争对手吗? 从Cosmos 1到Cosmos 3,你们积累了哪些know-how? 为什么从多个模型收敛到一个模型? 主持人问及英伟达与其他世界模型研究团队(如李飞飞的实验室、杨立昆的I-JEPA)的关系。刘洺堉强调,英伟达的定位是“赋能者”(enabler),希望帮助所有在英伟达生态系统(使用GPU、软件平台)上的公司取得成功,实现双赢。他认为,不同团队看到的切入点和想解决的问题各不相同,英伟达会投资并与他们合作。如果这些顶尖团队对Cosmos感兴趣,可以使用它;而对于那些资金和资源不如他们的公司,Cosmos则提供了更关键的帮助。他的目标是帮助整个领域成功,而非专注于竞争。
当被直接问及竞争对手时,刘洺堉表示,在做Cosmos项目时,他不去想竞争对手,而是思考如何帮助生态系统。他认为自己已经过了那个为了发论文而追求“算法比别人好”的阶段,现在的目标是共同推动领域发展。
接着,话题转向Cosmos项目自身的快速迭代。刘洺堉提到,从Cosmos 1到3的演进非常迅速,他深受DeepSeek一年迭代三次的启发,因此从一开始就强调快速迭代。项目初期(2024年),对于什么样的世界模型最有帮助,业界尚无定论。团队通过与合作伙伴沟通,明确了几个主要需求方向,如预测未来(prediction)、解释过去(reasoning)、以及提升仿真环境的真实感(sim-to-real transfer)。
最初,为了满足这些不同需求,他们开发了多个模型,比如用于预测的Predict模型、用于解释的Reason模型等。刘洺堉回忆,他曾向黄仁勋汇报,预计需要开发22个不同的模型。黄仁勋听后,先是称赞他工作努力,然后用路易威登(LV)的案例点拨他:LV减少专柜陈列的商品数量后,销售额反而提升了。这个“少即是多”的道理让他深受启发,因为过多的模型选项不仅会困惑用户,也会给自己的团队带来巨大的维护负担,拖慢迭代速度,正应了《孙子兵法》中的“备多则力寡”。
最终,团队决定将多个模型统一为一个。这一决策背后有两个核心逻辑:第一,所有模型本质上都是在描述同一个物理世界,它们应该能共享一个统一的内部表示(internal representation);第二,基座模型(Foundation Model)的核心理念就是“海纳百川”,将不同来源、不同任务的数据整合在一起训练,可以突破单一模型的上限。因此,从技术原理和工程实践的双重角度出发,Cosmos最终走向了单一模型的道路。
话题推进: 本段详细解释了Cosmos从多模型到单模型的演进逻辑,为后续深入探讨Cosmos 3的具体技术细节和架构设计铺平了道路。
01:20:00–01:30:00 连续对话 901:20:00–01:30:00 从GAN到Diffusion:一次关键的技术路线转向你提到从GAN转向Diffusion,这大概是哪一年? 面对计算范式的几次变化(传统方法、GAN、Diffusion),作为研究员是什么心态?会不会觉得之前的工作白做了? 你多次提到实习生,在AI Lab里通过实习生涌现想法是否常见?你怎么看待年轻人? 嘉宾刘洺堉回顾了他在研究生涯中的一次关键技术路线转变。他提到,在与实习生Jeremy合作的时期,他们发表了一系列论文,试图让GAN的训练过程更稳定,但多年的努力最终得出的结论是GAN不具备可扩展性(not scalable)。
大约在2021年,刘洺堉的团队注意到了Diffusion模型。他认为Diffusion模型在训练时非常稳定,相比之下,GAN难以扩展,而“不Scalable的东西最后做不远”。因此,他做出了一个艰难的决定:让整个为研究GAN而建立的团队转向Diffusion模型。他解释说,当时他并未早期接触2017年就已出现的Transformer,因为他一直专注于GAN,而早期的GAN主要使用卷积网络(Convolutional Network)。直到后来Diffusion与Transformer结合,做Diffusion的研究者才逐渐转向Transformer架构。
团队转向后,研究路径从图像生成(Image Generation)开始,逐步扩展到多视角图像(Multi-view Image),再到3D生成(3D Generation),最终形成了一系列名为“Edify”的成果,包括Edify Image Generator、Edify 3D和Edify Video。
主持人追问,面对这种从GAN到Diffusion的技术范式转变,是否会觉得以往的工作白费了。刘洺堉否定了这种看法,他引用黄仁勋的话“suffering, little goodness”,认为这些经历让他越来越能掌握事物的本质。他将科研比作寻找描述世界运作的最简单方式,而技术方法的演进正是将事情变得越来越简单的过程,就像他后来的项目Cosmos从多个模型最终统一成一个模型一样。他强调,在当时的技术条件、算力和数据下,过去的研究是合理的,并且那些经验对现在的理解仍有很大帮助。
主持人接着问及实习生在研究中的作用。刘洺堉将研究的繁荣比作思想的快速流动,认为实习生带来了思想的多样性(diversity)。如果只与同事交流,思想来源会比较单一。通过与来自不同背景、充满想法的实习生合作,可以实现教学相长,这对双方的成长都至关重要。
话题推进: 在讨论完技术路线的转变和研究方法后,主持人将话题转向了刘洺堉的职业发展,询问他为何在2016年选择加入英伟达。
01:20:00–01:30:00 加入英伟达:追逐算力的职业选择你16年加入英伟达,这个职业变化是怎么发生的? 你在三菱电机时就和英伟达的人有论文合作吗? 加入英伟达做研究,真的像预期的那样有很多GPU吗? 在英伟达这样的公司,要如何获得更多的GPU? 刘洺堉解释了他从三菱电机研究所(MERL)加入英伟达的原因。自从开始做深度学习后,他深信算力的重要性。然而,三菱电机并不重视算力,他需要频繁地向经理争取购买GPU的经费。促使他离职的直接原因是一位对他影响深远的导师(mentor)安佐指导的离开。这位导师离职加入苹果后,刘洺堉也开始考虑新的工作机会。
在与多家科技巨头(如谷歌、苹果、亚马逊、Meta)接触后,英伟达的招聘人员找到了他。他意识到,既然自己如此渴望GPU,为何不直接加入生产GPU的公司?这个决定在当时并未得到父亲的理解,因为那时英伟达的知名度远不如苹果或谷歌。但刘洺堉坚持自己的判断:GPU是最重要的。他当时研究的自监督学习(self-supervised approach)降低了对数据标注的需求,使得算力成为更关键的瓶颈。
主持人提到刘洺堉在三菱电机时似乎就与英伟达有合作,他澄清这并非事实。论文上同时出现两家公司的作者,是因为研究周期长,有些在三菱电机启动的项目,在他加入英伟达后继续优化并发表,并非公司间的直接合作。他当时甚至不知道英伟达有研究机构,面试后才了解到。他加入时,英伟达研究院规模很小,不到100人,且大部分人从事图形学(graphics)而非AI研究。
主持人追问在英伟达是否能获得充足的GPU。刘洺堉笑称“世界上没有任何一个地方GPU是够的”。但他承认自己是幸运的,作为公司内部最早用大量GPU做生成式模型的研究员之一,他早期做出了一些高关注度的工作,获得了公司和黄仁勋的信任,从而能获取较多GPU资源,但即便如此,他还是会觉得“自己的总是不够”。
关于如何在公司内部获得更多GPU,刘洺堉分享了他的心得:首先,必须理解公司需要解决的问题;其次,要能清晰地向领导层解释你的研究为何对公司有重要影响。他指出,研究员通常有很高的自尊心(high ego),但公司的本质是为股东盈利。他学到的是,要将自己坚信对世界重要的研究,转化为能让不懂AI的领导也理解其商业价值的论述。这成为他职业生涯中的一个重大转变。
话题推进: 在谈到如何向公司领导解释研究价值后,主持人追问这一转变的具体发生过程,引出了刘洺堉对企业研究周期和“研究即产品”理念的深入思考。
01:20:00–01:30:00 从“击败对手”到“生态整合”:模型竞争的终局思考你之前提到的第二个重要转变时刻,具体是在哪个项目发生的? 你的研究理念似乎是“研究即产品”,这和之前的经历有关吗? 你认为模型能力最终会趋同,但前沿实验室(Frontier Lab)认为智能还能高速提升,你不认可他们的观点吗? 如果模型能力趋同,大家接下来竞争的是什么?大公司和创业公司分别如何竞争? 主持人追问刘洺堉“学会向领导解释研究重要性”这一转变的具体契机。刘洺堉表示这是一个渐进过程,但他在三菱电机研究院(MERL)的经历影响深远。他回顾道,MERL在90年代曾是能与微软研究院媲美的顶尖研究机构,吸引了众多著名学者。但后来公司战略转向,开始质疑“蓝天研究”(Blue Sky Research)的价值,导致经费缩减,大量顶尖学者流失。这让他很早就意识到企业研究机构存在周期性:繁荣期给予研究高度自由,但收缩期则会裁撤与公司短期利益不相关的项目。这段经历让他进入英伟达后,格外注重将自己的研究与公司战略对齐,并花心思向决策层沟通其价值,尤其是在深度学习这种高成本的研究领域。
主持人指出,刘洺堉的许多研究,如GauGAN (SPADE算法),都转化为了产品。刘洺堉对此做了修正,他认为GauGAN不能算是一个完整的产品,并分享了一个更重要的感悟:AI模型本身无法改变一切,最终会趋于同质化。他观察到,各大公司的顶尖模型(如Anthropic、GPT、Gemini)在性能上交替领先,差距逐渐缩小。因此,他很早就意识到,单纯依赖模型本身是不够的,关键在于与公司的生态系统(ecosystem)整合。他以谷歌的Gemini为例,其优势在于能与Google Docs、Search、Mail等庞大产品矩阵结合,形成飞轮效应:越多人使用,反馈越多,模型改进越快,从而获得更多投资。
基于此,他的研究心态也从早期追求在基准测试(benchmark)上“击败”对手,转变为思考如何“帮助这个领域变得更好”。他认为,历史证明,没有任何一家公司能永久垄断技术,人才和知识总会流动和扩散,AI也不例外。他不认为会出现某家公司遥遥领先,让其他所有公司都无法追赶的局面。
当被问及模型能力趋同后的竞争焦点时,刘洺堉明确指出是“整合”——与自身产品和生态的整合。对于大公司而言,这是核心竞争力。对于创业公司,机会在于解决大公司因规模太小(如年收入小于10亿美元)而不愿涉足的问题。他引用《创新者的窘境》的理论,指出创业公司可以在不被看好的领域中发现机会并逐渐壮大,英伟达自身就是这样成长起来的。因此,他认为创业者不应直接与OpenAI等巨头在同一维度竞争,因为资金和客户基础都处于劣势。
话题推进: 在讨论了创业公司应寻找差异化定位后,话题自然地转向了具体的案例,如Anthropic如何通过专注Coding实现突围,并引申到当前AI领域的同质化竞争现象。
01:20:00–01:30:00 从研究员到VP:在英伟达的晋升之路与管理哲学从研究员到英伟达VP,这常见吗?为什么是你? 从研究员到管理者,解的题有什么不一样? 成为管理者是否会抑制研究员的天性?你如何平衡? 过去20年,对你影响最大的人是谁? StyleGAN的作者对你有什么影响? 主持人询问刘洺堉从研究员到副总裁(VP)的职业路径在英伟达是否常见,他回答自己“可能是第一个”。他将自己的快速晋升归因于几个因素:首先,他在公司AI人才稀缺的早期就加入了,帮助公司提升了AI研究的知名度;其次,他非常注重研究的落地和与公司战略的对齐,通过一步步将项目成功执行,逐渐赢得了公司的信任。这种信任让他得以负责规模越来越大的项目,例如现在领导的Cosmos项目,每天涉及数百万美元的计算和存储成本。
主持人探讨了研究员与管理者角色的内在冲突。刘洺堉承认,研究员天生追求创新、认可,且自尊心强(high ego),这有时与公司的需求不完全一致。在成为管理者的过程中,他最担心的是与底层技术脱节,不理解问题的核心。为了避免这种情况,他强迫自己持续参与技术细节,包括审查代码(review code)、阅读论文、与团队成员就想法进行辩论。他认为自己是公司里少数还在看代码的VP,他这样做并非要成为最好的执行者,而是为了保持对一线痛点的理解,从而能看清每个人的贡献,帮助团队成长。
回顾过去20年的职业生涯,刘洺堉提到了几位对他影响深远的人:
1. 博士导师“老马”:教会他沟通的艺术和对人的尊重。
2. 实习时的第一位导师:手把手教他机器学习知识。
3. 英伟达的同事,StyleGAN的作者:这位同事对研究的极致追求给他留下了深刻印象。在许多研究员追求论文数量的时期,他每年只专注打磨一篇论文,将所有精力投入一个想法,深挖问题本质,最终做出重大贡献。刘洺堉从他身上学到了“保持专注”(stay focus)的重要性。
当被问及黄仁勋(老黄)的影响时,刘洺堉表示影响巨大,并由此展开了对黄仁勋工作风格的详细描述。
话题推进: 在列举了对自己有重要影响的人物后,刘洺堉开始详细分享他从CEO黄仁勋身上学到的决策方式和工作哲学。
01:20:00–01:30:00 向黄仁勋学习:决策、自律与中国功夫老黄对你有什么影响? 他不懂一个领域为什么敢投入? 老黄会把什么事情排除在他的计算范围之外? 你是怎么保持精力的? 刘洺堉分享了CEO黄仁勋(老黄)对他产生的巨大影响。他形容黄仁勋是一个工作极其认真、热衷学习的人。在刘洺堉加入英伟达的早期,黄仁勋会经常发论文给他,让他阅读并做总结。他指出,黄仁勋并非生来就懂计算机图形学或深度学习,但他敢于投入,并通过强大的学习能力掌握这些领域。
黄仁勋的决策方式基于“第一性原理”(First Principle),即理清事物本质,不受外界信号干扰,做出最合理的长期决策。这使得他能在早期就果断投入深度学习和CUDA,为公司建立了巨大的领先优势。刘洺堉坦言,在认识黄仁勋之前,自己的决策多偏向短期,从他身上学到了如何做长期决策并坚持下去。
黄仁勋处理海量信息和做决策的方式也让刘洺堉印象深刻。黄仁勋每天阅读大量邮件,强迫自己快速判断事情的优先级(prioritization)。刘洺堉推测,这种日复一日的练习,让他能看得非常清楚。在决策执行时,黄仁勋极为理性,不受个人情感影响,唯一的目标是“照顾好整个公司”(take care of the whole company)。从黄仁勋身上,刘洺堉学会了如何进行高强度的“上下文切换”(context switch),从过去同时处理两三个主题就感到疲惫,到现在可以每半小时切换一个新主题。他将此与计算机科学中“懒惰”的原则类比:只计算必要的东西。学会判断什么不重要并将其移除,能极大提升人生效率。
当被问及如何保持精力时,刘洺堉分享了他的个人习惯:练习中国功夫。他从18岁起师从著名武术家徐纪(神枪李书文一脉),练习八极拳、劈挂掌等。他解释说,练习武术并非为了打斗,而是源于金庸小说的影响,并逐渐演变成一种对自我的磨练。武术的核心在于“控制自己”,通过不断练习,实现全身力量的协调与传导。这种对自我的检讨和追求,与他的研究哲学相通。最近,他还养成了“冰水浴”(Ice Plunge)的新习惯,在清晨练完拳后跳入冰桶,帮助身体修复,以应对每天高强度的工作挑战。
话题推进: 主持人将刘洺堉练习武术时追求“一击制胜”的理念,巧妙地与他当前最重要的项目Cosmos联系起来,引出了关于Cosmos和世界模型的深入讨论。
01:20:00–01:30:00 Cosmos的诞生:为物理AI打造“黑客帝国”你在个人主页上说要为机器人构建一个“黑客帝国”,请阐释一下这个愿景。 Cosmos项目是何时以及如何立项的? 为什么当时选择面向物理AI(Physical AI)这个市场? 大家对世界模型的定义不清晰,你的定义是什么? Cosmos这个词能描述你在做的事吗?还是应该用别的词? 主持人引出刘洺堉的个人愿景——为机器人构建一个“黑客帝国”(The Matrix for Robots),并询问其内涵。刘洺堉解释说,这指的是通过世界模型(World Model)来解决具身智能(Embodied Intelligence)的泛化(generalization)问题。他认为,所有AI的核心问题都是泛化,即模型在未见过的场景中表现良好。Cosmos项目旨在从三个方面帮助物理AI实现泛化:
1. 更好的数据:通过生成模型创造真实世界中难以采集到的“长尾数据”(long-tail data)。
2. 更好的起点:训练一个理解世界运作规律的强大世界模型,其本身优秀的表示(representation)可以作为下游各种物理AI模型的骨干网络(backbone),提供一个更好的初始化或基础。
3. 更好的环境:创造出像“黑客帝国”一样逼真的、可交互的虚拟环境。由于在真实世界中进行实验成本高昂且效率低下,通过大规模并行的虚拟环境,机器人可以快速试错和学习。
关于Cosmos的立项过程,刘洺堉透露,项目始于2024年3月,正是在OpenAI发布Sora之后。Sora的出现让英伟达内部做生成模型的团队达成了共识:必须要做自己的世界模型。他和同事们分别或共同给黄仁勋写邮件表达了这一想法,黄仁勋随后召集会议,具体讨论了执行方案和负责人。在会议上,黄仁勋要求大家为项目命名,刘洺堉虽然觉得黄仁勋心中早有答案,但还是参与了思考。最终定名“Cosmos”(宇宙),这个名字精准地反映了项目的定位:并非为了内容创作,而是为了解决物理世界的问题,服务于物理AI社区。
之所以选择物理AI作为方向,是因为当时已能预见到这将是下一个技术革命,它能解决劳动力短缺、人口老龄化等社会刚需。同时,这也符合英伟达服务开发者(developer market)的商业模式——赋能他人创造产品,而非自己直接做应用。
当被问及“世界模型”的定义时,刘洺堉认为这是一个像“AGI”一样难以形成共识的笼统术语。他从实用角度出发,认为世界模型的形态取决于其用途,例如:用于“预测”未来、用于“理解”因果、或用于“重建”三维世界。由于用途不同,模型的定义和形态也各异,因此强行给出一个统一定义可能并不重要。相比之下,“大语言模型”(LLM)的定义就明确得多。因此,他们将Cosmos定义为“基座模型”(Foundation Model),目标是提供一个底层基础,让其他公司能在此之上构建自己所需的、针对特定用途的世界模型,尤其是那些没有足够资源从零开始的公司。
话题推进: 在清晰地定义了Cosmos作为“基座模型”的定位后,主持人进一步询问英伟达如何看待与其他同样在做世界模型的公司(如Covariant.ai、李飞飞的实验室)之间的关系,引出了关于竞争与合作的讨论。
01:20:00–01:30:00 从22个模型到1个:Cosmos的演进与“少即是多”英伟达也投资了其他做世界模型的公司,你们和他们做的世界模型有何差异? 你们有竞争对手吗? 从Cosmos 1到Cosmos 3,你们积累了哪些know-how? 为什么从多个模型收敛到一个模型? 主持人问及英伟达与其他世界模型研究团队(如李飞飞的实验室、杨立昆的I-JEPA)的关系。刘洺堉强调,英伟达的定位是“赋能者”(enabler),希望帮助所有在英伟达生态系统(使用GPU、软件平台)上的公司取得成功,实现双赢。他认为,不同团队看到的切入点和想解决的问题各不相同,英伟达会投资并与他们合作。如果这些顶尖团队对Cosmos感兴趣,可以使用它;而对于那些资金和资源不如他们的公司,Cosmos则提供了更关键的帮助。他的目标是帮助整个领域成功,而非专注于竞争。
当被直接问及竞争对手时,刘洺堉表示,在做Cosmos项目时,他不去想竞争对手,而是思考如何帮助生态系统。他认为自己已经过了那个为了发论文而追求“算法比别人好”的阶段,现在的目标是共同推动领域发展。
接着,话题转向Cosmos项目自身的快速迭代。刘洺堉提到,从Cosmos 1到3的演进非常迅速,他深受DeepSeek一年迭代三次的启发,因此从一开始就强调快速迭代。项目初期(2024年),对于什么样的世界模型最有帮助,业界尚无定论。团队通过与合作伙伴沟通,明确了几个主要需求方向,如预测未来(prediction)、解释过去(reasoning)、以及提升仿真环境的真实感(sim-to-real transfer)。
最初,为了满足这些不同需求,他们开发了多个模型,比如用于预测的Predict模型、用于解释的Reason模型等。刘洺堉回忆,他曾向黄仁勋汇报,预计需要开发22个不同的模型。黄仁勋听后,先是称赞他工作努力,然后用路易威登(LV)的案例点拨他:LV减少专柜陈列的商品数量后,销售额反而提升了。这个“少即是多”的道理让他深受启发,因为过多的模型选项不仅会困惑用户,也会给自己的团队带来巨大的维护负担,拖慢迭代速度,正应了《孙子兵法》中的“备多则力寡”。
最终,团队决定将多个模型统一为一个。这一决策背后有两个核心逻辑:第一,所有模型本质上都是在描述同一个物理世界,它们应该能共享一个统一的内部表示(internal representation);第二,基座模型(Foundation Model)的核心理念就是“海纳百川”,将不同来源、不同任务的数据整合在一起训练,可以突破单一模型的上限。因此,从技术原理和工程实践的双重角度出发,Cosmos最终走向了单一模型的道路。
话题推进: 本段详细解释了Cosmos从多模型到单模型的演进逻辑,为后续深入探讨Cosmos 3的具体技术细节和架构设计铺平了道路。
01:30:00–01:40:00 连续对话 1001:30:00–01:40:00 从GAN到Diffusion:一次关键的技术路线转向你提到从GAN转向Diffusion,这大概是哪一年? 面对计算范式的几次变化(传统方法、GAN、Diffusion),作为研究员是什么心态?会不会觉得之前的工作白做了? 你多次提到实习生,在AI Lab里通过实习生涌现想法是否常见?你怎么看待年轻人? 嘉宾刘洺堉回顾了他在研究生涯中的一次关键技术路线转变。他提到,在与实习生Jeremy合作的时期,他们发表了一系列论文,试图让GAN的训练过程更稳定,但多年的努力最终得出的结论是GAN不具备可扩展性(not scalable)。
大约在2021年,刘洺堉的团队注意到了Diffusion模型。他认为Diffusion模型在训练时非常稳定,相比之下,GAN难以扩展,而“不Scalable的东西最后做不远”。因此,他做出了一个艰难的决定:让整个为研究GAN而建立的团队转向Diffusion模型。他解释说,当时他并未早期接触2017年就已出现的Transformer,因为他一直专注于GAN,而早期的GAN主要使用卷积网络(Convolutional Network)。直到后来Diffusion与Transformer结合,做Diffusion的研究者才逐渐转向Transformer架构。
团队转向后,研究路径从图像生成(Image Generation)开始,逐步扩展到多视角图像(Multi-view Image),再到3D生成(3D Generation),最终形成了一系列名为“Edify”的成果,包括Edify Image Generator、Edify 3D和Edify Video。
主持人追问,面对这种从GAN到Diffusion的技术范式转变,是否会觉得以往的工作白费了。刘洺堉否定了这种看法,他引用黄仁勋的话“suffering, little goodness”,认为这些经历让他越来越能掌握事物的本质。他将科研比作寻找描述世界运作的最简单方式,而技术方法的演进正是将事情变得越来越简单的过程,就像他后来的项目Cosmos从多个模型最终统一成一个模型一样。他强调,在当时的技术条件、算力和数据下,过去的研究是合理的,并且那些经验对现在的理解仍有很大帮助。
主持人接着问及实习生在研究中的作用。刘洺堉将研究的繁荣比作思想的快速流动,认为实习生带来了思想的多样性(diversity)。如果只与同事交流,思想来源会比较单一。通过与来自不同背景、充满想法的实习生合作,可以实现教学相长,这对双方的成长都至关重要。
话题推进: 在讨论完技术路线的转变和研究方法后,主持人将话题转向了刘洺堉的职业发展,询问他为何在2016年选择加入英伟达。
01:30:00–01:40:00 加入英伟达:追逐算力的职业选择你16年加入英伟达,这个职业变化是怎么发生的? 你在三菱电机时就和英伟达的人有论文合作吗? 加入英伟达做研究,真的像预期的那样有很多GPU吗? 在英伟达这样的公司,要如何获得更多的GPU? 刘洺堉解释了他从三菱电机研究所(MERL)加入英伟达的原因。自从开始做深度学习后,他深信算力的重要性。然而,三菱电机并不重视算力,他需要频繁地向经理争取购买GPU的经费。促使他离职的直接原因是一位对他影响深远的导师(mentor)安佐指导的离开。这位导师离职加入苹果后,刘洺堉也开始考虑新的工作机会。
在与多家科技巨头(如谷歌、苹果、亚马逊、Meta)接触后,英伟达的招聘人员找到了他。他意识到,既然自己如此渴望GPU,为何不直接加入生产GPU的公司?这个决定在当时并未得到父亲的理解,因为那时英伟达的知名度远不如苹果或谷歌。但刘洺堉坚持自己的判断:GPU是最重要的。他当时研究的自监督学习(self-supervised approach)降低了对数据标注的需求,使得算力成为更关键的瓶颈。
主持人提到刘洺堉在三菱电机时似乎就与英伟达有合作,他澄清这并非事实。论文上同时出现两家公司的作者,是因为研究周期长,有些在三菱电机启动的项目,在他加入英伟达后继续优化并发表,并非公司间的直接合作。他当时甚至不知道英伟达有研究机构,面试后才了解到。他加入时,英伟达研究院规模很小,不到100人,且大部分人从事图形学(graphics)而非AI研究。
主持人追问在英伟达是否能获得充足的GPU。刘洺堉笑称“世界上没有任何一个地方GPU是够的”。但他承认自己是幸运的,作为公司内部最早用大量GPU做生成式模型的研究员之一,他早期做出了一些高关注度的工作,获得了公司和黄仁勋的信任,从而能获取较多GPU资源,但即便如此,他还是会觉得“自己的总是不够”。
关于如何在公司内部获得更多GPU,刘洺堉分享了他的心得:首先,必须理解公司需要解决的问题;其次,要能清晰地向领导层解释你的研究为何对公司有重要影响。他指出,研究员通常有很高的自尊心(high ego),但公司的本质是为股东盈利。他学到的是,要将自己坚信对世界重要的研究,转化为能让不懂AI的领导也理解其商业价值的论述。这成为他职业生涯中的一个重大转变。
话题推进: 在谈到如何向公司领导解释研究价值后,主持人追问这一转变的具体发生过程,引出了刘洺堉对企业研究周期和“研究即产品”理念的深入思考。
01:30:00–01:40:00 从“击败对手”到“生态整合”:模型竞争的终局思考你之前提到的第二个重要转变时刻,具体是在哪个项目发生的? 你的研究理念似乎是“研究即产品”,这和之前的经历有关吗? 你认为模型能力最终会趋同,但前沿实验室(Frontier Lab)认为智能还能高速提升,你不认可他们的观点吗? 如果模型能力趋同,大家接下来竞争的是什么?大公司和创业公司分别如何竞争? 主持人追问刘洺堉“学会向领导解释研究重要性”这一转变的具体契机。刘洺堉表示这是一个渐进过程,但他在三菱电机研究院(MERL)的经历影响深远。他回顾道,MERL在90年代曾是能与微软研究院媲美的顶尖研究机构,吸引了众多著名学者。但后来公司战略转向,开始质疑“蓝天研究”(Blue Sky Research)的价值,导致经费缩减,大量顶尖学者流失。这让他很早就意识到企业研究机构存在周期性:繁荣期给予研究高度自由,但收缩期则会裁撤与公司短期利益不相关的项目。这段经历让他进入英伟达后,格外注重将自己的研究与公司战略对齐,并花心思向决策层沟通其价值,尤其是在深度学习这种高成本的研究领域。
主持人指出,刘洺堉的许多研究,如GauGAN (SPADE算法),都转化为了产品。刘洺堉对此做了修正,他认为GauGAN不能算是一个完整的产品,并分享了一个更重要的感悟:AI模型本身无法改变一切,最终会趋于同质化。他观察到,各大公司的顶尖模型(如Anthropic、GPT、Gemini)在性能上交替领先,差距逐渐缩小。因此,他很早就意识到,单纯依赖模型本身是不够的,关键在于与公司的生态系统(ecosystem)整合。他以谷歌的Gemini为例,其优势在于能与Google Docs、Search、Mail等庞大产品矩阵结合,形成飞轮效应:越多人使用,反馈越多,模型改进越快,从而获得更多投资。
基于此,他的研究心态也从早期追求在基准测试(benchmark)上“击败”对手,转变为思考如何“帮助这个领域变得更好”。他认为,历史证明,没有任何一家公司能永久垄断技术,人才和知识总会流动和扩散,AI也不例外。他不认为会出现某家公司遥遥领先,让其他所有公司都无法追赶的局面。
当被问及模型能力趋同后的竞争焦点时,刘洺堉明确指出是“整合”——与自身产品和生态的整合。对于大公司而言,这是核心竞争力。对于创业公司,机会在于解决大公司因规模太小(如年收入小于10亿美元)而不愿涉足的问题。他引用《创新者的窘境》的理论,指出创业公司可以在不被看好的领域中发现机会并逐渐壮大,英伟达自身就是这样成长起来的。因此,他认为创业者不应直接与OpenAI等巨头在同一维度竞争,因为资金和客户基础都处于劣势。
话题推进: 在讨论了创业公司应寻找差异化定位后,话题自然地转向了具体的案例,如Anthropic如何通过专注Coding实现突围,并引申到当前AI领域的同质化竞争现象。
01:30:00–01:40:00 从研究员到VP:在英伟达的晋升之路与管理哲学从研究员到英伟达VP,这常见吗?为什么是你? 从研究员到管理者,解的题有什么不一样? 成为管理者是否会抑制研究员的天性?你如何平衡? 过去20年,对你影响最大的人是谁? StyleGAN的作者对你有什么影响? 主持人询问刘洺堉从研究员到副总裁(VP)的职业路径在英伟达是否常见,他回答自己“可能是第一个”。他将自己的快速晋升归因于几个因素:首先,他在公司AI人才稀缺的早期就加入了,帮助公司提升了AI研究的知名度;其次,他非常注重研究的落地和与公司战略的对齐,通过一步步将项目成功执行,逐渐赢得了公司的信任。这种信任让他得以负责规模越来越大的项目,例如现在领导的Cosmos项目,每天涉及数百万美元的计算和存储成本。
主持人探讨了研究员与管理者角色的内在冲突。刘洺堉承认,研究员天生追求创新、认可,且自尊心强(high ego),这有时与公司的需求不完全一致。在成为管理者的过程中,他最担心的是与底层技术脱节,不理解问题的核心。为了避免这种情况,他强迫自己持续参与技术细节,包括审查代码(review code)、阅读论文、与团队成员就想法进行辩论。他认为自己是公司里少数还在看代码的VP,他这样做并非要成为最好的执行者,而是为了保持对一线痛点的理解,从而能看清每个人的贡献,帮助团队成长。
回顾过去20年的职业生涯,刘洺堉提到了几位对他影响深远的人:
1. 博士导师“老马”:教会他沟通的艺术和对人的尊重。
2. 实习时的第一位导师:手把手教他机器学习知识。
3. 英伟达的同事,StyleGAN的作者:这位同事对研究的极致追求给他留下了深刻印象。在许多研究员追求论文数量的时期,他每年只专注打磨一篇论文,将所有精力投入一个想法,深挖问题本质,最终做出重大贡献。刘洺堉从他身上学到了“保持专注”(stay focus)的重要性。
当被问及黄仁勋(老黄)的影响时,刘洺堉表示影响巨大,并由此展开了对黄仁勋工作风格的详细描述。
话题推进: 在列举了对自己有重要影响的人物后,刘洺堉开始详细分享他从CEO黄仁勋身上学到的决策方式和工作哲学。
01:30:00–01:40:00 向黄仁勋学习:决策、自律与中国功夫老黄对你有什么影响? 他不懂一个领域为什么敢投入? 老黄会把什么事情排除在他的计算范围之外? 你是怎么保持精力的? 刘洺堉分享了CEO黄仁勋(老黄)对他产生的巨大影响。他形容黄仁勋是一个工作极其认真、热衷学习的人。在刘洺堉加入英伟达的早期,黄仁勋会经常发论文给他,让他阅读并做总结。他指出,黄仁勋并非生来就懂计算机图形学或深度学习,但他敢于投入,并通过强大的学习能力掌握这些领域。
黄仁勋的决策方式基于“第一性原理”(First Principle),即理清事物本质,不受外界信号干扰,做出最合理的长期决策。这使得他能在早期就果断投入深度学习和CUDA,为公司建立了巨大的领先优势。刘洺堉坦言,在认识黄仁勋之前,自己的决策多偏向短期,从他身上学到了如何做长期决策并坚持下去。
黄仁勋处理海量信息和做决策的方式也让刘洺堉印象深刻。黄仁勋每天阅读大量邮件,强迫自己快速判断事情的优先级(prioritization)。刘洺堉推测,这种日复一日的练习,让他能看得非常清楚。在决策执行时,黄仁勋极为理性,不受个人情感影响,唯一的目标是“照顾好整个公司”(take care of the whole company)。从黄仁勋身上,刘洺堉学会了如何进行高强度的“上下文切换”(context switch),从过去同时处理两三个主题就感到疲惫,到现在可以每半小时切换一个新主题。他将此与计算机科学中“懒惰”的原则类比:只计算必要的东西。学会判断什么不重要并将其移除,能极大提升人生效率。
当被问及如何保持精力时,刘洺堉分享了他的个人习惯:练习中国功夫。他从18岁起师从著名武术家徐纪(神枪李书文一脉),练习八极拳、劈挂掌等。他解释说,练习武术并非为了打斗,而是源于金庸小说的影响,并逐渐演变成一种对自我的磨练。武术的核心在于“控制自己”,通过不断练习,实现全身力量的协调与传导。这种对自我的检讨和追求,与他的研究哲学相通。最近,他还养成了“冰水浴”(Ice Plunge)的新习惯,在清晨练完拳后跳入冰桶,帮助身体修复,以应对每天高强度的工作挑战。
话题推进: 主持人将刘洺堉练习武术时追求“一击制胜”的理念,巧妙地与他当前最重要的项目Cosmos联系起来,引出了关于Cosmos和世界模型的深入讨论。
01:30:00–01:40:00 Cosmos的诞生:为物理AI打造“黑客帝国”你在个人主页上说要为机器人构建一个“黑客帝国”,请阐释一下这个愿景。 Cosmos项目是何时以及如何立项的? 为什么当时选择面向物理AI(Physical AI)这个市场? 大家对世界模型的定义不清晰,你的定义是什么? Cosmos这个词能描述你在做的事吗?还是应该用别的词? 主持人引出刘洺堉的个人愿景——为机器人构建一个“黑客帝国”(The Matrix for Robots),并询问其内涵。刘洺堉解释说,这指的是通过世界模型(World Model)来解决具身智能(Embodied Intelligence)的泛化(generalization)问题。他认为,所有AI的核心问题都是泛化,即模型在未见过的场景中表现良好。Cosmos项目旨在从三个方面帮助物理AI实现泛化:
1. 更好的数据:通过生成模型创造真实世界中难以采集到的“长尾数据”(long-tail data)。
2. 更好的起点:训练一个理解世界运作规律的强大世界模型,其本身优秀的表示(representation)可以作为下游各种物理AI模型的骨干网络(backbone),提供一个更好的初始化或基础。
3. 更好的环境:创造出像“黑客帝国”一样逼真的、可交互的虚拟环境。由于在真实世界中进行实验成本高昂且效率低下,通过大规模并行的虚拟环境,机器人可以快速试错和学习。
关于Cosmos的立项过程,刘洺堉透露,项目始于2024年3月,正是在OpenAI发布Sora之后。Sora的出现让英伟达内部做生成模型的团队达成了共识:必须要做自己的世界模型。他和同事们分别或共同给黄仁勋写邮件表达了这一想法,黄仁勋随后召集会议,具体讨论了执行方案和负责人。在会议上,黄仁勋要求大家为项目命名,刘洺堉虽然觉得黄仁勋心中早有答案,但还是参与了思考。最终定名“Cosmos”(宇宙),这个名字精准地反映了项目的定位:并非为了内容创作,而是为了解决物理世界的问题,服务于物理AI社区。
之所以选择物理AI作为方向,是因为当时已能预见到这将是下一个技术革命,它能解决劳动力短缺、人口老龄化等社会刚需。同时,这也符合英伟达服务开发者(developer market)的商业模式——赋能他人创造产品,而非自己直接做应用。
当被问及“世界模型”的定义时,刘洺堉认为这是一个像“AGI”一样难以形成共识的笼统术语。他从实用角度出发,认为世界模型的形态取决于其用途,例如:用于“预测”未来、用于“理解”因果、或用于“重建”三维世界。由于用途不同,模型的定义和形态也各异,因此强行给出一个统一定义可能并不重要。相比之下,“大语言模型”(LLM)的定义就明确得多。因此,他们将Cosmos定义为“基座模型”(Foundation Model),目标是提供一个底层基础,让其他公司能在此之上构建自己所需的、针对特定用途的世界模型,尤其是那些没有足够资源从零开始的公司。
话题推进: 在清晰地定义了Cosmos作为“基座模型”的定位后,主持人进一步询问英伟达如何看待与其他同样在做世界模型的公司(如Covariant.ai、李飞飞的实验室)之间的关系,引出了关于竞争与合作的讨论。
01:30:00–01:40:00 从22个模型到1个:Cosmos的演进与“少即是多”英伟达也投资了其他做世界模型的公司,你们和他们做的世界模型有何差异? 你们有竞争对手吗? 从Cosmos 1到Cosmos 3,你们积累了哪些know-how? 为什么从多个模型收敛到一个模型? 主持人问及英伟达与其他世界模型研究团队(如李飞飞的实验室、杨立昆的I-JEPA)的关系。刘洺堉强调,英伟达的定位是“赋能者”(enabler),希望帮助所有在英伟达生态系统(使用GPU、软件平台)上的公司取得成功,实现双赢。他认为,不同团队看到的切入点和想解决的问题各不相同,英伟达会投资并与他们合作。如果这些顶尖团队对Cosmos感兴趣,可以使用它;而对于那些资金和资源不如他们的公司,Cosmos则提供了更关键的帮助。他的目标是帮助整个领域成功,而非专注于竞争。
当被直接问及竞争对手时,刘洺堉表示,在做Cosmos项目时,他不去想竞争对手,而是思考如何帮助生态系统。他认为自己已经过了那个为了发论文而追求“算法比别人好”的阶段,现在的目标是共同推动领域发展。
接着,话题转向Cosmos项目自身的快速迭代。刘洺堉提到,从Cosmos 1到3的演进非常迅速,他深受DeepSeek一年迭代三次的启发,因此从一开始就强调快速迭代。项目初期(2024年),对于什么样的世界模型最有帮助,业界尚无定论。团队通过与合作伙伴沟通,明确了几个主要需求方向,如预测未来(prediction)、解释过去(reasoning)、以及提升仿真环境的真实感(sim-to-real transfer)。
最初,为了满足这些不同需求,他们开发了多个模型,比如用于预测的Predict模型、用于解释的Reason模型等。刘洺堉回忆,他曾向黄仁勋汇报,预计需要开发22个不同的模型。黄仁勋听后,先是称赞他工作努力,然后用路易威登(LV)的案例点拨他:LV减少专柜陈列的商品数量后,销售额反而提升了。这个“少即是多”的道理让他深受启发,因为过多的模型选项不仅会困惑用户,也会给自己的团队带来巨大的维护负担,拖慢迭代速度,正应了《孙子兵法》中的“备多则力寡”。
最终,团队决定将多个模型统一为一个。这一决策背后有两个核心逻辑:第一,所有模型本质上都是在描述同一个物理世界,它们应该能共享一个统一的内部表示(internal representation);第二,基座模型(Foundation Model)的核心理念就是“海纳百川”,将不同来源、不同任务的数据整合在一起训练,可以突破单一模型的上限。因此,从技术原理和工程实践的双重角度出发,Cosmos最终走向了单一模型的道路。
话题推进: 本段详细解释了Cosmos从多模型到单模型的演进逻辑,为后续深入探讨Cosmos 3的具体技术细节和架构设计铺平了道路。
01:40:00–01:50:00 连续对话 1101:40:00–01:50:00 从GAN到Diffusion:一次关键的技术路线转向你提到从GAN转向Diffusion,这大概是哪一年? 面对计算范式的几次变化(传统方法、GAN、Diffusion),作为研究员是什么心态?会不会觉得之前的工作白做了? 你多次提到实习生,在AI Lab里通过实习生涌现想法是否常见?你怎么看待年轻人? 嘉宾刘洺堉回顾了他在研究生涯中的一次关键技术路线转变。他提到,在与实习生Jeremy合作的时期,他们发表了一系列论文,试图让GAN的训练过程更稳定,但多年的努力最终得出的结论是GAN不具备可扩展性(not scalable)。
大约在2021年,刘洺堉的团队注意到了Diffusion模型。他认为Diffusion模型在训练时非常稳定,相比之下,GAN难以扩展,而“不Scalable的东西最后做不远”。因此,他做出了一个艰难的决定:让整个为研究GAN而建立的团队转向Diffusion模型。他解释说,当时他并未早期接触2017年就已出现的Transformer,因为他一直专注于GAN,而早期的GAN主要使用卷积网络(Convolutional Network)。直到后来Diffusion与Transformer结合,做Diffusion的研究者才逐渐转向Transformer架构。
团队转向后,研究路径从图像生成(Image Generation)开始,逐步扩展到多视角图像(Multi-view Image),再到3D生成(3D Generation),最终形成了一系列名为“Edify”的成果,包括Edify Image Generator、Edify 3D和Edify Video。
主持人追问,面对这种从GAN到Diffusion的技术范式转变,是否会觉得以往的工作白费了。刘洺堉否定了这种看法,他引用黄仁勋的话“suffering, little goodness”,认为这些经历让他越来越能掌握事物的本质。他将科研比作寻找描述世界运作的最简单方式,而技术方法的演进正是将事情变得越来越简单的过程,就像他后来的项目Cosmos从多个模型最终统一成一个模型一样。他强调,在当时的技术条件、算力和数据下,过去的研究是合理的,并且那些经验对现在的理解仍有很大帮助。
主持人接着问及实习生在研究中的作用。刘洺堉将研究的繁荣比作思想的快速流动,认为实习生带来了思想的多样性(diversity)。如果只与同事交流,思想来源会比较单一。通过与来自不同背景、充满想法的实习生合作,可以实现教学相长,这对双方的成长都至关重要。
话题推进: 在讨论完技术路线的转变和研究方法后,主持人将话题转向了刘洺堉的职业发展,询问他为何在2016年选择加入英伟达。
01:40:00–01:50:00 加入英伟达:追逐算力的职业选择你16年加入英伟达,这个职业变化是怎么发生的? 你在三菱电机时就和英伟达的人有论文合作吗? 加入英伟达做研究,真的像预期的那样有很多GPU吗? 在英伟达这样的公司,要如何获得更多的GPU? 刘洺堉解释了他从三菱电机研究所(MERL)加入英伟达的原因。自从开始做深度学习后,他深信算力的重要性。然而,三菱电机并不重视算力,他需要频繁地向经理争取购买GPU的经费。促使他离职的直接原因是一位对他影响深远的导师(mentor)安佐指导的离开。这位导师离职加入苹果后,刘洺堉也开始考虑新的工作机会。
在与多家科技巨头(如谷歌、苹果、亚马逊、Meta)接触后,英伟达的招聘人员找到了他。他意识到,既然自己如此渴望GPU,为何不直接加入生产GPU的公司?这个决定在当时并未得到父亲的理解,因为那时英伟达的知名度远不如苹果或谷歌。但刘洺堉坚持自己的判断:GPU是最重要的。他当时研究的自监督学习(self-supervised approach)降低了对数据标注的需求,使得算力成为更关键的瓶颈。
主持人提到刘洺堉在三菱电机时似乎就与英伟达有合作,他澄清这并非事实。论文上同时出现两家公司的作者,是因为研究周期长,有些在三菱电机启动的项目,在他加入英伟达后继续优化并发表,并非公司间的直接合作。他当时甚至不知道英伟达有研究机构,面试后才了解到。他加入时,英伟达研究院规模很小,不到100人,且大部分人从事图形学(graphics)而非AI研究。
主持人追问在英伟达是否能获得充足的GPU。刘洺堉笑称“世界上没有任何一个地方GPU是够的”。但他承认自己是幸运的,作为公司内部最早用大量GPU做生成式模型的研究员之一,他早期做出了一些高关注度的工作,获得了公司和黄仁勋的信任,从而能获取较多GPU资源,但即便如此,他还是会觉得“自己的总是不够”。
关于如何在公司内部获得更多GPU,刘洺堉分享了他的心得:首先,必须理解公司需要解决的问题;其次,要能清晰地向领导层解释你的研究为何对公司有重要影响。他指出,研究员通常有很高的自尊心(high ego),但公司的本质是为股东盈利。他学到的是,要将自己坚信对世界重要的研究,转化为能让不懂AI的领导也理解其商业价值的论述。这成为他职业生涯中的一个重大转变。
话题推进: 在谈到如何向公司领导解释研究价值后,主持人追问这一转变的具体发生过程,引出了刘洺堉对企业研究周期和“研究即产品”理念的深入思考。
01:40:00–01:50:00 从“击败对手”到“生态整合”:模型竞争的终局思考你之前提到的第二个重要转变时刻,具体是在哪个项目发生的? 你的研究理念似乎是“研究即产品”,这和之前的经历有关吗? 你认为模型能力最终会趋同,但前沿实验室(Frontier Lab)认为智能还能高速提升,你不认可他们的观点吗? 如果模型能力趋同,大家接下来竞争的是什么?大公司和创业公司分别如何竞争? 主持人追问刘洺堉“学会向领导解释研究重要性”这一转变的具体契机。刘洺堉表示这是一个渐进过程,但他在三菱电机研究院(MERL)的经历影响深远。他回顾道,MERL在90年代曾是能与微软研究院媲美的顶尖研究机构,吸引了众多著名学者。但后来公司战略转向,开始质疑“蓝天研究”(Blue Sky Research)的价值,导致经费缩减,大量顶尖学者流失。这让他很早就意识到企业研究机构存在周期性:繁荣期给予研究高度自由,但收缩期则会裁撤与公司短期利益不相关的项目。这段经历让他进入英伟达后,格外注重将自己的研究与公司战略对齐,并花心思向决策层沟通其价值,尤其是在深度学习这种高成本的研究领域。
主持人指出,刘洺堉的许多研究,如GauGAN (SPADE算法),都转化为了产品。刘洺堉对此做了修正,他认为GauGAN不能算是一个完整的产品,并分享了一个更重要的感悟:AI模型本身无法改变一切,最终会趋于同质化。他观察到,各大公司的顶尖模型(如Anthropic、GPT、Gemini)在性能上交替领先,差距逐渐缩小。因此,他很早就意识到,单纯依赖模型本身是不够的,关键在于与公司的生态系统(ecosystem)整合。他以谷歌的Gemini为例,其优势在于能与Google Docs、Search、Mail等庞大产品矩阵结合,形成飞轮效应:越多人使用,反馈越多,模型改进越快,从而获得更多投资。
基于此,他的研究心态也从早期追求在基准测试(benchmark)上“击败”对手,转变为思考如何“帮助这个领域变得更好”。他认为,历史证明,没有任何一家公司能永久垄断技术,人才和知识总会流动和扩散,AI也不例外。他不认为会出现某家公司遥遥领先,让其他所有公司都无法追赶的局面。
当被问及模型能力趋同后的竞争焦点时,刘洺堉明确指出是“整合”——与自身产品和生态的整合。对于大公司而言,这是核心竞争力。对于创业公司,机会在于解决大公司因规模太小(如年收入小于10亿美元)而不愿涉足的问题。他引用《创新者的窘境》的理论,指出创业公司可以在不被看好的领域中发现机会并逐渐壮大,英伟达自身就是这样成长起来的。因此,他认为创业者不应直接与OpenAI等巨头在同一维度竞争,因为资金和客户基础都处于劣势。
话题推进: 在讨论了创业公司应寻找差异化定位后,话题自然地转向了具体的案例,如Anthropic如何通过专注Coding实现突围,并引申到当前AI领域的同质化竞争现象。
01:40:00–01:50:00 从研究员到VP:在英伟达的晋升之路与管理哲学从研究员到英伟达VP,这常见吗?为什么是你? 从研究员到管理者,解的题有什么不一样? 成为管理者是否会抑制研究员的天性?你如何平衡? 过去20年,对你影响最大的人是谁? StyleGAN的作者对你有什么影响? 主持人询问刘洺堉从研究员到副总裁(VP)的职业路径在英伟达是否常见,他回答自己“可能是第一个”。他将自己的快速晋升归因于几个因素:首先,他在公司AI人才稀缺的早期就加入了,帮助公司提升了AI研究的知名度;其次,他非常注重研究的落地和与公司战略的对齐,通过一步步将项目成功执行,逐渐赢得了公司的信任。这种信任让他得以负责规模越来越大的项目,例如现在领导的Cosmos项目,每天涉及数百万美元的计算和存储成本。
主持人探讨了研究员与管理者角色的内在冲突。刘洺堉承认,研究员天生追求创新、认可,且自尊心强(high ego),这有时与公司的需求不完全一致。在成为管理者的过程中,他最担心的是与底层技术脱节,不理解问题的核心。为了避免这种情况,他强迫自己持续参与技术细节,包括审查代码(review code)、阅读论文、与团队成员就想法进行辩论。他认为自己是公司里少数还在看代码的VP,他这样做并非要成为最好的执行者,而是为了保持对一线痛点的理解,从而能看清每个人的贡献,帮助团队成长。
回顾过去20年的职业生涯,刘洺堉提到了几位对他影响深远的人:
1. 博士导师“老马”:教会他沟通的艺术和对人的尊重。
2. 实习时的第一位导师:手把手教他机器学习知识。
3. 英伟达的同事,StyleGAN的作者:这位同事对研究的极致追求给他留下了深刻印象。在许多研究员追求论文数量的时期,他每年只专注打磨一篇论文,将所有精力投入一个想法,深挖问题本质,最终做出重大贡献。刘洺堉从他身上学到了“保持专注”(stay focus)的重要性。
当被问及黄仁勋(老黄)的影响时,刘洺堉表示影响巨大,并由此展开了对黄仁勋工作风格的详细描述。
话题推进: 在列举了对自己有重要影响的人物后,刘洺堉开始详细分享他从CEO黄仁勋身上学到的决策方式和工作哲学。
01:40:00–01:50:00 向黄仁勋学习:决策、自律与中国功夫老黄对你有什么影响? 他不懂一个领域为什么敢投入? 老黄会把什么事情排除在他的计算范围之外? 你是怎么保持精力的? 刘洺堉分享了CEO黄仁勋(老黄)对他产生的巨大影响。他形容黄仁勋是一个工作极其认真、热衷学习的人。在刘洺堉加入英伟达的早期,黄仁勋会经常发论文给他,让他阅读并做总结。他指出,黄仁勋并非生来就懂计算机图形学或深度学习,但他敢于投入,并通过强大的学习能力掌握这些领域。
黄仁勋的决策方式基于“第一性原理”(First Principle),即理清事物本质,不受外界信号干扰,做出最合理的长期决策。这使得他能在早期就果断投入深度学习和CUDA,为公司建立了巨大的领先优势。刘洺堉坦言,在认识黄仁勋之前,自己的决策多偏向短期,从他身上学到了如何做长期决策并坚持下去。
黄仁勋处理海量信息和做决策的方式也让刘洺堉印象深刻。黄仁勋每天阅读大量邮件,强迫自己快速判断事情的优先级(prioritization)。刘洺堉推测,这种日复一日的练习,让他能看得非常清楚。在决策执行时,黄仁勋极为理性,不受个人情感影响,唯一的目标是“照顾好整个公司”(take care of the whole company)。从黄仁勋身上,刘洺堉学会了如何进行高强度的“上下文切换”(context switch),从过去同时处理两三个主题就感到疲惫,到现在可以每半小时切换一个新主题。他将此与计算机科学中“懒惰”的原则类比:只计算必要的东西。学会判断什么不重要并将其移除,能极大提升人生效率。
当被问及如何保持精力时,刘洺堉分享了他的个人习惯:练习中国功夫。他从18岁起师从著名武术家徐纪(神枪李书文一脉),练习八极拳、劈挂掌等。他解释说,练习武术并非为了打斗,而是源于金庸小说的影响,并逐渐演变成一种对自我的磨练。武术的核心在于“控制自己”,通过不断练习,实现全身力量的协调与传导。这种对自我的检讨和追求,与他的研究哲学相通。最近,他还养成了“冰水浴”(Ice Plunge)的新习惯,在清晨练完拳后跳入冰桶,帮助身体修复,以应对每天高强度的工作挑战。
话题推进: 主持人将刘洺堉练习武术时追求“一击制胜”的理念,巧妙地与他当前最重要的项目Cosmos联系起来,引出了关于Cosmos和世界模型的深入讨论。
01:40:00–01:50:00 Cosmos的诞生:为物理AI打造“黑客帝国”你在个人主页上说要为机器人构建一个“黑客帝国”,请阐释一下这个愿景。 Cosmos项目是何时以及如何立项的? 为什么当时选择面向物理AI(Physical AI)这个市场? 大家对世界模型的定义不清晰,你的定义是什么? Cosmos这个词能描述你在做的事吗?还是应该用别的词? 主持人引出刘洺堉的个人愿景——为机器人构建一个“黑客帝国”(The Matrix for Robots),并询问其内涵。刘洺堉解释说,这指的是通过世界模型(World Model)来解决具身智能(Embodied Intelligence)的泛化(generalization)问题。他认为,所有AI的核心问题都是泛化,即模型在未见过的场景中表现良好。Cosmos项目旨在从三个方面帮助物理AI实现泛化:
1. 更好的数据:通过生成模型创造真实世界中难以采集到的“长尾数据”(long-tail data)。
2. 更好的起点:训练一个理解世界运作规律的强大世界模型,其本身优秀的表示(representation)可以作为下游各种物理AI模型的骨干网络(backbone),提供一个更好的初始化或基础。
3. 更好的环境:创造出像“黑客帝国”一样逼真的、可交互的虚拟环境。由于在真实世界中进行实验成本高昂且效率低下,通过大规模并行的虚拟环境,机器人可以快速试错和学习。
关于Cosmos的立项过程,刘洺堉透露,项目始于2024年3月,正是在OpenAI发布Sora之后。Sora的出现让英伟达内部做生成模型的团队达成了共识:必须要做自己的世界模型。他和同事们分别或共同给黄仁勋写邮件表达了这一想法,黄仁勋随后召集会议,具体讨论了执行方案和负责人。在会议上,黄仁勋要求大家为项目命名,刘洺堉虽然觉得黄仁勋心中早有答案,但还是参与了思考。最终定名“Cosmos”(宇宙),这个名字精准地反映了项目的定位:并非为了内容创作,而是为了解决物理世界的问题,服务于物理AI社区。
之所以选择物理AI作为方向,是因为当时已能预见到这将是下一个技术革命,它能解决劳动力短缺、人口老龄化等社会刚需。同时,这也符合英伟达服务开发者(developer market)的商业模式——赋能他人创造产品,而非自己直接做应用。
当被问及“世界模型”的定义时,刘洺堉认为这是一个像“AGI”一样难以形成共识的笼统术语。他从实用角度出发,认为世界模型的形态取决于其用途,例如:用于“预测”未来、用于“理解”因果、或用于“重建”三维世界。由于用途不同,模型的定义和形态也各异,因此强行给出一个统一定义可能并不重要。相比之下,“大语言模型”(LLM)的定义就明确得多。因此,他们将Cosmos定义为“基座模型”(Foundation Model),目标是提供一个底层基础,让其他公司能在此之上构建自己所需的、针对特定用途的世界模型,尤其是那些没有足够资源从零开始的公司。
话题推进: 在清晰地定义了Cosmos作为“基座模型”的定位后,主持人进一步询问英伟达如何看待与其他同样在做世界模型的公司(如Covariant.ai、李飞飞的实验室)之间的关系,引出了关于竞争与合作的讨论。
01:40:00–01:50:00 从22个模型到1个:Cosmos的演进与“少即是多”英伟达也投资了其他做世界模型的公司,你们和他们做的世界模型有何差异? 你们有竞争对手吗? 从Cosmos 1到Cosmos 3,你们积累了哪些know-how? 为什么从多个模型收敛到一个模型? 主持人问及英伟达与其他世界模型研究团队(如李飞飞的实验室、杨立昆的I-JEPA)的关系。刘洺堉强调,英伟达的定位是“赋能者”(enabler),希望帮助所有在英伟达生态系统(使用GPU、软件平台)上的公司取得成功,实现双赢。他认为,不同团队看到的切入点和想解决的问题各不相同,英伟达会投资并与他们合作。如果这些顶尖团队对Cosmos感兴趣,可以使用它;而对于那些资金和资源不如他们的公司,Cosmos则提供了更关键的帮助。他的目标是帮助整个领域成功,而非专注于竞争。
当被直接问及竞争对手时,刘洺堉表示,在做Cosmos项目时,他不去想竞争对手,而是思考如何帮助生态系统。他认为自己已经过了那个为了发论文而追求“算法比别人好”的阶段,现在的目标是共同推动领域发展。
接着,话题转向Cosmos项目自身的快速迭代。刘洺堉提到,从Cosmos 1到3的演进非常迅速,他深受DeepSeek一年迭代三次的启发,因此从一开始就强调快速迭代。项目初期(2024年),对于什么样的世界模型最有帮助,业界尚无定论。团队通过与合作伙伴沟通,明确了几个主要需求方向,如预测未来(prediction)、解释过去(reasoning)、以及提升仿真环境的真实感(sim-to-real transfer)。
最初,为了满足这些不同需求,他们开发了多个模型,比如用于预测的Predict模型、用于解释的Reason模型等。刘洺堉回忆,他曾向黄仁勋汇报,预计需要开发22个不同的模型。黄仁勋听后,先是称赞他工作努力,然后用路易威登(LV)的案例点拨他:LV减少专柜陈列的商品数量后,销售额反而提升了。这个“少即是多”的道理让他深受启发,因为过多的模型选项不仅会困惑用户,也会给自己的团队带来巨大的维护负担,拖慢迭代速度,正应了《孙子兵法》中的“备多则力寡”。
最终,团队决定将多个模型统一为一个。这一决策背后有两个核心逻辑:第一,所有模型本质上都是在描述同一个物理世界,它们应该能共享一个统一的内部表示(internal representation);第二,基座模型(Foundation Model)的核心理念就是“海纳百川”,将不同来源、不同任务的数据整合在一起训练,可以突破单一模型的上限。因此,从技术原理和工程实践的双重角度出发,Cosmos最终走向了单一模型的道路。
话题推进: 本段详细解释了Cosmos从多模型到单模型的演进逻辑,为后续深入探讨Cosmos 3的具体技术细节和架构设计铺平了道路。
01:50:00–02:00:00 连续对话 1201:50:00–02:00:00 Cosmos 2到3:从多个模型到统一模型,创新落在整合和工程验证为什么从Cosmos 2走向统一的Cosmos 3? 外界说‘技术大创新不多但工程验证很多’,这个评价准确吗? 为什么把模型、训练框架和部分数据都开放? 刘洺堉说,Cosmos 2阶段已在快速推进中意识到多个分散模型难以长期维持:它们实际上在描述同一事件,foundation model又可以吸收不同数据,合并后开发与使用更简单。因此Cosmos 3走向omni model,而不只是数据规模继续增加。
面对‘创新不多、细节工程验证很多’的评价,他没有把每个组件说成原创,而是强调把audio、video、action放到一起并做大做稳的难度。概念可以早已存在,能否真正训练、验证并解决问题是另一层贡献。他个人越来越重视实际impact,而不是只追求论文里的革命性标签。
开源的目的与此相连:模型、训练框架和部分数据尽量讲清楚,便于别人复用或做出类似模型。他说许多实验室走向闭源、论文保留关键环节,Cosmos希望走另一条路,帮助physical AI社区。这里既有技术生态选择,也有英伟达希望帮助使用者和基础设施生态成功的商业背景,不能将开源等同于没有利益诉求。
话题推进: 统一模型之后,下一问题是不同模态分别提供什么信息,以及双塔架构为何是现阶段的用户友好选择。
02:00:00–02:10:00 连续对话 1302:00:00–02:10:00 Language、Video/Audio、Action:物理AI为什么需要不同作用的信息为什么把language、video、audio和action放进同一个模型? 不同模态会互相污染还是互补? 双塔架构为什么不直接追求最优雅的统一? 刘洺堉把三种输入的作用分开:language带来人类知识并支持人与模型沟通,video/audio描述世界怎样变化,action让模型能够干预物理世界。物理AI的目标不是单纯聊天或Coding,因此action需要成为first-class citizen。把模态合在一起的理由不是‘信息越多越好’,而是它们描述同一个世界,可能互补。
他给出的互补例子包括:action model同时预测下一动作和动作后的observation,有助于训练收敛;声音可帮助判断接触时刻;详细语言描述可减少视频生成的一对多不确定性。是否互补仍要通过数据比例与严格实验验证,不能把模态相加自动当作能力相加。
双塔是现阶段的部署与定制权衡。离散理解塔和连续生成塔可以分别post-train:客户若要改变生成分布,不必连带破坏理解表示。完全统一可能更优雅,却会让某类数据变化影响另一部分能力。团队仍希望探索更简单的单塔,但是否成功要看后续实验和部署成本。
这也解释‘备多则力寡’:通用模型可追求广泛能力,具体应用却可能需要放弃无关指标。机器人是否需要解奥数或Coding并非核心问题,任务操作、可靠性、成本和下游可用性更重要。
话题推进: 统一模型的评估因此不能只看通用榜单,还要看不同physical builder能否把它变成有用的系统。
02:10:00–02:20:00 连续对话 1402:10:00–02:20:00 从Cosmos 2到3:走向统一模型与开源共享所以二到三其实是一个大的变化? 三做了多久? 一个中国做世界模型的创作者,他说他看Cosmo3论文看了一周,而且是每天看,里面有很多的细节。我觉得他们的观点是说就是觉得Cosmo3它在技术的大的创新上不多。但是它把很多的细节都工程验证出来了,你觉得他们这个评价准确吗? 嘉宾刘洺堉解释了Cosmos系列模型的演进历程。Cosmos 1旨在理解问题,Cosmos 2则在1的基础上提升了数据量并引入了新技术。然而,团队在开发Cosmos 2的过程中意识到,为不同模态(如视觉、声音、动作)分别构建模型的做法不可持续,因此决定转向开发一个统一的全模态模型(Omni model),即Cosmos 3。这一转变发生在2024年9月左右,10月正式开始执行,历时超过半年。
主持人转述了一位创业者的观点,认为Cosmos 3在技术上没有革命性创新,但工程细节做得非常扎实。刘洺堉回应称,评价一个模型不应只看其是否具有“革命性原创”,更应看它能否产生实际效果(impact)和解决问题。他以Transformer架构为例,指出虽然所有大语言模型都基于此,但正是细节的差异导致了性能的巨大不同。他强调,Cosmos 3是第一个将音频(audio)、视频(video)和动作(action)在如此大的规模上用Transformer架构融合在一起的模型,将概念转化为现实的正是这些工程细节。
刘洺堉进一步阐述了Cosmos 3选择开源的动机。他观察到许多实验室近年来趋向闭源,即使发表论文也隐藏关键环节。英伟达决定走相反的道路,尽可能清晰地公开技术细节,开源模型、训练框架及部分数据。其目标是保持透明,赋能整个Physical AI社区,希望其他研究者能利用这些资源做出类似或更好的模型,从而加速整个领域的进步。
话题推进: 对话自然地从Cosmos 3的开源策略,引向了其多模态融合的具体技术决策。
02:10:00–02:20:00 多模态融合:为何将语言、视觉和动作视为同等重要你们在这次为什么选择首先在输入层同时能够输入video, audio和action, 这是一个重要的决策吗? 你怎么看待他们(指杨植麟等研究者)这两种观念(语言中心 vs. 视觉中心),以及你把他们这些信号都训到一起的时候会出现问题吗?就互相的污染。 多模态融合到一起,这些模态是相互的还是相互制约的? 这里面有什么secret sauce吗?在互相benefit上。 主持人询问Cosmos 3为何要同时处理视频、音频和动作输入。刘洺堉确认这是一个重要决策,因为物理世界是多模态的。他解释,大模型研究主要有两条路径:一是将语言(language)作为核心,如聊天或编程模型;二是将视觉信号(video)作为核心。而英伟达认为,物理世界模型与数字世界模型的根本区别在于前者能改变世界状态,因此动作(action)也必须被当作“一等公民”(first-class citizen)。Cosmos 3的目标是成为物理AI的基础模型,因此必须融合这三种模态。
针对主持人提及其他研究者担心多模态融合会互相“污染”的观点,刘洺堉阐述了不同模态的独特作用:语言是人机沟通和知识传入的桥梁;视频和音频能更精准地捕捉物理世界的运作规律;而动作则赋予模型改变世界的能力。他强调,其目标并非追求通用人工智能(AGI),而是构建一个服务于物理AI的实用基础模型。对于这个明确的目标,三种模态缺一不可。他承认,如果目标是纯粹的数字智能(如编程),视觉信号可能构成干扰,反之亦然,这取决于最终想解决什么问题。
关于模态间的相互作用,刘洺堉表示,团队过去一年多的研究表明,不同模态可以互补。例如,预测动作发生后的视觉状态(video)有助于训练动作模型(action model);声音可以帮助更精准地生成视频(如碰撞声对应接触点);详尽的文字描述也能提升视频生成质量。Cosmos 3的设计理念正是基于这些发现,相信这些描述同一世界的信号融合后能相互促进。实现这种互补而非互斥的关键在于实验设计和数据比例的调整。他总结,做大模型没有“秘方”(secret sauce),而是依赖于严谨、扎实的假设、实验、验证和知识积累。
话题推进: 从多模态融合的理念,话题转向了Cosmos 3具体的“双塔”架构设计及其背后的考量。
02:10:00–02:20:00 双塔架构的权衡:在工程完美与用户易用性之间因为你们这次采取的是一个双塔的设计,一个塔在处理离散信息,一个塔在处理连续信息。为什么采取这个设计? 但是相对来说,离散的信号更好处理,把融合进了连续的变量之后,它的处理难度会变高,你们怎么合在一起并且能够把它scale上去呢? 直觉来看离散更容易还是连续更容易啊? 主持人问及Cosmos 3采用“双塔”架构的原因。刘洺堉解释,这是一个基于当前阶段的合理选择。一个塔(reasoning tower)处理离散信息,用于理解(understanding);另一个塔(generation tower)处理连续信息,用于生成(generation)。这种分离式设计主要出于用户易用性的考虑。许多用户需要对基础模型进行后训练(post-training),例如用自己的数据微调生成器。如果两个功能完全耦合在一个模型里,微调生成部分时,可能会因为数据分布的改变而损害模型的理解能力。
刘洺堉承认,双塔架构并非最“优雅”(elegant)的方案,因为它有人为划分的痕迹,而深度学习的理想是让数据自行决定结构。但他强调,现阶段这种设计更便于客户使用。同时,他也透露团队的下一步目标是走向更简洁的单塔架构。然而,在追求工程简约的同时,必须兼顾用户的易用性,因为英伟达的目标是“帮助大家赢”,而不是仅仅创造一个技术上完美的模型。机器人、自动驾驶等不同应用的相机位置、数量各不相同,模型需要支持定制化,双塔结构为此提供了便利。
当被问及离散与连续信号处理的难易时,刘洺堉表示各有优劣。离散信号的训练相对容易,而连续信号在推理(inference)时有其优势。他指出,最终模型的部署成本是关键考量,最适合部署的模型最容易成功。因此,未来的架构演进会综合考虑训练、推理、部署成本以及用户定制化需求等多个因素。
话题推进: 讨论完架构选择后,话题转向了全能模型与专用模型之间的取舍,以及Cosmos未来的发展方向。
02:10:00–02:20:00 “备多则力寡”:Physical AI模型不需要在所有维度上都最强有一个研究员问你,因为你现在是把所有的模态都训练到一个模型里去,那理论上就是它也可以coding做的很好,也可以让机器人能够运作,然后也能生成我们现在这种创作者的内容,那它有可能在就是单一维度,比如说coding上比cloud还要强吗? 这双塔之间会互相的提升吗? 除了可能会更简单,双塔有可能会变成一个塔,还会有什么在未来模型中可能带看到的一些变化? 比如说你们为这个(泛化)有哪些具体的优化呀? 也有研究员提出这个模型的语言渲染是不是可以把它的比重加得更大一些,因为他们还是认为LLM是提升智能的关键。你认可吗? 你现在有初步的答案没有,有没有一些直觉? 主持人转述研究员的提问:一个融合所有模态的“全能”模型,能否在单一维度(如编程)上超越专门模型?刘洺堉引用《孙子兵法》的“备多则力寡”来回应。他认为,模型训练时需要“博学多闻”,但在特定应用上,可能需要放弃一些不相关的功能以求达到最佳性能。策略的关键在于决定“可以放弃什么”。
关于Cosmos 3未来的演进,刘洺堉指出,团队非常关注如何帮助“physical builder”(物理世界应用的开发者),核心是提升模型的泛化能力。例如,让机器人看过一两次演示就能学会叠衣服,或读了说明书就会操作设备。未来的模型迭代会围绕提升这类泛化能力展开,可能涉及架构、训练目标或特定数据的调整。他将深度学习比作“中医”,是一个需要通过严格控制变量的实验来探索规律的“实验科学”。
对于是否应加大语言模型比重以提升智能的建议,刘洺堉表示认同更强的语言理解有助于生成任务,但他同时强调,Physical AI的应用场景与编程、聊天等数字智能场景截然不同。他反问:“你需要你的机器人会解奥数问题吗?”他认为,Physical AI更关注的是完成具体的物理操作。由于目标问题不同,最终的理想架构很可能与当前的Agent模型不一样。当被追问直觉时,他再次引用“备多则力寡”并回顾人类历史,认为针对不同任务的工具本就应该不同。
话题推进: 从模型的哲学思辨,话题转向了Cosmos项目在英伟达内部的战略定位和资源投入。
02:10:00–02:20:00 Cosmos的定位、评估与挑战Cosmos你们未来会投入多少卡和资源啊? 这会是Nvidia最重要的一个模型的项目吗? Physical AI在你们看来会是一个多大的市场? 因为世界模型现在缺乏有效的评估方法,你们有一些好的探索吗? 数据也是一个难点,你们这次怎么怎么做的? 在刚才说的那些现在的限制和局限之下, Nvidia有显著的一些优势吗? 这个模型让你非常满意的一点是什么,然后让你有点遗憾的可能是什么? 你有想过像老黄说的做到97代或是什麽样子吗? 关于资源投入,刘洺堉透露Cosmos项目已在使用“万”级别的GPU,并希望未来能有更多。在英伟达内部,模型项目主要分为两大类:一类是面向数字世界的Agent AI,由Nemo团队负责;另一类是面向物理世界的Physical AI,以Cosmos为核心基础模型。自动驾驶(阿玛的ference)和机器人([unintelligible])等项目都是在Cosmos之上针对特定领域进行的优化。他认为两类AI同等重要,只是当前Agent AI竞争更激烈,而Physical AI是“下一步”。
谈及世界模型的评估,刘洺堉介绍了三种方法:1. 标准数据集(benchmark);2. 模型对战(arena style);3. 与合作伙伴一起解决真实痛点。他强调,对于应用场景各异的Physical AI,第三种方法尤为重要。数据方面,Physical AI的数据收集是巨大难点。英伟达的策略是寻找共通点,主要聚焦两类数据:一是相对容易获取的导航(navigation)数据;二是操作(manipulation)数据。对于后者,团队观察到行业趋势是开发接近人手的机械臂,因为世界是为人手设计的,且人类是主要的数据收集者。因此,Cosmos 3特地加入了“第一人称视角”(Egocentric)的数据。
刘洺堉认为英伟达的优势在于:GPU计算成本低、在物理世界领域深耕多年(拥有芯片、模拟器等完整工具链),以及作为平台方“真心想帮助其他公司成功”的合作心态。他对Cosmos 3最满意之处在于,它成功地将过去所有独立模型整合为一,且性能超越了所有旧模型,并凝聚了整个团队。遗憾之处则是受时间限制,模型未能完全收敛,还有很多想做的改进没来得及实现,这些将留待未来的3.1、3.2版本。对于黄仁勋“做到Cosmos 97”的说法,他理解为公司将长期投入、坚定不移地把世界模型做好的决心,最终目标是创造一个可以随时模拟真实世界的“黑客帝国”(Matrix)。
刘洺堉 · 02:23:45
Physical AI的数据主要分两类:导航(navigation)和操作(manipulation)。由于人手是主要的数据来源且世界为人手设计,团队重点加入了第一人称视角(Egocentric)的数据。
话题推进: 从Cosmos项目的具体情况,话题转向了英伟达更宏观的组织管理哲学。
02:10:00–02:20:00 管理大型项目:在目标一致与自主决策间寻求平衡刚才你也提到就是Cosmos是一个非常大的团队。嗯,你觉得驱动这么大的一个团队一起工作,难点是什么? 怎么让两百多人都同时做决定啊,这个好难啊。 你设计了什么样的管理方法,让大家的信息能更透明,能更好的协作?有什么样的管理技巧? 注重沟通,不开例会这样的会议吗? 你说的矽谷现在大家说OpenAI的企业文化是自下而上,Anthropic是自上而下,你们属于哪一种? 主持人询问如何管理Cosmos项目近300人的庞大团队。刘洺堉指出,核心难题是在“目标一致”与“自主决策”之间找到平衡。如果只有少数人能做决定,项目进展会很缓慢;如果人人都能做决定但目标不一致,团队就会发散,甚至出现内部赛马。因此,关键是让大家目标一致,同时每个人又能自主决策。
为了实现这一点,刘洺堉在组织架构上花了大量心思,核心是“信息透明化”和“提供容错空间”。他会提前向团队清晰地描绘项目的最终愿景,就像罚球前想象篮球空心入网一样,让每个人在自己的岗位上能做出对整体有利的决定。他非常注重沟通,与各小组(如video组、understanding组)每周都会开两三次会,确保信息充分流动。他承认会议过多可能影响效率,但关键是让会议有参与感(engagement),在“一直开会”和“从不开会”之间找到动态平衡。
当被问及英伟达的管理模式是自上而下还是自下而上时,刘洺堉认为两者兼有。他引用“天下分久必合,合久必分”,表示任何单一模式走向极端都会出问题。正确的做法是根据不同时间点的具体情况,灵活选择对团队最有利的方式,而不是固守一种公式。
话题推进: 从项目管理,话题进一步深入到英伟达独特的公司文化,特别是其“不裁员”和“不赛马”的原则。
02:10:00–02:20:00 英伟达的生存哲学:不裁员、不赛马与长期主义你在过程中没有见证因为打哪些pain and suffering没有? 为什么Nvidia一直坚持不裁员啊?他真的没有裁过员工吗? 也没有末位淘汰对吧? 它的优缺点是什么呢? 组织效率怎么提升呢?这对你们来说是个问题吗? 听上去不裁员有很多好处,但是大部分公司都不是这么做的,对吧?这是为什么?然后以及老黄为什么从一开始就觉得不应该裁员? 那是不是意味着当新技术来的时候,Nvidia不会是最快的那个,但是它是依赖于你早十年或者早五年的提前布局。 你们也不赛马,对吗? 主持人问及英伟达经历的痛苦与磨难。刘洺堉提到,CEO黄仁勋常说“公司只有30天的现金流”,以此保持危机感。他举例,在疫情期间经济下行时,许多公司选择裁员,而英伟达的对策是削减差旅、评估是否停用Slack等工具来节省开销,力求保住员工。刘洺堉在英伟达的十年间,从未经历过裁员或末位淘汰。
他分析了这种“不裁员”文化的优缺点。优点是员工有安全感和认同感,敢于讲真话,也更容易团结合作,避免了因担心被淘汰而过度“抢出头”的内耗。缺点是,当技术转型时,培养现有员工学习新技能会比直接裁掉旧人、招聘新人要慢。但公司得到的是员工的信任和忠诚。他认为,组织效率的提升源于让员工做自己充满热情、有成就感且对公司有巨大利益的事。黄仁勋选择这种模式是深思熟虑的结果,旨在建立一种追求长久经营的独特企业文化。
这种文化也体现在“不赛马”的原则上。英伟达的模式是:确定一个任务(mission),信任并赋能一个团队去完成,通过不断给予考验和指导(coach you to greatness)来磨练团队,使其成长。这与公司“放长线钓大鱼”的长期主义战略一脉相承,正如CUDA项目提前布局十年终获成功一样。公司依赖的是远见和长期投资,而非内部竞争和短期反应速度。
话题推进: 本段结束。
02:20:00–02:30:00 连续对话 1502:20:00–02:30:00 Physical AI的评估与数据:共同基座如何接受不同下游任务的检验Cosmos是NVIDIA最重要的模型项目吗? 物理世界的数据和评估与Coding Agent有什么不同? 为什么强调第一人称人类操作数据? 刘洺堉把NVIDIA的模型方向分成digital Agent AI与physical AI,前者服务Coding、Chat和Agent,后者以Cosmos为共同基座,支持汽车、机器人、工厂等不同开发者。他说两类都重要,不能把Cosmos单列为唯一中心。
physical AI的评估尤其依赖场景:不同机器人形态、传感器、任务和部署条件使通用分数难以直接比较。团队需要与合作伙伴共同定义‘真正有用’,而不是只用Coding Agent的标准判断。数据也分为navigation与manipulation:位移和旋转较容易共享,具体操作更依赖手、工具和接触方式。
他由此解释第一人称人类操作数据的重要性:世界多数工具按人手设计,人也能提供操作示范。Cosmos目标不是直接制造某一台机器人,而是帮助不同builder,所以寻找较容易共享的结构。这里有嘉宾对数据路线的判断,不能推成第一人称视频天然包含机器人动作标签或已解决跨本体迁移。
他满意于统一模型优于过去独立模型和团队凝聚,也承认模型受时间限制未完全收敛,很多想法要留到3.1、3.2继续。这些是项目自述与后续计划,不能把‘还要改进’写成当前能力已经完成全部目标。
话题推进: 下游任务多样也带来组织问题:大团队如何统一目标,又让成员保留实际决策权。
02:30:00–02:40:00 连续对话 1602:30:00–02:40:00 管理大型模型团队:目标一致、信息透明与允许犯错几百人的项目怎样避免只有少数人决策? 怎样让不同方向的人目标一致而不变成赛马? 自下而上与自上而下如何取舍? 刘洺堉把大型Cosmos团队的组织难题说成两个条件必须同时成立:共同目标一致,每个人又能在自己的位置做实际决策。如果只有负责人能决定数据比例和架构,知识与时间都会成为瓶颈;如果人人决策却各自只优化video、action或understanding,项目会发散,甚至形成赛马。
他的做法是反复讲清共同愿景,让不同leader和成员知道最终模型大致要长什么样,再通过信息透明支持局部选择。开会很多,但他强调参与和投入,而不是会议数量本身;不同阶段的沟通密度需要调整。
允许错误是另一项条件:若成员害怕犯错,就不会做决定。组织需要让错误能被快速修正,而不是预先保证每个选择正确。他把自上而下和自下而上都看作会走向极端的方式,实际管理随任务与时间变化,不把英伟达概括成一种固定组织口号。
话题推进: 组织中的容错与信任随后被延伸到公司层面的不裁员、不赛马与长期投入,也暴露了转型成本。
02:40:00–02:50:00 连续对话 1702:40:00–02:50:00 从Cosmos 2到3:走向统一模型与开源共享所以二到三其实是一个大的变化? 三做了多久? 一个中国做世界模型的创作者,他说他看Cosmo3论文看了一周,而且是每天看,里面有很多的细节。我觉得他们的观点是说就是觉得Cosmo3它在技术的大的创新上不多。但是它把很多的细节都工程验证出来了,你觉得他们这个评价准确吗? 嘉宾刘洺堉解释了Cosmos系列模型的演进历程。Cosmos 1旨在理解问题,Cosmos 2则在1的基础上提升了数据量并引入了新技术。然而,团队在开发Cosmos 2的过程中意识到,为不同模态(如视觉、声音、动作)分别构建模型的做法不可持续,因此决定转向开发一个统一的全模态模型(Omni model),即Cosmos 3。这一转变发生在2024年9月左右,10月正式开始执行,历时超过半年。
主持人转述了一位创业者的观点,认为Cosmos 3在技术上没有革命性创新,但工程细节做得非常扎实。刘洺堉回应称,评价一个模型不应只看其是否具有“革命性原创”,更应看它能否产生实际效果(impact)和解决问题。他以Transformer架构为例,指出虽然所有大语言模型都基于此,但正是细节的差异导致了性能的巨大不同。他强调,Cosmos 3是第一个将音频(audio)、视频(video)和动作(action)在如此大的规模上用Transformer架构融合在一起的模型,将概念转化为现实的正是这些工程细节。
刘洺堉进一步阐述了Cosmos 3选择开源的动机。他观察到许多实验室近年来趋向闭源,即使发表论文也隐藏关键环节。英伟达决定走相反的道路,尽可能清晰地公开技术细节,开源模型、训练框架及部分数据。其目标是保持透明,赋能整个Physical AI社区,希望其他研究者能利用这些资源做出类似或更好的模型,从而加速整个领域的进步。
话题推进: 对话自然地从Cosmos 3的开源策略,引向了其多模态融合的具体技术决策。
02:40:00–02:50:00 多模态融合:为何将语言、视觉和动作视为同等重要你们在这次为什么选择首先在输入层同时能够输入video, audio和action, 这是一个重要的决策吗? 你怎么看待他们(指杨植麟等研究者)这两种观念(语言中心 vs. 视觉中心),以及你把他们这些信号都训到一起的时候会出现问题吗?就互相的污染。 多模态融合到一起,这些模态是相互的还是相互制约的? 这里面有什么secret sauce吗?在互相benefit上。 主持人询问Cosmos 3为何要同时处理视频、音频和动作输入。刘洺堉确认这是一个重要决策,因为物理世界是多模态的。他解释,大模型研究主要有两条路径:一是将语言(language)作为核心,如聊天或编程模型;二是将视觉信号(video)作为核心。而英伟达认为,物理世界模型与数字世界模型的根本区别在于前者能改变世界状态,因此动作(action)也必须被当作“一等公民”(first-class citizen)。Cosmos 3的目标是成为物理AI的基础模型,因此必须融合这三种模态。
针对主持人提及其他研究者担心多模态融合会互相“污染”的观点,刘洺堉阐述了不同模态的独特作用:语言是人机沟通和知识传入的桥梁;视频和音频能更精准地捕捉物理世界的运作规律;而动作则赋予模型改变世界的能力。他强调,其目标并非追求通用人工智能(AGI),而是构建一个服务于物理AI的实用基础模型。对于这个明确的目标,三种模态缺一不可。他承认,如果目标是纯粹的数字智能(如编程),视觉信号可能构成干扰,反之亦然,这取决于最终想解决什么问题。
关于模态间的相互作用,刘洺堉表示,团队过去一年多的研究表明,不同模态可以互补。例如,预测动作发生后的视觉状态(video)有助于训练动作模型(action model);声音可以帮助更精准地生成视频(如碰撞声对应接触点);详尽的文字描述也能提升视频生成质量。Cosmos 3的设计理念正是基于这些发现,相信这些描述同一世界的信号融合后能相互促进。实现这种互补而非互斥的关键在于实验设计和数据比例的调整。他总结,做大模型没有“秘方”(secret sauce),而是依赖于严谨、扎实的假设、实验、验证和知识积累。
话题推进: 从多模态融合的理念,话题转向了Cosmos 3具体的“双塔”架构设计及其背后的考量。
02:40:00–02:50:00 双塔架构的权衡:在工程完美与用户易用性之间因为你们这次采取的是一个双塔的设计,一个塔在处理离散信息,一个塔在处理连续信息。为什么采取这个设计? 但是相对来说,离散的信号更好处理,把融合进了连续的变量之后,它的处理难度会变高,你们怎么合在一起并且能够把它scale上去呢? 直觉来看离散更容易还是连续更容易啊? 主持人问及Cosmos 3采用“双塔”架构的原因。刘洺堉解释,这是一个基于当前阶段的合理选择。一个塔(reasoning tower)处理离散信息,用于理解(understanding);另一个塔(generation tower)处理连续信息,用于生成(generation)。这种分离式设计主要出于用户易用性的考虑。许多用户需要对基础模型进行后训练(post-training),例如用自己的数据微调生成器。如果两个功能完全耦合在一个模型里,微调生成部分时,可能会因为数据分布的改变而损害模型的理解能力。
刘洺堉承认,双塔架构并非最“优雅”(elegant)的方案,因为它有人为划分的痕迹,而深度学习的理想是让数据自行决定结构。但他强调,现阶段这种设计更便于客户使用。同时,他也透露团队的下一步目标是走向更简洁的单塔架构。然而,在追求工程简约的同时,必须兼顾用户的易用性,因为英伟达的目标是“帮助大家赢”,而不是仅仅创造一个技术上完美的模型。机器人、自动驾驶等不同应用的相机位置、数量各不相同,模型需要支持定制化,双塔结构为此提供了便利。
当被问及离散与连续信号处理的难易时,刘洺堉表示各有优劣。离散信号的训练相对容易,而连续信号在推理(inference)时有其优势。他指出,最终模型的部署成本是关键考量,最适合部署的模型最容易成功。因此,未来的架构演进会综合考虑训练、推理、部署成本以及用户定制化需求等多个因素。
话题推进: 讨论完架构选择后,话题转向了全能模型与专用模型之间的取舍,以及Cosmos未来的发展方向。
02:40:00–02:50:00 “备多则力寡”:Physical AI模型不需要在所有维度上都最强有一个研究员问你,因为你现在是把所有的模态都训练到一个模型里去,那理论上就是它也可以coding做的很好,也可以让机器人能够运作,然后也能生成我们现在这种创作者的内容,那它有可能在就是单一维度,比如说coding上比cloud还要强吗? 这双塔之间会互相的提升吗? 除了可能会更简单,双塔有可能会变成一个塔,还会有什么在未来模型中可能带看到的一些变化? 比如说你们为这个(泛化)有哪些具体的优化呀? 也有研究员提出这个模型的语言渲染是不是可以把它的比重加得更大一些,因为他们还是认为LLM是提升智能的关键。你认可吗? 你现在有初步的答案没有,有没有一些直觉? 主持人转述研究员的提问:一个融合所有模态的“全能”模型,能否在单一维度(如编程)上超越专门模型?刘洺堉引用《孙子兵法》的“备多则力寡”来回应。他认为,模型训练时需要“博学多闻”,但在特定应用上,可能需要放弃一些不相关的功能以求达到最佳性能。策略的关键在于决定“可以放弃什么”。
关于Cosmos 3未来的演进,刘洺堉指出,团队非常关注如何帮助“physical builder”(物理世界应用的开发者),核心是提升模型的泛化能力。例如,让机器人看过一两次演示就能学会叠衣服,或读了说明书就会操作设备。未来的模型迭代会围绕提升这类泛化能力展开,可能涉及架构、训练目标或特定数据的调整。他将深度学习比作“中医”,是一个需要通过严格控制变量的实验来探索规律的“实验科学”。
对于是否应加大语言模型比重以提升智能的建议,刘洺堉表示认同更强的语言理解有助于生成任务,但他同时强调,Physical AI的应用场景与编程、聊天等数字智能场景截然不同。他反问:“你需要你的机器人会解奥数问题吗?”他认为,Physical AI更关注的是完成具体的物理操作。由于目标问题不同,最终的理想架构很可能与当前的Agent模型不一样。当被追问直觉时,他再次引用“备多则力寡”并回顾人类历史,认为针对不同任务的工具本就应该不同。
话题推进: 从模型的哲学思辨,话题转向了Cosmos项目在英伟达内部的战略定位和资源投入。
02:40:00–02:50:00 Cosmos的定位、评估与挑战Cosmos你们未来会投入多少卡和资源啊? 这会是Nvidia最重要的一个模型的项目吗? Physical AI在你们看来会是一个多大的市场? 因为世界模型现在缺乏有效的评估方法,你们有一些好的探索吗? 数据也是一个难点,你们这次怎么怎么做的? 在刚才说的那些现在的限制和局限之下, Nvidia有显著的一些优势吗? 这个模型让你非常满意的一点是什么,然后让你有点遗憾的可能是什么? 你有想过像老黄说的做到97代或是什麽样子吗? 关于资源投入,刘洺堉透露Cosmos项目已在使用“万”级别的GPU,并希望未来能有更多。在英伟达内部,模型项目主要分为两大类:一类是面向数字世界的Agent AI,由Nemo团队负责;另一类是面向物理世界的Physical AI,以Cosmos为核心基础模型。自动驾驶(阿玛的ference)和机器人([unintelligible])等项目都是在Cosmos之上针对特定领域进行的优化。他认为两类AI同等重要,只是当前Agent AI竞争更激烈,而Physical AI是“下一步”。
谈及世界模型的评估,刘洺堉介绍了三种方法:1. 标准数据集(benchmark);2. 模型对战(arena style);3. 与合作伙伴一起解决真实痛点。他强调,对于应用场景各异的Physical AI,第三种方法尤为重要。数据方面,Physical AI的数据收集是巨大难点。英伟达的策略是寻找共通点,主要聚焦两类数据:一是相对容易获取的导航(navigation)数据;二是操作(manipulation)数据。对于后者,团队观察到行业趋势是开发接近人手的机械臂,因为世界是为人手设计的,且人类是主要的数据收集者。因此,Cosmos 3特地加入了“第一人称视角”(Egocentric)的数据。
刘洺堉认为英伟达的优势在于:GPU计算成本低、在物理世界领域深耕多年(拥有芯片、模拟器等完整工具链),以及作为平台方“真心想帮助其他公司成功”的合作心态。他对Cosmos 3最满意之处在于,它成功地将过去所有独立模型整合为一,且性能超越了所有旧模型,并凝聚了整个团队。遗憾之处则是受时间限制,模型未能完全收敛,还有很多想做的改进没来得及实现,这些将留待未来的3.1、3.2版本。对于黄仁勋“做到Cosmos 97”的说法,他理解为公司将长期投入、坚定不移地把世界模型做好的决心,最终目标是创造一个可以随时模拟真实世界的“黑客帝国”(Matrix)。
刘洺堉 · 02:23:45
Physical AI的数据主要分两类:导航(navigation)和操作(manipulation)。由于人手是主要的数据来源且世界为人手设计,团队重点加入了第一人称视角(Egocentric)的数据。
话题推进: 从Cosmos项目的具体情况,话题转向了英伟达更宏观的组织管理哲学。
02:40:00–02:50:00 管理大型项目:在目标一致与自主决策间寻求平衡刚才你也提到就是Cosmos是一个非常大的团队。嗯,你觉得驱动这么大的一个团队一起工作,难点是什么? 怎么让两百多人都同时做决定啊,这个好难啊。 你设计了什么样的管理方法,让大家的信息能更透明,能更好的协作?有什么样的管理技巧? 注重沟通,不开例会这样的会议吗? 你说的矽谷现在大家说OpenAI的企业文化是自下而上,Anthropic是自上而下,你们属于哪一种? 主持人询问如何管理Cosmos项目近300人的庞大团队。刘洺堉指出,核心难题是在“目标一致”与“自主决策”之间找到平衡。如果只有少数人能做决定,项目进展会很缓慢;如果人人都能做决定但目标不一致,团队就会发散,甚至出现内部赛马。因此,关键是让大家目标一致,同时每个人又能自主决策。
为了实现这一点,刘洺堉在组织架构上花了大量心思,核心是“信息透明化”和“提供容错空间”。他会提前向团队清晰地描绘项目的最终愿景,就像罚球前想象篮球空心入网一样,让每个人在自己的岗位上能做出对整体有利的决定。他非常注重沟通,与各小组(如video组、understanding组)每周都会开两三次会,确保信息充分流动。他承认会议过多可能影响效率,但关键是让会议有参与感(engagement),在“一直开会”和“从不开会”之间找到动态平衡。
当被问及英伟达的管理模式是自上而下还是自下而上时,刘洺堉认为两者兼有。他引用“天下分久必合,合久必分”,表示任何单一模式走向极端都会出问题。正确的做法是根据不同时间点的具体情况,灵活选择对团队最有利的方式,而不是固守一种公式。
话题推进: 从项目管理,话题进一步深入到英伟达独特的公司文化,特别是其“不裁员”和“不赛马”的原则。
02:40:00–02:50:00 英伟达的生存哲学:不裁员、不赛马与长期主义你在过程中没有见证因为打哪些pain and suffering没有? 为什么Nvidia一直坚持不裁员啊?他真的没有裁过员工吗? 也没有末位淘汰对吧? 它的优缺点是什么呢? 组织效率怎么提升呢?这对你们来说是个问题吗? 听上去不裁员有很多好处,但是大部分公司都不是这么做的,对吧?这是为什么?然后以及老黄为什么从一开始就觉得不应该裁员? 那是不是意味着当新技术来的时候,Nvidia不会是最快的那个,但是它是依赖于你早十年或者早五年的提前布局。 你们也不赛马,对吗? 主持人问及英伟达经历的痛苦与磨难。刘洺堉提到,CEO黄仁勋常说“公司只有30天的现金流”,以此保持危机感。他举例,在疫情期间经济下行时,许多公司选择裁员,而英伟达的对策是削减差旅、评估是否停用Slack等工具来节省开销,力求保住员工。刘洺堉在英伟达的十年间,从未经历过裁员或末位淘汰。
他分析了这种“不裁员”文化的优缺点。优点是员工有安全感和认同感,敢于讲真话,也更容易团结合作,避免了因担心被淘汰而过度“抢出头”的内耗。缺点是,当技术转型时,培养现有员工学习新技能会比直接裁掉旧人、招聘新人要慢。但公司得到的是员工的信任和忠诚。他认为,组织效率的提升源于让员工做自己充满热情、有成就感且对公司有巨大利益的事。黄仁勋选择这种模式是深思熟虑的结果,旨在建立一种追求长久经营的独特企业文化。
这种文化也体现在“不赛马”的原则上。英伟达的模式是:确定一个任务(mission),信任并赋能一个团队去完成,通过不断给予考验和指导(coach you to greatness)来磨练团队,使其成长。这与公司“放长线钓大鱼”的长期主义战略一脉相承,正如CUDA项目提前布局十年终获成功一样。公司依赖的是远见和长期投资,而非内部竞争和短期反应速度。
话题推进: 本段结束。
02:50:00–03:00:00 连续对话 1802:50:00–03:00:00 不裁员与不赛马的另一面:信任、长期投入与转型成本公司在困难时期怎样节省开支? 不裁员与不赛马有什么优点和缺点? 怎样平衡长期布局与技术变化速度? 刘洺堉先以公司困难时期为例:减少差旅、讨论是否取消部分云服务和通信工具,而不是直接裁员。他说在自己任职期间未听到裁员消息,这属于个人经历,不能扩写为公司历史上从未发生任何形式的人员退出;他也明确提到绩效不满意或其他因素导致离开。
他认为不以末位淘汰推动竞争,能让员工更敢讲真话、减少彼此争功并促进合作。但主持人追问缺点时,他承认成熟技术变化后,员工需要时间学习和转型;直接换一批已具备新技能的人可能更快,内部培养会更慢。长期信任因此不是零成本管理选择。
公司偏好把任务交给成员并持续磨练,而不是多个团队赛马。它与长期投入相互支持:像CUDA那样提前布局,要求方向判断、耐心和资源承受力。这里的组织效率并非只靠热情,仍需要个人擅长、任务意义和公司利益对齐。
新版保留这组正反证据:安全感和合作可能增强知识共享,转型速度和技能更新则需要额外机制,不能把‘不裁员’写成普遍最优或没有绩效压力。
话题推进: 最后把长期布局与Physical AI的未来、开源生态和个人职业选择连接起来,区分已经发生的变化与嘉宾预测。
03:00:00–03:10:00 连续对话 1903:00:00–03:10:00 英伟达的管理哲学:Top 5、透明度与有机组织你的生活状态发生变化了吗?在这过去几年? 能不能从更一线的视角来讲一讲,就是Nvidia的一些不一样的管理方式? 嘉宾刘洺堉首先谈及自GPT兴起后,整个AI行业从业者都感受到巨大的压力和快速的迭代节奏,他称之为“pain and suffering”。当成果未达预期时,消耗的GPU资源和年轻人的时间都会带来无形的压力。主持人追问其生活状态的变化,刘洺堉表示自己变得更高效,通常凌晨四五点起床,利用早晨连续的时间运动,九、十点到公司后便投入密集的会议中。他晚上大约十点到十一点睡觉。
随后,主持人希望他从一线视角分享英伟达独特的管理方式。刘洺堉介绍了几个关键点:
1. Top 5 邮件机制:员工需要向许多人汇报自己最重要的五件事。刘洺堉认为,这个机制能让员工清晰地了解公司内各种大小信号,并能自然地发现不同团队间是否存在重复工作,从而促进信息透明。
2. 信息透明:与苹果等公司可能采取的保密文化相反,英伟达追求信息透明,这是一种独特的管理考量。
3. “Mission is the boss”:刘洺堉形容英伟达像一个没有强硬框架的“有机体”。当公司确定一个战略方向时,不同组织中具备相关技能的团队会自动对齐(align),共同向目标前进,形成一个新的合力。员工的归属部门不重要,重要的是能否为当前的任务(mission)做出贡献。主持人总结为“任务是你的老板,而不是你的直属老板是你的老板”。
4. 不裁员与信任文化:公司不轻易裁员,而是强调员工转型和企业文化,以此建立员工对公司的信任,促进彼此合作。刘洺堉认为,这几点共同构成了英伟达独特的、充满活力的组织形态。
话题推进: 在讨论了英伟达独特的组织文化后,主持人进一步提问,关于团队协作中人才水平与合作氛围哪个更重要,引出了关于个人竞争心态转变的话题。
03:00:00–03:10:00 从“击败对手”到“创造价值”:受黄仁勋影响的竞争观转变一群S级的人一起工作和一群A plus或者A级的人一起工作,哪个可能取得的成功更大呀,你觉得? 你看你今天说了很多,你没有竞争对手……这种low ego的状态是在英伟达发生的变化吗?这真的是low ego还是只是一种隐藏? 这是跟老黄学的吗?这是什么时候学的? 你看英伟达包括你,然后包括Jason(黄仁勋),他出来经常会说take care of audience……这种take care是一种真实的吗? 你近距离观察过老黄很多年,如果只用几个词来形容他,你会怎么形容他? 他(黄仁勋)对你鼓励比较多还是批评比较多,一般来说? 他(黄仁勋)对你让你印象最深的一句话是什么呢? 主持人提问,顶尖人才(S级)团队与优秀人才(A级)团队哪个更容易成功。刘洺堉回应,关键在于能否实现“一加一大于二”的协同效应。他认为,即使团队成员都非常聪明,如果彼此无法互信、互相防备,甚至想证明自己比别人更强,就很难产生好的合作效果。他用游戏打比方,一个好的团队需要多元化的角色,如弓箭手、防御者和治疗者,而不是单一类型的成员。
主持人接着问,他“没有竞争对手”的“low ego”状态是否是在英伟达形成的。刘洺堉表示认同,并解释这并非隐藏,而是一种源于自信(confidence)的心态:专注于做出能帮助大家的好东西,而不是以击败对手为目标。他坦言深受CEO黄仁勋的影响。作为研究员出身,他曾是一个“高度竞争的个体”,因为学术界的评价标准就是论文是否达到“state-of-the-art”,即击败所有人。但随着职位变化和在英伟达的经历,他逐渐认识到,看到合作伙伴因使用其模型而提升效率所带来的成就感,同样是一种重要的贡献。
刘洺堉认为,英伟达“照顾生态伙伴”的理念是真诚的。公司早期作为芯片设计公司(design house),依赖生态伙伴制造GPU卡和开发游戏,形成了共荣共生的习惯。后来进入深度学习领域,英伟达也支持了包括PyTorch、TensorFlow在内的多种框架。他解释,帮助客户成功,客户就能服务更多用户,从而增加对GPU的需求,这是一种共赢的商业逻辑。
谈及黄仁勋,刘洺堉称他为“六边形战士”,既能深入到计算机架构中极度微观的寄存器(register)细节,也能探讨市场营销等宏观战略,在产品定价、客户关系等各方面都面面俱到,并对公司成功抱有极大热情。他透露,在自己尚未完全理解公司运作方式时,黄仁勋的批评较多,但批评中也带着鼓励,目的是“push everybody to greatness”。他认为,愿意花时间和精力去“push”别人进步,本身就是一件不容易的事。
刘洺堉分享了一段令他印象深刻的经历:一次会议上,他在比较自家方案与另一方案时,抱怨对方的设定(setting)不公平。黄仁勋当即反问:“Are you a cry baby?”(你是在哭诉吗?)。这句话让他深刻反思,从此不再为失败找理由,而是更严格地要求自己,这与西点军校“no excuse”的理念相通。
话题推进: 在分享了黄仁勋对其个人价值观的深刻影响后,对话转向了如何在“成为第一”的个人追求与公司“创造价值”的理念之间做出选择。
03:00:00–03:10:00 个人成就与社会贡献:从追求“第一”到创造“最大影响”如果当一个研究员想成为 number one和英伟达的本身的业务……发生了冲突的话,你会选择哪个? 你还有什么在研究生涯上觉得遗憾的吗?你还有什么最想得到的? 你也经常来中国吗?你怎么看中国的这一批模型发展啊? 现在你跟我说硅谷已经被LLM催眠了。你怎么看他这句话? 昨天SpaceX上市,然后马上OpenAI和Anthropic也要上市,今年这些公司大模型公司的上市会对这个行业发生什么样的影响吗? 那模型市场竞赛的终局可能是什么样? 所以没有必要神话模型或者模型公司什么? 现在假设一个新公司说我要训练一个模型,他还有很大概率赶上来吗? 主持人提问,当研究员追求“第一”的个人目标与英伟达的商业哲学冲突时如何选择。刘洺堉回答,他现在更倾向于“具备做出第一名模型的能力,但用此能力去做对社会贡献最大的事”。他解释,科学发展是持续进步的,今天的“第一”很快会被超越。做出一个“第一”的模型但只让少数人使用,可能导致权力过度集中,并非好事。他认为人来世间走一遭,留下来的应该是影响,因此贡献比能力本身更重要。
回顾研究生涯,刘洺堉表示最大的目标是推动Physical AI成功,这是继他十年前预测“深度学习将取代传统计算机图形学成为影像生成主流”(现已实现)之后的下一个重大目标。他认为,与追求拿不完的奖项、比不完的引用数和赚不完的钱相比,更重要的是做出让自己骄傲、在能力范围内满意的成果。随着年龄增长,他的重心已从外部衡量指标转向帮助他人。
谈及中国的大模型发展,刘洺堉表示“非常impressive”,并列举了多家公司。他特别指出,与美国顶尖实验室倾向于将知识(know-how)保留在内部不同,中国的公司通过招收大量实习生,促进了知识的扩散,这对人类整体知识的增长是好事。
对于“硅谷被LLM催眠”的说法,刘洺堉不完全认同。他承认LLM带来了巨大便利(如coding agent),领先公司也确实从此出发。但他认为,当一个领域被充分理解后,聪明人自然会去寻找新的突破点,不会一辈子只做LLM。这只是特定时间点的正确选择,而非永久的“催眠”。
关于大模型公司上市潮,他认为这是对早期投资者远见、勇气和决心的合理回报,但科技不会就此停滞。展望模型竞赛的终局,他预测模型本身的能力会趋于统一(commoditize),就像软件开发一样,最终活下来的公司将依靠模型之外的其他东西形成区分度。他将模型比作工具或一门学问,关键在于用它做什么。因此,他认为后来者如Kimi、月之暗面(Moonshot AI)等仍有机会追赶。
刘洺堉 · 03:13:42
刘洺堉称赞中国的大模型公司(如DeepSeek, 千问, 多宝, MiniMax, Moonshot AI, 智谱等)发展迅速,并通过招收实习生促进了知识的扩散。
话题推进: 在讨论了模型竞赛的终局和后来者的机会后,对话进一步深入到Physical AI的未来、中美机器人产业的对比,以及对成功的定义。
03:00:00–03:10:00 Physical AI的“GPT时刻”与中美机器人产业差异端侧模型你觉得会多久之后爆发吗? 对于今年或明年的模型竞赛你有哪些预测? 中国的机器人公司呢,你应该也见了很多,你觉得跟美国有什么不一样吗,两边? 你觉得美国现在会不会有点,就是不那么重视硬件可能是错的? moment在physical AI,你觉得有可能在哪里爆发? 对泛化来说现在最重要的一个问题是什么呀,如果只说一个? 如果它在Cosmos这套系统里学习了,它走向现实世界之后,它还是会有gap对不对?怎么解决这个问题呢? 如果五年后我再来采访你,你希望Cosmos发展到什么阶段? 在人工智能的历史上,你希望别人怎么来记录你啊? 是大模型竞争不是由于游戏,还是世界模型竞争不是由于游戏啊? 刘洺堉预测,Physical AI的“GPT时刻”即将到来。他认为,世界模型是强化物理世界模型泛化能力的关键。虽然具体落地方式仍在探索,但他期望五年后再次受访时,能明确说出这个“时刻”发生的具体日期和事件。
主持人询问中美机器人公司的差异。刘洺堉指出,美国做机器人本体的公司很少,主要是特斯拉和Figure AI;而中国则有很多公司在做本体。他分析,自研本体可以更好地控制软硬件整合,而中国强大的制造业为此提供了优势条件,使得这些公司能做一些在美国不易实现的事情。这种垂直整合可能会带来突破。对于美国是否“不重视硬件”,他认为很难说,但如果软硬件整合是趋势,那么没有硬件确实会处于被动。
关于Physical AI的“GPT时刻”具体会是什么样,刘洺堉设想的场景是:当一个产品出现,只需人类简单示范一个操作,机器人就能就地学会并泛化应用。他强调,AI的核心就是解决泛化问题。在Physical AI领域,关键的泛化问题是从有限的“观察-行动”(observation-action)数据对中学习,并应用到未见过的新场景。从模拟环境(如Cosmos)到现实世界的“gap”,本质上也是一个泛化问题。他认为,短期内Cosmos能通过提供更好的数据(better data)和更好的模型起点(better starting points),帮助开发者构建更易于泛化的策略模型(policy model)。
当被问及希望在AI历史上留下什么印记时,刘洺堉表示希望人们记住的是Cosmos,而不是他个人。他希望Cosmos能成为推动Physical AI实现“GPT时刻”的重要推手。
最后,主持人重提“鱿鱼游戏”的比喻。刘洺堉重申,模型竞争不应该是“鱿鱼游戏”,因为世界上需要解决的问题很多,可以提供价值的方向也很多。如果大家的目标完全一样,那才是“鱿鱼游戏”。
刘洺堉 · 03:21:44
对比中美机器人产业,刘洺堉指出美国做机器人本体的公司少(如Tesla, Figure AI),而中国公司众多,并受益于强大的制造业基础,在软硬件垂直整合方面有优势。
刘洺堉 · 03:24:15
Cosmos主要通过三种方式帮助开发者:更好的数据(better data)、更好的模型起点(better starting points)和更好的模拟环境(better environment)。目前前两者比较管用。
话题推进: 在明确了自己对模型竞争和个人历史定位的看法后,对话进入了最后部分,嘉宾进一步阐述了英伟达“创造市场”的哲学,并对一些核心概念进行了总结。
03:00:00–03:10:00 创造市场,而非存量竞争:英伟达的“Zero-Billion-Dollar Business”哲学你有过那种特别high ego的时候吗? 是每个公司都需要训一个自己的大模型吗? Cosmos对你们来说是一场不能输的战争吗? 老黄会分享类似观点吗? 这是一种拥抱风险还是一种抵抗风险? 你还要从老黄身上学到什么没有? 为什么其他公司都说CEO不应该最努力的人,但你们公司CEO是最努力的人? 他现在驱动力是什么呀? 主持人追问嘉宾是否有过“high ego”的时期,刘洺堉承认年轻时会觉得自己的算法最好、论文最漂亮。但他现在认为,算法迭代速度比单个算法更重要,而迭代速度依赖于强大的基础设施(infrastructure)和数据。如果一个问题能用数据解决,就应该优先用数据,因为这比开发新算法更简单。
对于“每个公司是否都需要自研大模型”的问题,刘洺堉用“每家公司都需要建自己的电厂吗?”来类比。他认为这取决于经济效益。在电力供应不充裕的早期,自建电厂或许能保证工厂24小时运转,但现在已无必要。同理,当模型能力变成商品(commodity)后,并非所有公司都需要自研。
主持人再次提问,Cosmos是否是英伟达“不能输的战争”。刘洺堉明确否定,并解释了英伟达的核心心态不是“杀死别人”,而是“创造市场”(造市场)。他举例,现在家家户户都没有机器人,如果未来每家都买两三个,每个机器人都需要算力,这将极大地扩展对算力的总需求,对英伟达是巨大的好处。在这个过程中,其他公司也能通过卖机器人或自研芯片赚钱,整个市场被共同做大。他强调,黄仁勋经常表达这一观点,即英伟达要做“zero-billion-dollar business”——投身于那些当前市场规模为零,但成功后能达到十亿美元以上规模的业务。如果一个领域已经有人在做,可能就不值得投入。
主持人问这是否是拥抱风险。刘洺堉认为这是一种高风险(risky)策略,比如当年投入CUDA,导致GPU价格更高,是在“赔本”支持一个新生态。但他补充说,“不做这件事情更加risky”,因为不创新,产品就会逐渐商品化。
最后,谈及黄仁勋为何如此努力,刘洺堉认为其驱动力是“take care of families”(照顾家人,这里指公司员工和生态伙伴),以及亲眼看到自己的贡献改变世界所带来的巨大成就感。
话题推进: 访谈以对英伟达核心竞争哲学的深入阐述结束。
03:10:00–03:20:00 连续对话 2003:10:00–03:20:00 英伟达的管理哲学:Top 5、透明度与有机组织你的生活状态发生变化了吗?在这过去几年? 能不能从更一线的视角来讲一讲,就是Nvidia的一些不一样的管理方式? 嘉宾刘洺堉首先谈及自GPT兴起后,整个AI行业从业者都感受到巨大的压力和快速的迭代节奏,他称之为“pain and suffering”。当成果未达预期时,消耗的GPU资源和年轻人的时间都会带来无形的压力。主持人追问其生活状态的变化,刘洺堉表示自己变得更高效,通常凌晨四五点起床,利用早晨连续的时间运动,九、十点到公司后便投入密集的会议中。他晚上大约十点到十一点睡觉。
随后,主持人希望他从一线视角分享英伟达独特的管理方式。刘洺堉介绍了几个关键点:
1. Top 5 邮件机制:员工需要向许多人汇报自己最重要的五件事。刘洺堉认为,这个机制能让员工清晰地了解公司内各种大小信号,并能自然地发现不同团队间是否存在重复工作,从而促进信息透明。
2. 信息透明:与苹果等公司可能采取的保密文化相反,英伟达追求信息透明,这是一种独特的管理考量。
3. “Mission is the boss”:刘洺堉形容英伟达像一个没有强硬框架的“有机体”。当公司确定一个战略方向时,不同组织中具备相关技能的团队会自动对齐(align),共同向目标前进,形成一个新的合力。员工的归属部门不重要,重要的是能否为当前的任务(mission)做出贡献。主持人总结为“任务是你的老板,而不是你的直属老板是你的老板”。
4. 不裁员与信任文化:公司不轻易裁员,而是强调员工转型和企业文化,以此建立员工对公司的信任,促进彼此合作。刘洺堉认为,这几点共同构成了英伟达独特的、充满活力的组织形态。
话题推进: 在讨论了英伟达独特的组织文化后,主持人进一步提问,关于团队协作中人才水平与合作氛围哪个更重要,引出了关于个人竞争心态转变的话题。
03:10:00–03:20:00 从“击败对手”到“创造价值”:受黄仁勋影响的竞争观转变一群S级的人一起工作和一群A plus或者A级的人一起工作,哪个可能取得的成功更大呀,你觉得? 你看你今天说了很多,你没有竞争对手……这种low ego的状态是在英伟达发生的变化吗?这真的是low ego还是只是一种隐藏? 这是跟老黄学的吗?这是什么时候学的? 你看英伟达包括你,然后包括Jason(黄仁勋),他出来经常会说take care of audience……这种take care是一种真实的吗? 你近距离观察过老黄很多年,如果只用几个词来形容他,你会怎么形容他? 他(黄仁勋)对你鼓励比较多还是批评比较多,一般来说? 他(黄仁勋)对你让你印象最深的一句话是什么呢? 主持人提问,顶尖人才(S级)团队与优秀人才(A级)团队哪个更容易成功。刘洺堉回应,关键在于能否实现“一加一大于二”的协同效应。他认为,即使团队成员都非常聪明,如果彼此无法互信、互相防备,甚至想证明自己比别人更强,就很难产生好的合作效果。他用游戏打比方,一个好的团队需要多元化的角色,如弓箭手、防御者和治疗者,而不是单一类型的成员。
主持人接着问,他“没有竞争对手”的“low ego”状态是否是在英伟达形成的。刘洺堉表示认同,并解释这并非隐藏,而是一种源于自信(confidence)的心态:专注于做出能帮助大家的好东西,而不是以击败对手为目标。他坦言深受CEO黄仁勋的影响。作为研究员出身,他曾是一个“高度竞争的个体”,因为学术界的评价标准就是论文是否达到“state-of-the-art”,即击败所有人。但随着职位变化和在英伟达的经历,他逐渐认识到,看到合作伙伴因使用其模型而提升效率所带来的成就感,同样是一种重要的贡献。
刘洺堉认为,英伟达“照顾生态伙伴”的理念是真诚的。公司早期作为芯片设计公司(design house),依赖生态伙伴制造GPU卡和开发游戏,形成了共荣共生的习惯。后来进入深度学习领域,英伟达也支持了包括PyTorch、TensorFlow在内的多种框架。他解释,帮助客户成功,客户就能服务更多用户,从而增加对GPU的需求,这是一种共赢的商业逻辑。
谈及黄仁勋,刘洺堉称他为“六边形战士”,既能深入到计算机架构中极度微观的寄存器(register)细节,也能探讨市场营销等宏观战略,在产品定价、客户关系等各方面都面面俱到,并对公司成功抱有极大热情。他透露,在自己尚未完全理解公司运作方式时,黄仁勋的批评较多,但批评中也带着鼓励,目的是“push everybody to greatness”。他认为,愿意花时间和精力去“push”别人进步,本身就是一件不容易的事。
刘洺堉分享了一段令他印象深刻的经历:一次会议上,他在比较自家方案与另一方案时,抱怨对方的设定(setting)不公平。黄仁勋当即反问:“Are you a cry baby?”(你是在哭诉吗?)。这句话让他深刻反思,从此不再为失败找理由,而是更严格地要求自己,这与西点军校“no excuse”的理念相通。
话题推进: 在分享了黄仁勋对其个人价值观的深刻影响后,对话转向了如何在“成为第一”的个人追求与公司“创造价值”的理念之间做出选择。
03:10:00–03:20:00 个人成就与社会贡献:从追求“第一”到创造“最大影响”如果当一个研究员想成为 number one和英伟达的本身的业务……发生了冲突的话,你会选择哪个? 你还有什么在研究生涯上觉得遗憾的吗?你还有什么最想得到的? 你也经常来中国吗?你怎么看中国的这一批模型发展啊? 现在你跟我说硅谷已经被LLM催眠了。你怎么看他这句话? 昨天SpaceX上市,然后马上OpenAI和Anthropic也要上市,今年这些公司大模型公司的上市会对这个行业发生什么样的影响吗? 那模型市场竞赛的终局可能是什么样? 所以没有必要神话模型或者模型公司什么? 现在假设一个新公司说我要训练一个模型,他还有很大概率赶上来吗? 主持人提问,当研究员追求“第一”的个人目标与英伟达的商业哲学冲突时如何选择。刘洺堉回答,他现在更倾向于“具备做出第一名模型的能力,但用此能力去做对社会贡献最大的事”。他解释,科学发展是持续进步的,今天的“第一”很快会被超越。做出一个“第一”的模型但只让少数人使用,可能导致权力过度集中,并非好事。他认为人来世间走一遭,留下来的应该是影响,因此贡献比能力本身更重要。
回顾研究生涯,刘洺堉表示最大的目标是推动Physical AI成功,这是继他十年前预测“深度学习将取代传统计算机图形学成为影像生成主流”(现已实现)之后的下一个重大目标。他认为,与追求拿不完的奖项、比不完的引用数和赚不完的钱相比,更重要的是做出让自己骄傲、在能力范围内满意的成果。随着年龄增长,他的重心已从外部衡量指标转向帮助他人。
谈及中国的大模型发展,刘洺堉表示“非常impressive”,并列举了多家公司。他特别指出,与美国顶尖实验室倾向于将知识(know-how)保留在内部不同,中国的公司通过招收大量实习生,促进了知识的扩散,这对人类整体知识的增长是好事。
对于“硅谷被LLM催眠”的说法,刘洺堉不完全认同。他承认LLM带来了巨大便利(如coding agent),领先公司也确实从此出发。但他认为,当一个领域被充分理解后,聪明人自然会去寻找新的突破点,不会一辈子只做LLM。这只是特定时间点的正确选择,而非永久的“催眠”。
关于大模型公司上市潮,他认为这是对早期投资者远见、勇气和决心的合理回报,但科技不会就此停滞。展望模型竞赛的终局,他预测模型本身的能力会趋于统一(commoditize),就像软件开发一样,最终活下来的公司将依靠模型之外的其他东西形成区分度。他将模型比作工具或一门学问,关键在于用它做什么。因此,他认为后来者如Kimi、月之暗面(Moonshot AI)等仍有机会追赶。
刘洺堉 · 03:13:42
刘洺堉称赞中国的大模型公司(如DeepSeek, 千问, 多宝, MiniMax, Moonshot AI, 智谱等)发展迅速,并通过招收实习生促进了知识的扩散。
话题推进: 在讨论了模型竞赛的终局和后来者的机会后,对话进一步深入到Physical AI的未来、中美机器人产业的对比,以及对成功的定义。
03:10:00–03:20:00 Physical AI的“GPT时刻”与中美机器人产业差异端侧模型你觉得会多久之后爆发吗? 对于今年或明年的模型竞赛你有哪些预测? 中国的机器人公司呢,你应该也见了很多,你觉得跟美国有什么不一样吗,两边? 你觉得美国现在会不会有点,就是不那么重视硬件可能是错的? moment在physical AI,你觉得有可能在哪里爆发? 对泛化来说现在最重要的一个问题是什么呀,如果只说一个? 如果它在Cosmos这套系统里学习了,它走向现实世界之后,它还是会有gap对不对?怎么解决这个问题呢? 如果五年后我再来采访你,你希望Cosmos发展到什么阶段? 在人工智能的历史上,你希望别人怎么来记录你啊? 是大模型竞争不是由于游戏,还是世界模型竞争不是由于游戏啊? 刘洺堉预测,Physical AI的“GPT时刻”即将到来。他认为,世界模型是强化物理世界模型泛化能力的关键。虽然具体落地方式仍在探索,但他期望五年后再次受访时,能明确说出这个“时刻”发生的具体日期和事件。
主持人询问中美机器人公司的差异。刘洺堉指出,美国做机器人本体的公司很少,主要是特斯拉和Figure AI;而中国则有很多公司在做本体。他分析,自研本体可以更好地控制软硬件整合,而中国强大的制造业为此提供了优势条件,使得这些公司能做一些在美国不易实现的事情。这种垂直整合可能会带来突破。对于美国是否“不重视硬件”,他认为很难说,但如果软硬件整合是趋势,那么没有硬件确实会处于被动。
关于Physical AI的“GPT时刻”具体会是什么样,刘洺堉设想的场景是:当一个产品出现,只需人类简单示范一个操作,机器人就能就地学会并泛化应用。他强调,AI的核心就是解决泛化问题。在Physical AI领域,关键的泛化问题是从有限的“观察-行动”(observation-action)数据对中学习,并应用到未见过的新场景。从模拟环境(如Cosmos)到现实世界的“gap”,本质上也是一个泛化问题。他认为,短期内Cosmos能通过提供更好的数据(better data)和更好的模型起点(better starting points),帮助开发者构建更易于泛化的策略模型(policy model)。
当被问及希望在AI历史上留下什么印记时,刘洺堉表示希望人们记住的是Cosmos,而不是他个人。他希望Cosmos能成为推动Physical AI实现“GPT时刻”的重要推手。
最后,主持人重提“鱿鱼游戏”的比喻。刘洺堉重申,模型竞争不应该是“鱿鱼游戏”,因为世界上需要解决的问题很多,可以提供价值的方向也很多。如果大家的目标完全一样,那才是“鱿鱼游戏”。
刘洺堉 · 03:21:44
对比中美机器人产业,刘洺堉指出美国做机器人本体的公司少(如Tesla, Figure AI),而中国公司众多,并受益于强大的制造业基础,在软硬件垂直整合方面有优势。
刘洺堉 · 03:24:15
Cosmos主要通过三种方式帮助开发者:更好的数据(better data)、更好的模型起点(better starting points)和更好的模拟环境(better environment)。目前前两者比较管用。
话题推进: 在明确了自己对模型竞争和个人历史定位的看法后,对话进入了最后部分,嘉宾进一步阐述了英伟达“创造市场”的哲学,并对一些核心概念进行了总结。
03:10:00–03:20:00 创造市场,而非存量竞争:英伟达的“Zero-Billion-Dollar Business”哲学你有过那种特别high ego的时候吗? 是每个公司都需要训一个自己的大模型吗? Cosmos对你们来说是一场不能输的战争吗? 老黄会分享类似观点吗? 这是一种拥抱风险还是一种抵抗风险? 你还要从老黄身上学到什么没有? 为什么其他公司都说CEO不应该最努力的人,但你们公司CEO是最努力的人? 他现在驱动力是什么呀? 主持人追问嘉宾是否有过“high ego”的时期,刘洺堉承认年轻时会觉得自己的算法最好、论文最漂亮。但他现在认为,算法迭代速度比单个算法更重要,而迭代速度依赖于强大的基础设施(infrastructure)和数据。如果一个问题能用数据解决,就应该优先用数据,因为这比开发新算法更简单。
对于“每个公司是否都需要自研大模型”的问题,刘洺堉用“每家公司都需要建自己的电厂吗?”来类比。他认为这取决于经济效益。在电力供应不充裕的早期,自建电厂或许能保证工厂24小时运转,但现在已无必要。同理,当模型能力变成商品(commodity)后,并非所有公司都需要自研。
主持人再次提问,Cosmos是否是英伟达“不能输的战争”。刘洺堉明确否定,并解释了英伟达的核心心态不是“杀死别人”,而是“创造市场”(造市场)。他举例,现在家家户户都没有机器人,如果未来每家都买两三个,每个机器人都需要算力,这将极大地扩展对算力的总需求,对英伟达是巨大的好处。在这个过程中,其他公司也能通过卖机器人或自研芯片赚钱,整个市场被共同做大。他强调,黄仁勋经常表达这一观点,即英伟达要做“zero-billion-dollar business”——投身于那些当前市场规模为零,但成功后能达到十亿美元以上规模的业务。如果一个领域已经有人在做,可能就不值得投入。
主持人问这是否是拥抱风险。刘洺堉认为这是一种高风险(risky)策略,比如当年投入CUDA,导致GPU价格更高,是在“赔本”支持一个新生态。但他补充说,“不做这件事情更加risky”,因为不创新,产品就会逐渐商品化。
最后,谈及黄仁勋为何如此努力,刘洺堉认为其驱动力是“take care of families”(照顾家人,这里指公司员工和生态伙伴),以及亲眼看到自己的贡献改变世界所带来的巨大成就感。
话题推进: 访谈以对英伟达核心竞争哲学的深入阐述结束。
03:20:00–03:30:00 连续对话 2103:20:00–03:30:00 英伟达的管理哲学:Top 5、透明度与有机组织你的生活状态发生变化了吗?在这过去几年? 能不能从更一线的视角来讲一讲,就是Nvidia的一些不一样的管理方式? 嘉宾刘洺堉首先谈及自GPT兴起后,整个AI行业从业者都感受到巨大的压力和快速的迭代节奏,他称之为“pain and suffering”。当成果未达预期时,消耗的GPU资源和年轻人的时间都会带来无形的压力。主持人追问其生活状态的变化,刘洺堉表示自己变得更高效,通常凌晨四五点起床,利用早晨连续的时间运动,九、十点到公司后便投入密集的会议中。他晚上大约十点到十一点睡觉。
随后,主持人希望他从一线视角分享英伟达独特的管理方式。刘洺堉介绍了几个关键点:
1. Top 5 邮件机制:员工需要向许多人汇报自己最重要的五件事。刘洺堉认为,这个机制能让员工清晰地了解公司内各种大小信号,并能自然地发现不同团队间是否存在重复工作,从而促进信息透明。
2. 信息透明:与苹果等公司可能采取的保密文化相反,英伟达追求信息透明,这是一种独特的管理考量。
3. “Mission is the boss”:刘洺堉形容英伟达像一个没有强硬框架的“有机体”。当公司确定一个战略方向时,不同组织中具备相关技能的团队会自动对齐(align),共同向目标前进,形成一个新的合力。员工的归属部门不重要,重要的是能否为当前的任务(mission)做出贡献。主持人总结为“任务是你的老板,而不是你的直属老板是你的老板”。
4. 不裁员与信任文化:公司不轻易裁员,而是强调员工转型和企业文化,以此建立员工对公司的信任,促进彼此合作。刘洺堉认为,这几点共同构成了英伟达独特的、充满活力的组织形态。
话题推进: 在讨论了英伟达独特的组织文化后,主持人进一步提问,关于团队协作中人才水平与合作氛围哪个更重要,引出了关于个人竞争心态转变的话题。
03:20:00–03:30:00 从“击败对手”到“创造价值”:受黄仁勋影响的竞争观转变一群S级的人一起工作和一群A plus或者A级的人一起工作,哪个可能取得的成功更大呀,你觉得? 你看你今天说了很多,你没有竞争对手……这种low ego的状态是在英伟达发生的变化吗?这真的是low ego还是只是一种隐藏? 这是跟老黄学的吗?这是什么时候学的? 你看英伟达包括你,然后包括Jason(黄仁勋),他出来经常会说take care of audience……这种take care是一种真实的吗? 你近距离观察过老黄很多年,如果只用几个词来形容他,你会怎么形容他? 他(黄仁勋)对你鼓励比较多还是批评比较多,一般来说? 他(黄仁勋)对你让你印象最深的一句话是什么呢? 主持人提问,顶尖人才(S级)团队与优秀人才(A级)团队哪个更容易成功。刘洺堉回应,关键在于能否实现“一加一大于二”的协同效应。他认为,即使团队成员都非常聪明,如果彼此无法互信、互相防备,甚至想证明自己比别人更强,就很难产生好的合作效果。他用游戏打比方,一个好的团队需要多元化的角色,如弓箭手、防御者和治疗者,而不是单一类型的成员。
主持人接着问,他“没有竞争对手”的“low ego”状态是否是在英伟达形成的。刘洺堉表示认同,并解释这并非隐藏,而是一种源于自信(confidence)的心态:专注于做出能帮助大家的好东西,而不是以击败对手为目标。他坦言深受CEO黄仁勋的影响。作为研究员出身,他曾是一个“高度竞争的个体”,因为学术界的评价标准就是论文是否达到“state-of-the-art”,即击败所有人。但随着职位变化和在英伟达的经历,他逐渐认识到,看到合作伙伴因使用其模型而提升效率所带来的成就感,同样是一种重要的贡献。
刘洺堉认为,英伟达“照顾生态伙伴”的理念是真诚的。公司早期作为芯片设计公司(design house),依赖生态伙伴制造GPU卡和开发游戏,形成了共荣共生的习惯。后来进入深度学习领域,英伟达也支持了包括PyTorch、TensorFlow在内的多种框架。他解释,帮助客户成功,客户就能服务更多用户,从而增加对GPU的需求,这是一种共赢的商业逻辑。
谈及黄仁勋,刘洺堉称他为“六边形战士”,既能深入到计算机架构中极度微观的寄存器(register)细节,也能探讨市场营销等宏观战略,在产品定价、客户关系等各方面都面面俱到,并对公司成功抱有极大热情。他透露,在自己尚未完全理解公司运作方式时,黄仁勋的批评较多,但批评中也带着鼓励,目的是“push everybody to greatness”。他认为,愿意花时间和精力去“push”别人进步,本身就是一件不容易的事。
刘洺堉分享了一段令他印象深刻的经历:一次会议上,他在比较自家方案与另一方案时,抱怨对方的设定(setting)不公平。黄仁勋当即反问:“Are you a cry baby?”(你是在哭诉吗?)。这句话让他深刻反思,从此不再为失败找理由,而是更严格地要求自己,这与西点军校“no excuse”的理念相通。
话题推进: 在分享了黄仁勋对其个人价值观的深刻影响后,对话转向了如何在“成为第一”的个人追求与公司“创造价值”的理念之间做出选择。
03:20:00–03:30:00 个人成就与社会贡献:从追求“第一”到创造“最大影响”如果当一个研究员想成为 number one和英伟达的本身的业务……发生了冲突的话,你会选择哪个? 你还有什么在研究生涯上觉得遗憾的吗?你还有什么最想得到的? 你也经常来中国吗?你怎么看中国的这一批模型发展啊? 现在你跟我说硅谷已经被LLM催眠了。你怎么看他这句话? 昨天SpaceX上市,然后马上OpenAI和Anthropic也要上市,今年这些公司大模型公司的上市会对这个行业发生什么样的影响吗? 那模型市场竞赛的终局可能是什么样? 所以没有必要神话模型或者模型公司什么? 现在假设一个新公司说我要训练一个模型,他还有很大概率赶上来吗? 主持人提问,当研究员追求“第一”的个人目标与英伟达的商业哲学冲突时如何选择。刘洺堉回答,他现在更倾向于“具备做出第一名模型的能力,但用此能力去做对社会贡献最大的事”。他解释,科学发展是持续进步的,今天的“第一”很快会被超越。做出一个“第一”的模型但只让少数人使用,可能导致权力过度集中,并非好事。他认为人来世间走一遭,留下来的应该是影响,因此贡献比能力本身更重要。
回顾研究生涯,刘洺堉表示最大的目标是推动Physical AI成功,这是继他十年前预测“深度学习将取代传统计算机图形学成为影像生成主流”(现已实现)之后的下一个重大目标。他认为,与追求拿不完的奖项、比不完的引用数和赚不完的钱相比,更重要的是做出让自己骄傲、在能力范围内满意的成果。随着年龄增长,他的重心已从外部衡量指标转向帮助他人。
谈及中国的大模型发展,刘洺堉表示“非常impressive”,并列举了多家公司。他特别指出,与美国顶尖实验室倾向于将知识(know-how)保留在内部不同,中国的公司通过招收大量实习生,促进了知识的扩散,这对人类整体知识的增长是好事。
对于“硅谷被LLM催眠”的说法,刘洺堉不完全认同。他承认LLM带来了巨大便利(如coding agent),领先公司也确实从此出发。但他认为,当一个领域被充分理解后,聪明人自然会去寻找新的突破点,不会一辈子只做LLM。这只是特定时间点的正确选择,而非永久的“催眠”。
关于大模型公司上市潮,他认为这是对早期投资者远见、勇气和决心的合理回报,但科技不会就此停滞。展望模型竞赛的终局,他预测模型本身的能力会趋于统一(commoditize),就像软件开发一样,最终活下来的公司将依靠模型之外的其他东西形成区分度。他将模型比作工具或一门学问,关键在于用它做什么。因此,他认为后来者如Kimi、月之暗面(Moonshot AI)等仍有机会追赶。
刘洺堉 · 03:13:42
刘洺堉称赞中国的大模型公司(如DeepSeek, 千问, 多宝, MiniMax, Moonshot AI, 智谱等)发展迅速,并通过招收实习生促进了知识的扩散。
话题推进: 在讨论了模型竞赛的终局和后来者的机会后,对话进一步深入到Physical AI的未来、中美机器人产业的对比,以及对成功的定义。
03:20:00–03:30:00 Physical AI的“GPT时刻”与中美机器人产业差异端侧模型你觉得会多久之后爆发吗? 对于今年或明年的模型竞赛你有哪些预测? 中国的机器人公司呢,你应该也见了很多,你觉得跟美国有什么不一样吗,两边? 你觉得美国现在会不会有点,就是不那么重视硬件可能是错的? moment在physical AI,你觉得有可能在哪里爆发? 对泛化来说现在最重要的一个问题是什么呀,如果只说一个? 如果它在Cosmos这套系统里学习了,它走向现实世界之后,它还是会有gap对不对?怎么解决这个问题呢? 如果五年后我再来采访你,你希望Cosmos发展到什么阶段? 在人工智能的历史上,你希望别人怎么来记录你啊? 是大模型竞争不是由于游戏,还是世界模型竞争不是由于游戏啊? 刘洺堉预测,Physical AI的“GPT时刻”即将到来。他认为,世界模型是强化物理世界模型泛化能力的关键。虽然具体落地方式仍在探索,但他期望五年后再次受访时,能明确说出这个“时刻”发生的具体日期和事件。
主持人询问中美机器人公司的差异。刘洺堉指出,美国做机器人本体的公司很少,主要是特斯拉和Figure AI;而中国则有很多公司在做本体。他分析,自研本体可以更好地控制软硬件整合,而中国强大的制造业为此提供了优势条件,使得这些公司能做一些在美国不易实现的事情。这种垂直整合可能会带来突破。对于美国是否“不重视硬件”,他认为很难说,但如果软硬件整合是趋势,那么没有硬件确实会处于被动。
关于Physical AI的“GPT时刻”具体会是什么样,刘洺堉设想的场景是:当一个产品出现,只需人类简单示范一个操作,机器人就能就地学会并泛化应用。他强调,AI的核心就是解决泛化问题。在Physical AI领域,关键的泛化问题是从有限的“观察-行动”(observation-action)数据对中学习,并应用到未见过的新场景。从模拟环境(如Cosmos)到现实世界的“gap”,本质上也是一个泛化问题。他认为,短期内Cosmos能通过提供更好的数据(better data)和更好的模型起点(better starting points),帮助开发者构建更易于泛化的策略模型(policy model)。
当被问及希望在AI历史上留下什么印记时,刘洺堉表示希望人们记住的是Cosmos,而不是他个人。他希望Cosmos能成为推动Physical AI实现“GPT时刻”的重要推手。
最后,主持人重提“鱿鱼游戏”的比喻。刘洺堉重申,模型竞争不应该是“鱿鱼游戏”,因为世界上需要解决的问题很多,可以提供价值的方向也很多。如果大家的目标完全一样,那才是“鱿鱼游戏”。
刘洺堉 · 03:21:44
对比中美机器人产业,刘洺堉指出美国做机器人本体的公司少(如Tesla, Figure AI),而中国公司众多,并受益于强大的制造业基础,在软硬件垂直整合方面有优势。
刘洺堉 · 03:24:15
Cosmos主要通过三种方式帮助开发者:更好的数据(better data)、更好的模型起点(better starting points)和更好的模拟环境(better environment)。目前前两者比较管用。
话题推进: 在明确了自己对模型竞争和个人历史定位的看法后,对话进入了最后部分,嘉宾进一步阐述了英伟达“创造市场”的哲学,并对一些核心概念进行了总结。
03:20:00–03:30:00 创造市场,而非存量竞争:英伟达的“Zero-Billion-Dollar Business”哲学你有过那种特别high ego的时候吗? 是每个公司都需要训一个自己的大模型吗? Cosmos对你们来说是一场不能输的战争吗? 老黄会分享类似观点吗? 这是一种拥抱风险还是一种抵抗风险? 你还要从老黄身上学到什么没有? 为什么其他公司都说CEO不应该最努力的人,但你们公司CEO是最努力的人? 他现在驱动力是什么呀? 主持人追问嘉宾是否有过“high ego”的时期,刘洺堉承认年轻时会觉得自己的算法最好、论文最漂亮。但他现在认为,算法迭代速度比单个算法更重要,而迭代速度依赖于强大的基础设施(infrastructure)和数据。如果一个问题能用数据解决,就应该优先用数据,因为这比开发新算法更简单。
对于“每个公司是否都需要自研大模型”的问题,刘洺堉用“每家公司都需要建自己的电厂吗?”来类比。他认为这取决于经济效益。在电力供应不充裕的早期,自建电厂或许能保证工厂24小时运转,但现在已无必要。同理,当模型能力变成商品(commodity)后,并非所有公司都需要自研。
主持人再次提问,Cosmos是否是英伟达“不能输的战争”。刘洺堉明确否定,并解释了英伟达的核心心态不是“杀死别人”,而是“创造市场”(造市场)。他举例,现在家家户户都没有机器人,如果未来每家都买两三个,每个机器人都需要算力,这将极大地扩展对算力的总需求,对英伟达是巨大的好处。在这个过程中,其他公司也能通过卖机器人或自研芯片赚钱,整个市场被共同做大。他强调,黄仁勋经常表达这一观点,即英伟达要做“zero-billion-dollar business”——投身于那些当前市场规模为零,但成功后能达到十亿美元以上规模的业务。如果一个领域已经有人在做,可能就不值得投入。
主持人问这是否是拥抱风险。刘洺堉认为这是一种高风险(risky)策略,比如当年投入CUDA,导致GPU价格更高,是在“赔本”支持一个新生态。但他补充说,“不做这件事情更加risky”,因为不创新,产品就会逐渐商品化。
最后,谈及黄仁勋为何如此努力,刘洺堉认为其驱动力是“take care of families”(照顾家人,这里指公司员工和生态伙伴),以及亲眼看到自己的贡献改变世界所带来的巨大成就感。
话题推进: 访谈以对英伟达核心竞争哲学的深入阐述结束。
03:30:00–03:36:12 连续对话 2203:30:00–03:36:12 英伟达的管理哲学:Top 5、透明度与有机组织你的生活状态发生变化了吗?在这过去几年? 能不能从更一线的视角来讲一讲,就是Nvidia的一些不一样的管理方式? 嘉宾刘洺堉首先谈及自GPT兴起后,整个AI行业从业者都感受到巨大的压力和快速的迭代节奏,他称之为“pain and suffering”。当成果未达预期时,消耗的GPU资源和年轻人的时间都会带来无形的压力。主持人追问其生活状态的变化,刘洺堉表示自己变得更高效,通常凌晨四五点起床,利用早晨连续的时间运动,九、十点到公司后便投入密集的会议中。他晚上大约十点到十一点睡觉。
随后,主持人希望他从一线视角分享英伟达独特的管理方式。刘洺堉介绍了几个关键点:
1. Top 5 邮件机制:员工需要向许多人汇报自己最重要的五件事。刘洺堉认为,这个机制能让员工清晰地了解公司内各种大小信号,并能自然地发现不同团队间是否存在重复工作,从而促进信息透明。
2. 信息透明:与苹果等公司可能采取的保密文化相反,英伟达追求信息透明,这是一种独特的管理考量。
3. “Mission is the boss”:刘洺堉形容英伟达像一个没有强硬框架的“有机体”。当公司确定一个战略方向时,不同组织中具备相关技能的团队会自动对齐(align),共同向目标前进,形成一个新的合力。员工的归属部门不重要,重要的是能否为当前的任务(mission)做出贡献。主持人总结为“任务是你的老板,而不是你的直属老板是你的老板”。
4. 不裁员与信任文化:公司不轻易裁员,而是强调员工转型和企业文化,以此建立员工对公司的信任,促进彼此合作。刘洺堉认为,这几点共同构成了英伟达独特的、充满活力的组织形态。
话题推进: 在讨论了英伟达独特的组织文化后,主持人进一步提问,关于团队协作中人才水平与合作氛围哪个更重要,引出了关于个人竞争心态转变的话题。
03:30:00–03:36:12 从“击败对手”到“创造价值”:受黄仁勋影响的竞争观转变一群S级的人一起工作和一群A plus或者A级的人一起工作,哪个可能取得的成功更大呀,你觉得? 你看你今天说了很多,你没有竞争对手……这种low ego的状态是在英伟达发生的变化吗?这真的是low ego还是只是一种隐藏? 这是跟老黄学的吗?这是什么时候学的? 你看英伟达包括你,然后包括Jason(黄仁勋),他出来经常会说take care of audience……这种take care是一种真实的吗? 你近距离观察过老黄很多年,如果只用几个词来形容他,你会怎么形容他? 他(黄仁勋)对你鼓励比较多还是批评比较多,一般来说? 他(黄仁勋)对你让你印象最深的一句话是什么呢? 主持人提问,顶尖人才(S级)团队与优秀人才(A级)团队哪个更容易成功。刘洺堉回应,关键在于能否实现“一加一大于二”的协同效应。他认为,即使团队成员都非常聪明,如果彼此无法互信、互相防备,甚至想证明自己比别人更强,就很难产生好的合作效果。他用游戏打比方,一个好的团队需要多元化的角色,如弓箭手、防御者和治疗者,而不是单一类型的成员。
主持人接着问,他“没有竞争对手”的“low ego”状态是否是在英伟达形成的。刘洺堉表示认同,并解释这并非隐藏,而是一种源于自信(confidence)的心态:专注于做出能帮助大家的好东西,而不是以击败对手为目标。他坦言深受CEO黄仁勋的影响。作为研究员出身,他曾是一个“高度竞争的个体”,因为学术界的评价标准就是论文是否达到“state-of-the-art”,即击败所有人。但随着职位变化和在英伟达的经历,他逐渐认识到,看到合作伙伴因使用其模型而提升效率所带来的成就感,同样是一种重要的贡献。
刘洺堉认为,英伟达“照顾生态伙伴”的理念是真诚的。公司早期作为芯片设计公司(design house),依赖生态伙伴制造GPU卡和开发游戏,形成了共荣共生的习惯。后来进入深度学习领域,英伟达也支持了包括PyTorch、TensorFlow在内的多种框架。他解释,帮助客户成功,客户就能服务更多用户,从而增加对GPU的需求,这是一种共赢的商业逻辑。
谈及黄仁勋,刘洺堉称他为“六边形战士”,既能深入到计算机架构中极度微观的寄存器(register)细节,也能探讨市场营销等宏观战略,在产品定价、客户关系等各方面都面面俱到,并对公司成功抱有极大热情。他透露,在自己尚未完全理解公司运作方式时,黄仁勋的批评较多,但批评中也带着鼓励,目的是“push everybody to greatness”。他认为,愿意花时间和精力去“push”别人进步,本身就是一件不容易的事。
刘洺堉分享了一段令他印象深刻的经历:一次会议上,他在比较自家方案与另一方案时,抱怨对方的设定(setting)不公平。黄仁勋当即反问:“Are you a cry baby?”(你是在哭诉吗?)。这句话让他深刻反思,从此不再为失败找理由,而是更严格地要求自己,这与西点军校“no excuse”的理念相通。
话题推进: 在分享了黄仁勋对其个人价值观的深刻影响后,对话转向了如何在“成为第一”的个人追求与公司“创造价值”的理念之间做出选择。
03:30:00–03:36:12 个人成就与社会贡献:从追求“第一”到创造“最大影响”如果当一个研究员想成为 number one和英伟达的本身的业务……发生了冲突的话,你会选择哪个? 你还有什么在研究生涯上觉得遗憾的吗?你还有什么最想得到的? 你也经常来中国吗?你怎么看中国的这一批模型发展啊? 现在你跟我说硅谷已经被LLM催眠了。你怎么看他这句话? 昨天SpaceX上市,然后马上OpenAI和Anthropic也要上市,今年这些公司大模型公司的上市会对这个行业发生什么样的影响吗? 那模型市场竞赛的终局可能是什么样? 所以没有必要神话模型或者模型公司什么? 现在假设一个新公司说我要训练一个模型,他还有很大概率赶上来吗? 主持人提问,当研究员追求“第一”的个人目标与英伟达的商业哲学冲突时如何选择。刘洺堉回答,他现在更倾向于“具备做出第一名模型的能力,但用此能力去做对社会贡献最大的事”。他解释,科学发展是持续进步的,今天的“第一”很快会被超越。做出一个“第一”的模型但只让少数人使用,可能导致权力过度集中,并非好事。他认为人来世间走一遭,留下来的应该是影响,因此贡献比能力本身更重要。
回顾研究生涯,刘洺堉表示最大的目标是推动Physical AI成功,这是继他十年前预测“深度学习将取代传统计算机图形学成为影像生成主流”(现已实现)之后的下一个重大目标。他认为,与追求拿不完的奖项、比不完的引用数和赚不完的钱相比,更重要的是做出让自己骄傲、在能力范围内满意的成果。随着年龄增长,他的重心已从外部衡量指标转向帮助他人。
谈及中国的大模型发展,刘洺堉表示“非常impressive”,并列举了多家公司。他特别指出,与美国顶尖实验室倾向于将知识(know-how)保留在内部不同,中国的公司通过招收大量实习生,促进了知识的扩散,这对人类整体知识的增长是好事。
对于“硅谷被LLM催眠”的说法,刘洺堉不完全认同。他承认LLM带来了巨大便利(如coding agent),领先公司也确实从此出发。但他认为,当一个领域被充分理解后,聪明人自然会去寻找新的突破点,不会一辈子只做LLM。这只是特定时间点的正确选择,而非永久的“催眠”。
关于大模型公司上市潮,他认为这是对早期投资者远见、勇气和决心的合理回报,但科技不会就此停滞。展望模型竞赛的终局,他预测模型本身的能力会趋于统一(commoditize),就像软件开发一样,最终活下来的公司将依靠模型之外的其他东西形成区分度。他将模型比作工具或一门学问,关键在于用它做什么。因此,他认为后来者如Kimi、月之暗面(Moonshot AI)等仍有机会追赶。
刘洺堉 · 03:13:42
刘洺堉称赞中国的大模型公司(如DeepSeek, 千问, 多宝, MiniMax, Moonshot AI, 智谱等)发展迅速,并通过招收实习生促进了知识的扩散。
话题推进: 在讨论了模型竞赛的终局和后来者的机会后,对话进一步深入到Physical AI的未来、中美机器人产业的对比,以及对成功的定义。
03:30:00–03:36:12 Physical AI的“GPT时刻”与中美机器人产业差异端侧模型你觉得会多久之后爆发吗? 对于今年或明年的模型竞赛你有哪些预测? 中国的机器人公司呢,你应该也见了很多,你觉得跟美国有什么不一样吗,两边? 你觉得美国现在会不会有点,就是不那么重视硬件可能是错的? moment在physical AI,你觉得有可能在哪里爆发? 对泛化来说现在最重要的一个问题是什么呀,如果只说一个? 如果它在Cosmos这套系统里学习了,它走向现实世界之后,它还是会有gap对不对?怎么解决这个问题呢? 如果五年后我再来采访你,你希望Cosmos发展到什么阶段? 在人工智能的历史上,你希望别人怎么来记录你啊? 是大模型竞争不是由于游戏,还是世界模型竞争不是由于游戏啊? 刘洺堉预测,Physical AI的“GPT时刻”即将到来。他认为,世界模型是强化物理世界模型泛化能力的关键。虽然具体落地方式仍在探索,但他期望五年后再次受访时,能明确说出这个“时刻”发生的具体日期和事件。
主持人询问中美机器人公司的差异。刘洺堉指出,美国做机器人本体的公司很少,主要是特斯拉和Figure AI;而中国则有很多公司在做本体。他分析,自研本体可以更好地控制软硬件整合,而中国强大的制造业为此提供了优势条件,使得这些公司能做一些在美国不易实现的事情。这种垂直整合可能会带来突破。对于美国是否“不重视硬件”,他认为很难说,但如果软硬件整合是趋势,那么没有硬件确实会处于被动。
关于Physical AI的“GPT时刻”具体会是什么样,刘洺堉设想的场景是:当一个产品出现,只需人类简单示范一个操作,机器人就能就地学会并泛化应用。他强调,AI的核心就是解决泛化问题。在Physical AI领域,关键的泛化问题是从有限的“观察-行动”(observation-action)数据对中学习,并应用到未见过的新场景。从模拟环境(如Cosmos)到现实世界的“gap”,本质上也是一个泛化问题。他认为,短期内Cosmos能通过提供更好的数据(better data)和更好的模型起点(better starting points),帮助开发者构建更易于泛化的策略模型(policy model)。
当被问及希望在AI历史上留下什么印记时,刘洺堉表示希望人们记住的是Cosmos,而不是他个人。他希望Cosmos能成为推动Physical AI实现“GPT时刻”的重要推手。
最后,主持人重提“鱿鱼游戏”的比喻。刘洺堉重申,模型竞争不应该是“鱿鱼游戏”,因为世界上需要解决的问题很多,可以提供价值的方向也很多。如果大家的目标完全一样,那才是“鱿鱼游戏”。
刘洺堉 · 03:21:44
对比中美机器人产业,刘洺堉指出美国做机器人本体的公司少(如Tesla, Figure AI),而中国公司众多,并受益于强大的制造业基础,在软硬件垂直整合方面有优势。
刘洺堉 · 03:24:15
Cosmos主要通过三种方式帮助开发者:更好的数据(better data)、更好的模型起点(better starting points)和更好的模拟环境(better environment)。目前前两者比较管用。
话题推进: 在明确了自己对模型竞争和个人历史定位的看法后,对话进入了最后部分,嘉宾进一步阐述了英伟达“创造市场”的哲学,并对一些核心概念进行了总结。
03:30:00–03:36:12 创造市场,而非存量竞争:英伟达的“Zero-Billion-Dollar Business”哲学你有过那种特别high ego的时候吗? 是每个公司都需要训一个自己的大模型吗? Cosmos对你们来说是一场不能输的战争吗? 老黄会分享类似观点吗? 这是一种拥抱风险还是一种抵抗风险? 你还要从老黄身上学到什么没有? 为什么其他公司都说CEO不应该最努力的人,但你们公司CEO是最努力的人? 他现在驱动力是什么呀? 主持人追问嘉宾是否有过“high ego”的时期,刘洺堉承认年轻时会觉得自己的算法最好、论文最漂亮。但他现在认为,算法迭代速度比单个算法更重要,而迭代速度依赖于强大的基础设施(infrastructure)和数据。如果一个问题能用数据解决,就应该优先用数据,因为这比开发新算法更简单。
对于“每个公司是否都需要自研大模型”的问题,刘洺堉用“每家公司都需要建自己的电厂吗?”来类比。他认为这取决于经济效益。在电力供应不充裕的早期,自建电厂或许能保证工厂24小时运转,但现在已无必要。同理,当模型能力变成商品(commodity)后,并非所有公司都需要自研。
主持人再次提问,Cosmos是否是英伟达“不能输的战争”。刘洺堉明确否定,并解释了英伟达的核心心态不是“杀死别人”,而是“创造市场”(造市场)。他举例,现在家家户户都没有机器人,如果未来每家都买两三个,每个机器人都需要算力,这将极大地扩展对算力的总需求,对英伟达是巨大的好处。在这个过程中,其他公司也能通过卖机器人或自研芯片赚钱,整个市场被共同做大。他强调,黄仁勋经常表达这一观点,即英伟达要做“zero-billion-dollar business”——投身于那些当前市场规模为零,但成功后能达到十亿美元以上规模的业务。如果一个领域已经有人在做,可能就不值得投入。
主持人问这是否是拥抱风险。刘洺堉认为这是一种高风险(risky)策略,比如当年投入CUDA,导致GPU价格更高,是在“赔本”支持一个新生态。但他补充说,“不做这件事情更加risky”,因为不创新,产品就会逐渐商品化。
最后,谈及黄仁勋为何如此努力,刘洺堉认为其驱动力是“take care of families”(照顾家人,这里指公司员工和生态伙伴),以及亲眼看到自己的贡献改变世界所带来的巨大成就感。
话题推进: 访谈以对英伟达核心竞争哲学的深入阐述结束。
以上是原对话的分段阅读。下面才开始提炼论证、解释机制并给出本文自己的判断。