原对话:沿提问、回答和转折完整展开 下面先按节目顺序重建。主持人在追问什么,嘉宾如何以自己的经历、例子和推理作答,尽量保留在具体语境中;案例中的事实、数字和判断先归属于发言人。随后才进入本文的机制解释与独立判断。
00:00:05–00:26:23 连续对话 100:00:05–00:08:44 从科幻到创业:AI研究员的自我革命为什么RSI(递归自进化)这个不算新的想法,在今年春天突然变热了? 从去年5月认为AI短期难以取代顶尖研究员,到年底筹备新公司,中间你的思路发生了什么变化? 本期节目以一段预告开场,嘉宾田渊栋解释了他创立Recursive Superintelligence公司的动机:预见到AI可能在五年内取代自己的研究工作,他选择主动投身于这一变革,而非被动等待。
在正式介绍后,主持人曼祺首先回顾了与田渊栋在2025年5月的访谈。当时田渊栋认为,AI短期内难以取代顶尖研究员,因为后者能从少量数据中获得精准洞察,而大模型依赖大规模统计。然而,到了2025年底,田渊栋已经开始筹备新公司。主持人追问这一转变背后的原因。
田渊栋澄清,他目前仍然认为大模型无法取代“顶尖”研究员,但模型的强大能力已经足以辅助研究工作,并展现出通过自我迭代变得更强的可能性。他分享了一个关键的转折点:2025年8月,他与一个GPT-5级别的模型合作完成了一篇关于“Grokking”现象的论文。这次经历让他意识到,模型的水平已经高到可以取代研究实习生的程度。他可以向模型提出具体的想法和方向,让模型去探索新思路、证明新定理,甚至完成代码编写。这个“构思-AI执行-获得反馈”的循环开始转动起来,让他预感到AI研究员被取代的未来可能很快到来。因此,他决定与其被动取代,不如主动创立公司,引领这一进程。
RSI (Recursive Self-Improvement / Recursive SuperIntelligence) 在本期节目中,RSI指“递归自进化”或“递归超级智能”。其核心机制是:利用一个足够强大的AI模型来分析和改进AI自身,包括模型架构、训练方法、底层代码等。改进后的AI会变得更强,从而能进行更深层次的自我分析和改进,形成一个不断加速、正向反馈的循环(loop)。这个过程旨在自动化部分甚至全部的AI研究工作,最终实现AI能力的飞跃。
Coding Agent (编程智能体) 指具备强大编程能力的AI模型或系统。它可以理解自然语言指令,自动编写、调试、优化和执行代码。在本段对话中,Coding Agent的成熟被视为RSI成为可能的技术前提之一,因为它极大地缩短了“提出想法-代码实现-获得反馈”的研究循环周期。
AutoML (Automated Machine Learning) 指自动化的机器学习。在对话中,它特指约十年前以Google为代表的一系列研究,旨在用AI辅助设计AI。其工作模式是:人类研究员先定义一个明确的、有限的“搜索空间”(如神经网络的可能结构组合),然后AI算法在这个空间内搜索最优解。它与当前RSI的主要区别在于,过去的AI不理解搜索空间本身,而现在的AI(大语言模型)能够对问题和解空间产生更高层次的理解。
Hands on 一个英文短语,意为“亲力亲为”、“亲身实践”。在对话中,田渊栋用它来描述一种研究风格,即资深研究员也直接参与编码、跑实验等具体工作,而不是仅仅停留在高层次的指导。他认为在大模型时代,这种风格对于保持敏锐的判断力至关重要。
田渊栋 · 00:07:41
2025年8月,田渊栋与一个GPT-5级别的模型合作撰写了一篇关于Grokking的论文。这次合作让他意识到,模型的水平已经高到可以取代研究实习生的工作,他可以和模型对话来实现很多想法和思路,让模型寻找新想法、证明新定理。
话题推进: 田渊栋的个人经历引出了一个问题:在当时,有多少人像他一样预见到了RSI的潜力?这自然地过渡到下一段,讨论这种洞察力需要什么样的研究者特质。
00:08:44–00:15:26 “爷青回”:为什么资深研究员的春天回来了去年8月你看到这个迹象时,有多少人有同样的想法?后来你怎么找到想法相似的人一起创业? 所以这个人(能最早看到信号的人)有可能也不是特别年轻?这和现在AI叙事里强调年轻、抛弃旧经验的观念不太一样。 所以你觉得RSI这个风潮来了之后,反而能让以往的经验积累、技术品位有更好的发挥? 主持人询问,在2025年8月,田渊栋的这种想法是否普遍。田渊栋回应,这种感受需要“亲手实践”才能体会。他观察到一个现象:许多资深(senior)的研究者倾向于思考高层次(high level)的战略,不亲自处理细节;而刚毕业的学生则将模型作为执行工具,不去挑战难题。这在两者之间形成了一个“gap”(鸿沟)。
田渊栋解释,这与他自己近年来的转变有关。他曾分享过带团队的经验,但后来更强调“hands on”(亲力亲为)。因为在大模型时代,不亲手实践就无法真正理解模型和系统内部发生了什么,做出的高层决策就容易出现偏差。他描述了传统科研模式的反馈循环:导师提出方向,学生执行,经过数天甚至数周才能获得反馈,周期很长。而现在,强大的AI将这个验证循环从几天压缩到了几分钟。研究者提出想法,AI写出代码并运行,可能开个会的功夫,实验结果就出来了,可以立即进行下一步迭代。
主持人由此引申,能最早捕捉到RSI信号的人,似乎需要同时具备资深研究员的经验(判断问题的重要性和难度)和一线的动手能力。田渊栋表示认同。主持人进一步提出,这似乎与AI领域普遍推崇年轻人、认为过往经验是负担的观念有所不同。
田渊栋解释,过去三年的大模型发展浪潮中,年轻人确实有优势,因为核心任务是“scale up”(扩大规模),不需要想太多,“干就完了”。但随着Coding Agent(编程智能体)的普及,情况正在改变。执行的重任落在了AI身上,人的价值更多体现在判断力、逻辑指导和研究品位上。这让许多资深研究者感到“爷的青春又回来了”,他们过去有想法但没时间或团队资源去实现,现在可以通过AI Agent亲自验证。因此,RSI的兴起可能会让天平向更有经验的研究员倾斜。
话题推进: 讨论完RSI对研究者经验价值的重塑后,话题自然转向RSI本身与过去的AI辅助研究有何不同。
00:15:26–00:19:48 从AutoML到RSI:从“人定义空间”到“AI理解空间”现在的RSI和10年前Google做的AutoML这类尝试,区别是什么? (与AutoML相比)它的一个区别是在于人参与的多少的变化吗? 你觉得递归和自动化(人不在loop里)这两件事,哪一个更重要? 主持人将话题拉回RSI本身,提问它与十年前Google的AutoML等“用AI优化AI”的尝试有何区别。田渊栋曾亲身参与过上一波的架构搜索(architecture search)和AI辅助设计,他认为两者区别巨大。
他解释,上一代AutoML的核心问题在于,当时的AI无法建模人类的高层知识和思路。研究员需要深度参与,手动定义一个“搜索空间”(search space),然后让AI在这个固定的空间内寻找最优解。AI本身比较“笨”,无法理解这个空间。
而现在的大语言模型,已经能够对AI架构本身产生“理解”。这种理解可以部分替代人类定义问题的工作,从而让“解空间”(solution space)变得异常巨大且更加智能。核心区别在于,过去是“人定义空间,AI在其中搜索”,现在则是要设法发挥AI的能力,让它“自己找到解空间的结构和解决方法”。
主持人追问,RSI是否意味着人将从这个循环(loop)中完全解放出来,实现完全自动化。田渊栋认为,完全自动化短期内不会发生,这与他“AI无法取代顶尖研究员”的观点一致。他强调,随着AI能力的提升,人确实会从一些低层级工作中解放出来,但需要投入更多脑力去做更高层次的工作。人依然在循环中,只是循环的“level”(层级)更高了。因此,他判断“递归”会先于“完全自动化”发生。
当被问及“递归”和“自动化”哪个更重要时,田渊栋认为这不是一个非此即彼的问题。他指出,一旦递归循环开始运转,掌握该循环的团队或公司就可能进入一个加速发展的阶段,模型越强,AI研究员就越强,从而发现更深层的问题,实现正反馈。这种范式转变的可能性,与人是否完全脱离循环关系不大,但其潜力是真实存在的。
话题推进: 在定义了RSI与AutoML的区别,并阐明了“递归”优先于“完全自动化”的观点后,对话转向了当前行业内对RSI的具体实践和理解。
00:19:48–00:26:23 RSI竞赛:提效之上,更难的是研究突破Anthropic在6月发的长文《When AI builds itself》里提到的一些具体进展,比如AI agent独立完成研究、大幅提升效率,这到了递归自进化的程度吗? 你觉得Anthropic和OpenAI他们理解的递归自进化和你们有什么相同和区别? 除了OpenAI和Anthropic,还有一些新公司也在尝试RSI,比如Mirendil和Sakana AI,你从他们的表达里看到了什么有意思的东西? 所以去年秋天你和这些(大)公司交流时,确实没有很多人提到想做RSI? 主持人提到了近期RSI领域的动态,特别是Anthropic在2026年6月发布的文章《When AI builds itself》。文章展示了其AI Agent独立完成一项AI安全研究,将一个性能差距缩小了97%,远超人类研究员的效率。主持人询问这是否达到了“递归自进化”的程度。
田渊栋认为,这更像是“提效”,是自进化的“第一层”。他分析,Anthropic的做法本质上是围绕一个明确的分数或指标(如weak-to-strong generalization的性能),通过AI Agent尝试各种常规算法和思路来提升这个分数。因为目前除了分数,很难有其他方式来衡量模型能力的提升。所以,自进化的初级阶段,往往表现为在特定指标上的效率提升。
在比较各家对RSI的理解时,田渊栋认为大方向上趋同,但侧重点可能不同。他指出,Anthropic的文章和过往工作更多展示了在“代码”层面的自进化能力,例如让AI从头写一个操作系统或编译器。这些任务虽然繁重,但路径清晰,“有章可循”。而他认为更难、也更核心的挑战在于“研究”层面(AI research),即如何让AI在人类也不知道答案的领域做出突破性发现。这与纯粹的编码任务有本质区别。
主持人接着列举了其他新入局者,如Mirendil和Sakana AI。田渊栋透露,Mirendil的创始人(来自Anthropic)在创业前曾与他交流,探讨过来Anthropic的可能性,但后来这位创始人也选择离开并独立创业。田渊栋推测,这可能是因为像OpenAI和Anthropic这样已经规模较大、且面临IPO压力的公司,其首要任务是做好当前的商业化业务(如Coding Agent),而RSI是一个更长远的方向。因此,对于想专注RSI的顶尖人才来说,重新创立一个小而精的团队可能是更好的选择。
田渊栋还提到,在他2025年秋天决定创业并与其他大公司交流时,RSI远未成为共识,还是一个“小众方向”。当时大公司找他,更多是希望他加入并助力公司已有的方向,而不是专门为RSI设立项目。
田渊栋 · 00:23:52
Mirendil的创始人(当时还在Anthropic)曾与田渊栋交流,邀请他考虑加入Anthropic。但不久后,这位创始人自己也离开并创立了Mirendil。田渊栋开玩笑说“跟我聊过的人都跑路了”。
话题推进: 讨论完RSI领域的竞争格局和创业动机后,话题将转向一个更根本的问题:RSI是否真的会带来“强者愈强”的局面,以及这种智能提升的曲线会是怎样的。
00:26:24–00:52:06 连续对话 200:26:24–00:30:08 RSI的范畴远大于Coding Agent你觉得像OpenAI和Anthropic他们对RSI这个事有多重视,有多认真啊? 你觉得这有可能成为他们继coding agent之后的下一个主线吗? 你觉得光有(coding和agentic能力)这个支点,其实不见得你就能做好RSI? 主持人曼祺首先提出,根据她的观察,RSI(递归自进化)已成为OpenAI和Anthropic等前沿公司的关注重点。她询问嘉宾田渊栋对此的看法,以及RSI是否会成为这些公司继Coding Agent之后的新主线。
田渊栋回应,他无法确定这些公司的具体重视程度,但他认为目前大家更多是在讨论RSI的概念和重要性,而对于如何具体实现、用什么指标衡量,讨论还不多。对于RSI是否是Coding Agent的延伸,田渊栋给出了强烈的判断:RSI的范畴远大于Coding Agent。他解释,Coding Agent只是一个“执行者”,而RSI在问题难度、研究路径和可能性上都比前者大得多,这不仅指市场规模,也包括研究上的方向和逻辑。
田渊栋进一步阐述,仅靠强大的Coding Agent并不足以做好RSI。他认为,虽然OpenAI和Anthropic的闭源模型在编码能力上仍有优势,但随着优秀的开源模型(如GLM-5.2)不断涌现和逼近,编码能力正变得越来越普及,成为大家都能拥有的基础能力。他分享了自己对不同模型的使用体感,认为GLM-5.2在执行性工作上表现不错,但有时会陷入死循环或出现“毛刺”;而Anthropic的Claude 4.6和4.7、4.8版本之间没有质的飞跃,新版本主要是上下文窗口变长,解决了历史记录被压缩后遗忘信息的问题,提升了使用体验。
RSI (Recursive Self-Improvement) 递归自进化或递归自我改进。在本段对话中,指一个AI系统能够通过自我研究、实验和编码,不断地、自动化地改进自身的能力、效率或底层架构,形成一个正反馈循环,从而加速AI自身的发展。它不仅是写代码的工具,更是一个能进行AI研究的“AI科学家”。
Coding Agent 编码智能体。指专门用于辅助或自动化完成编程任务的AI模型或系统。在本段中,它被视为RSI系统中的一个“执行者”组件,负责根据更高层次的指令或发现来修改代码,但本身不具备提出研究方向或抽象新概念的能力。
Grokking 中文常译为“顿悟”。在本段中,指模型在训练过程中,从看似死记硬背(高训练损失,低验证损失)的状态,突然转变为真正理解数据内在规律(训练和验证损失同时降低)的现象。田渊栋用“理解模型如何grokking”来举例,说明理解AI自身学习机制是一个数据稀疏、需要创造性洞察的难题。
Scaling Law 规模法则。指在深度学习领域,模型的性能与其规模(如参数量)、数据集大小和计算量之间存在可预测的幂律关系。在本段中,它代表一种通过不断增加资源(算力、数据)来提升模型能力的路径。田渊栋对其普适性提出质疑,认为它不是通往超级智能的唯一或最有效路径。
田渊栋 · 00:28:45
嘉宾田渊栋认为,与Claude 4.7相比,开源模型GLM-5.2已经“挺不错了”,和Claude 4.6相比则“已经差不多”。他感觉Claude 4.6、4.7、4.8之间没有太大区别,4.8的主要优势是更长的上下文窗口,避免了4.6中途压缩历史记录导致遗忘上下文的问题。
话题推进: 在明确RSI的复杂性远超Coding Agent后,主持人追问,除了编码能力,RSI还需要哪些关键能力。
00:30:08–00:36:53 RSI需要的核心能力:从少量样本中抽象规律的“品味”你觉得它除了coding之外,可能它还需要一些什么样的能力呢? 这个东西它如果总结下的话,它在模型里是属于什么能力?属于推理,属于reasoning吗? 在人的能力里面,它属于哪一种? 是不是我不用处理一些特别深的理论问题,我可能也能实现(RSI)这个目标? 主持人追问RSI除了编码之外还需要什么能力。田渊栋指出,一个非常重要的能力是顶尖人类研究员所具备的“品味”(taste),即对研究方向的感觉、理解以及对问题的抽象能力。他认为,这是一种超越了普通“推理”(reasoning)范畴的能力,更接近于“创造力”。具体来说,就是能从纷繁复杂的表象中抽取、总结概念,并将其应用于新问题的能力,也就是主持人所说的“从少量样本里看到精准而细节的联系”。
田渊栋强调,这是目前大模型与人类相比的一大差距。大模型之所以强大,是因为有海量数据支撑,擅长处理重复性的、数据丰富的任务。但在科学研究等数据稀疏、问题层出不穷的开创性领域,模型很难应对。主持人提问,AI for AI这个领域本身是否数据更富集,不太需要这种“灵光乍现”的能力。田渊栋以理解模型本身如何学习(grokking)为例反驳,指出这类问题没有现成数据集,人类研究者从2013、2014年起就尝试用重整化群、自旋玻璃、神经正切核等各种理论工具去解释,但都没有得到特别满意的结果。要让AI去发现一个全新的、不同于以往任何理论的解释,是极其困难的。
不过,田渊栋也承认,RSI的好处在于它并非一个“要么0,要么100”的目标,而是存在很多中间阶段。即便不去解决最深刻的理论问题,RSI在初级阶段也能完成很多有价值的工作,比如优化算法、提升性能。他将RSI的进化路径比作阶梯,第一级台阶本身就有很多实用价值,而终极目标则是让AI拥有爱因斯坦或牛顿那样的大脑,能从极少样本中获得极深刻的知识。即使最终目标无法实现,过程中的应用价值也已经非常巨大。
田渊栋 · 00:34:03
田渊栋列举了从2013、2014年深度学习兴起时,理论研究者们为解释其工作原理所做的多种尝试,包括物理学中的重整化群(renormalization group)、自旋玻璃(spin glass),以及数学上的神经正切核(neural tangent kernel)、贝叶斯方法、高斯过程等。他指出这些尝试都未取得特别满意的结果,说明理解AI本身就是一个数据稀疏、需要创造性洞察的难题。
话题推进: 在讨论了RSI所需的核心能力后,对话转向了另一个核心能力——Agentic Behavior,并由此引出了创业公司与大公司在RSI竞赛中的不同处境。
00:36:53–00:45:51 智能提升是阶梯式跳跃,而非平滑曲线在coding之外,RSI还需要什么能力?还有什么你觉得? 你觉得这个逻辑(谁先达到RSI状态,谁就甩开其他人)它有什么漏洞吗? 你觉得它接下来的这个发展是直接这样往上的,还是它是渐进式的有平台的? 这个想象往后是什么? 你们合伙人之间也会去讨论这种事情,也会有相同的愿景? 田渊栋补充,RSI还需要“agentic behavior”,即AI使用工具、整合知识以完成任务的能力。他认为这项能力已有许多开源方案和现有模型具备,因此对于RSI的最终结果有多大决定性,不同人有不同看法。
主持人接着提出了一个在硅谷很流行的假设:率先达到RSI状态的公司将通过加速自我进化,把其他对手越甩越远。田渊栋认为这个逻辑大体正确,但存在一个关键变量:智能的提升路径。他反对“平滑曲线”的观点,即投入更多资源就必然线性变强。他认为智能的提升更可能是“阶梯式跳跃”的:在某个技术平台期,所有AI的能力都差不多;直到某个参与者实现了理论或架构上的“突破”,其AI能力会跃升到下一个层次,远超前代。这种发展模式就像一个接一个的S型曲线,每个平台期都对应着一次突破。
田渊栋解释,这一判断是基于他对Scaling Law局限性的看法。如果完全信奉Scaling Law,认为只需不断堆砌算力、数据就能持续变强,那么RSI的进化将是平滑的,领先者(如OpenAI和Anthropic)会因其初始优势和更快的加速度而永远领先,创业公司将毫无机会。但他认为Scaling Law不是全部,其所需资源呈指数级增长(十倍资源换取线性增长),在现实中会遭遇电力、成本等物理瓶颈,不可能无限持续。因此,必然需要更高效、有知识性突破的方法。
基于这种“阶梯式跳跃”的判断,田渊栋认为未来充满可能性,而非一个由Scaling Law决定的“无聊”未来。他畅想,当RSI普及,人类智能被极大增强后,物质需求能被轻易满足,社会可能进入“修仙社会”,实现“言出法随”。但他也在自己的科幻小说中探讨过这种状态的风险:失去发展动力。因此,如何在享受技术便利的同时保持人类前进的动力,将是一个巨大的新问题。他澄清,“修仙社会”是他的个人科幻愿景,而公司的目标是更务实地将RSI系统跑起来,并计划在AI for AI之后,将其应用于其他科学领域。
话题推进: 在描绘了RSI的宏大愿景和实现路径的判断后,主持人将话题拉回到嘉宾公司当下的具体进展。
00:45:51–00:52:06 “自动化研究的第一步”:在三个基准上验证系统能力你们在6月初释放了第一个成果……可以讲讲这是一个什么样的进展吗? 这一次的这个进展发布之后,有什么有意思的反馈吗? 你为什么要去(在SOL-ExecBench上)做这件事? 你们这次做的这三个测试,是用同一个系统去跑的吗? 你们当时是怎么计划和思考去做这样一个成果的? 你们是把你们做这个东西称作系统,为什么不把它叫做一个agent? 你们是怎么设定递归自进化的第一阶段的目标的? 如果只看这些数字的话,直观的感觉是它一些改进好像是非常小的。 主持人询问Recursive公司在6月初发布的博客《First Steps Toward Automated AI Research》的具体进展。田渊栋介绍,这是证明其系统可行的初步成果,主要体现在三个开源的基准测试(benchmark)上:
1. NanoChat Autoresearch:在限定5分钟的训练时间内,系统优化了模型,使其BPB(bits per byte)指标低于社区已知最优值,展示了提升模型性能的能力。
2. NanoGPT Speedrun:系统提升了模型训练速度,展示了提升效率的能力。
3. SOL-ExecBench:系统发现了一个新的GPU算子(kernel),其性能优于当时最好的方案,展示了优化底层基础设施(Infra)的能力。
田渊栋称,这三个测试是用同一个通用系统跑出来的,选择它们是因为其反馈周期短,能让系统快速迭代。他将第一阶段的目标设定为“让系统能跑起来,并取得一些初步结果”,目前已经达成。对于商业化,他表示仍在思考,但强调会保持系统的通用性,避免为某个垂直领域做过多特化。
主持人提到,从数字上看,这些改进似乎很小。田渊栋对此进行了反驳,并以算子优化为例详细说明。他指出,他们的系统在一个没有任何GPU专家的团队里,做出的结果比一个由前Mobileye CEO领导、拥有专业GPU工程师的以色列公司Deci.ai(转录中为Double AI)提交的版本还要好10%。他本人是团队里最懂算子优化的人,而他此前并无相关经验。这个对比充分说明了其AI系统的强大和高效。他透露,算子优化的工作最初是他一个人借助公司的AI系统开始的,取得初步成果后,整个团队都非常兴奋,并合力做出了更好的结果。
田渊栋 · 00:50:46
Recursive公司的系统在NVIDIA的SOL-ExecBench上优化GPU算子,其结果比专业半导体公司Deci.ai(由前Mobileye CEO创立)的方案性能高出10%。田渊栋强调,Recursive团队内没有GPU专家,而他自己作为项目带头人也从未做过算子优化,这凸显了其AI系统的能力。
话题推进: 在详细解释了第一个成果的意义后,对话将继续深入探讨这个自动化研究系统目前还面临哪些挑战,以及对未来的展望。
00:52:06–01:17:03 连续对话 300:52:06–00:54:43 “第一步”成果的意义:在成熟的效率竞赛中取得突破你对自己公司(Recursive Superintelligence)在几个效率 benchmark 上取得的成果满意吗? 很多人可能不理解把 NanoChat Speedrun 的时间从79秒缩短到77秒的意义,能否解释一下? 你们目前测试的都是小规模模型,这些成果能迁移到主流大模型上吗?中间会有很大的gap吗? 公司接下来会做什么?第二步是什么? 你们有类似OpenAI那样的AGI发展路线图吗? 承接上一段,田渊栋解释了公司“第一步”成果的意义。他表示,尽管团队并非专门研究大模型效率的专家,但依靠通用的RSI系统和逻辑,在几个公开的效率评测(benchmark)上取得了比业界顶尖专家团队更好的结果,他对此感到满意。
主持人曼祺追问,如何理解其中一项成果——将 NanoChat Speedrun 的训练时间从79秒缩短到77秒。田渊栋解释,这个评测项目在技术社区已经持续了两年,79秒的成绩是整个社区努力达到的“业界最佳”(SOTA, State-of-the-Art),已经很难再提升。因此,虽然绝对数字只减少了2秒,但对于了解这个领域的人来说,这是一个显著的进步。
接着,主持人指出这些测试(如NanoChat、NanoGPT)都是在GPT-2级别的小模型上进行的,与主流大模型参数规模差距巨大,并询问这些成果能否迁移到大模型上。田渊栋坦承,迁移到大模型上确实存在差距(gap),团队正在继续研究,但具体进展不便透露。
对于公司的下一步计划,田渊栋表示会继续优化RSI系统本身,使其更强、更高效,并探索将其应用到更广泛的方向,例如模型预训练和后训练。不过,当被问及是否有类似OpenAI那样的清晰发展路线图时,他表示公司刚刚成立,目前还没有。他类比道,OpenAI也是在成立八九年后才提出其路线图,虽然现在行业节奏加快,但也不至于快到半年就能规划清楚。
NanoChat Speedrun 一个公开的AI模型训练效率竞赛。目标是在固定硬件(如单块GPU)和时间内(如5分钟),通过优化代码和训练策略,将一个小型语言模型(GPT-2级别)在特定数据集上的性能指标(如BPB)训练到尽可能好。在这里,它被用作一个衡量RSI系统自动化提升效率能力的评测基准。
可解释性 (Interpretability) 指理解一个AI模型(特别是深度神经网络)为何做出特定决策或预测的能力。其目标是打开模型的“黑箱”,揭示其内部的工作机制、学习到的特征和推理过程。在本段中,田渊栋认为它是Scaling Law之外的重要创新方向,既能加速研究,也能提升AI的安全性。
术与道 田渊栋用这两个哲学概念来区分AI目前能达到的成就水平。“术”指针对具体问题的巧妙技巧或解决方案,如同通过搜索找到的优化捷径(如AlphaDev优化矩阵乘法)。“道”则指更根本、更普适的底层原理或理论,具有结构性的美感和启发性。他认为AI目前停留在“术”的层面,而人类的顶尖创造则能达到“道”的层面。
话题推进: 在讨论完公司下一步计划后,主持人将话题转向了整个RSI领域目前面临的挑战和稀缺资源。
00:54:43–01:00:43 RSI的挑战与个人信念:在Scaling Law之外相信可解释性你觉得RSI这个领域现在急缺什么?比如数据是否充裕? 可以分享一些业界在RSI数据上的大致思路吗? 获取这些数据的成本高吗?难吗? 除了数据,还缺什么? 你们首轮融资很多,算力在第一阶段对你们来说充足吗? 实现更终极的RSI,是否需要Scaling Law之外的新创新? 关于Scaling Law之外的方向,你有什么可以透露的想法吗? 你提到公司愿景强调安全,RSI实现后可能有什么风险? 你一般怎么回答“AI自我进化后会否失控”这类问题? 你觉得终极的RSI需要意识吗? 从业者里是不是分两派,一派认为AI可解释,一派认为不可知? 你这种少数派的相信来自什么? 主持人询问RSI领域目前急缺的资源。田渊栋首先提到数据,但他表示,关于RSI需要什么数据、如何获取、遵循何种准则,目前业界还没有定论,各团队都在探索期,具体思路不便分享。他只透露,获取数据的方法有难有易,通常难获取的数据效果更好。
其次是算力。田渊栋指出,RSI的探索和研究本身就需要消耗算力,如何用更少的算力获得更多成果是一个重要课题。他承认公司首轮融资获得的资金可以支持做一些事情,但与“御三家”(指OpenAI, Google, Anthropic)或大厂相比仍有距离。因此,他认为小公司不能完全依赖“拼算力”(Scaling Law),必须寻求Scaling Law之外的创新。
在追问下,田渊栋透露他认为的一个重要方向是“可解释性”。他相信理解模型内部机制能发现新的洞见(insights),从而加速研究并提升模型安全性。他承认,在AI领域,相信模型最终是可解释的属于“少数派”,大多数人可能已经对理解复杂的大模型感到“绝望”。
当被问及RSI的风险时,田渊栋观察到,领域外的人比领域内的人更担忧AI失控。他对此提出两点回应:第一,目前的AI训练方式类似“训狗”,是在特定“进化压力”下使其服务于人,这很难进化出自我意识或与人对抗的欲望。他认为创造力与权力欲是两回事,可以分开。第二,他再次强调了可解释性的重要性,认为理解模型的工作原理可以消除人们对“黑箱”的恐惧。
最后,田渊栋将自己对可解释性的信念归因于过去多年对神经网络训练算法的深入研究。他坦言,尽管自2012年以来,许多从物理、数学等领域借鉴的理论研究成果甚少,但这并未动摇他的信心。他觉得自己也许会是那个把这件事做出来的少数派。
田渊栋 · 00:57:58
田渊栋认为,训练AI就像训练狗,是在一种“进化压力”下使其更好地服务于人,因此不太可能进化出自我意识和权力欲。他以现实中的天才数学家或物理学家为例,他们可以在自己的领域极具创造力,但同时与世无争,说明“能力”和“欲求”可以分开。
话题推进: 在阐述了自己对AI可解释性的信念后,主持人进一步询问了有哪些同行者,并由此展开了对不同研究范式的讨论。
01:00:43–01:08:13 AI终将成为科学:从炼金术到化学的必然路径现在还在追求(可解释性)这件事的同行人有哪些? 你觉得Yann LeCun做的JEPA是在追求这个吗? 你追求的是希望把AI变成一个真正的科学? 你说的“AI终将成为科学”是和历史上什么过程呼应? 你觉得下一个出现的牛顿还是人类吗? 有生之年能看到图灵奖颁给一个系统吗? 到了那个状态,人类研究员的乐趣是什么?你自己的乐趣是什么? 最近AI系统在数学上的一些突破,比如Google的AlphaDev,你去看了吗?觉得优美吗? 你刚才问有什么值得看的,意思是AI目前做出来的东西还没有那么优美? 田渊栋表示,坚持探索AI底层原理的同行者不多。他提到,许多原先做理论的研究者,在这一波AI热潮后,因为觉得Scaling Law势不可挡,便放弃了原有方向,选择“打不过就加入”,进入大公司成为scaling law大军的一员。他以Mirendil的创始人Behnam Neyshabur为例,他曾是与Sanjeev Arora等理论学者合作的知名理论研究者,但后来也转向了更工程化的方向。田渊栋认为,像马毅教授是少数仍在坚持追求可解释性的学者。
主持人提及Yann LeCun的工作,田渊栋认为LeCun的追求不完全是可解释性,而更多是探索一个基于世界模型和视觉的新范式,他相信这个范式能解决当前大模型做不了的事情,这更偏向一种工程路径的探索。主持人总结,田渊栋的追求是希望“把AI变成一个真正的科学”,田渊栋对此表示认同。
田渊栋将“AI终将成为科学”类比为科学史上的必然过程,就像“炼金术”最终发展为“化学”,或天文学从第谷·布拉赫的数据观测,到开普勒的经验总结,再到牛顿的底层原理。他认为在“牛顿”出现前,人们普遍会觉得系统不可解释,但这个过程终将发生。至于下一个“牛顿”是人还是AI,他认为不一定,而这也正是做RSI的原因——集结所有最强的大脑(包括人和AI)来完成这一事业。
对于AI能自主发现知识的未来,田渊栋认为届时图灵奖可能已不重要。他作为研究者的乐趣将在于:首先,能理解AI如何工作本身就让他很开心;其次,可以去欣赏AI发现的知识之美。他平时就有阅读数学证明的习惯,享受那种豁然开朗的感觉。不过,当被问及是否欣赏过AI的创造(如AlphaDev优化矩阵乘法)时,他认为AI目前的发现还停留在“术”的层面,即通过强大的搜索找到具体问题的巧妙解法,但尚未达到“道”的层面——发现一种前所未见的、具有结构性美感的新理论或新逻辑。目前,他认为还是人创造的东西更值得欣赏。
田渊栋 · 01:07:22
田渊栋区分了“术”和“道”。他认为AlphaDev优化矩阵乘法属于“术”,是通过高效搜索找到的 конкретный трюк。而“道”则是发现一个全新的、具有普适性和美感的理论,AI目前还未达到这个层次。
话题推进: 在探讨了对AI未来的哲学思考和个人追求后,主持人将话题转向田渊栋的个人经历,探寻这些经历如何塑造了他今天的研究路径和判断力。
01:08:13–01:17:03 从工程到研究的回归:Hands-on经验如何塑造研究判断力你过去在Google X做无人车工程师,后来去FAIR又回到研究,为什么做这个选择? 13、14年时,你入行那会儿的氛围和现在有什么不一样?是不是年轻人没那么受追捧? 当时级别高和级别低的人,谁更了解正在变化的深度学习浪潮? 你当时觉得在Google做无人车工程师有点无聊了? 你在13、14年就看到无人驾驶可能很晚才会落地吗? 从偏工程的Google X到偏研究的FAIR,这一步跨得难吗? 你之前比较工程化的写代码经验,对后面形成研究品味(taste)有帮助吗?现在回头看呢? 为什么不亲手做实现,就会把不同难度的研究问题混为一谈? 你觉得只指方向和亲手实现这两类研究员里,都有非常好的吗?可以分别举例吗? 主持人询问田渊栋从Google无人车工程师转向Meta FAIR研究员的经历。田渊栋回忆,2013年他加入Google无人车项目(Waymo前身)时,正值深度学习变革初期。他很想在项目内应用深度学习,但当时资源有限,且公司内部论资排辈,作为级别较低的新人,他无法获得GPU等资源,只能做一些“打杂”工作,比如为紧急车辆检测手写规则,他判断这没有职业前景。
他观察到,当时很多资深人士对深度学习持排斥态度,认为其“不行”或“有猫腻”,反而是年轻人更容易接受新事物。此外,他对无人驾驶行业的判断是,这是一个“要么完全成功,要么完全不成功”的领域,因为它无法容忍风险,必须解决所有长尾问题(corner case)才能大规模上路,这将是一个极其漫长的过程。因此,他很早就对“五年内落地”之类的乐观预测免疫了。
离开Google后,他加入了FAIR。他澄清,在FAIR的前几年,他仍然非常偏工程,例如从零开始搭建围棋项目(OpenGo)的分布式强化学习系统,甚至曾被评价“太工程了,不像研究员”。直到2019年项目成功后,他才慢慢转向更偏研究,并逐渐形成了自己的研究品味(taste)。
田渊栋强调了“亲手实践”(hands-on)的重要性。他认为,即使后来转向理论,自己也保持每年发表一作论文,保持对问题的一手感觉。他将研究员分为两类:一类是只负责“指方向”的高层思考者,他们不关心具体实现,这容易导致他们无法区分“比较难”和“非常难”的问题;另一类是不仅指明方向,还能规划出具体实现步骤(12345)的研究员。田渊栋认为两类都有优秀的人,并以Yann LeCun为例,说明他属于前者:LeCun指出了自监督学习的大方向,并基于“反馈信号的多少”这一核心洞察,断定其比强化学习更有前途,但他并不深究模型具体如何从这些信号中学到知识。而田渊栋自己更倾向于成为后者,既看方向,也懂实现。
田渊栋 · 01:16:33
Yann LeCun画了一个著名的“蛋糕图”,把强化学习(Reinforcement Learning)比作蛋糕上的樱桃,因为其反馈信号稀疏;而把自监督学习比作蛋糕主体,因为其反馈信号密集。田渊栋认为这是LeCun作为“指方向”型研究员的典型例子,他抓住了核心逻辑,但不深究实现细节。
话题推进: 本段结束,访谈进入下一部分。
01:17:03–01:28:58 连续对话 401:17:03–01:20:26 两种研究者:提出问题的人与解决问题的人所以就是第一类研究员的优秀的典型是他能去提一个问题,提个好的问题? 你觉得像 Ilya 和 Dario 他们属于哪一种? 承接上一段对不同研究者类型的讨论,嘉宾田渊栋继续阐述。他将研究者分为两类:
第一类研究者擅长提出好问题、抓住好方向。他以Yann LeCun为例,LeCun早期坚持“自监督学习”优于“少监督学习”的观点,认为监督信号越多,模型学得越快。这一坚持最终引领了潮流,如今GPT的“预测下一个词”本质上也是自监督学习。这类研究者能为领域“开一个好坑”,指明一个可行的方向,即便具体实现需要很多人共同努力。另一个例子是提出用隐空间(latent space)的token而非自然语言进行推理的思路,这本身就开辟了一个新的研究方向。
第二类研究者不仅知道“做什么”,还知道“怎么做”。田渊栋将自己的许多工作归于此类,重点在于挖掘机制、找到能把事情做成的具体路径。
在主持人追问下,田渊栋将Ilya Sutskever和Dario Amodei归为第一类研究者。他特别提到,Ilya对Scaling Law(规模法则)有近乎宗教般的信仰,坚信只要不断扩大模型规模、解决好工程问题,就能取得成功。这种信念在正确的时间点上推动了OpenAI的巨大成功。但田渊栋也同意Ilya近期的观点,即Scaling的红利已接近尾声,不能再只依赖这一条路。他认为,任何研究方向都有其极限,AI领域进展迅速,一个方向的红利期可能很短,研究者必须寻找新的突破点。对于创业公司而言,尤其不能将Scaling作为自己的长项,因为大公司在这方面优势更明显。创业者必须找到差异化的路径。
反身性(Reflexivity) 在社会科学(特别是经济学和金融市场)中,指理论或预测本身会影响它所描述的系统,从而可能改变结果的现象。例如,一个预测某支股票会大涨的报告,如果被足够多的人相信并据此买入,就会推动股价上涨,形成自我实现的预言。嘉宾用“我把这句话说出来,这句话就不灵了”来通俗地解释这个概念,它与自然科学中观察者不影响被观察对象的假设形成对比。
话题推进: 从Scaling Law的局限性,自然过渡到大公司在AI浪潮中面临的组织结构问题。
01:20:26–01:23:27 大厂为何变慢:150人临界点与扁平化协作在Meta的最后阶段……这个过程你有一些什么组织层面,或者说怎么做好研究的总结吗? 大厂你的小团队能独善其身吗? 你觉得多大算大? 主持人询问田渊栋在Meta后期经历公司动荡时,对“如何做好研究”的组织层面总结。田渊栋认为,当前这波AI浪潮是“反大厂”的,大公司的激励机制、职级体系、岗位设计等都与AI研究的需求背道而驰,导致组织越臃肿,进展越慢。
他解释,大模型研究极度需要研究者亲身实践(hands on),去感受和发现模型的问题。一旦组织出现“经理-执行者”的二级架构,信息传递就会变慢、失真,如同导师与学生的关系,导师无法100%了解学生的工作,学生也无法100%理解导师的想法,沟通效率低下。此外,大厂中层管理者的目标有时并非项目成功,而是个人发展。
主持人追问小团队能否在大厂中“独善其身”,田渊栋表示有可能,但团队一旦变大、出现职级和中层管理,问题就会重现。他提出了“150人临界点”的观察:一旦团队超过150人,成员之间不再普遍相互认识,沟通开始依赖正式的组织架构,效率随之下降。他提到,OpenAI和Anthropic虽然总人数多,但其核心的模型开发团队(如Claude、Code相关团队)规模非常小,保持了精炼和高效。因此,他的新公司Recursive Superintelligence也不打算招太多人。
话题推进: 讨论完组织架构后,主持人将话题转向嘉宾个人的研究品味与哲学。
01:23:27–01:25:37 在理想与现实间寻求美:研究者的个人品味与局限如果总结下的话,就你过去的这么多经历,给你带来的直觉、判断,还有技术上的品味是什么呀?你的偏好是什么? 这个局限展开来说是什么呀?你做工程师是你认知到这种局限之后,你试图去弥补这个局限的一种方式吗? 你觉得像RSI这个方法……它再往下,它能进入你说的这种更复杂的世界吗?比如说它有可能去怎么改良社会科学的一些理解和认知吗? 你能预见到说自己在(RSI)这个旅程之后,你接下来想探索的东西是什么吗? 主持人询问田渊栋的个人技术品味和偏好。田渊栋坦言,他本质上喜欢数学,追求“美的东西”和“精巧的结构”。但同时,他也深刻意识到这种偏好的局限性。他将自己描述为理想与现实的结合体:一方面作为追求美的理想主义者,另一方面作为务实的工程师。
他解释这种“局限性”是理想与现实的碰撞。世界并非总是遵循优美的规律,因此他需要不断提醒自己,不能沉溺于对“美”的幻觉中,而是要去做一些对世界、对公司有用的事,即便它们并不“美”。但即便如此,他仍然会在现实条件下继续追求美。
当被问及RSI能否应用于社会科学(如经济学)时,田渊栋表示有可能,但他对此领域了解不多,难以给出具体建议。他指出了社会科学与自然科学的关键区别:自然科学默认信息完全透明,而社会科学(如经济学)存在“反身性”——即一个理论或预测被说出后,它本身就会影响系统,导致预测失效。这使得问题变得非常复杂。
最后,对于RSI之后的探索计划,田渊栋表示当前会完全专注于把RSI做好,暂不考虑更长远的问题。
话题推进: 嘉宾表示将专注于RSI,主持人随即对本期节目进行总结。
01:25:37–01:28:58 节目总结与延伸讨论:RSI竞赛的两种未来主持人曼祺对本期与田渊栋的对话进行了总结。她回顾了节目讨论的核心:RSI(递归自进化)这一方向为何从去年下半年少数人的探索,演变为今年春季硅谷的热门共识。节目梳理了从十年前的类似尝试到如今RSI的演进,以及各大公司的进展,特别是Recursive Superintelligence公司在6月初发布的第一阶段成果。
随后,曼祺在“点点呈现”环节,将本期内容与近期其他节目(171期、177期)中关于RSI的讨论联系起来。她引用李白的诗“脚著谢公屐,身登青云梯”来比喻模型日益增强的`coding`能力,正是这把“梯子”让RSI从设想走向现实。她串联了以下几点:
1. Kimi K3的能力:在177期节目中提到,K3的早期版本已能进行算子优化,这与本期田渊栋公司在SOL-ExecBench上取得的成果方向一致。
2. NanoGPT Speedrun:本期提到的另一个benchmark,之前主要由人类参与,现在也越来越多地由AI来完成。
3. 共同观察:几期节目都指向一个事实——模型`coding`能力的巨大提升,是RSI得以在具体任务上实现的关键驱动力。
最后,她重提了本期的一个核心思辨:RSI的未来路径。一种可能是,拥有最强`coding`能力的Anthropic和OpenAI会进入“加速度越来越快”的状态,甩开所有对手。另一种可能性,即田渊栋提出的观点:智能的提升曲线并非平滑向上,而是阶梯式的,会存在平台期。如果Scaling Law在技术、理论或能源算力等现实层面遭遇瓶颈,就需要新方法的加入。而原创性的想法,目前还不是单靠`coding`能力就能解决的。主持人以一个开放性问题结束:“你会更相信哪种未来呢?”
话题推进: 节目结束。
以上是原对话的分段阅读。下面才开始提炼论证、解释机制并给出本文自己的判断。
主要论证:观点怎样由经历与例子支撑 RSI(递归自进化)的兴起,让资深研究员的经验和品味价值回归,是“爷的青春又回来了”。 田渊栋 · 00:13:10;00:14:35
1. 过去三年的大模型浪潮核心是“scale up”,执行力强的年轻人有优势,经验有时反成束缚。
2. 现在,强大的Coding Agent(编程智能体)承担了繁重的执行工作,极大地缩短了“想法-验证”的反馈循环(从几天到几分钟)。
3. 这使得人类研究员的核心价值从“执行”转向了更高层次的“判断”,如判断问题的重要性、难度,以及提供逻辑指导和研究品味。
4. 资深研究员过去积累的经验、品味和大量未及验证的想法,现在可以通过AI Agent快速实现和迭代,重新发挥价值。
成立条件: 此论证成立的前提是Coding Agent的能力足够强大且易于使用,能够可靠地将研究员的高层思路转化为可执行的代码和实验,从而让研究员能专注于“提想法”而非“实现想法”。
智能的提升是“阶梯式跳跃”,而非平滑的加速曲线,这为后发者和创业公司创造了机会。 田渊栋 · 00:38:07;00:39:38;00:41:05
1. 如果智能提升是平滑曲线,那么遵循Scaling Law、拥有最多资源的领先者(如OpenAI)将通过更快的加速度永远保持领先,创业公司没有机会。
2. 但Scaling Law本身存在物理瓶颈(如电力、成本),其“十倍资源换取线性增长”的模式不可持续。
3. 因此,AI能力的提升更可能是在一个技术平台期后,通过某个理论或架构上的“突破”,跃升到下一个层次,形成一系列S型曲线的叠加。
4. 在平台期,各方能力趋同;而“突破”不完全依赖资源规模,更依赖创新思想。这就为没有资源优势但有新想法的团队(如创业公司)提供了实现非线性赶超的可能性。
成立条件: 该判断成立的条件是Scaling Law确实会很快遇到难以逾越的物理或经济瓶颈,且存在不完全依赖于巨大算力和数据的、能够带来能力跃迁的“知识性突破”路径。
RSI的范畴远大于Coding Agent,仅靠强大的编码能力不足以实现RSI。 田渊栋 · 00:27:14;00:30:08;00:32:15
1. Coding Agent只是一个“执行者”,负责将指令转化为代码,而RSI系统需要具备更高层次的研究能力。
2. RSI的核心挑战之一,是让AI具备顶尖人类研究员的“品味”(taste),即从少量、稀疏的数据中抽象概念、总结规律并应用于新问题的创造力。这是当前大模型依赖海量数据进行统计学习的范式所欠缺的。
3. 以理解“Grokking”现象为例,这类AI研究问题本身没有现成数据集,需要创造性的理论洞察,而非简单的代码实现。
4. 随着开源模型的发展,强大的编码能力正变得普及化,会成为基础能力,而非决定RSI成败的唯一壁垒。
成立条件: 此论证的成立依赖于“研究品味”或“创造力”确实是一种与现有大模型能力(如模式匹配、代码生成)有本质区别的能力,并且无法通过简单地扩大模型规模或增加数据来涌现。
大公司的组织结构与当前AI研究的需求“背道而驰”,小而精的扁平化团队更具优势,其规模临界点约为150人。 田渊栋 · 01:20:26;01:21:27;01:22:15
1. 当前AI研究极度需要研究者“亲手实践”(hands on)以获得对模型的一手体感和洞察。
2. 大公司的层级结构(如“经理-执行者”)会造成信息传递的延迟和失真,降低研究效率。
3. 一旦团队规模超过150人,成员间无法普遍相互认识,沟通开始依赖正式流程,敏捷性下降。
4. 相比之下,小团队能保持扁平化协作,信息流通快,决策效率高。他观察到OpenAI和Anthropic的核心模型团队也保持着很小的规模。
成立条件: 此观点成立的条件是,AI研究的核心突破确实高度依赖个体研究员的敏锐洞察和快速迭代,而非大规模、分工明确的工程协作。同时,小团队能够获得足够的算力等资源来支持其研究。