原对话:沿提问、回答和转折完整展开 下面先按节目顺序重建。主持人在追问什么,嘉宾如何以自己的经历、例子和推理作答,尽量保留在具体语境中;案例中的事实、数字和判断先归属于发言人。随后才进入本文的机制解释与独立判断。
00:00:02–00:26:19 连续对话 100:00:18–00:02:53 从Fellou到Mind Lab:一位强化学习研究者的职业选择与技术追求如何看待Mind Lab及其前身Macaron的争议? 你追求的是模型训练效果本身,而不是最终的产品形态吗? 主持人曲凯首先请嘉宾马骁腾(Pony)回应外界对Mind Lab的争议,特别是其前身产品Macaron引发的讨论。
马骁腾认为,有争议是好事,说明公司受到了关注。他解释自己的职业路径始终围绕一个核心:将强化学习(RL)应用于模型训练,特别是模型后训练(Post-training)。他回顾了自己参与的两个创业项目:
1. Fellou浏览器:最初设想是通过浏览器收集用户交互数据,用于图形用户界面(GUI)相关的模型后训练。但后来发现,在一家应用型公司,资源有限,且业务重心是追逐最佳模型表现,很难深入进行后训练研究。
2. Mind Lab:离开Fellou后,他联合创办了Mind Lab,定位为专注于模型后训练的实验室(Post-training Lab)。无论是早期的C端应用Macaron,还是现在面向B端的“强化学习即服务”(RLaaS),其技术内核都是通过大规模强化学习,提升模型在特定领域的性能。
马骁腾将后训练技术类比为互联网时代的推荐系统,视其为一种基础技术,而上层长出何种具体产品(如抖音或今日头条)并非他作为研究者现阶段最关心的问题。他强调,自己更关注技术本身,而非最终的产品形态。
Post-training (后训练) 在本对话中,指在大型模型完成基础的预训练(Pre-training)之后,针对特定任务或领域,利用专门的数据和算法(如强化学习)对其进行进一步优化和微调的过程。输入是预训练好的基础模型和特定场景的数据(如用户交互),输出是一个在特定能力上表现更强的专业化模型。
RL (Reinforcement Learning, 强化学习) 一种机器学习方法。智能体(Agent)通过与环境(Environment)的交互来学习。它不断尝试不同的动作(Action),并根据环境反馈的奖励(Reward)或惩罚来调整其策略(Policy),目标是最大化长期累积奖励。在本对话中,它被用于优化大模型的输出,使其更符合人类偏好或特定任务要求。
Exploration vs. Exploitation (探索与利用) 强化学习中的一个核心权衡。Exploitation(利用)指执行当前已知的最优策略以获取奖励;Exploration(探索)指尝试新的、未知的动作,以期发现可能更优的策略。在本对话中,嘉宾将其引申为人生哲学,即在现有优势(利用)和尝试新可能性(探索)之间取得平衡。
Policy (策略) and Value (价值) 强化学习中的两个核心概念。Policy定义了在给定状态下,智能体应该采取什么动作的概率分布。Value函数则评估了在某个状态或采取某个动作后,未来可能获得的长期累积奖励的期望值。两者是“对偶”的,即一个好的策略会导向高价值的状态,而准确的价值评估能帮助制定更好的策略。
话题推进: 在确认了马骁腾以技术为核心的职业追求后,主持人追问他为何不选择直接加入成熟的AI Lab,从而引出了他从强化学习中总结出的人生哲学。
00:02:53–00:09:04 强化学习中的人生哲学:探索、知行合一与长期主义既然你的目标是模型训练,为什么没有首选去AI Lab? 能否详细解释一下强化学习中的“exploration”(探索)和“表征能力”? 你在模型训练这个专业领域,给自己打90分还是更高?这与创业追求100分是否存在矛盾? 主持人曲凯对马骁腾未选择加入大型AI Lab感到好奇。马骁腾解释,他热爱创业这种生活方式,这与他从强化学习(RL)研究中获得的哲学密切相关。他认为,限制模型能力的关键在于“探索”(Exploration)和“表征能力”。
受主持人追问,马骁腾分享了RL带给他的三点人生启示:
1. 探索与利用 (Exploration vs. Exploitation):所有有效的RL算法都必须平衡探索与利用。他以早期训练Atari游戏模型为例,即使是10%的随机动作(探索),对于跳出局部最优、达到全局最优解也至关重要。引申到人生,他认为必须跳出舒适区进行探索,避免陷入“局部最优循环”。这让他成为一个“90分主义者”,即在一个领域做到90分后,会用剩余精力探索新事物。对于创业中追求100分与个人“90分主义”的矛盾,他解释说,这正是他与联合创始人合作的原因:他负责探索,而团队共同努力达到100分。
2. 知行合一 (Policy-Value Duality):RL中的“策略”(Policy,决定做什么)和“价值”(Value,评估有多好)是相互对偶且必须保持一致的。如果两者不一致,说明认知或行动出了问题。这启发他要成为一个“知行合一”的人,不断根据实践(collect experience)来更新自己的价值观和判断,再用新的判断指导行动,形成一个正向循环。
3. 长期主义 (Long-termism & Discount Factor):RL通过“折扣因子”(Discount Factor)来平衡短期与长期回报。折扣因子太小会导致短视,太大则因未来充满不确定性(noise)而难以收敛。这指导他要拥有长远眼光,但也要有合理的规划。他认为创业是最符合RL循环的,因为可以收集到最真实的、全局性的反馈信息,这在大厂的局部环境中难以实现,也有利于进行探索。
话题推进: 阐述完个人选择背后的哲学后,对话转向一个更具体的问题:一个没有在大型模型工厂工作过的研究者,如何能够训好模型。
00:09:04–00:14:14 没有大厂经历,为何能训好模型?你在读博期间似乎也没有去头部AI公司实习,为什么? 为什么你没有在模型工厂(AI Lab)的实际训练经验,却依然能做出很好的模型,并获得市场认可? 你认为自己有什么特别的学习方法吗? 主持人曲凯指出,马骁腾在博士期间并未像许多人一样去智谱、Kimi等公司实习,这引出了一个疑问:一个没有在大型模型工厂(AI Lab)一线工作过的人,为何能训好模型?
马骁腾首先坦言自己确实没有在“厂子里”训过模型,但他认为自己的能力源于博士期间的痛苦经历。他自18年起参与了一个5000万的大型项目,负责在一个拥有1万核CPU和100张V100的集群上进行大规模对抗式训练。这段经历让他很早就接触了强化学习训练的全流程,包括使用早期版本的Ray和PyTorch进行大规模集群训练。他认为,虽然现在的大模型训练带来了新的挑战,但其本质——如处理reward hacking、设计模拟器和基准——与他博士期间的工作并无二致,只是网络更大、实验更昂贵。
在学习方法上,马骁腾认为自己并非典型的“nerd”,优势在于泛化能力强,兴趣广泛。他将此归因于他的“90分哲学”,即在一个领域达到90分后便去探索新领域。这让他在博士期间涉猎了多个RL子领域,从经典的离线强化学习,到古老的、只能在影印版书籍中找到的理论,再到前沿的理论研究。通过与不同老师交流,他发现将不同领域的洞见(insight)汇总后,能形成更高层次(meta)的抽象理解,这对他帮助巨大。
他分享了一段在清华叉院(IIIS)访学时的绝望经历。面对身边同学惊人的学术产出(如有同学硕士毕业发表30篇论文),他一度怀疑自己无法做出更好的研究。导师张崇洁告诉他,研究的魅力在于每个人的经历不同,会带来独特的想法。这番话让他备受鼓舞,并意识到自己“搞得杂”的特点,恰恰能让他从不同领域获得启发,做出创新的工作。
话题推进: 这段经历引出了关于个人经历如何塑造研究方向的思考,自然地过渡到对国内强化学习领域生态的讨论。
00:14:14–00:18:10 国内强化学习的生态与中美模型差距的根源早年RL(强化学习)曾经历低谷,你当时为何坚持在这个领域? 有一种说法是国内RL水平跟不上海外,你认为这是客观事实吗? 你觉得现在中美两边模型的整体进展是怎样的? 主持人提到,强化学习(RL)曾经历低谷期,询问马骁腾为何坚持下来。马骁腾笑称,当时作为博士新生,只是听从导师安排,并没有预见到该领域是否会“火”。他觉得相比当时热门的计算机视觉(CV),RL“打游戏”般的研究过程更有趣,挑战主要在于论文发表困难。
针对“国内RL水平落后于海外”的说法,马骁腾认为,虽然各领域顶尖人才都很少,但国内不乏优秀的RL研究者。他分析,一个关键差异在于环境:硅谷的RL研究者(如PPO的发明者John Schulman)能更早地参与到语言模型训练中,因为OpenAI本身就是以RL起家。相比之下,国内环境更倾向于“立山头”,研究者容易被贴上“做RL的”或“做CV的”等标签,缺乏一个将不同领域人才融合在一起的“熔炉式”环境。他强调,本质上大家都是在将知识训练进模型,不同领域的技术可以互通。
谈及当前中美模型的整体进展,马骁腾认为:
1. 领先者:OpenAI和Anthropic凭借更早的数据积累、更大规模的RL应用以及更多的算力,处于明显领先地位。
2. 追赶者:国内顶尖大厂和海外的Meta、Mistral等紧随其后。
3. 现状:在1T参数以下的模型,其预训练和后训练已成为一套“标准配方”(standard recipe),只要有算力谁都能做,不再有秘密。当前竞争的焦点在于如何扩展(scale)到更大的数据量和更高效的模型设计。
他判断,OpenAI和Anthropic在模型规模扩展方面仍有非常明显的领先优势。
话题推进: 对中美模型差距的讨论,引出了对未来竞争格局的展望,特别是国内模型在算力受限和数据竞争下面临的挑战。
00:18:10–00:21:42 国模追赶之路:短期悲观,长期乐观最近GPT-5.5等模型的发布似乎再次拉大了中美差距,加上算力限制,国内未来要怎么追赶? 美国模型厂商追求的30T量级数据是从哪里来的?互联网数据不是已经用完了吗? 主持人曲凯表达了对中美模型差距再次拉大的担忧,尤其是在算力受限的背景下。马骁腾对此持“短期悲观,长期乐观”的态度。
短期悲观:因为“仿蒸”(即模仿和蒸馏国外先进模型)的路径越来越难走,追赶速度会放缓。
长期乐观:他认为核心技术范式没有根本变化,中国仍有两个追赶的潜力点:
1. 国产算力:预计明年国产算力将达到“能用”的状态,虽与顶尖NVIDIA芯片仍有差距,但能极大缓解当前困境。
2. 数据运营能力:中国人组织和运营数据的能力远强于美国,甚至美国很多大厂的数据工作也依赖华人团队。
他指出了一个潜在的“危险”:如果OpenAI等公司在需要超长推理(如长达一周的数学证明)的新范式上取得突破,且该范式未被国内掌握,差距可能会被固化。不过,他补充说,对于大多数产业应用(如办公场景),目前1T参数以下、特别是300B-500B量级的“Flash”级别模型已经足够,这部分差距并不致命。
关于数据来源,主持人问及30T数据量的来源。马骁腾确认,公开的互联网数据确实已基本用尽。当前的数据增长主要来自“合成数据”,即用现有模型(无论是闭源模型还是自身旧版模型)生成数据,再“蒸馏”回新模型中。此外,各家也在特定领域(如代码生成)构造专用数据集。一个令人担忧的趋势是,像Anthropic已开始通过暴力收购公司来获取其内部独有的、非公开的数据。虽然这些数据的价值尚不确定,但这显示了其获取高质量数据的决心。他总结,未来的核心数据将来自企业内部、真实生活场景和C端应用中,这也是他认为模型后训练(Post-training)未来价值巨大的原因,因为这些数据不一定会流向预训练厂商。
话题推进: 对数据来源的讨论自然地引向了国内模型厂商的分类——大厂与创业公司,以及它们在未来竞争中的不同处境。
00:21:42–00:26:19 大厂与创业公司:谁会赢得模型战争?国内模型厂商分为大厂和创业公司(如你们自称的Neo Lab),长期来看,需要更多算力和资金,是不是大厂更有优势? 当模型训练方法逐渐标准化后,大厂的资源优势会不会更加凸显? 以腾讯为例,大厂一旦下定决心All in,凭借资金和人才优势,不是应该能很快追平业界水平吗? 主持人曲凯提出,随着模型竞赛对算力和资金的要求越来越高,大厂是否会比创业公司(如Mind Lab这样的“Neo Lab”)更具长期优势。
马骁腾反驳了这一观点。他指出,过去两年的事实是,无论在中国还是美国,做出最好模型的往往是创业公司,而非大厂。他认为这背后有本质原因:
1. 大厂的内部制约:大厂的模型部门面临巨大的成本压力。他以阿里通义千问为例,尽管团队技术和资源领先,但当巨额账单摆在集团面前时,ROI(投资回报率)和财务优化就成了首要考量,这会束缚前沿探索。他提到,Google据说很早就做出了类似ChatGPT的产品,但因担心影响广告业务而未发布。大厂存在一种“向心力”,使其难以进行颠覆性创新。
2. 创业公司的生存压力:对于创业公司来说,做不出最好的模型就意味着死亡,因此他们必须“All in”。此外,创业公司在长期数据积累和清洗方面可能形成护城河,让行动缓慢的大厂持续处于劣势。
因此,马骁腾做出了一个强判断:在这场模型技术的竞争中,大厂最终可能会“集体失败”。但这不意味着大厂在商业上是输家,他们可以通过向创业公司提供算力(以股权或销售形式)来获利。本质上,大厂的核心决策者面临一个选择:是把算力给外部公司(如Google投资Anthropic),还是自己承担高昂的训练成本。
主持人追问,当训练方法标准化后,大厂是否能凭借资源优势追上。马骁腾认为,即使现在方法已经相对标准,从零开始搭建一个顶级团队和基础设施仍非常耗时耗钱,很多大厂会觉得“没必要”。
最后,针对主持人以腾讯为例提出的“大厂一旦All in就能追上”的逻辑,马骁腾未直接回应,但其之前的论述已经暗示,大厂内部的组织结构和商业顾虑,使得这种理想化的“All in”很难在实践中彻底执行并取得最终胜利。
话题推进: 本段结尾,对话集中于大厂与创业公司在模型竞争中的不同逻辑和结局预测,为后续深入探讨国模具体要比拼什么、以及Mind Lab自身的定位做了铺垫。
00:26:19–00:51:22 连续对话 200:26:19–00:28:28 大厂自研模型的困境与新公司的机会窗口如果从智谱、Kimi等公司各抽调一个八九十分水平的人组成新公司,能否在半年内追平现有模型水平?如果不能,会差在哪里? 嘉宾马骁腾首先评价了腾讯混元模型的情况。他认为,腾讯选择让张正友(顺宇)负责是幸运且有魄力的,给了他非常大的权限。尽管混元系列做得不错,但仍不能说是最好的模型。腾讯同时投资并与DeepSeek长期绑定,从腾讯业务(如WorkBuddy、未来微信的AI支持)的角度看,选择哪个模型作为最佳方案仍是未知数。他还提到,Meta的Muse模型系列虽然在榜单上表现好,但其API在实际中几乎无人使用,说明单纯的榜单成绩不代表一切。
主持人曲凯提出了一个思想实验:如果从国内几家头部模型公司各抽调一名“八九十分水平”的人才,组建一个新团队,能否在半年内做出追平当前头部水平的模型?嘉宾认为,理论上很有可能做到,但成本会显著高于直接使用现有模型。更关键的是,半年后,原来的大厂模型水平会领先更多,新公司的模型将面临巨大的不确定性。此外,新公司能否获得足够的算力卡和生态支持,也是一个巨大的运营难题。
协同设计 (code design) 在这里指模型(Model)的软件架构与基础设施(Infrastructure)的硬件特性进行联合设计和优化。输入是模型的设计需求和硬件(如特定算力卡)的性能参数,输出是一个在特定硬件上运行效率更高的模型。目的是通过软硬件的紧密配合,最大化计算效率,降低成本,或规避某些硬件限制。
RFT (Reinforcement Fine-Tuning) 强化微调。一种模型训练方法,与RL(强化学习)类似,都是通过与环境交互并根据反馈(奖励信号)来优化模型行为。它通常指在已有预训练模型的基础上,使用强化学习的方式进行微调,使其更适应特定任务或遵循特定偏好。
harness (驾驭/控制) 在这里指对大模型输出进行引导、控制和约束的技术或机制。输入是用户的原始请求和一些预设的规则/框架,输出是更符合预期、更安全、格式更规范的模型回答。它像给模型套上“缰绳”,确保其行为可控。
MHC (Multi-Head Attention) 多头注意力机制。Transformer架构中的一个核心组件。嘉宾提到DeepSeek将其从“四路减到一路”,可能指减少了注意力头的数量或采用了某种变体(如Multi-Query Attention),这通常是为了优化推理速度和降低显存占用的Infra层面的设计考虑。
话题推进: 在讨论了新公司追赶的难度后,主持人追问,那么国内模型厂商下一步竞争的核心是什么。
00:28:28–00:30:41 国内模型竞争的两个关键:Infra与Data国内这些模型,大家核心要拼的是什么? 过去一两年卖数据的很赚钱,未来几年这个趋势会延续吗? 嘉宾马骁腾认为,国内模型竞争的局面主要从两个维度理解:基础设施(Infra)和数据(Data)。
在Infra层面,除了国产算力卡,模型架构本身是关键。现在业界趋势是进行模型和Infra的“协同设计”(code design),让模型架构去适配最新的算力卡,甚至为未来的国产卡做设计。他举例DeepSeek采用的encoder-decoder分离架构,可能就是为了未来将计算量较大的encoder部分放在国产卡上做推理(原文为preview,可能指初步处理),而将高质量生成的decoder部分放在英伟达卡上。通过这类优化,可以在一定程度上弥补算力不足。
在Data层面,关键在于如何将数据更有效地集中在模型上,尤其是在那些需要顶尖模型(如GPT-4o/Astra开到Max)才能解决、甚至无法解决的前沿领域(如科学发现)。能否组织起足够强大的数据团队在这些领域进行投入,将变得至关重要。
主持人提到数据售卖的商业模式,嘉宾补充说,如今“数据”的概念已经演变为“环境”。过去的数据买卖类似于用高质量数据对模型进行蒸馏或监督微调(SFT)。但对于没有标准答案的场景,模型必须在一个“环境”中通过试错来学习,无论是通过RFT(Reinforcement Fine-Tuning)还是RL(Reinforcement Learning)。因此,构建这样的“环境”变得非常重要,但这正是目前大家相对忽视且需要投入巨大努力去构建的。
话题推进: 在分析了模型竞争的关键要素后,主持人开始要求嘉宾对海内外具体的模型公司进行评价。
00:30:41–00:35:32 锐评海内外大模型:战略、取舍与路径差异海外的模型你最看好哪个?原因是? 国内的这几家你大概最看好的? 除了DeepSeek,还有别的你看好的吗? 那MinMax是不是也类似(有自己的问题)? C-Dance(应指字节跳动的视频模型)的成功你觉得是因为什么呢? 嘉宾马骁腾对海内外主要模型公司进行了点评。
海外方面,他最看好OpenAI和Anthropic,如果二选一则更倾向OpenAI。理由是OpenAI的新模型在预训练阶段对“harness”(驾驭/控制)和推理结构做了调整,而他判断Anthropic尚未跟进。
国内方面,他显著看好DeepSeek,认为其几乎“all in”在模型与Infra的协同设计上。他以自己团队训练DeepSeek模型的LoRA时遇到的困难为例,说明DeepSeek的架构设计非常紧耦合,加入LoRA会破坏其设计好的平衡点。他提到DeepSeek将MHC从四路减为一路、采用encoder-decoder分离架构等,都是为了Infra效率和降低成本的设计。低成本能吸引更多数据和使用量,从而加速RL训练,形成系统性优势。
其次,他表示喜欢智谱AI(JRM),认为其模型非常好用。尽管智谱AI在创新上不那么花哨,甚至有“合理性借鉴”,但它非常务实,认真做数据,目标是做出最实用的模型。他评价智谱AI的数据生产线是几家大厂里最完善的。
对于月之暗面(Kimi),他认为其风格比较“fancy”,喜欢创新。而对于MinMax,他认为其“信仰不够坚定”,一度尝试过有特色的Linear Attention技术,但自己没有坚持做下去,又回到了传统技术路线。主持人补充说,MinMax早期最重视产品和应用,可能并非坚定地“all in AGI”,这与DeepSeek正好相反。嘉宾同意,并指出MinMax过早追求营收和上市,牵扯了大量精力,导致其在近一年的模型竞争中优势不足。
最后谈到字节跳动(CDance/Seed)的视频模型成功,嘉宾认为原因非常明显:数据好、场景明确、算力投入足。他指出,字节决定做视频模型时,也意味着要分出一部分原本可以用于语言模型的算力卡。他对比了OpenAI当初砍掉Sora项目、将算力全部投入语言模型的决策,认为这虽然不能说是字节语言模型失败的唯一原因,但肯定是相关因素之一。
话题推进: 在点评完各家模型公司后,主持人将话题引向嘉宾自己所在的Mind Lab,从其“Neo Lab”的定位开始谈起。
00:35:32–00:41:53 Neo Lab的本质:从实际场景出发,追求商业闭环你对整个Neo Lab的生态海内外是怎么看的? 为了做到落地,应该是模型和产品并列、先模型再产品,还是先产品再模型? 你们对外PR是提的New Lab的。 别人怎么看我觉得不重要吧?(此为嘉宾反问,主持人未直接回答) 主持人观察到,国内涌现出许多“Neo Lab”,但感觉它们与海外的Neo Lab不同。海外的Neo Lab多是垂直于特定领域或有真正架构创新,而国内的很多Neo Lab所讲的故事(如世界模型、RSI)本就是大模型厂商的主线任务,显得有些重复和空泛。
嘉宾马骁腾首先阐述了他对“Neo Lab”的理解:它不是只发论文、申基金的传统实验室,而是要将研究成果商业化。他所在Mind Lab的口号是“Research Product Code Design”(研究与产品的协同设计),即从实际场景反推研究方向,以“是否有用”而非“能否发论文”为判断标准。他批评许多自称Neo Lab的公司没有想明白自己首先是“公司”,拿着投资人的钱,最终需要交付商业价值。如果一个Neo Lab不尝试商业闭环,在他看来就名不副实。
主持人追问,很多Neo Lab的目标是做出超越OpenAI的更强模型。嘉宾反驳道,OpenAI之所以被认为“牛逼”,根本原因在于其模型“好用”、“能赚钱”。他认为,所有研究者都容易犯一个致命错误:先造锤子再找钉子。很多新架构、新技术虽然有前景,但若不先想清楚“钉子”(即实际应用需求)是什么,就可能陷入这种困境。这解释了为何美国很多成功的Neo Lab都出现在垂直领域,因为它们一开始就与落地场景结合。
关于“先做模型还是先做产品”的顺序问题,嘉宾认为清晰的路径是“先做research,先做模型,再做产品”。面对主持人“为落地不应先懂用户需求吗”的质疑,他解释了理想的闭环:首先做出一个产品原型(prototype),小范围推向市场,但不要做大规模增长和投放。这样既能收集到对研究至关重要的真实数据(real data),又能进行各种实验。当技术跑通(work)后,再拓展更多场景,从而发现更多问题,最终的商业化将是“顺水推舟”的事情。
最后,主持人提到外界对“Neo Lab”标签的反感,认为很多公司只是讲故事而无实际产出。嘉宾表示自己也讨厌这类公司,但他认为这是PR策略,为了便于沟通,有时不得不使用流行的标签。他强调,Mind Lab内部更强调“做扎实的工作,deliver结果”,而非“Neo Lab”或“RSI”这些时髦词汇。
话题推进: 在澄清了对Neo Lab的看法后,主持人自然地引出了另一个热门概念“RSI”,询问嘉宾的看法。
00:41:53–00:44:21 RSI的现实:一个宣传口号,无法脱离人类反馈与真实数据既然你提到RSI,我们可以再简单聊几句这个事,就这个事你怎么看嘛?你觉得离实现还远吗? 嘉宾马骁腾直言,他认为“RSI”(Recursive Self-Improvement,递归自我改进)目前完全就是一个宣传口号。他解释说,AI的核心无非是数据和模型,而RSI只是在模型训练的迭代中,让AI本身扮演更重要的角色。这与行业术语的演变类似,从“prompt engineering”到“context engineering”,再到“harness engineering”,本质没变,只是强调的重点不同。
他将RSI的实际操作解构为:在一个高速可迭代的Infra上,建立一个自动化的数据构建流水线,让模型自己去寻找、创造并验证数据,然后用这些数据回头训练自己。这其中并没有什么神秘的技巧。
嘉宾表达了对“完全由模型自我迭代”的怀疑,主要基于两点:
1. Reward设计的困难:他认为强化学习(RL)中的奖励(reward)设计很难完全脱离人。AI的最终准则是满足人的需求。他引用了Anthropic的例子:模型很难自己迭代自己的写作能力,因为无法判断何种写作风格对人类是友好的。因此,总需要人来将AI自我迭代产生的“跑偏”的写作能力拉回来。很多类似的事情都难以完全“RSI化”。
2. 数据来源的限制:即便实现了理想中的RSI机制,数据从哪里来的根本问题依然没有解决。例如,一家制药公司的机密数据,AI在公开网络上无法获取,也没有“手脚”去做相关实验,如何实现完全的自我进化?这是不可能的。除非AI能接入所有数据并获准进行实验,否则完全的自我进化很难做到。
马骁腾 · 00:42:00
嘉宾将RSI与prompt engineering、context engineering、harness engineering等概念类比,认为它们都是对同一件事不同重点的强调,RSI强调的是AI在训练迭代中占比变高。
话题推进: 在讨论了RSI的局限性后,主持人将话题拉回到嘉宾的公司Mind Lab,询问其正在做的RLaaS服务与之前讨论的Neo Lab理念是否矛盾。
00:44:21–00:48:40 RLaaS的实践:在真实客户场景中进行研究与商业闭环你们最近在做一些RLaaS service的事情,会帮其他公司去训模型。这个和我们刚才讲Neo Lab矛盾吗?是转型还是延续? 美国有很多家是在做类似的事情,我们也有个很明确的感受是说美国的各种中间层的公司,慢慢的也都要自己去买卡,就是中间好像都慢慢的变成一个聚合的形态了。你觉得背后的这个原因可能是什么? 国内的好像是缺乏这个生态链里面很核心的这一环的决定性作用,最后大家是不是会变成比较散的在打? 主持人询问Mind Lab提供“RLaaS”(Reinforcement Learning as a Service,强化学习即服务)是否与Neo Lab的理念矛盾。嘉宾马骁腾认为完全不矛盾,并且是其理念的延续。Mind Lab的目标始终是从真实环境中学习。他澄清,帮客户训练模型并非简单的“外包”,而是将客户的真实场景视为研究的一部分。这些场景能提供公开语料难以获取的宝贵数据,例如材料研发过程数据,或金融、医疗领域每天产生的新的、带有用户负反馈的流式数据。在这些真实场景中构建环境、持续训练模型,正是当前最重要的研究问题。因此,与客户合作既是research,又能实现商业闭环,验证研究的有效性。
主持人观察到,美国许多做数据、Infra的中间层公司也开始自己做模型、买算力卡,呈现出“聚合”形态。嘉宾认为这是因为“模型即服务,模型即产品”的逻辑未变。在AI时代,驱动流程的模型是体验差异最大的核心,而前端、harness(驾驭/控制)等都像是“马鞍子”,远不如“马”本身重要。因此,为了做好模型,大家自然会涉足从训练、部署到评测的全流程。问题只在于哪些环节自研,哪些可以外包。
对于国内市场,主持人担心缺乏像英伟达那样核心的生态“抓手”,导致竞争格局分散。嘉宾认为,国内在模型后训练(post-training)阶段,瓶颈不在于算力,因为其算力消耗远小于预训练。真正的瓶颈在于国内企业对这类服务的“理解和接受难度”。他直言,很多适合做这类服务的企业负责人“脑子没有长满”,思维没有转变。他类比中国SaaS行业发展不如美国,根源在于企业接受服务的意识不足,因此这个过程会比较漫长。
话题推进: 在分析了RLaaS服务的市场环境后,主持人进一步询问了Mind Lab在与客户交流过程中的具体发现和客户画像。
00:48:40–00:51:22 客户画像与后训练的意义:寻找有Benchmark的头部玩家你们现在实际在跟那些客户交流的过程当中,有发现哪些有意思的点吗?大家的需求到底是什么样?什么样的是最适合跟你们合作的? 所以你觉得post training或者说它自己做一个模型的真正最核心的意义是什么?是成本还是某个领域的表现? 主持人询问Mind Lab的客户画像及需求。嘉宾马骁腾从两个维度描述了理想客户:
1. 技术理解维度:核心门槛是客户必须有自己的评测基准(benchmark)。只有客户能自行评判模型好坏,合作才能顺利进行。否则,模型训练出来后,效果好坏将无法界定。有benchmark,说明客户已经想清楚了优化的方向。这个维度的不同阶段大致为:有成熟benchmark -> 刚开始尝试Agent -> 仍停留在RAG阶段。
2. 商业成熟度维度:这个维度与公司的收入和产品市场契合度(PMF)相关。典型的理想客户有两种:
a. 已实现PMF的创业公司:这类公司已经用市面上的前沿模型服务于自身场景,并开始寻求更好的性能、更强的用户适配性以及更低的成本。它们通常有自己的benchmark,因为需要频繁测试和更换新模型。
b. 垂直/传统行业的头部企业:这类企业中符合技术条件的较少,但Mind Lab会识别其中真正将AI用于实际应用并产生价值的客户。他们会避免为了PR而做项目,以免陷入无尽的“to B扯皮”。
嘉宾总结,模型后训练(post-training)是一件适合行业头部公司做深做透的事情。一旦头部公司验证了方案的价值,整个行业就可能跟随。反之,如果头部公司都认为后训练没有意义,那么这个行业大概率就不需要它。
最后,主持人追问后训练或自研模型的核心意义。嘉宾回答,成本和表现两者皆是。他提到“斩杀线”的概念,但指出大家常看的公开benchmark分数只是一个维度。在实际场景中,企业关注的是两个轴:纵轴是他们自己的benchmark(即特定场景下的表现),横轴是不同模型的成本。后训练显然可以在这两个维度上同时帮助客户取得优化。
话题推进: 本段详细阐述了Mind Lab的客户选择标准和后训练的价值,对话自然结束,为后续可能展开的更具体的技术或商业模式讨论做好了铺垫。
00:51:22–01:03:23 连续对话 300:51:22–00:54:57 模型后训练的成本与客户决策现在的账大概会怎么算?大概需要多少钱来做这么件事? 如果成本不高,你们在谈客户时候会遇到什么问题吗? 既然模型后训练越来越透明和标准化、成本又不高,为什么头部公司不自己建个小团队来做? 嘉宾马骁腾首先解释了模型后训练(Post-training)的两种价值维度。第一,在客户已有的模型基础上(具体模型名在机器稿中听不清),通过后训练提升其性能表现(纵轴提升)。第二,可以将昂贵的大模型(具体模型名在机器稿中听不清)的能力,通过训练迁移到一个更便宜、更轻量的模型上(具体模型名在机器稿中听不清),从而降低成本(横轴移动)。
主持人曲凯追问这项服务的成本。马骁腾透露,行业内(包括Mind Lab、Fellou、Scalop、Tinker等公司)的定价模式基本一致,按处理的数据量(token数)收费,这与算力消耗直接相关。在最前沿的大模型上进行一次训练迭代,成本大约是几万人民币;一个完整的项目跑下来,根据Mind Lab的经验,总费用可以控制在几十万到一百万人民币之间。他认为,对于已经融资到B轮、手握一两千万美金的公司而言,花费十万美金来优化模型是非常值得的投资。
既然成本可控,主持人关心在商务洽谈中会遇到什么障碍。马骁腾指出,核心问题是客户对数据隐私的敏感性(Data access)。一部分客户对此比较开放,认为只要效果好就可以接受,因为他们的数据本来也会在调用API时流向模型厂商。另一部分有本地化部署需求的客户,Mind Lab也支持,但这是一种“非常中国特色”的要求,成本会比使用云服务(service)更高。
主持人进一步提问:既然模型后训练的成本不高且流程趋于标准化,为什么那些有能力、有意愿的头部客户不自己组建团队来做?马骁腾回应,未来确实会有公司自建团队,但搭建一个基础设施团队(Infra team)的成本非常高。Mind Lab的优势在于拥有顶尖的、精通底层工程细节的Infra研究员,他们能处理复杂的并行计算问题(所谓的“5D一体、5P一体”),确保训练既准确又高效,从而控制成本。对于需要在大型模型上做训练的客户,使用Mind Lab这样的专业服务会更可靠。但如果客户的业务只需要在较小的模型(如某个千问模型)上微调,那么他们自己做也完全可以。他预见未来两种模式会并存。
模型后训练 (Post-training) 在本语境中,指在已经预训练好的基础大模型(Base Model)之上,利用特定任务的数据进行进一步的训练。其目的不是从零开始构建模型,而是对现有模型进行优化。输入是基础模型和客户的业务数据,输出是一个在特定任务上表现更好或成本更低的优化模型。它包含两种主要作用:一是提升模型在某个任务上的性能上限(纵向提升);二是将大模型的能力迁移到小模型上,以降低推理成本(横向压缩)。
LoRA (Low-Rank Adaptation) 一种参数高效微调(Parameter-Efficient Fine-Tuning, PEFT)技术。在对大模型进行微调时,它不改变模型原有的巨大参数矩阵,而是在旁边增加两个小得多的“低秩”矩阵(Adapter)。训练时只更新这两个小矩阵的参数,而基础模型的参数保持冻结。输入是基础模型和微调数据,输出是一个轻量的、包含已训练参数的LoRA适配器。这样做可以大幅降低训练所需的计算资源和时间,并使得为不同任务训练多个专用“插件”成为可能。
Scale up, Scale down, Scale out 嘉宾用来描述其LoRA技术策略的三个维度。Scale up指在尽可能大的基础模型上进行训练,以获得更强的智能基础。Scale down指将LoRA适配器本身做得尽可能小,以降低训练和部署成本。Scale out指利用前两者的优势,大规模地为海量不同任务或用户训练成千上万个独立的LoRA适配器,实现能力的广泛扩展。
持续学习 (Continual Learning) 指让模型能够像人一样,不断地从新的数据流中学习新知识,同时不遗忘已经学到的旧知识(避免“灾难性遗忘”)。在本语境中,嘉宾将其与形成“品味”(taste)或直觉相关联,认为实现持续学习的关键是为模型设计一个能够储存和迭代这种长期、压缩后知识的机制,可能是一种类似LoRA但更高级的结构。
话题推进: 在回答完主持人的问题后,马骁腾主动提出分享他们团队在LoRA技术上的心路历程,从另一个角度阐释了他们的技术思考和业务演进。
00:54:58–00:57:21 LoRA心路历程:从算力不足到Scale Out的三个维度嘉宾马骁腾主动分享了Mind Lab在LoRA技术上的发展历程。他坦言,最初选择LoRA完全是因为算力不足。2025年3月左右,他们只有4台H800,在这种条件下开始做DeepSeek模型的LoRA训练。
按嘉宾回忆,转折发生在去年9月左右,他们看到《LoRA without Regret》后受到鼓舞,因为文中的观察与团队自己的实践相近。团队随后跟随 Tinker 的思路,开发了自家的多 LoRA 训练服务 Mint。这里的时间是嘉宾口述,本文不自行改成另一年的确定日期,也不把该工作扩写成“LoRA 在所有任务中与全量微调等价”。
拥有了这项能力后,团队开始思考其应用方向,并总结出三个维度的策略:Scale up、Scale down和Scale out。
1. Scale up:在尽可能大的模型上进行训练,以利用其更强的基础智能。
2. Scale down:将每个LoRA做得更小,以降低成本、加快迭代速度。
3. Scale out:有了小而高效的LoRA之后,就可以大规模地训练成千上万个LoRA。马骁腾在此引入了一个生物学类比:人与人之间的基因差异极小(如千分之五甚至千分之二以下),但正是这微小的差异造就了外貌、声音等个体独特性。同样,LoRA就像是模型中的那部分微小但关键的差异,它决定了模型的特定行为(behavior),而大部分知识和能力则承载在固定不变的基础模型(base model)中。
基于 scale out 的理念,按嘉宾介绍,团队在当年4月做了一个能在一个 base model 上支持一百万个 LoRA 的系统。这里描述的是适配器规模,不等于同一时刻有一百万个并发请求。团队由此设想:当许多行为各异的轻量适配器共享一个底座,可能出现哪些新的应用形态;句末英文在转录中无法确认,不据此创造新术语。
话题推进: 分享完LoRA的思考后,主持人顺势询问他最近最关心的问题是什么,引出了关于持续学习的讨论。
00:57:21–00:59:01 对持续学习的探索:为模型寻找储存“品味”的单元在主持人的提问下,嘉宾马骁腾分享了他近期最关注的研究问题:持续学习(Continual Learning)。他认为,目前行业内很多研究仍陷于“标准菜单式”(standard recipe)的框架中,他希望探索新的可能性。
马骁腾认为,当前模型最大的问题是缺少一个地方来储存“长期记忆”和“品味”(taste)。他以自己做研究的经历类比:当一个研究者阅读了大量(例如300篇)论文后,会形成一种“悟了”的感觉,即一种直觉或品味。这种品味让他能快速抓住新论文的要点,并判断其潜在贡献,而无需记住每篇论文的所有细节。他认为这种“品味”被压缩并储存在了某个地方。
他指出,现在的模型,例如AI Scientist,虽然阅读速度远超人类,但缺乏储存这种“品味”的机制。他判断,要实现真正的持续学习,模型必须有一个地方能储存这种“品味”。这个储存单元需要具备几个特点:
1. 轻量且可迭代:能够被快速更新和修改。
2. 结构类似LoRA:可能是一种类似于LoRA的结构。
3. 新的更新方式:需要新的算法来处理更长期的记忆,使学习更高效。
最后,他补充说,这个方向据说也是Ilya Sutskever正在关注的话题。
话题推进: 马骁腾对持续学习的阐述结束后,主持人提出了一个关于“模型是否会最终统一并取代所有专业化工作”的终极问题,将话题引向了对AI发展未来的宏观展望。
00:59:01–01:03:23 未来展望:在“百花齐放”与“全知AI”之间做出选择最近大家发现像Astra这样的大模型,可能通过泛化就能解决具身智能等垂直领域的问题。未来会不会有一个或少数几个大模型解决所有问题,导致你们现在做的事情都白费了? 所以你在做的过程当中,你会担心说未来就是会有一个绝对智能的模型,然后你现在做的所有东西可能都没有那么有价值? 主持人曲凯提出了一个关于AI发展终局的尖锐问题:随着主持人提到的 Astra 等项目展示出强大的泛化能力,未来是否会出现一个或少数几个超级模型,统一解决所有问题,从而使Mind Lab等公司的专业化努力变得没有价值?他引用传闻,称Anthropic内部也有人认为,只要模型智能足够强,就能自行解决所有问题,看不起类似Personal Agent的中间路线。
马骁腾首先反驳了“看不起产品和数据”的观点。他认为,如果Anthropic没有推出Claude Code这个产品来积累大量真实世界的数据,它绝不可能在编程能力上与OpenAI抗衡并一度领先。因此,拥有一个能接触到最真实数据的产品是至关重要的。他推断,未来的GPT-6也必然是购买并清洗了海量数据(包括人工标注)才可能具备对真实世界的泛化能力。
回到主持人的核心问题,马骁腾承认,一个更强大的通用模型(如GPT-6)在理解物理世界上,确实很有可能强于一个专门为具身智能设计的模型。但这不等于可以直接将GPT-6用于机器人,因为还需要解决延迟、与硬件交互等大量的工程(Infra)问题。他设想,未来的范式可能是GPT-6生成一个专门的下游模型或程序,再由它驱动机器人;具体名称在机器转录中无法确认。
最后,对于是否担心自己的工作被“全知AI”取代,马骁腾表示完全不担心,甚至认为自己的工作将从中受益。他将未来描绘成两种截然不同的可能性:
1. 全知AI出现:一个全知全能的AI将摧毁现有世界秩序,所有人的价值归零,社会被残酷地重塑。届时,现在的工作和职业都将被粉碎。
2. 百花齐放:不存在唯一的全知模型,而是众多模型各有所长、各有“品味”(taste),服务于不同行业和个人,世界因此变得多彩(colorful)。
马骁腾明确表达了他的立场:他并非不相信第一种情况可能发生,但他认为自己的奋斗目标应该是第二种情况。他希望创造的AI是能让世界变得更多彩、让每个人生活有新可能性的工具,而不是一个把人类社会变得无聊的、统一的智能。他相信,即使短期内有人失业,最终人们会利用新技术找到更有意义的事情去做。
话题推进: 节目以一段英文念白和片尾音乐结束。
以上是原对话的分段阅读。下面才开始提炼论证、解释机制并给出本文自己的判断。