原对话:沿提问、回答和转折完整展开 下面先按节目顺序重建。主持人在追问什么,嘉宾如何以自己的经历、例子和推理作答,尽量保留在具体语境中;案例中的事实、数字和判断先归属于发言人。随后才进入本文的机制解释与独立判断。
00:00:06–00:27:18 连续对话 100:00:58–00:04:24 蒸馏不是简单的“抄答案”,而是一种有门槛的训练过程如果用一个非技术人员能理解的方式解释,蒸馏是什么? 蒸馏可以理解为“抄答案”的过程吗?即把强模型的回答直接教给自己的模型。 所以蒸馏虽然也是“抄作业”,但是一种有门槛的“抄作业”? 播客开场,主持人高洪浩与嘉宾程曼祺(均为《晚点》记者)准备讨论“蒸馏”这一行业热点。程曼祺首先说明,由于话题敏感,从业者不愿公开谈论,因此本期节目由她们基于近期对多家AI公司从业者的访谈和公开资料进行讨论。
高洪浩首先提问,如何向非技术背景的听众解释“蒸馏”。程曼祺解释道,当前行业讨论的“为变强”的典型蒸馏,其简化过程是:
1. 准备一批问题,去问一个非常强的模型(如Fable)。
2. 将这些问题和强模型给出的回答,构造成“数据对”(data pairs)。
3. 用这些数据对去训练自己的“学生模型”。
4. 训练的目标是让学生模型的输出行为,与“教师模型”的输出行为尽可能接近,使两者差异越来越小。
高洪浩追问这是否就是“抄答案”:把Fable精妙的推理过程和结果直接告诉自己的模型,让它学会,并最终能泛化,学习到Fable的思考方式。程曼祺明确反驳了“抄答案”这个简单的类比。她强调,蒸馏是一个复杂的“训练”过程,主要用在模型的后训练(post-training)和中训练阶段,需要投入算力、数据,并运用特定的方法和技巧,并非简单地复制粘贴。她认为用“抄作业”来类比会损失精度,但一时间也想不到更贴切的日常行为比喻。
蒸馏 (Distillation) 在本期播客的语境中,蒸馏是一种模型训练技术。其核心机制是,让一个“学生模型”(通常是自己的、能力较弱或较小的模型)去学习一个“教师模型”(通常是更强的外部模型,如Fable、Claude)的输出行为。输入是大量的问题和教师模型对这些问题的回答或解决过程(轨迹),输出是经过训练后、能力得到提升的学生模型。目标是使学生模型的输出在类似问题上尽可能地逼近教师模型的输出,从而“继承”其能力。它最初多用于模型压缩,现多用于提升模型智能水平。
智能体轨迹 (Agent Trajectory) 指一个AI智能体(Agent)为了完成特定任务,在预设的“环境”(如一个包含代码库和编译器的操作系统)中所执行的一系列连续的动作、思考和与环境的交互过程。在蒸馏的语境下,“轨迹”本身可以作为高质量的训练数据,让学生模型学习如何像教师模型一样完成复杂的、多步骤的任务,而不仅仅是学习静态的问答对。
后训练 (Post-training) 指在大型语言模型完成大规模的预训练(Pre-training)之后,为了让模型更好地对齐人类指令、提升特定能力(如推理、遵循指令)而进行的额外训练阶段。蒸馏通常被用在后训练阶段,通过高质量的“教师”数据对模型进行微调和优化。
推理 (Reasoning vs. Inference) 播客中区分了两个“推理”。一个是指模型的逻辑推理能力(Reasoning),即模型像人一样思考、分析问题并得出结论的能力,这是模型的一种内在智能。另一个是指模型的使用阶段(Inference),即模型接收输入并生成输出的过程,这是一个技术术语,与训练(Training)相对。
话题推进: 在解释了典型的蒸馏过程后,程曼祺进一步补充,随着技术发展,可被“蒸馏”的数据内容正变得越来越丰富和复杂,特别是引入了智能体(Agent)的概念后。
00:04:24–00:08:05 智能体轨迹蒸馏:从静态问答到学习完成任务的全过程程曼祺补充说明,随着推理模型(如OpenAI o1系列)和智能体(Agent)技术的发展,蒸馏的对象不再局限于静态的“问题-推理-答案”数据。她详细阐述了“智能体轨迹蒸馏”这一更复杂的形态。
在这种模式下,从教师模型那里获取的数据(即“轨迹数据”)的含义变得更加丰富。它不再是静态的文本,而是智能体在特定“环境”中完成一个完整任务的全过程。应高洪浩要求,程曼祺解释了“环境”的概念:它是让Agent能实际执行任务的一整套系统和条件。例如,在编程任务中,环境就包括代码库、终端、代码编辑器、编译器、测试工具等。
一个更强的教师模型(如Fable)在智能体轨迹蒸馏中可以扮演多种角色:
1. 制造题目:基于真实的题目进行改写和扩增。
2. 构建环境:利用其强大的编码能力,直接生成任务所需的环境系统。
3. 生成轨迹:让教师模型在它自己构建的环境中执行任务,记录下完成任务的完整过程。这个过程本身就是一堆数据。
获得轨迹数据后,可以让学生模型去模仿、逼近教师模型完成整个任务的行为。程曼祺补充,还有一种不完全算作典型蒸馏的做法:不让学生模型去“学”轨迹,而是用强模型来“评估”学生模型在环境里执行任务的表现。她认为这更像是利用强模型的输出数据来辅助进行强化学习。
最后,程曼祺澄清了一个普遍的误解:并非所有在训练中使用了强模型输出数据的行为都叫“蒸馏”。但她强调,无论是典型的蒸馏,还是利用其输出进行评估优化,这些行为都违反了OpenAI、Anthropic等头部公司的用户协议。这些协议宽泛地禁止利用其服务来开发与之竞争的模型,目前这属于一个法律上的灰色地带。
话题推进: 讨论完蒸馏的概念和其复杂形式后,高洪浩将话题转向了这项技术的发展历史,询问大规模蒸馏是从何时开始的。
00:08:05–00:13:43 蒸馏风潮的兴起:从模型压缩到竞相变强大规模做蒸馏大概是从什么时候开始的? 所以为变强而蒸馏的风气是谁带起来的? 高洪浩询问大规模蒸馏的起点。程曼祺指出,这是一个较新的趋势,根据Google等公司的观察,从2025年开始,这类行为规模显著扩大。她认为有两个关键节点推动了这一变化:
1. 2024年9月,OpenAI发布o1模型:o1作为首个开启“推理模型”范式的模型,带来了两大技术变化。首先,它揭示了在后训练阶段进行大规模强化学习可以让模型掌握推理策略(reasoning),而蒸馏主要就用于后训练,这提升了蒸馏的“投入回报比”。其次,o1开创了在推理(inference)阶段通过投入更多算力生成更长“思维链”来提升性能的方法。这些思维链作为模型输出,成为了更丰富、更优质的蒸馏“原料”。
2. 2025年1月,DeepSeek-R1发布:在其技术报告中,DeepSeek发布了6个小型蒸馏模型。这些模型以R1为教师,分别基于Claude 2.5和Llama 3的底座进行训练,验证了通过蒸馏提升小模型能力的可行性。程曼祺指出,这其实回归了蒸馏技术最初的主要目的——模型压缩。即将大模型的能力“压”到小模型中,以降低成本、提高速度,并适应手机、汽车、机器人等端侧算力受限的场景。
程曼祺回忆,她早期深入了解蒸馏,正是在采访自动驾驶公司毫末智行的CEO顾维皓时。当时讨论的核心就是如何将云端训练的大模型,通过蒸馏、剪枝等方法压缩,使其能在算力有限的车载芯片上低延迟、低功耗地运行。
高洪浩总结,蒸馏最初并非为了追赶和变强,而是为了实用化。程曼祺表示认同,但她补充说,“压缩”和“变强”是一体两面,让小模型获得大模型的能力,本身就是在让小模型变强。现在大家热议的,则是纯粹“为变强而蒸馏”。这股风潮的兴起,与2025年后中国开源模型(如Kimi的K3)表现逼近美国闭源模型,以及美国公司(如Anthropic)在2026年初开始更频繁地公开指责中国公司进行蒸馏有关,共同将该话题推至风口浪尖。
话题推进: 在解释了蒸馏风潮的背景后,高洪浩话锋一转,提到了一个反例:字节跳动公开表示不进行蒸馏,并询问其背后的原因。
00:13:43–00:19:52 字节为何不蒸馏:张一鸣对技术路线与组织人性的判断字节跳动为什么主动拒绝使用蒸馏这种方式? 张一鸣说的“蒸馏只能逼近,不能超越”这个理由成立吗? 高洪浩提到《晚点》关于字节跳动的报道,指张一鸣在内部会议上明确反对蒸馏。他对此感到不解:字节算力雄厚,模型(Seed)表现却未达顶尖,为何要放弃蒸馏这条捷径?
程曼祺首先引用了报道中已提及的几个原因:
1. 技术上限:张一鸣认为,蒸馏本质上是复制对手(如Claude)已有的能力,长期来看最多只能逼近,无法实现超越,而字节的目标是成为世界第一。
2. 构建壁垒:他希望团队从更底层构建AGI壁垒,而蒸馏并非长期壁垒,这也是多数从业者的共识。
3. 战略定力:即使不蒸馏会导致短期内落后于国内对手,字节也决心不走这条“捷径”。
程曼祺补充,作为全球化大公司,字节可能还有合规和国际形象方面的考量。高洪浩则推测,不蒸馏可能是字节模型目前未能“在国内sold out(意为做到最好)”的原因之一。
接着,高洪浩追问张一鸣“无法超越”的判断是否成立。程曼祺综合多位从业者的观点分析:
* 技术上:学生模型超越教师模型“并非绝无可能”。蒸馏方法本身可以优化,比如学习多个教师模型“博采众长”(当然也可能“博采众短”),存在探索空间。
* 组织上:这可能是更关键的因素。蒸馏是一种成本较低、确定性较高的提升方式。如果团队将过多精力投入其中,那些从事更长期、更不确定性研究的探索性项目和人员,就可能得不到足够的资源和“认可”。对于顶尖研究员来说,鼓励创新的环境至关重要。过度依赖蒸馏会带来组织上的惰性和激励问题。
程曼祺总结,综合技术和组织两个层面,张一鸣“很难超越”的判断或许是真实情况。她引用一位网友的评论:“张一鸣可能不是最懂技术的,但大概率是最懂人性的”,点明了这种决策背后对组织行为的深刻洞察。
话题推进: 在分析了张一鸣的决策逻辑后,高洪浩继续追问,为何其他同样有AGI信仰的公司会做出不同的选择,愿意承担蒸馏可能带来的代价。
00:19:52–00:24:41 选择蒸馏的逻辑:务实主义、个人发展与外部采购的灰色地带其他有AGI信仰的公司难道意识不到蒸馏的代价吗? 如果我通过第三方数据公司购买蒸馏好的数据,这算不算蒸馏? 高洪浩质疑,为何其他追求AGI的公司会选择蒸馏。程曼祺回应,这取决于公司如何评估蒸馏的代价是否“可控或可接受”。她引用文章中的比喻:“一个运动员理论上可以既嗑兴奋剂,也勤加训练”,暗示其他公司可能认为自己能控制住蒸馏带来的组织惰性等副作用。
她提出了几种可能的解释:
1. 务实主义:蒸馏只是众多模型优化方法之一。在特定阶段,如果它有效,公司就会投入资源。未来若出现更有效的方法,重心可以再转移。蒸馏数据也只是后训练数据的一部分,公司仍在并行推进基础设施、算法架构、预训练数据构建等其他工作。
2. 个人发展诉求:张一鸣表态不蒸馏后,字节内部确实有人因此考虑离开。高洪浩解释,从个人职业生涯角度看,从业者希望在有限的时间内做出“代表作”,即参与打造最强的模型。他们不愿在一个不允许走“捷径”的团队里“耗着”,这种个人化的想法也合情合理。当然,也有人可能被张一鸣的长期主义所感召。
随后,高洪浩提出了一个更复杂的问题:如果公司不亲自蒸馏,而是向第三方数据公司购买蒸馏数据,这算什么?程曼祺认为这存在很大的“操作空间”:
* 技术层面:如果训练过程是让自己的模型去逼近强模型的输出行为,那么无论数据来源如何,这在技术上就是蒸馏。
* 法律与合规层面:是否违反用户协议或未来可能出现的政府限制,则存在许多可以规避的灰色地带。这已超出了纯粹的技术问题。
在字节的应对上,程曼祺提到,字节近期重组数据团队,成立了与Seed(模型)、Flow(应用)平行的一级部门“AI数据和安全”,由原TikTok直播业务负责人王英磊(Adam Wang)负责。这表明字节正致力于构建不依赖外部闭源模型的、自主的高质量数据能力。
话题推进: 讨论完字节的策略和行业内采购数据的灰色操作后,高洪浩将话题扩展到国内其他几家头部AI公司,询问它们与蒸馏的关系。
00:24:41–00:27:18 谁在蒸馏:美国公司的指控与“自证清白”的难题在DeepSeek、Kimi、智谱、千问这四家公司里,你认为谁最可疑? 如何看待阿里在被Anthropic点名后,集团内禁用Claude? 如果中国所有头部模型都不允许蒸馏,格局会有什么变化? 有什么迹象能判断一个模型是否经过蒸馏?比如模型回答时自称是GPT。 高洪浩直接提问,在国内几家头部公司中,谁的“蒸馏嫌疑”最大。程曼祺回避了直接评论,转而梳理了公开信息中美国公司的指控:
* Anthropic:在2026年2月点名了DeepSeek、Kimi(月之暗面)和MiniMax;6月又点名了阿里的千问,称其发起了“有史以来规模最大的蒸馏攻击”(2880万次交互)。
* OpenAI:曾指出DeepSeek有疑似蒸馏的行为。
* 智谱AI:程曼祺特别指出,在公开信息中,没有任何美国公司指控过智谱AI存在蒸馏行为。
高洪浩追问阿里在被点名后全集团禁用Claude的举动。程曼祺认为,这与蒸馏指控不一定有直接的因果联系,可能的原因包括:1. 合规表态,因为理论上中国用户本就不能使用Claude;2. 数据安全考量,不希望内部AI使用和数据流向外部模型;3. 推广自研模型。但她承认,这一举动发生在中美模型竞争的大背景下。
随后,高洪浩提出了一个假设性问题:如果所有中国头部模型都不蒸馏,格局会怎样?程曼祺认为,如果大家都在同一起跑线,那竞争就回归到其他能力的比拼上,格局可能不会有太大变化。高洪浩进一步解读,这是否意味着在“大家都不蒸馏”的公平环境下,字节的排名也不会改变,暗示了蒸馏对当前格局的潜在影响。程曼祺没有正面回答,表示这难以判断。
最后,高洪浩问到一个具体的技术问题:如何判断一个模型是否蒸馏过?例如,一个非GPT模型在回答时自称是GPT或由OpenAI训练,这能否作为证据?程曼祺未及回答,该话题便引入了下一段的讨论。
话题推进: 主持人高洪浩提出的“如何判断模型是否蒸馏”的具体问题,自然地将对话引向了下一个议题:蒸馏行为在技术上是否可以被检测和隐藏。
00:27:19–00:49:33 连续对话 200:27:19–00:31:55 大规模蒸馏的难点:一个复杂的系统工程蒸馏真正困难的地方在哪里?是拿到几百万条Claude的回答难,还是知道怎么向Claude提问更难? 如果所有公司都可以蒸馏,核心竞争力是什么? 主持人高洪浩首先询问,如果所有公司都可以进行蒸馏,那么这项技术的真正难点和核心竞争力是什么。嘉宾程曼祺回应,难点因公司而异,取决于其自身的薄弱环节,但她可以列举几个普遍认为有难度的环节。
第一个难点在于前端的数据获取。这包括如何获得能稳定、高频访问如GPT或Claude等领先模型的账号。程曼祺特别提到,这其中还涉及“用户运营”的环节。具体做法是,一些公司会建立“中转站”,吸引特定用户群体(如高校理工科学生、研究者、高级程序员)通过这些中转站免费使用领先模型。这些用户的真实、高质量提问可以作为生成训练数据的“种子”,后续可以围绕这些种子进行扩增和改写。这个过程不仅是技术问题,也包含运营工作,例如如何筛选和吸引能提出高质量问题的用户。同时,也存在风险,比如合作的第三方中转站可能会在数据流中混入其他非目标模型的输出,导致“自己蒸自己”的乌龙事件。
第二个难点在于构建一整套高效的“数据管线”(Data Pipeline)。这套管线是一个复杂的系统工程,涉及多个步骤:首先,从用户真实提问中筛选、过滤和去重(“去虫”);其次,利用模型对筛选后的数据进行扩增和改写;再次,过程中需要进行纠错,并确定最终训练数据的形式和配比。程曼祺强调,这整个流程充满了需要经验积累的“know-how”。此外,整个系统的成本和稳定性也至关重要,直接影响大规模操作的效率和效果。
最后,程曼祺总结,大规模蒸馏远非简单的“抄作业”。如果非要用这个比喻,那也是一个极其复杂的“抄袭”过程,其复杂性本身已经使其不再是简单的模仿。
中转站 在本段对话中,指一种技术或服务设置,它允许用户通过一个中间接口去访问并使用如GPT、Claude等领先的闭源大模型。其输入是用户的真实提问(prompt),输出是领先模型的回答。对于蒸馏方而言,建立或使用中转站的目的是吸引高质量用户(如开发者、研究者),从而合法地、规模化地收集这些用户与领先模型交互产生的高质量问答对(prompt-completion pairs),作为后续蒸馏训练的数据来源。
数据管线 (Data Pipeline) 在这里指为模型训练准备数据的一整套自动化处理流程。它的输入是原始数据,如通过中转站收集的用户提问、网络爬取的内容等。中间机制包括一系列步骤:数据筛选、清洗(如过滤低质量内容)、去重、格式化、以及利用模型对已有数据进行改写和扩增,还可能包括对数据进行纠错和按特定比例混合。其输出是高质量、格式统一、符合训练要求的最终数据集,可以直接用于训练或微调学生模型。
斩杀线 源于节目图注,指在以模型性能和成本为坐标轴的图表中,一个特定模型所划定的一条界线。所有性能比它低(位于其下方)或成本比它高(位于其右方)的模型,在该模型面前都失去了性价比优势,被认为在商业竞争中被“斩杀”。这个概念强调了高性价比模型对市场格局的颠覆性影响。
程曼祺 · 00:27:26
有研究者在2024年11月测试了27个中外模型,发现普遍存在身份混淆问题,例如GPT-4自称GPT-3,Gemini Pro自称百度文心,字节的Seed模型自称GPT。研究结论是,仅凭身份混淆无法断定模型是否使用了对方的数据,更不能证明蒸馏。
话题推进: 在解释完蒸馏的复杂实现过程后,主持人高洪浩将话题转向了如何隐藏蒸馏行为,从而引出关于蒸馏的风险与反制措施的讨论。
00:31:55–00:34:55 蒸馏的风险:如何隐藏与被发现一家公司如果想隐藏蒸馏行为,最常见的方法是什么? 如果公司不通过API,而是下载开源模型在自己机房生成数据,外部是否无法发现? 如果一家公司同时从多个模型(如Claude、GPT、Gemini、DeepSeek、千问)获取少量数据并重写,是否能隐藏痕迹? 为什么关心如何隐藏蒸馏行为? 主持人高洪浩连续追问如何隐藏蒸馏行为,特别是如何对OpenAI和Anthropic等模型提供方隐藏。程曼祺首先表示对具体技术手段并不清楚,但讨论了两种情况。
第一种是蒸馏开源模型。高洪浩设想,如果一家公司下载一个强大的开源模型(如Kimi的K3或DeepSeek的V4)在自己的机房里生成数据,外部是否就无法发现。程曼祺引用了黄仁勋近期的一个采访观点,指出部署和运行这类大型开源模型(参数量达万亿级别)本身就需要大量算力,会产生高昂的电费,这种异常的计算资源消耗很容易被政府等机构监测到。
第二种是蒸馏闭源模型。高洪浩设想,如果一家公司“集各家之所长”,从多个不同的闭源模型中分别获取少量数据,再用自己的模型筛选和重写,是否就能掩盖其师承来源。程曼祺认为,这种做法或许能让最终模型的输出特征不那么像某一个特定的老师,但无法向模型提供方隐藏“蒸馏”这个行为本身。因为模型提供方主要是通过过程而非结果来检测蒸馏。只要存在大规模、高频调用API的异常行为,例如跨账号协同、重复提问、套取思维链等,就可能被对方的行为指纹系统和分类器识别。她引用Anthropic最近公布的反制措施作为证据,该措施还包括加强对教育、研究和创业公司等优惠账户的身份认证,这正对应了此前讨论的通过吸引特定用户群体来获取高质量数据的做法。
最后,高洪浩解释了他关心“隐藏”的原因:这涉及到合规风险,例如一家公司可能既想通过蒸馏提升模型能力,又担心因此被发现并列入美国的“实体清单”。程曼祺总结,这确实是蒸馏需要付出的代价之一,即合规隐患,而且只要做了就总会留下痕迹。
话题推进: 在讨论了蒸馏的风险与代价后,主持人将话题转向蒸馏的正面可能性,即“学生能否超越老师”。
00:34:56–00:39:07 学生能否超越老师:技术可能与现实差距学生模型能否超越老师模型? 超越老师是否意味着它就成了最前沿(Frontier)的模型?世界第一的标准是什么? 如果通过蒸馏暂时无法超越老师,但能不断缩小差距,这对后发者是否是一种优势?这种持续追赶的状态有什么问题? 主持人高洪浩提出核心问题:通过蒸馏,“学生模型”能否超越“老师模型”?
程曼祺表示,从业者普遍认为技术上存在这种可能性。她列举了几种潜在路径:
1. 多师蒸馏:学习多个不同老师模型的优点,类似于在模型后训练阶段融合不同专家的能力。她推测,这种思路或许可以用来让基础模型变得更强。
2. 特定任务超越:已有研究表明,在某些特定任务上,学生模型可以实现对老师模型的超越。但这不代表学生模型在通用性、泛化性等综合能力上全面胜出。
高洪浩追问,即使超越了老师,是否就意味着成为了世界第一的“前沿模型”?程曼祺认为,如果“世界第一”的标准是按现有评测基准表现最好,那么当一个学生模型学习了当时最好的老师模型并超越了它,理论上就有可能成为世界第一。但她强调,这只是一个技术上开放的问题,能否“持续”保持第一,则取决于自身的创新能力。她观察到,当前AI领域“各领风骚几个月”是常态,领先者与追赶者的位置在不断交替。
接着,高洪浩从商业角度提出,如果蒸馏能让后发者以几个月的延迟持续逼近领先者,这听起来是可接受的,甚至是一种优势。这种“一直逼近但不超越”的状态有什么问题吗?
程曼祺提出了一个关键的远期风险假设。她指出,像OpenAI和Anthropic等领先公司正在探索模型的“自进化”能力。一旦模型达到某个能用AI高效优化AI的阶段,其迭代速度可能会出现指数级加速,从而将后发的追赶者远远甩开。在这种假设下,率先达到那个“自进化”的临界点至关重要。因此,不能满足于仅仅通过蒸馏来紧跟其后。不过她也补充,对蒸馏的重度依赖可能只是一个阶段性现象,它只是众多技术方法中的一种。
程曼祺 · 00:36:51
程曼祺观察到,尽管近期K3、Grok 4.6等模型的发布让开源与闭源的差距看似缩小,但在过去半年的维度里,Anthropic和OpenAI仍有数月保持着明显领先。领先者可能会在追赶者跟上后,再次实现技术上的跳跃。
话题推进: 对蒸馏技术本身的讨论告一段落,主持人高洪浩转向一个更宏观的视角,探讨围绕蒸馏的伦理与规则争议。
00:39:08–00:44:05 灰色地带的博弈:蒸馏的“原罪”与“双标”争议很多人觉得蒸馏是带有“原罪”的行为,你怎么看? 对于蒸馏,我们应该讨论“能不能蒸”,还是“什么样的蒸馏可以接受”?你认为红线在哪里? OpenAI和Anthropic在预训练时也使用大量未授权数据(如盗版书),这和蒸馏有本质区别吗? 你预测三年后,蒸馏会像爬虫一样普遍,还是会被禁止? 主持人高洪浩提出,许多普通人认为蒸馏带有“原罪”,因为它像是“抄作业”。程曼祺认为“原罪”一词过重,但承认蒸馏处于一个“灰色地带”。它明确违反了OpenAI、Anthropic等公司的用户协议,但违反协议不一定构成法律上的侵权。她还指出,这些公司的用户协议本身限制范围就非常宽泛。
当被问及蒸馏的“红线”时,程曼祺认为,明显的违法行为是不可接受的,例如通过黑客攻击侵入对方系统来获取数据。但她强调,模型公司通常不会孤立地看待蒸馏,而是将其视为提升模型能力的众多工具之一,就像一个巨大控制面板上的一个旋钮,可以选择使用、不使用或调整使用程度。
随后,高洪浩抛出了一个尖锐的问题:OpenAI和Anthropic等公司在训练模型时,也曾使用盗版书籍网站等来源的数据,这种行为与蒸纯粹在本质上有什么区别?这引出了关于“双标”的讨论。
程曼祺承认,这种指责普遍存在,且整体上看确实是“双标”的。但她也分析了两种行为的细微差别:
1. 侵权行为不同:Anthropic从盗版网站下载书籍,是明确的版权侵权行为,因为它并未为书籍本身付费。而蒸馏行为中,公司至少为调用API付了费。
2. 法律判例的潜在影响:高洪浩提到美国加州法院有判例认为,购买数据后用于模型训练不构成侵权。程曼祺认为这个案例很有趣,如果此判例成立,那么反过来,付费使用Anthropic的API产出(即蒸馏)是否也可能不构成侵权,这将成为一个值得探讨的法律话题。
对于蒸馏的未来,程曼祺认为AI行业变化太快,无法预测三年后的情况。但她判断,围绕蒸馏的攻防博弈会持续进行。蒸馏本身受到成本、反制措施等现实约束,不太可能“肆无忌惮地蔓延”。
话题推进: 从对蒸馏本身的讨论,话题自然延伸到由蒸馏等技术带来的更便宜、更强大的模型,将如何改变整个AI行业的商业逻辑。
00:44:05–00:49:33 蒸馏之外:智能的供需错配与商业模式的冲击如果蒸馏越来越容易,投入数百亿美元训练前沿模型的商业模式会不会有根本性变化? 主持人高洪浩提出,如果蒸馏技术让追赶变得更容易,那么投入巨资研发前沿模型(Frontier Model)的商业模式是否会受到根本性冲击。
程曼祺回应,短期内市场预期确实受到了影响,例如有人认为这会冲击OpenAI和Anthropic的估值甚至IPO进程。但她强调,这只是基于当前快照的判断。她引用马斯克的发言为例,即便是Grok 4.6发布后,他也预言Anthropic的下一个模型可能会非常强。领先的闭源模型公司可能还有未展示的“后手”,一旦发布新的强大模型,市场预期又会改变。因此,现在断言重金投入的模式被颠覆为时尚早。
然而,程曼祺明确指出,一个更确定的冲击发生在商业逻辑层面。像DeepSeek V4和Grok 4.6这类高性价比模型的出现,正在重塑市场。她提到了著名的“斩杀线”图,即在性能-成本二维图上,位于这些高性价比模型下方(性能更差)和右方(成本更高)的模型都失去了竞争力。
这引出了一个比蒸馏本身更宏大的问题:智能的供给与需求之间可能存在错配。程曼祺观察到,对许多任务而言,当前最强的模型已经“够用”(good enough)。她举例说,一位生产力应用创始人告诉她,用户80%的任务都可以被非常便宜的DeepSeek V4 Flash模型解决。这至少会改变AI服务的定价策略。
更深层次地,这引发了对智能需求规模和增长节奏的质疑。程曼祺提到,行业内之前普遍认为编程(Coding)市场比视频生成市场大,但现在有投资人开始反思“万一错了呢?”背后的逻辑是,对于大量白领工作,现有模型的能力可能已经饱和,更强的模型如同“杀鸡用牛刀”,没有用武之地。她结合自身经历谈到,虽然曾一度对AI辅助编程工具的能力感到兴奋,但冷静下来后发现,处理这类复杂任务的频率并没有想象中那么高。因此,智能需求的增长速度可能并不像预期的那么快,这可能是整个行业面临的一个更根本的挑战。
节目最后,两位主播总结了本次讨论,并邀请听众分享更多关于蒸馏的观察与思考,希望未来能推出更完整的2.0版本。
话题推进: 节目结束。
以上是原对话的分段阅读。下面才开始提炼论证、解释机制并给出本文自己的判断。
主要论证:观点怎样由经历与例子支撑 字节跳动(张一鸣)决定不蒸馏,主要不是基于技术判断,而是基于对组织人性和长期战略的考量。 程曼祺 (综合多位从业者观点) · 00:13:43;00:17:44;00:19:42
1. 技术层面:虽然张一鸣公开理由是“蒸馏最多只能逼近,很难真正超越”,但从业者普遍认为技术上存在超越的可能性(如多师蒸馏)。因此,这并非决策的唯一或决定性因素。
2. 组织层面(核心):蒸馏是一种成本相对较低、确定性较高的提升方式。如果团队过度依赖这条“捷径”,就会挤压更具不确定性的长期探索性项目的资源和内部认可,导致组织惰性。这对于吸引和留住追求原始创新的顶尖研究员是不利的。
3. 战略层面:字节的目标是成为世界第一,而蒸馏本质上是学习和复制对手已有的能力,无法构建真正的、长期的AGI壁垒。即使短期内会落后于国内对手,也要保持战略定力。
4. 人性洞察:该决策被解读为“最懂人性”的体现,因为它预见了捷径对团队创新文化的潜在腐蚀作用。
成立条件: 该论证成立的前提是,蒸馏带来的短期收益(如模型评测分数提升)确实会对组织内部的资源分配和人员激励产生显著的负面导向作用,且这种负面作用的长期损害大于短期收益。
蒸馏从最初用于模型压缩的技术,演变为当前“为变强而竞争”的行业风潮,主要由两个关键技术节点催化。 程曼祺 · 00:08:05;00:10:17
1. 节点一 (2024年9月, OpenAI o1发布):o1模型开启了“推理模型”范式,带来了两个变化:a) 证明了在后训练阶段进行大规模强化学习可以显著提升模型的推理策略,而蒸馏主要用于后训练,这使得蒸馏的“投入回报比”大幅提高;b) o1在推理时能生成更长的“思维链”,这些高质量的输出本身成为更优质的蒸馏“原料”。
2. 节点二 (2025年1月, DeepSeek-R1发布):DeepSeek发布了以R1为教师、基于其他模型底座的多个小型蒸馏模型。这在实践上展示了蒸馏的可行性和效果,虽然其初衷是回归模型压缩,但客观上激发了行业通过蒸馏快速提升模型能力的兴趣。
3. 演变过程:蒸馏最初的目的(如在自动驾驶领域)是将云端大模型能力压缩到端侧芯片,是为“实用化”。而现在行业热议的,是在上述技术突破后,纯粹为了在模型能力竞赛中追赶领先者而进行的“为变强而蒸馏”。
成立条件: 此论证的成立依赖于o1和DeepSeek-R1的发布确实在行业内引发了广泛的效仿和技术路线调整,并且这种调整是导致蒸馏行为规模化的主要原因,而非其他因素(如算力成本变化、其他算法突破等)。
模型提供方(如Anthropic)主要通过检测调用过程中的异常行为模式,而非分析最终模型的输出来识别蒸馏行为,这使得蒸馏难以被完全隐藏。 程曼祺 · 00:32:08;00:33:35
1. 检测对象:检测的核心不是判断“学生模型”的输出是否像“教师模型”,而是识别调用API过程中的非正常使用模式。
2. 异常行为特征:这些行为包括大规模、高频次的API调用;跨多个账号进行协同、有组织的提问;针对同一或类似问题反复、系统性地套取模型的“思维链”(reasoning process);以及来自教育、研究等优惠账户的异常流量。
3. 反制机制:模型提供方已建立专门的“分类器”和“行为指纹系统”来自动识别这些模式。一旦识别,就可以采取封禁账号等措施。
4. 结论:即使蒸馏方采用“多师蒸馏”或对获取的数据进行改写,以期在模型输出层面抹去痕迹,但只要其获取数据的行为(即调用API)具有上述系统性特征,就可能被过程检测机制发现。因此,只要做了,就总会留下痕迹。
成立条件: 该论证成立的条件是,模型提供方的行为检测系统足够精确和强大,能够有效区分正常的、大规模的商业调用和系统性的蒸馏行为,且不会产生过多的误报(false positives)从而影响正常用户。
由蒸馏等技术催生的高性价比模型,对AI行业最确定的冲击并非颠覆前沿模型的研发模式,而是改变了商业逻辑,暴露了“智能供需错配”的根本问题。 程曼祺 · 00:44:05;00:45:37;00:46:35
1. 短期预期 vs 长期现实:虽然高性价比模型(如DeepSeek V4)的出现短期内冲击了OpenAI等公司的估值预期,但这只是基于当前快照的判断。前沿公司仍可能通过发布下一代更强的模型来重新拉开差距,因此“投入巨资研发前沿模型”的模式并未被根本颠覆。
2. 商业逻辑冲击(“斩杀线”):更确定的冲击是,高性价比模型划定了新的“斩杀线”,使得性能更差或成本更高的模型失去市场竞争力,直接改变了AI服务的定价和市场格局。
3. 暴露供需错配:更深层次地,这引出了对智能需求的质疑。许多应用场景和用户任务并不需要最顶尖的智能,一个“足够好”(good enough)且便宜的模型就能满足80%的需求。行业此前对标白领工作(如Coding)的巨大市场需求假设可能被高估。
4. 结论:相比于“谁在蒸馏”的技术竞赛,智能需求的增长速度可能跟不上供给能力的提升速度,这可能是整个行业面临的更根本的挑战。
成立条件: 此论证成立的条件是,市场上大部分商业应用场景对AI智能的需求确实存在一个“足够好”的天花板,且这个天花板低于前沿模型的能力。同时,用户对成本的敏感度要高于对极致性能的追求。