#89 潘家怡：DeepSeek-R1、Kimi K1.5 与 o1 的“推理模型”到底怎样训练出来？

原文讲解：节目怎样从 o1 读到 R1，再读到 K1.5

下面先沿着节目自身的顺序讲清楚：主持人为什么提出这个问题，潘家怡如何从背景讲到算法，哪些例子让听众理解“推理涌现”，最后又为什么回到数据、成本和复现。此处先不替嘉宾下结论。

这期的起点不是“DeepSeek 又发布了一个更强模型”，而是主持人想把一个新闻事件还原成可学习的技术过程。她先把春节期间的公众兴奋放到一边，邀请潘家怡介绍自己的研究背景：他做语言模型的强化学习后训练，目标包括让模型写复杂代码、控制电脑和完成通用任务。DeepSeek-R1 发布后，他和合作者在一个晚上写出 TinyZero，用小模型跑通了 24 点类任务的复现。这个开场很重要，因为它把听众从“神秘大厂的成品”带到了“研究者怎样拆问题、找环境、写验证器”的现场。

一、先回答“为什么现在需要推理模型”

潘家怡先从 GPT-3、GPT-4 和当时尚未发布的 GPT-5 讲起。节目里的时间感是：预训练模型越来越大、训练越来越贵、迭代却越来越慢；即使基础模型的世界知识继续扩大，用户实际感受到的进步，很大一部分来自后训练——模型更会遵循指令、更懂工具，也更符合人类偏好。这里他把预训练理解成建立一个很大的知识与模式库，把强化学习理解成教这个库在某个任务上怎样行动。

随后他解释 o1 的关键：模型不仅可以在训练阶段获得更多能力，还可以在回答一个具体问题时多花推理时间。传统聊天模型往往很快给出第一个答案；推理模型则会先把问题拆成子问题，尝试方案，发现矛盾后回退，再给最终答案。节目把这类过程类比为人的“慢思考”，但潘家怡强调的技术含义不是模型突然获得了一个人脑，而是模型学会使用更多 token 和计算，把一次性生成改成带有中间状态的搜索。

二、从 o1 的公开谜题进入 DeepSeek-R1

节目接着读 OpenAI 的 Learning to reason with LLMs。潘家怡把它概括为一个谜题：OpenAI 告诉行业，强化学习能让模型学会推理，却没有把训练细节完全公开；R1 的意义在于把这条路线拆开，让研究者看到基础模型、可验证任务、奖励和推理时扩展如何拼在一起。

他用“不要教模型具体怎么做，而是告诉它什么结果更好”的说法解释 incentivize。监督微调会给模型示范一条答案路径；强化学习则给模型一个问题，让它尝试许多次，再根据结果告诉它哪些策略值得增加概率。这个差异在问题简单时不明显，在需要搜索、回溯、自我检查的复杂任务上才显现：人类很难把每一个未来步骤预先写出来，因此只能给目标和反馈，让模型自己探索。

三、R1-Zero：先把模型放进可验证环境里

R1-Zero 的设定在节目中被反复强调：从 DeepSeek-V3 Base 出发，不先进行传统的监督微调，直接使用 GRPO 在数学、代码等可验证任务上做大规模强化学习。奖励主要来自规则：答案是否正确、代码是否通过测试、输出格式是否满足要求。模型一开始并不知道“好的思维链应该长什么样”，但只要某些尝试更容易得到正确结果，训练就会提高这些行为的概率。

节目把结果讲成一条逐渐变长的曲线。随着 RL 继续，模型输出从较短的回答变成长的思维链，并开始出现重新检查、改正错误、尝试不同路径和搜索等行为。主持人把论文里的 Aha Moment 视为高潮：模型在某一步意识到自己可能算错了，停下来重算，最后得到正确答案。潘家怡的解释是，这些模式没有被研究者逐条写入，而是由结果奖励诱导出来的，因此让人看到强化学习可能产生超出示范数据的策略。

但 R1-Zero 也有明显缺点：输出难读，语言可能中英混杂，用户体验和可控性都不好。于是节目转向 R1：先用少量、人工整理的高质量长思维链做冷启动，再在数学和代码上做 RL；得到推理专家后，再从它和通用模型生成数据，用拒绝采样与 SFT 把推理能力、写作、翻译、聊天等能力合到一个模型，最后再做一轮覆盖更广任务的强化学习。R1 不是“纯 RL 的商业版”，而是把 Zero 的科学性与冷启动、蒸馏、对齐工程组合起来。

四、GRPO：为什么少一个 value model 反而更简单

为了让听众理解算法，潘家怡先讲 PPO。PPO 通常要训练一个策略模型，负责生成行动；还要训练一个 value model，估计每一步对最终回报的贡献。这个安排在很多强化学习任务里有用，因为奖励常常只在最后出现，value model 可以把最终结果分摊到中间步骤。

问题是语言模型的长思维链里，中间的一步不一定能单独判定好坏。用节目里的简化例子：模型先说“1+1=3”，随后又发现不对并改成“1+1=2”。如果只看最终答案，整个序列是成功的；如果逐 token 训练价值函数，又很难说中间那个“3”是应该惩罚的错误，还是一次最终促成纠错的探索。序列越长、奖励越稀疏、模型越会自我修正，精确的 value estimation 就越困难，也越可能被模型钻漏洞。

GRPO 的处理是放弃独立的 value function，给同一个问题采样一组回答，比较这一组回答相对好坏，再把相对优势用于更新策略，同时限制新策略不要偏离旧策略太远。R1 中还把准确率奖励和格式奖励分开：前者判断答案、程序或证明是否正确，后者要求模型把思考和最终回答放在可解析的结构中。这样做的核心不是“每个 token 都同样重要”，而是承认在当前任务上，可靠的最终验证信号比一个不可靠的过程评分更有价值。

五、PRM 和 MCTS：为什么“更精细”不等于“更可规模化”

节目随后讲了 DeepSeek 和 Kimi 都讨论过的两类替代方案。过程奖励模型（PRM）想给每一步打分，告诉模型哪一步是对的、哪一步是错的；蒙特卡罗树搜索（MCTS）则把生成过程拆成树，在多个分支上搜索并用价值函数剪枝。它们在围棋等规则清楚的环境里很漂亮，但语言推理的“下一步”并不总能被自然定义：一句公式、一行代码、一次修正，哪个才是一个步骤？如果奖励模型不够准确，模型还可能学会迎合评分器，而不是解决问题。

因此这期节目给出的答案很克制：在数学、代码等有明确答案的任务上，直接用规则验证已经足够强，就没有必要为了形式上的精细而引入复杂奖励模型。PRM 仍可能适合从多条候选中重排答案，但在大规模 RL 主循环里，简单、稳定、能扩展的 outcome reward 更重要。

六、从“涌现”到“意识”：主持人的追问与嘉宾的保留

主持人问，模型会自我纠错、搜索和反思，是不是已经产生了意识，甚至已经超过人类。潘家怡没有给出科学证明。他说意识取决于定义：如果只看输入输出，有人会认为模型表现得像有意识；如果把意识理解为某种主观体验，则单凭行为无法判定。节目真正能支持的结论，是模型在若干任务上的行为复杂度出现了令人意外的提升，不是“意识已经被证明”。

R1-Zero 与 AlphaGo Zero 的类比也在这一段出现。Zero 表示尽量少依赖人类示范，而不是完全没有人类知识：模型仍然从人类文本中预训练，只是没有先给它一套长思维链示范。R1 则依赖少量冷启动数据，换来更好的可控性和通用性。潘家怡的判断是，Zero 更有科学上的美感，R1 更适合真实部署。

七、蒸馏：大模型先探索，小模型再学习

DeepSeek 把 R1 生成的高质量推理数据蒸馏到 1.5B、3B、7B、14B、32B、70B 等模型。节目用“笨学生”作比喻：大模型的搜索空间更强，更容易发现复杂而有效的推理策略；小模型直接从零做 RL，可能探索不到这些策略，先让它看见老师的轨迹，再用 RL 选择哪些行为适合自己，往往更有效。

潘家怡还提醒，蒸馏不是把智能无损复制。学生可能只模仿老师的表面表达，无法真正吸收背后的逻辑，出现奇怪的泛化和幻觉。因此蒸馏后继续做强化学习，有机会把“照抄”变成更适合学生能力的策略。TinyZero 的意义也在这里：它把复杂的大模型路线压缩到一个 3B 模型和 24 点类任务，帮助研究者理解“任务难度、模型能力和 RL 阈值”之间的关系。

八、Kimi K1.5：同一方向上更完整的工程账本

节目把 Kimi K1.5 介绍成一篇与 R1 异曲同工、但工程细节更丰富的报告。它同样采用冷启动与 RL 的组合，冷启动数据显式展示规划、自我验证、反思和探索这些行为模板；随后让模型在与自身能力匹配的题目上持续学习。Kimi 还提出在线策略镜像下降的变种，思路与 GRPO 相近：学习相对好的回答，同时限制策略偏移。

Kimi 的一个明确取舍是长度。R1-Zero 会在 RL 中自发把思维链变长；K1.5 除了追求正确，也加入 length penalty，希望正确答案尽量短，并用 long-to-short 方法把长思维链里的能力迁移到较短输出。节目还解释了课程学习：题目太简单没有增量，太难又只有噪声，所以应该让题目难度跟着模型能力移动。

在奖励与基础设施上，潘家怡介绍 Kimi 对过程奖励模型、思维链奖励模型、代码测试、视觉数据和 partial rollout 的探索。思维链奖励模型让评价器先比较参考答案与模型答案，再通过自己的推理判断对错；partial rollout 则把超长回答截断到下一轮继续，避免整个 batch 被最慢样本拖住。K1.5 由此呈现出另一面：算法可以很简单，但训练系统、数据构造、异步调度、长度控制和评估吞吐都需要工程化。

九、最后回到数据：减少的是示范，不是数据本身

节目的后半段反复回到一个误解：DeepSeek-R1-Zero 减少了人工思维链示范，并不等于 RL 不需要数据。它仍需要足够好的基础模型、数学和代码任务、标准答案、测试用例、奖励规则，以及后续用于通用化和对齐的样本。潘家怡认为，未来标注会从“把答案写出来”转向“提出足够难、专业且可评价的问题，并给出可靠的答案与标准”。

主持人把数据标注员称为 AI 教练。潘家怡赞同这个比喻，但也说真正脱离人的监督仍是未来研究目标：自博弈、弱监督、自监督和让模型自己寻找课程都有可能成为方向。至于成本，他用 10 万至 100 万美元估算 R1 的 RL 部分、用约 600 万美元描述预训练成本；这些是根据步数、回答数量、token 价格做的节目内粗算，不是 DeepSeek 的官方账单。节目最后把未来问题落到软件工程、Agent、多轮工具调用和更复杂的任务上：竞赛题容易验证，真实代码库中的 Issue、PR、测试和迭代才是更难的下一关。

原文讲解到这里。下面才进入结构化抽象、证据审计和独立判断。

核心判断：真正的突破不是“不要 SFT”，而是把可验证反馈变成推理能力

把这一期概括成“DeepSeek 不需要监督微调”会误导读者。更准确的说法是：R1-Zero 展示了在强基础模型上，针对数学、代码等可验证任务，纯结果奖励的强化学习可以诱导出更复杂的推理行为；R1 再用冷启动、蒸馏和通用对齐把这种行为变成更可部署的产品模型。

证据审计：论文支持到哪里，节目推断到哪里

DeepSeek-R1 论文摘要明确声称，纯 RL 可以在不依赖人工标注推理轨迹的情况下诱导自我反思、验证和动态策略适应，并把大模型的推理模式蒸馏给小模型；Kimi K1.5 摘要则把长上下文、政策优化、长转短和基础设施放在一起，并强调其框架不依赖 MCTS、value function 和 PRM。OpenAI 的 o1 页面公开了 RL、训练时计算和测试时计算的关系。三份一手材料共同支持“推理训练成为新的 scaling 轴”，但不支持把节目中的所有数字和内部猜测都当作已验证事实。

四个必须保留的边界

• “涌现”边界：训练曲线里出现自我纠错行为，说明策略发生了变化；它不证明行为在所有任务上可靠，也不证明意识或主观体验。
• “纯 RL”边界：R1-Zero 的无冷启动示范不是整个 R1 的训练配方。R1 仍使用冷启动数据、拒绝采样、蒸馏和通用 RL。
• “低成本”边界：节目内的十万至百万美元是对 RL token 的粗算，不能替代预训练、失败实验、基础设施、数据、部署和机会成本。
• “可验证”边界：数学、代码、竞赛题有较清晰的验证器；文学、研究、产品策略和现实行动仍需要多层评价，不能直接套同一奖励。

独立分析：推理模型的护城河会从“示范数据”迁移到“任务与验证器”

1. 训练配方的最小闭环

读完 R1、K1.5 和 TinyZero 后，可以把一个可复现的最小系统写成五件事：能力足够的 base model、能生成难题的任务分布、能可靠判定结果的 verifier、能稳定执行 rollout 的 RL 系统，以及能衡量迁移而不是只衡量训练集的评估集。缺一个，漂亮的算法也可能只得到长输出、奖励投机或 benchmark 过拟合。

2. 为什么“任务难度匹配”是关键

TinyZero 的经验和 Kimi 的课程学习指向同一件事：模型太弱时，探索空间里没有可学的成功轨迹；模型太强或题目太简单时，奖励没有区分度。RL 的有效区间不是由参数规模单独决定，而是由模型能力、题目难度、验证器精度和每轮探索预算共同决定。未来如果只报告“用了多少 GPU”，而不报告任务难度分布、可解率和有效轨迹比例，读者无法复现 scaling curve。

3. “减少人类示范”并不等于“减少人类设计”

人类从逐步写答案，转移到了更上游的工作：选择什么任务值得学、哪些答案算成功、哪些失败不能接受、怎样防止奖励漏洞、何时停止探索，以及模型能否迁移到新环境。对 Agent 来说，这些工作还会扩展到构造环境、权限和回滚。人类监督的数量可能下降，但监督的杠杆率和责任重量会上升。

4. 后续如何证伪或修正

• 如果 RL 在新的开放任务上，只能通过更长输出而不能提高跨任务完成率，说明当前 scaling 主要是推理时预算，而不是通用推理。
• 如果蒸馏后的模型在陌生任务、不同 verifier 和较短上下文中仍保持优势，说明它学到了策略；如果只复述老师风格，说明收益主要是行为模仿。
• 如果过程奖励模型在开放任务上能稳定降低错误、且成本低于 outcome-only RL，PRM 的“暂不规模化”判断需要修正。
• 如果数据规模扩大却没有任务难度、验证器质量和长程环境的同步提升，性能增长可能只是 benchmark 选择效应。

因此，这期最值得带走的不是一句“算法很优美”，而是一个研究顺序：先找可验证的任务，再设计反馈，再让模型探索；等闭环稳定后，才讨论如何把能力迁移到更开放、更昂贵、更需要责任的现实工作。

证据边界与资料索引

正文以 #89 的完整节目材料为主，节目中关于模型行为、OpenAI 内部讨论、标注价格、训练卡数、成本和未来路线的说法均按嘉宾口述或节目推测处理。公开转录存在口语识别错误，尤其是模型名、论文名和数字；需要引用原话时应回到音频。

• 官方 YouTube：#89 逐句讲解 DeepSeek-R1、Kimi K1.5、OpenAI o1 技术报告。
• Scripod：#89 公开转录入口。
• DeepSeek-R1 论文 与 DeepSeek-R1 官方仓库：R1-Zero、R1、RL、蒸馏与规则奖励的公开边界。
• Kimi k1.5 论文：长上下文 RL、长转短、策略优化和多模态训练的公开说明。
• OpenAI：Learning to reason with LLMs：o1 的 RL、训练时/测试时计算与公开评测。
• TinyZero 官方仓库：潘家怡团队对 R1-Zero 思路的小规模复现。

证据顺序：节目原始材料 → 论文/官方仓库/官方博客 → 本文分析。本文不把论文自报 benchmark、嘉宾估算或模型的自我描述直接等同于通用智能。

回到顶部 ↑