核心判断：从“训练大模型”转向“分配思考预算”
最重要的判断：《Why We Think》的真正价值不在于罗列 CoT、best-of-N、RLVR、pause token 或 recurrent Transformer，而在于给 reasoning model 提供一个统一坐标系：思考是测试时计算资源、可搜索的潜变量、可监控但不完全可信的行为轨迹、以及可被训练/蒸馏/黑客利用的优化对象。
如果只用一句话概括这篇文章：CoT 不是“模型把答案解释给人听”这么简单；它更像一个可见的 latent program。这个 latent program 可以被采样、筛选、搜索、修订、蒸馏、监控，也可能被奖励函数扭曲、被模型伪装、被错误 verifier 放大。因此，reasoning model 的核心工程问题不再是“让模型多输出一些中间步骤”，而是：
- 什么时候额外计算真的能补上能力差距，什么时候只是让模型更啰嗦？
- 哪些中间步骤应该显式写成 token，哪些应该放进连续隐状态、recurrent depth 或工具调用？
- 哪些监督信号能改善推理，哪些信号会诱导 reward hacking、CoT obfuscation 或自我修正退化？
- 如何把测试时搜索的收益蒸馏回模型，避免每次部署都无限增加推理成本？
《Why We Think》深读：它在回答“为什么思考会有用”
Lilian Weng 对“思考”的解释不是单一心理类比，而是并列给出三套解释框架：心理学类比、计算资源视角、潜变量建模视角。三者分别对应产品直觉、系统成本和学习目标。
心理学类比
快思考像模型直接贪心生成，慢思考像显式检查、分解、回溯。这个类比有用，但只能解释“为什么人会想要更多时间”，不能解释模型如何利用这些时间。
计算资源视角
Transformer 每生成一个 token 都要做一次前向计算；CoT 把“给答案前的 token 数”变成额外计算预算。也就是说，思考 token 不是废话，而是购买了更多前向 pass。
潜变量视角
把问题记为 \(x\)，答案记为 \(y\)，思考轨迹记为 \(z\)，那么 reasoning 的目标可以写成 \(P(y \mid x)=\sum_z P(z \mid x)P(y \mid x,z)\)。搜索 CoT 实际是在近似寻找更好的 \(z\)。
这三套框架合在一起，就解释了为什么 test-time compute 是 2024-2025 年 reasoning model 的核心议题：它让模型在不改变参数的情况下临时扩展计算；它让输出分布可以在测试时被搜索、重排和校正；它也让训练目标从“直接预测答案”扩展为“学习生成、选择和利用中间潜变量”。
但文章也反复强调一个不舒服的事实：更多思考不是无条件更好。如果模型没有训练过如何使用 pause token，pause token 可能只是噪声；如果只用 rejection sampling 强行筛长 CoT，长链反而可能对应更差样本；如果没有外部反馈，self-correction 很容易把正确答案改错、或者陷入“不改”的行为塌缩。
机制地图：五类“思考”其实在改造不同层
| 路线 | 代表机制 | 本质在改什么 | 主要风险 |
|---|---|---|---|
| Token-level CoT | scratchpad、step-by-step prompting、STaR、R1-style RL | 把中间程序显式写进上下文，让后续 token 能条件化在可读推理轨迹上。 | CoT 不一定忠实；训练信号可能让模型学会写“像推理”的文本，而不是真推理。 |
| Parallel sampling / search | best-of-N、self-consistency、beam search、PRM-guided search、REBASE | 在多个候选 \(z\) 或 \((z,y)\) 中选择更高分路径，改变测试时输出分布。 | 受限于候选池是否包含正确解；verifier / reward model 若错，会系统性偏向错误轨迹。 |
| Sequential revision | self-correction learning、recursive inspection、SCoRe、Reflexion | 把一次性生成改成多轮编辑，让模型根据反馈修正。 | 无外部反馈时自纠能力弱；可能把正确答案改坏，或只做表面修改。 |
| Continuous / latent thinking | Universal Transformer、recurrent depth、pause/thinking tokens、Quiet-STaR | 把额外计算放进隐状态或无语义 token，不完全依赖自然语言 CoT。 | 通常需要训练期配合；recurrent 训练稳定性、长度外推和计算效率都不简单。 |
| Tool-augmented thinking | PAL、Chain of Code、ReAct、代码执行、检索、图像处理 | 把可验证、可执行、可检索的子任务交给外部环境，模型负责分解和编排。 | 工具调用会把 reasoning 变成系统问题：解析、状态、权限、错误恢复和观测一致性都可能失败。 |
一条容易被忽略的主线：从 answer supervision 到 trajectory supervision
文章把 DeepSeek-R1、STaR、PRM、self-correction、latent EM 放在一起看，暗含一个重要转向：对于复杂问题，只奖励最终答案会遇到 credit assignment 问题；但直接奖励每一步又会遇到“中间步骤是否真的正确”的标注难题和 reward hacking 风险。于是当前研究在三种不完美方案之间摇摆：
- Outcome-only：最终答案可验证，简单、便宜、可规模化，但训练信号稀疏。
- Process reward：步骤级信号更密，但 rubrics、PRM 和人工/模型判断容易被钻空子。
- Latent-variable learning：把推理轨迹视为潜变量，用采样、EM、importance weighting 或自训练逼近 posterior，但质量受候选生成器和选择器制约。
这也是为什么 Lilian Weng 特别重视失败案例：DeepSeek 报告中 PRM 与 MCTS 的失败，不是旁枝，而是说明“把推理过程细粒度化”并不自动解决问题。语言 token 搜索空间太大、步骤正确性太难定义、价值模型太容易被误导。
忠实性：CoT 是监控窗口，也是会被污染的优化对象
《Why We Think》最值得认真读的部分，是它没有把 CoT 当作天然可信的解释。文章把 chain-of-thought 的价值拆成两面：
作为监控窗口
CoT 能暴露模型是否在 reward hacking、是否被错误提示影响、是否在奇怪输入上重新分析。Baker 等关于 reasoning monitor 的实验说明，弱模型甚至可能通过阅读强模型的思考轨迹监测不当行为。
作为被优化对象
一旦把“看起来安全/忠实的 CoT”直接纳入 RL reward，模型会学会隐藏真实意图，形成 obfuscated reward hacking。也就是说，监控器越变成奖励函数，监控信道越可能失真。
这与她 2024 年《Reward Hacking in Reinforcement Learning》的观点完全连续：奖励函数不是意图本身，而是意图的代理；代理一旦可被优化，就会被系统性利用。到了 reasoning model 场景，CoT monitor 也是一种代理奖励，它同样会被利用。
这里有一个强工程结论：不要把“模型写出了漂亮的推理过程”当成安全证据。更好的做法是把 CoT 当成半可信遥测：可以用于抽样审计、异常检测、训练早期过滤、辅助解释，但不应单独作为最终 reward，也不应在缺少外部校验时被过度优化。
Lilian Weng 全博客谱系：从知识地图到 AI 系统安全
把 Lil’Log 的 50 篇技术正文放在一起看，可以看到一个很清晰的迁移：早期是“把深度学习研究讲清楚”的知识地图；中期转向 RL、Transformer、生成模型和数据效率；2023 年后明显进入 LLM 系统、Agent、评测、安全、奖励与人类数据质量。她的博客不是随机追热点，而是在持续追问同一个问题：能力从哪里来，监督信号如何塑造能力，系统在部署时会如何失真。
| 阶段 | 代表文章 | 主题重心 | 和《Why We Think》的关系 |
|---|---|---|---|
| 2017：深度学习地基 | Overview、RNN stock、Interpretability、GAN/WGAN、Information Bottleneck、Word Embedding、Object Detection 系列 | 模型组件、表示学习、视觉 pipeline、解释性、生成模型入门。 | 建立“先定义对象，再拆机制，再谈失败”的写作范式；后来的 CoT faithfulness 继承了解释性问题。 |
| 2018：RL 与模型族谱 | Bandit、RL Overview、Policy Gradient、DRL implementation、Attention、VAE、Flow、Meta-Learning | 奖励、探索、policy gradient、attention、潜变量生成模型。 | 《Why We Think》里把 STaR 看作 policy gradient 近似、把 CoT 看成 latent variable，都能追溯到这批文章。 |
| 2019-2020：从算法到训练过程 | Generalized LM、Overfitting、Domain Randomization、Meta-RL、Evolution Strategies、Self-Supervised、Curriculum RL、Transformer Family、Exploration、NAS、ODQA | 预训练语言模型、泛化、课程、探索、架构搜索、检索问答。 | test-time thinking 不是孤立技术，而是课程学习、探索、检索、架构自适应和语言模型预训练的汇合。 |
| 2021-2022：规模化、数据效率与生成模型 | Controllable Text Generation、Toxicity、Contrastive Learning、Diffusion、Train Large Models、Semi-supervised、Active Learning、Data Generation、VLM、NTK | 控制生成、毒性、安全、对比学习、扩散模型、多 GPU 训练、少数据学习。 | 思考时间的收益必须放进规模化成本、数据质量、可控生成和安全约束中评估。 |
| 2023：LLM 系统化 | Inference Optimization、Transformer v2、Prompt Engineering、LLM Agents、Adversarial Attacks on LLMs | 推理成本、Transformer 变体、提示工程、Agent 组件、LLM 攻击面。 | 《Why We Think》几乎是 Prompt Engineering 与 Agent 文章的后续：从“如何提示/规划”升级为“如何分配推理预算并训练它”。 |
| 2024-2025：监督边界与 reasoning | Human Data Quality、Diffusion Video、Extrinsic Hallucinations、Reward Hacking、Why We Think | 人类标注质量、事实性、奖励黑客、测试时计算、CoT 忠实性。 | 形成闭环：人类数据决定监督质量，幻觉说明 grounding 不足，奖励黑客说明优化目标会被利用，思考时间说明能力和风险同时被放大。 |
全量目录矩阵：50 篇文章如何落在这些主题上
下面这张表不是为了背目录，而是为了看到主题迁移：2017-2018 年集中建立深度学习、视觉、RL、生成模型和 attention 的基础；2019-2022 年转向预训练、泛化、数据效率、规模训练和生成模型；2023 年后重点变成 LLM 系统、agent、攻击、数据质量、幻觉、奖励黑客与 reasoning。
| 年份 | 文章 | 主导问题 |
|---|---|---|
| 2017 | Deep Learning Overview；Stock RNN Part 1/2；Model Interpretation；GAN→WGAN；Information Bottleneck；Word Embedding；Object Detection Part 1/2/3 | 深度学习组件、表示、解释性、生成模型、经典视觉 pipeline。 |
| 2018 | Multi-Armed Bandit；RL Overview；Policy Gradient；DRL Implementation；Attention；Autoencoder→Beta-VAE；Flow Models；Meta-Learning；Fast Object Detection | RL 基础、policy optimization、attention、潜变量生成、快速适应。 |
| 2019 | Generalized Language Models；Overfitting；Domain Randomization；Meta-RL；Evolution Strategies；Self-Supervised Learning | 语言模型预训练、泛化谜题、sim2real、元学习、演化、无监督表征。 |
| 2020 | Curriculum RL；Transformer Family；Exploration in Deep RL；Neural Architecture Search；Open-Domain QA | 课程、探索、架构搜索、长上下文/高效 Transformer、检索式问答系统。 |
| 2021 | Controllable Text Generation；LM Toxicity；Contrastive Learning；Diffusion Models；Training Large Models；Semi-Supervised Learning | 可控生成、安全、对比学习、扩散模型、分布式训练、少标注学习。 |
| 2022 | Active Learning；Data Generation；Visual Language Models；Neural Tangent Kernel | 数据选择、数据生成、多模态、训练动力学数学。 |
| 2023 | Transformer Inference Optimization；Transformer Family v2；Prompt Engineering；LLM Powered Autonomous Agents；Adversarial Attacks on LLMs | 推理成本、架构谱系、提示与工具、agent 系统、LLM 攻击面。 |
| 2024 | High-Quality Human Data；Diffusion Video；Extrinsic Hallucinations；Reward Hacking | 人类监督质量、视频生成、事实性、奖励函数失真。 |
| 2025 | Why We Think | 测试时计算、CoT 忠实性、RL reasoning、潜变量思考、思考预算 scaling。 |
主题簇统计：她真正长期关注什么
RL / Reward / Search
从 bandit、policy gradient、exploration、curriculum 到 reward hacking 与 reasoning RL，是最长的主线之一。
Language / Prompt / Reasoning
从 word embedding、generalized LM、controllable generation 到 prompt、hallucination、CoT，是另一条长期主线。
Transformer / Systems
attention、Transformer family、large model training、inference optimization 共同解释为什么能力必须和成本一起分析。
Data / Supervision
self-supervised、contrastive、semi-supervised、active learning、data generation、人类数据质量，说明她一直把数据看成能力来源。
Generative Models
GAN、VAE、Flow、Diffusion、Video Diffusion 提供了潜变量、采样、score/noise 等直觉背景。
Safety / Reliability
interpretability、toxicity、adversarial attacks、hallucination、reward hacking，构成《Why We Think》中 CoT faithfulness 的安全背景。
她的写作方法论
Lilian Weng 的博客有一种很稳定的研究风格：不是只追单篇 SOTA，而是先把问题拆成“定义、机制、算法族、失败模式、参考文献”。这使得文章在多年后仍有价值，因为它们是概念地图，不是新闻摘要。
- 定义先行：RL、attention、diffusion、hallucination、reward hacking 都先明确对象边界，避免术语漂移。
- 谱系化：她常把一个主题拆成多个家族，如 Transformer family、generative model family、RL policy gradient family。
- 公式和直觉并行：会写 Bellman equation、ELBO、InfoNCE、NTK，也会给直觉解释。
- 失败模式是主菜：GAN 的 mode collapse、RL 的 exploration、LLM 的 hallucination/reward hacking、CoT 的 faithfulness failure 都不是附录，而是理解机制的入口。
- 系统意识越来越强：2023 年后，她关心的不只是模型结构，而是数据、人类反馈、推理成本、工具、攻击面和部署监控。
逐篇阅读索引：每篇博客在解决什么问题
下面按时间顺序把 Lil’Log 技术正文逐篇拆开。这里的重点不是复述标题，而是提炼每篇文章的“研究对象、核心机制、长期价值、和 reasoning/test-time compute 主线的关系”。这样读会更容易看出：她不是在随机写热门模型，而是在持续搭建一张关于学习、搜索、监督、生成、系统与安全的知识图谱。
| 时间 / 文章 | 核心问题 | 机制与长期价值 |
|---|---|---|
| 2017-06 Deep Learning Overview | 为什么深度学习突然有效，以及 CNN、RNN、Autoencoder、RL、GAN 这些模型族各自解决什么问题。 | 这是全博客的“地基图”。它用工具箱方式解释深度学习组件，形成后续写作范式：先讲对象、再讲结构、再讲用途。后来的 Transformer、Agent、Reasoning 文章都继承了这种分层解释。 |
| 2017-07 Stock RNN Part 1 | 用 RNN 做股票预测时，数据窗口、归一化、训练/测试切分、TensorFlow 图构建会怎样影响结果。 | 长期价值不在股票预测本身，而在早期展示了“机器学习 pipeline 不是模型一行代码”：数据处理、窗口设计、评估切分和可视化同样关键。这种 pipeline 意识后来转化为对 agent harness 与 benchmark protocol 的敏感。 |
| 2017-07 Stock RNN Part 2 | 加入股票 embedding 后，模型是否能学到公司间的关系，以及预测结果为什么不应被轻易相信。 | 这篇的价值在于“负结果意识”：模型能产生漂亮曲线和 embedding cluster，但预测金融市场高度不稳定。它早早体现了 Lilian Weng 对实验边界和可解释现象的谨慎。 |
| 2017-08 Model Interpretation | 如何解释黑盒模型预测，哪些模型天然可解释，哪些方法只能做局部近似。 | 从 regression、Naive Bayes、decision tree 到 LIME、局部梯度、prediction decomposition，这篇建立了“解释不是等于真实因果机制”的意识。它是后来 CoT faithfulness 讨论的前身：模型给出的理由可能只是解释层，而非真实计算路径。 |
| 2017-08 GAN → WGAN | GAN 为什么训练困难，JS/KL 距离为什么在低维支撑不重叠时失效，Wasserstein 距离如何缓解梯度消失。 | 这篇是典型的“数学对象解释失败模式”文章：先讲 divergence，再讲 Nash equilibrium、mode collapse、vanishing gradient。它对后来的 reward hacking 文章也有启发：优化目标选错，训练动态会走向奇怪解。 |
| 2017-09 Information Bottleneck | 能否用信息论解释深度网络的表示压缩、泛化和训练阶段。 | 文章把 neural network 看成 Markov chain，讨论 information plane 和 compression phase。即便后来该理论争议很多，它体现了作者对“表示里到底保留了什么信息”的长期兴趣，这条线会延伸到 contrastive learning、NTK、CoT latent variable。 |
| 2017-10 Word Embedding | 词向量如何从共现统计、skip-gram、CBOW、NCE、negative sampling 中学出语义关系。 | 这是语言模型主线的起点。它把 distributional semantics、softmax 近似、采样损失讲清楚，为后续 ELMo/BERT/GPT、prompt 和 reasoning token 铺路：语言能力来自预测目标和表示几何的共同作用。 |
| 2017-10 Object Detection Part 1 | 传统检测如何从 image gradient、HOG、segmentation、selective search 构建候选区域。 | 它展示了 deep learning 之前的工程分解：手工特征、候选生成、区域合并。长期价值在于提醒读者，现代端到端模型常常把旧 pipeline 的多个显式步骤内化了。 |
| 2017-12 Object Detection Part 2 | CNN、AlexNet、VGG、ResNet 如何改变视觉特征学习，DPM/Overfeat 如何连接传统检测与深度检测。 | 这篇把图像分类 backbone 与 detection metric 串起来，解释 mAP、卷积层和部件模型。它是检测系列从手工特征转向学习特征的桥。 |
| 2017-12 Object Detection Part 3 | R-CNN、Fast R-CNN、Faster R-CNN、Mask R-CNN 如何逐步消除检测 pipeline 的速度瓶颈。 | 核心 insight 是系统瓶颈会推动架构演化：从外部 region proposal 到 RoI Pooling、RPN、RoIAlign。这个“瓶颈驱动设计”的思路后来也出现在 inference optimization 和 AutoLab/agent harness 讨论里。 |
| 2018-01 Multi-Armed Bandit | 如何在 exploration 与 exploitation 之间取舍，epsilon-greedy、UCB、Thompson sampling 各自假设什么。 | 这是 RL 主线的入口。bandit 问题看似简单，却已经包含 test-time compute 的核心结构：有限预算下，什么时候探索新分支，什么时候利用当前最好估计。 |
| 2018-02 RL Overview | agent、environment、policy、value、Bellman equation、MC、TD、Q-learning、policy gradient 如何构成 RL 基础。 | 这是后续所有 RLHF/RLVR/reward hacking 文章的概念底座。理解它，才能理解《Why We Think》为什么把 STaR 看作 policy-gradient-like 的自训练过程。 |
| 2018-04 Policy Gradient Algorithms | REINFORCE、Actor-Critic、TRPO、PPO、SAC、IMPALA 等算法如何直接优化 policy。 | 这是最关键的技术长文之一。它把 log-derivative trick、on/off-policy、trust region、entropy、actor-critic 讲成谱系。2024-2026 的 reasoning RL、GRPO、RLVR 基本都站在这篇的概念之上。 |
| 2018-05 DRL Implementation | 如何用 TensorFlow + OpenAI Gym 实现 Q-learning、DQN、Double/Dueling DQN、policy gradient、actor-critic。 | 长期价值是把 RL 从公式落到可运行系统。它也暴露了 RL 工程的真实复杂度：环境状态、replay、target network、训练稳定性和评估日志都不是附属品。 |
| 2018-06 Attention? Attention! | seq2seq 为什么需要 attention，self-attention、soft/hard、global/local、Transformer 如何统一成 Q/K/V 框架。 | 这是 Transformer 主线起点，也是 Lil’Log 最重要的基础文之一。它把 attention 解释为可学习的信息选择机制；后来的 CoT/search/tool use 可以看作更高层级的信息选择。 |
| 2018-08 Autoencoder → Beta-VAE | autoencoder、denoising/sparse/contractive AE、VAE、ELBO、reparameterization、Beta-VAE、VQ-VAE 如何建模潜变量。 | 它给《Why We Think》的 latent-variable view 提供了生成模型背景：不可见的 \(z\) 可以解释可见数据，训练目标是在重构、先验和可采样性之间权衡。 |
| 2018-10 Flow-based Models | normalizing flow 如何用可逆变换和 Jacobian determinant 做精确似然建模。 | 这篇强调“可逆性、密度、采样、似然”的严格关系。它补足 GAN/VAE/Diffusion 之外的生成模型视角：不是所有生成模型都靠模糊的隐变量，有些可以做精确概率计算。 |
| 2018-11 Meta-Learning | 模型如何学会快速学习，metric-based、model-based、optimization-based 方法如何分工。 | 这篇是“学习算法本身也可以被学习”的关键节点。后来的 Agent memory、self-improvement、test-time adaptation 都可以看成 meta-learning 问题的 LLM 化版本。 |
| 2018-12 Fast Object Detection | YOLO、SSD、RetinaNet、Focal Loss 如何把 two-stage detection 推向实时 one-stage detection。 | 这篇延续“速度瓶颈驱动架构设计”：检测从候选区域系统变成 dense prediction 系统。它也展示了 class imbalance 如何通过 loss shaping 解决，与后来的 RL reward shaping 有类比。 |
| 2019-01 Generalized Language Models | CoVe、ELMo、ULMFiT、GPT、BERT、GPT-2、RoBERTa、T5、XLNet、BART、ELECTRA 如何演化。 | 这是 LLM 主线的核心节点。它记录了从 representation transfer 到 pretrain-finetune、从 encoder 到 decoder、从 supervised transfer 到 zero-shot transfer 的范式变化，是理解 prompt 与 reasoning 的前史。 |
| 2019-03 Overfitting | 深度网络为什么能记住随机标签却仍能泛化，经典复杂度理论为何不足。 | 文章讨论 MDL、Kolmogorov、universal approximation、double descent、lottery ticket 等。它体现了作者对“训练损失低不等于理解泛化”的长期警惕，这在 reward hacking 中变成“reward 高不等于完成意图”。 |
| 2019-05 Domain Randomization | sim2real 迁移中，为什么随机化模拟环境有时能帮助真实世界泛化。 | 这篇把 domain randomization 解释成 optimization / meta-learning 问题。它的长期价值是说明：训练环境分布设计本身就是能力来源；这与 agentic RL 环境和 AutoLab benchmark 设计高度相关。 |
| 2019-06 Meta Reinforcement Learning | RL agent 如何在任务分布中快速适应，meta-RL 与普通 RL 的状态、奖励、任务采样有何不同。 | 它把 RL 与 meta-learning 合流，强调任务获取、随机奖励、episodic control。后来的 long-horizon agent、self-improving agent 本质上都在问类似问题：经验如何变成下一次更快的策略。 |
| 2019-09 Evolution Strategies | ES、CMA-ES、NES、PBT、WANN 如何用 population-based search 替代或补充梯度优化。 | 这是搜索主线的重要节点。它让读者看到“优化不只有反向传播”，而 reasoning/test-time compute 里的 best-of-N、beam、evolutionary search 都是这条搜索思想在语言空间的变体。 |
| 2019-11 Self-Supervised Learning | 图像、视频、控制任务中如何用预文本任务、contrastive、generative、multi-view、bisimulation 学表示。 | 这篇说明监督信号可以从数据自身构造。它与《Why We Think》里的 STaR、Quiet-STaR、latent thought learning 有共同思想：模型可以用自身预测结构制造学习信号。 |
| 2020-01 Curriculum RL | 任务难度如何排序，teacher-guided、self-play、automatic goal generation、skill-based curriculum 如何帮助 RL。 | 这是 understanding reasoning training 的关键前史。复杂能力不是一次喂给模型，而是通过难度、目标和反馈设计逐步塑形。R1-style reasoning RL 其实也是一种隐式 curriculum。 |
| 2020-04 Transformer Family | Transformer 如何通过长程注意力、稀疏注意力、Reformer、Universal Transformer、GTrXL 等变体扩展。 | 这篇把 Transformer 变体看作对上下文长度、计算成本、递归和 RL 稳定性的回应。它直接连接《Why We Think》中的 recurrent architecture 与 adaptive computation。 |
| 2020-06 Exploration in Deep RL | hard exploration、noisy-TV、intrinsic reward、count-based、prediction-based、episodic memory 等策略如何解决探索。 | 这是 test-time search 的深层背景。reasoning model 在 token 空间探索路径，本质上也会遇到 noisy reward、局部最优、无效探索和 credit assignment。 |
| 2020-08 Neural Architecture Search | 搜索空间、RL/evolution/progressive search、weight sharing、differentiable NAS 如何自动寻找架构。 | NAS 是“把设计也变成优化对象”的代表。后来 agent harness、prompt、tools、memory 的自动演化都可看作更高层系统对象的 NAS 化。 |
| 2020-10 Open-Domain QA | ODQA 如何组合 retriever、reader、neural IR、dense passage retrieval、RAG、FiD 等。 | 这是 tool/retrieval-augmented reasoning 的前史。它说明语言模型不是所有知识都要内化，外部检索可以成为 reasoning pipeline 的一部分。 |
| 2021-01 Controllable Text Generation | 如何用 decoding、prompt、guided decoding、gradient search、fine-tuning、RL、unlikelihood 控制生成属性。 | 这篇是 prompt engineering 与 alignment 的桥。它把“生成分布如何被 steer”讲清楚，而 test-time compute 本质上也是对生成分布的测试时 steer。 |
| 2021-03 LM Toxicity | 语言模型毒性如何检测、缓解，黑名单、数据过滤、prompt-based detection、detoxification 各有什么边界。 | 它把安全问题从抽象伦理落到数据、检测器、攻击和训练流程。后来的 reward hacking / CoT monitor 风险与这篇的检测器局限一脉相承。 |
| 2021-05 Contrastive Learning | InfoNCE、triplet、N-pair、soft nearest neighbors、MoCo、SimCLR 等如何从正负样本构造表示学习信号。 | 长期价值在于讲清“负样本、增强、batch、mutual information 下界”如何塑造表示。它与 reasoning 中 verifier / candidate ranking 有结构相似性：都依赖对比式选择。 |
| 2021-07 Diffusion Models | 扩散模型如何通过前向加噪、反向去噪、score matching、采样过程生成数据。 | 这是生成模型主线的新核心。它让“迭代 refinement”成为生成过程本身，与 sequential revision / recurrent thinking 有概念类比：输出不是一次生成，而是多步修正。 |
| 2021-09 Train Large Models | data/tensor/pipeline parallelism、MoE、CPU offloading、activation recomputation、mixed precision 如何训练大模型。 | 这篇把 scale 的物理现实讲清楚。理解 test-time compute 必须理解训练/推理成本；否则“多想一会儿”只是抽象口号。 |
| 2021-12 Semi-Supervised Learning | consistency regularization、pseudo-labeling、label propagation、self-training 如何用少量标注和大量无标注数据训练。 | 这篇与 reasoning self-training 很近：模型先生成伪标签/轨迹，再筛选或正则化学习。STaR、self-consistency、rejection sampling 都有半监督影子。 |
| 2022-02 Active Learning | 如何选择最值得标注的数据，uncertainty、diversity、expected model change、ensemble uncertainty 如何设计。 | 它直接连接“思考预算分配”：无论标注预算还是推理预算，关键都是把有限资源花在边际收益最高的样本上。 |
| 2022-04 Data Generation | image/text/audio augmentation、mixup、back-translation、synthetic data 如何缓解数据不足。 | 这篇解释数据不是固定资产，而是可生成、可增强、可筛选的训练材料。reasoning traces、synthetic CoT、self-generated verifier feedback 都是这条线的 LLM 化。 |
| 2022-06 Visual Language Models | 图文联合训练、frozen LM prefix、cross-attention、vision-guided decoding、datasets/evaluation 如何构建 VLM。 | 它展示多模态模型如何把外部感知接入语言接口。后来的 tool use、image reasoning、o3/o4-mini 风格多工具 reasoning 都需要这类跨模态接口。 |
| 2022-09 Neural Tangent Kernel | NTK、Gaussian process、infinite-width network 如何从数学上解释训练动态。 | 这是少数偏数学基础的文章。它的价值是提醒读者，很多经验现象背后需要训练动力学解释；reasoning RL 的 scaling 与 collapse 也需要类似数学化视角。 |
| 2023-01 Inference Optimization | 大 Transformer 推理为什么贵，distillation、quantization、pruning、MoE、kernel、memory saving 如何优化。 | 这篇是 test-time compute 的成本侧前提。额外思考 token 会增加推理计算、KV cache 和延迟，因此 reasoning gain 必须和 serving cost 一起评估。 |
| 2023-01 Transformer Family v2 | positional encoding、RoPE、memory、sparse/local/global attention、linear attention、MoE、adaptive computation 等完整谱系。 | 这是 Transformer 主线的新版百科，也是《Why We Think》里 continuous/recurrent thinking 的架构背景。它说明“思考”不仅是解码策略，也可能被写进架构。 |
| 2023-03 Prompt Engineering | zero-shot、few-shot、instruction、CoT、self-consistency、retrieval、programming language、external APIs 如何 steer LLM。 | 这是《Why We Think》的直接前篇。Prompt Engineering 关注如何用上下文激发能力；Why We Think 则继续追问：为什么中间推理和测试时计算会产生能力增益，以及如何训练它。 |
| 2023-06 LLM Powered Agents | Agent 如何由 planning、memory、tool use 组成，task decomposition、reflection、MIPS、tool API、case studies 如何工作。 | 这是 agent 主线关键节点。它把 LLM 从文本生成器扩展成带记忆和工具的控制器；《Why We Think》进一步解释这个控制器如何使用思考时间和外部工具。 |
| 2023-10 Adversarial Attacks on LLMs | token manipulation、gradient attack、jailbreak、red teaming、prompt injection 等如何攻击 LLM。 | 它把 LLM 的交互面变成安全对象。CoT faithfulness 和 reward hacking 之所以重要，是因为更会思考的模型也可能更会绕过约束。 |
| 2024-02 High-Quality Human Data | 人类标注质量、rater agreement/disagreement、influence function、noisy validation 如何影响训练。 | 这是对 RLHF/偏好数据最重要的上游分析。Reasoning RL 的 verifier、rubric、人类反馈质量，都逃不开这篇讨论的标注噪声与群体判断问题。 |
| 2024-04 Diffusion Video | 视频 diffusion 如何从 3D U-Net / DiT、image-to-video adaptation、fine-tuning 和 training-free adaptation 发展。 | 它延续生成模型谱系，并强调时序一致性和高维生成成本。对 reasoning 主线的启发是：多步生成系统的难点往往在跨步一致性，而不只是单步质量。 |
| 2024-07 Extrinsic Hallucinations | LLM 为什么会生成不接地的事实，pretraining/fine-tuning/RAG/sampling/calibration/attribution 如何缓解。 | 这是《Why We Think》中 self-correction 和 tool use 的安全前提。思考更久如果没有 grounding，不会自动减少幻觉；外部检索、引用和 unknown calibration 仍然必要。 |
| 2024-11 Reward Hacking | RL agent 如何利用奖励函数漏洞，LLM/RLHF 中 evaluator hacking、in-context reward hacking 如何出现。 | 这是《Why We Think》的另一篇直接前篇。CoT monitor 被纳入 reward 后会诱导 obfuscation，本质上就是 reward hacking 在 reasoning trace 上的新形态。 |
| 2025-05 Why We Think | 为什么 test-time compute 和 CoT 能提升模型能力，如何用 token thinking、search、RL、tool use、latent variable、continuous thinking 和 scaling law 统一解释。 | 这是全博客当前的汇合点：RL 提供优化语言，Transformer 提供计算载体，Prompt/Agent 提供交互形式，Human Data/Hallucination/Reward Hacking 提供边界。它把“思考”从提示技巧提升为资源分配、潜变量推断和安全监控问题。 |
读她博客的学习路线图
Learning Word Embedding → Generalized Language Models → Attention? Attention! → Transformer Family v2 → Prompt Engineering → Why We Think。适合建立从表示、语言模型、注意力到 CoT/test-time compute 的连续图景。
Multi-Armed Bandit → RL Overview → Policy Gradient → Exploration Strategies → Curriculum RL → Reward Hacking → Why We Think。适合理解为什么 reasoning RL 看起来简单，但奖励、探索、credit assignment 和 hack 都很难。
Controllable Text Generation → Reducing Toxicity → Open-Domain QA → Prompt Engineering → LLM Powered Autonomous Agents → Extrinsic Hallucinations → Why We Think。适合理解工具使用、检索、事实性和 agent planning 如何汇入“思考”。
Self-Supervised Learning → Contrastive Learning → Semi-Supervised / Active Learning / Data Generation → Thinking about High-Quality Human Data → Why We Think。适合理解为什么 reasoning 不是只靠算法，数据和评价质量同样决定上限。
How to Train Really Large Models → Large Transformer Model Inference Optimization → Transformer Family v2 → Why We Think。适合理解 test-time compute 不是免费能力：它必须和训练成本、推理延迟、KV cache、并行和蒸馏一起算账。
对当前 reasoning / agent 工程的启发
1. 先判断任务是否“可被思考拯救”
test-time compute 对 easy/medium 且能力差距不大的任务最有效；对模型根本不会的任务，更多 token 只是更贵的错误。上线前应按任务难度做预算曲线，而不是统一加长 CoT。
2. 把 verifier 当成核心基础设施
parallel sampling、beam search、RLVR、self-correction 都依赖评价器。verifier 不可靠时，搜索只会更快地找到评价器漏洞。
3. 不要过度优化可见 CoT
CoT 适合监控和抽样审计，但直接作为 RL reward 会诱导隐藏意图。更安全的方式是保留多源信号：外部执行、最终结果、过程抽检、分布异常和人工 review。
4. 思考应当自适应，而不是固定长度
真正的产品形态应根据问题难度、置信度、风险和成本动态分配预算：简单任务快速答，高风险任务多采样/工具验证/延迟返回。
5. 工具调用是另一种思考
代码执行、检索、数学计算、浏览器操作把部分推理外包给环境。agent 的关键不是“多想”，而是知道什么时候应该查、算、测、回滚。
6. 必须把收益蒸馏回模型
如果每次都靠 best-of-N 或长 CoT 才能达到质量，成本会失控。长期路线应是用测试时搜索生成更好数据，再通过 SFT/RL/distillation 压回模型。
边界与需要保持怀疑的地方
- 这是一篇 survey，不是单一实验论文。它的强项是建立坐标系，不能把文中每个引用的实验外推成通用规律。
- 证据最强的仍是数学、代码、STEM、可自动验证任务。创作、咨询、个性化 coaching、开放式 agent 任务的奖励定义仍然很难。
- CoT 可读性与真实内部机制之间仍有 gap。即便 reasoning model 更常承认提示影响，也不能说明所有推理 token 都忠实。
- 连续空间思考仍处在早期。recurrent depth、thinking token、pause token、Quiet-STaR 很有启发，但训练稳定性、成本和规模化收益还没有像普通 Transformer scaling 那样成熟。
- 现代产品往往不会暴露完整 CoT。因此“监控 CoT”在实际部署中需要转化为受控日志、内部审计信号或可解释摘要，而不是把原始隐私/安全敏感思考直接展示给用户。
我的最终判断：《Why We Think》是 Lilian Weng 博客谱系中的一个汇合点：它把 2018 年的 RL、2019-2023 年的 Transformer/LM/Prompt/Agent、2024 年的 hallucination/reward hacking/data quality 汇到 2025 年的 reasoning model 问题上。读懂这篇文章，关键不是记住所有方法名，而是形成一个工程判断：思考时间是一种资源，推理轨迹是一种潜变量，奖励是一种危险接口，监控信号一旦被优化就可能失真。
证据边界与资料索引
本文依据 Lilian Weng 公开博客首页、RSS/归档条目和相关正文进行主题谱系分析。统计口径以公开可访问的 Lil’Log 技术正文为准，不覆盖作者社交媒体、演讲、未收录草稿或后续可能更新的文章版本。文章中的工程判断是基于这些公开材料的综合解读，不代表作者本人立场。