模型结构
决定哪些关系容易表达，哪些变化必须依靠数据硬学。
核心判断：所谓“范式”，是五个约束同时松动
AI 技术史常被写成模型名称的接龙：CNN、RNN、Transformer、GPT、ViT、Diffusion。这样记忆会遮住真正的因果。一个新架构只有在数据规模、计算硬件、训练基础设施、评价任务和组织投入同时允许它成长时，才会从论文变成范式。Transformer 不是因为“注意力更优雅”就统治了所有领域，而是它把序列建模改造成 GPU 擅长的大规模矩阵运算，并接上了预训练、并行训练与后续的上下文学习。
范式跃迁 = 模型归纳偏置 × 数据可获得性 × 计算/通信 × 训练稳定性 × 可验证任务
系统基础
决定方法能否并行、扩展、容错、低精度运行并重复训练。
评价与组织
决定团队是否相信信号、集中资源，并把局部成功推向下一规模。
Insight：历史上的“突然涌现”经常是延迟兑现很多方法在发表时已经存在，却要等硬件、数据、训练配方或评价工具成熟，才突然变成产业主线。读论文时应同时问“为什么现在能做”，而不只问“公式做了什么”。
4:22:37 内容地图：从 GPU 到统一多模态
| 阶段 | 访谈中的关键节点 | 范式变化 |
|---|---|---|
| 1999–2011 | GeForce、Brook、CUDA 与 GPU 并行抽象。 | 硬件不再只是执行器，而成为算法设计的边界条件。 |
| 2012–2016 | AlexNet、Seq2Seq/Attention、ResNet、Knowledge Distillation。 | 手工特征让位于可学习表征；深度、迁移和压缩成为可组合技术。 |
| 2017–2020 | Transformer、MoE、GPT-1/2/3、Scaling Law、ZeRO。 | 语言建模变成可并行、可预测、可扩展的基础设施工程。 |
| 2021–2022 | LoRA、Chain-of-Thought、ReAct、InstructGPT、Tulu 3。 | 训练后处理、上下文、工具和偏好开始决定“好不好用”。 |
| 2014–2023 视觉线 | 视频双流、GAN、DDPM、ViT、CLIP、Latent Diffusion、DiT。 | 视觉被序列化、语言化、潜空间化，并重新接入 Transformer 生态。 |
| 结尾回到实践 | 论文阅读、AI 辅导、产品等待、builder 与长期乐观。 | 理解边界能减少焦虑，也能决定何时等待模型、何时自己补系统。 |
节目字幕把多个论文、作者与时间点压缩在口头讲解中，部分专名存在自动转录误识别；本文按原论文标题和官方页面统一校正，不把 ASR 原词当作正式术语。
第一幕：GPU 把“可并行”变成研究方向
访谈从 GPU 和 Brook 讲起，是因为深度学习的历史不能从 AlexNet 直接开始。GPU 的流、kernel、reduce 等抽象，把图形处理器的并行能力暴露给通用计算；CUDA 随后让研究者可以在熟悉的编程模型里改写算法。这个转折改变了研究的选择函数：一个表达力略弱但能在 GPU 上高效扩展的方法，可能战胜一个理论上更漂亮、却无法充分利用硬件的方法。
2012 年 AlexNet 的贡献也不是“用了 GPU”这么简单。它同时放大了数据（ImageNet）、计算（GPU/CUDA）和模型（深层 CNN），并把手工特征范式推到边界。后来的 Transformer、ViT、DiT 都重复了同一结构：让数据先适应可扩展的模型表示，再用成熟的硬件与软件生态把规模推上去。
读论文的第一个问题这项工作改变了哪一种资源的可用性？是把数据变便宜、把并行变容易、把状态变紧凑、把训练变稳定，还是把结果变可验证？如果答案只是“指标提高”，范式意义可能尚未成立。
第二幕：Transformer、Scaling Law 与 Infra 组成语言模型的生产线
Transformer 论文明确以注意力取代循环和卷积，并在机器翻译上展示更强的并行训练效率。访谈把它与 GPT-1、GPT-2、GPT-3 连接起来：decoder-only next-token 目标提供了统一的语言接口，规模扩大后，模型开始通过上下文学习执行新任务。GPT-3 的关键不是“突然会做所有事”，而是它证明了 prompt、规则和示例可以在不重新训练的情况下改变行为，后来才发展成 context engineering。
Scaling Law 把“要不要继续放大”从信仰变成了可拟合的经验关系；Chinchilla 又提醒大家，在固定算力下，参数和训练 token 需要共同扩张。ZeRO 和 DeepSpeed 则处理另一个现实问题：参数、梯度和优化器状态如何分片，才能让更大的模型装进有限设备。模型史因此被 infra 史包住：数据清洗团队、评测团队、故障诊断、checkpoint 和并行通信，不是后勤，而是能力本身的一部分。
| 节点 | 解决了什么 | 仍留下什么问题 |
|---|---|---|
| GPT-1/2 | 预训练表征与生成式任务迁移。 | 指令意图、真实性、安全和可用性。 |
| GPT-3 | 大规模上下文学习与任务描述。 | 训练不充分、数据质量、事实性和长程推理。 |
| InstructGPT | 用 SFT、偏好数据和 RLHF 对齐用户意图。 | 奖励模型偏差、不可验证领域与偏好异质性。 |
| ZeRO / MegaScale | 存储、通信、稳定性与千卡/万卡训练。 | 故障尾部、观测成本、数据墙与组织协调。 |
第三幕：后训练不是“打磨”，而是重新定义模型产品
访谈对 InstructGPT 的讲解抓住了一个关键断点：扩大 base model 并不会自动让模型更会理解人的意图。OpenAI 的公开材料显示，InstructGPT 通过示范、排序和 RLHF 让模型更好地遵循指令，甚至让 1.3B 模型在人工偏好上超过 175B GPT-3。这个结果不是“参数不重要”，而是说明能力与行为之间存在一层可训练的接口。
后来 CoT、ReAct、LoRA 与 Tulu 3 把这层接口继续扩展：思维链暴露中间过程，ReAct 把思考与行动接起来，LoRA 降低适配成本，开放后训练配方让社区可以复现“如何把 base 变成助手”。访谈的隐含判断是，真正的产品不再是一个静态权重，而是模型、上下文、工具、偏好、验证和部署方式的组合。
对“后训练超过规模”的正确理解后训练可以显著改善特定行为、偏好和可用性，但不能从少量标注中凭空创造所有知识。它更像解锁、重排和约束已有能力；若任务要求新的世界知识、跨分布泛化或强验证器，仍需预训练数据与环境。
第四幕：视觉史证明“统一”首先是数据和表示问题
视频双流网络把空间帧与时间运动分开建模，说明视觉的难点不只是把更多图片塞进模型，而是找到运动、变化和跨帧关系的表示。GAN 把生成问题改写成生成器—判别器博弈；DDPM 通过逐步加噪/去噪换取稳定训练；Latent Diffusion 把扩散搬到压缩潜空间，用更低的计算换取高分辨率和可控性。
ViT 的“16×16 patch”看似朴素，却把二维图像改造成 Transformer 能处理的 token 序列；CLIP 用互联网图文对把自然语言变成视觉监督，让一个表示空间同时支撑识别、检索和生成条件。DiT 再把扩散的骨干替换为 Transformer，继承其 scaling 和软件生态。每一步都在做同一件事：不是强迫模型适应原始数据，而是设计一种能被大规模训练、检索和控制的表示。
生成 vs 理解
过去人们以为生成比判别难；GAN/扩散把稳定的辅助目标转成生成能力。
像素 vs 潜空间
压缩不是单纯丢信息，也能去除噪声、逼迫模型学习更高层规律。
模态何时融合
早融合天花板可能更高，晚融合工程更稳；没有脱离任务和数据的普遍答案。
这也修正了“多模态就是把视觉编码器接到语言模型上”的过度简化。融合的位置、token 化方式、训练信号、生成控制与真实世界覆盖共同决定模型能否形成通用表示。
怎样读论文：先过高原期，再用边界反推使用方式
谢青池的个人方法很具体：先补线性代数、概率、随机过程和 PDE，再用翻译、图解和 AI tutor 降低语言门槛；读到一定数量后，开始通过论文原文、代码和研究员交流，理解模型为什么有效、何时失效。它不是把 AI 当答案机器，而是把 AI 当解释器、检索器和反例生成器。
访谈还给出一个很有实践价值的“等待判断”：如果问题的失败来自模型能力尚未成熟，而公开模型迭代速度已经快于内部手工修补周期，那么等待新模型可能比做三个月的专项 SFT 更划算。但等待也必须有边界：固定问题、记录当前失败样本、设定再评估日期，并确认隐私、延迟和业务责任允许等待。
Insight：懂边界会让产品更乐观，而不是更悲观知道模型暂时不会算某类数字、长依赖会丢信息、当前 API 不能接受内部数据，反而可以把产品发布节奏和能力涌现对齐。焦虑来自把未知失败误当成永久失败，或把一次 demo 误当成已解决。
进一步推演：四条从范式史中抽出的规则
- “抽象化”是跨领域迁移的前提。 Transformer 把序列关系抽象成注意力，ViT 把图像抽象成 patch 序列，CLIP 把图文抽象到共同表示；好的抽象不是抹平差异，而是保留可迁移的关系。
- 数据墙经常首先是评价墙。 当团队说“没有更多数据”时，真正缺的可能是能区分高质量样本、长程依赖和新能力的评价器。没有评价，新增数据只会扩大数量而不产生方向。
- 后训练把“模型能力”转成“组织接口”。 SFT、偏好、工具和 context engineering 让模型进入工作流；一旦产品依赖它，就必须把拒答、回滚、责任和成本一起设计。
- 论文阅读的终点不是记住名字，而是找到可证伪边界。 能说出模型在哪个数据分布、算力预算、任务结构和硬件上失效，才真正掌握了它。
怎样推翻或修正这篇笔记
- 若未来单一模型规模在不增加数据、infra、后训练和评价的情况下仍持续解释主要能力增益，本文对耦合基础设施的强调需要收缩。
- 若统一多模态模型在同等数据、算力和产品约束下长期不如专用模型编排，统一表示的路线价值需要重新评估。
- 若 AI tutor 能让新手跳过数学/系统基础却不降低对边界和失败的理解，本文对基础知识与高原期的重视可以下调。
- 若公开 benchmark 能稳定预测长程、工具化和真实用户任务，本文对评价墙的判断过强。
证据边界与资料索引
本笔记以 Zhang Xiaojun Podcast #117 的完整字幕为主材料，连续覆盖 4:22:37。公开字幕的说话人分离不可靠：可以确认访谈嘉宾为谢青池，但不能安全地把每一段讲解都归给嘉宾或主持人，因此正文只按内容主题组织，不做强行逐句归属。论文时间、模型机制和公开指标回到原始论文或官方发布核验；作者故事、组织投入、内部判断和“某工作影响了谁”若无一手材料，保留为访谈口径。
- Zhang Xiaojun Podcast #117：论文与模型范式史。
- Attention Is All You Need：Transformer 的并行序列建模。
- Deep Residual Learning for Image Recognition：ResNet 与深度优化。
- OpenAI InstructGPT 说明、InstructGPT 论文：示范、偏好和 RLHF。
- ViT、CLIP、Latent Diffusion、DiT：视觉序列化、图文表示、潜空间和 Transformer 扩散。
- Scaling Laws、Chinchilla、ZeRO、MegaScale：模型、数据、存储、通信和万卡系统。
本页的时间线用于理解机制，不是完整论文目录；历史节点之间存在并行支线，访谈中的作者与年份偶有口述误差，已优先采用原始论文标题和提交年份。