状态
模型要决定什么进入有限记忆、什么被擦除，以及新信息如何修正旧关联。
核心判断：架构不是组件替换，而是状态预算的系统工程
把线性注意力写成“更快的 Attention”，会低估它的难度。Full Attention 的优势是每个 query 都能直接访问历史 token；Linear Attention 则把历史压缩进固定大小的递归状态，换取近似线性的序列计算与常数级解码状态。代价是压缩一旦丢失信息，模型没有无限 KV cache 可以回看。因此真正的竞争不是谁的复杂度符号更漂亮，而是谁能在目标任务上把状态写入、遗忘、检索、更新和回退做对。
可用长上下文能力 ≈ 状态表达力 × 依赖保真度 × 硬件可执行性 × 评测覆盖 ÷（缓存成本 + 更新误差 + 失败不可见性）
系统
训练算法、CUDA/Triton kernel、FP8、带宽与 KV cache 决定理论收益能否落地。
验证
短上下文、长依赖、多跳推理、检索、RL 和解码吞吐必须用等预算比较。
完整内容地图：从 Delta Rule 走到混合架构
| 时间段 | 访谈主线 | 需要保留的判断 |
|---|---|---|
| 00:00–00:20 | Linear Attention 的历史、输入无关衰减到输入相关门控。 | 线性注意力不是单一算法，而是一系列对有限状态记忆的改造。 |
| 00:20–00:42 | Delta Rule、Gated DeltaNet、Kimi Delta Attention 与硬件实现。 | 擦除和定向写入互补；表达力与 kernel 友好性必须一起优化。 |
| 00:42–01:02 | MiniMax M1、DeepSeek Sparse Attention、Full/Linear/Hybrid 的取舍。 | 纯线性并非默认终点，全局层和稀疏层是保留长程能力的不同方案。 |
| 01:02–01:24 | MoE、Qwen3-Next、NoPE/RoPE、FP8、硬件—算法协同。 | 参数容量、激活计算、位置编码与硬件约束构成联合设计。 |
| 01:24–01:43 | 研究方法、旧论文考古、代码与 infra、年轻研究者建议。 | 研究贡献的寿命取决于能否被复现、部署、比较和继续改进。 |
Kimi Linear 的真实技术贡献：让有限状态更会“记账”
官方论文把 Kimi Delta Attention（KDA）描述为 Gated DeltaNet 的扩展：除了对状态做门控，还能用 delta rule 根据当前读出误差进行定向更新。直觉上，普通衰减只回答“旧信息要忘多少”，delta 更新还回答“新证据要怎样改写原来的关联”。这使线性注意力从单纯的指数遗忘，向可控的快权重记忆靠近。
论文摘要还明确了两件可核验事实：Kimi Linear 是 KDA 与 Multi-Head Latent Attention（MLA）的层级混合架构，公开模型为 48B 总参数、3B 激活参数；在其报告的公平比较中，KV cache 最多减少 75%，1M 上下文解码吞吐最高提升 6 倍。这里的“最高”属于论文设定和测量范围，不应外推成所有硬件、所有任务的固定倍数。
Insight：线性注意力的核心不是“没有 KV cache”它把逐 token 的历史缓存，换成固定维度的状态矩阵。缓存从“存所有过去”变成“存对未来有用的摘要”。因此评估重点应从窗口长度转向状态容量、写入冲突、长程检索和多跳推理的联合曲线。
为什么要保留 Full Attention 层
访谈中反复出现的工程直觉是：多数层可以用便宜的有限状态处理局部和重复模式，但少数全局层仍需要直接访问远处 token。混合架构相当于给系统留下“精确回看”的稀疏通道。访谈提到一种 3:1 左右的层级安排，这属于嘉宾对业界实践的观察；本次核验的 Kimi Linear 摘要只确认 KDA/MLA 混合，并未把该比例当作论文定论。
三条路线不是擂台，而是三种信息预算
| 路线 | 强项 | 主要风险 | 更适合问什么 |
|---|---|---|---|
| Full Attention | 任意 token 间直接检索，表达和调试直观。 | 长上下文的训练计算、KV cache 与带宽昂贵。 | 任务是否需要精确跨段回看、复杂多跳依赖？ |
| Linear / recurrent | 固定状态、低缓存、适合流式与长序列。 | 状态碰撞、压缩损失、复杂检索与多跳推理可能退化。 | 依赖是否可被稳定摘要，状态容量是否匹配任务？ |
| Sparse Attention | 只计算被索引器选中的历史 token，保留显式检索。 | 索引器自身有成本，漏选关键 token 会造成不可逆错误。 | 相关性选择是否可靠，稀疏模式是否能被硬件高效执行？ |
| Hybrid | 把大部分预算给局部/有限状态，少量预算给全局精确通路。 | 路由、层比、训练 recipe 和评测更复杂。 | 任务分布是否允许不同层承担不同记忆职责？ |
这张表也解释了为什么“纯 Linear Attention 必胜”不是访谈的结论。嘉宾提到 MiniMax M1 在多跳推理上曾发现明显短板，后续版本转向更多 Full Attention；这应被记作一个研发反馈，而不是对所有线性架构的否定。官方 MiniMax-M1 资料则确认其使用混合 MoE 与 Lightning Attention，并把 1M context 和 test-time compute 作为设计目标。两类证据合在一起，指向的是任务条件化的混合，而不是阵营化的路线之争。
硬件协同：复杂度只有被 kernel 接住，才会变成能力
访谈最值得工程师重视的部分，是对“算法论文速度”的降噪。Linear Attention 的递归表达若按 token 逐步执行，可能无法充分利用 GPU；KDA 的 chunkwise 算法、DPLR 结构、Triton/CUDA kernel 与 vLLM 集成，才把数学上的线性路径转换为大批量并行。反过来，GPU 的矩阵乘、内存层级和通信模式，也会反过来筛选哪些算法有机会扩展。
同一逻辑适用于 Sparse Attention。索引器如果要为每个 query 扫描全部历史，主注意力虽然变稀疏，选择成本却可能成为新的瓶颈；如果选得太少，模型会在检索任务上掉点；如果选得太多，稀疏收益又被吃掉。所谓硬件友好，不是把复杂度写成 O(kL)，而是要报告端到端吞吐、带宽、kernel launch、batch、序列长度和失败任务。
评测警报：不要比较不等价的状态预算把 48B/3B 激活的混合模型，与不同参数、不同训练 token、不同 KV 精度、不同 batch 的 Full Attention 模型直接比较，会把数据、容量和实现差异误归因于注意力机制。最低限度应固定训练配方、激活参数、状态大小、上下文长度、硬件和解码预算。
MoE 是另一种预算迁移
MoE 用稀疏路由把总参数容量和每 token 激活计算分开；它解决的不是注意力记忆，而是前馈层的容量—成本矛盾。访谈把 MoE、注意力和 FP8 放在同一张图上，是因为最终部署成本由多项乘积决定：每 token 激活多少参数、状态占多少显存、通信是否成为瓶颈、低精度是否破坏训练稳定。架构创新因此越来越像一张资源配置表，而不是单个模块的胜负。
为什么“长上下文”不能等同于“更强推理”
线性状态对重复模式、流式输入和长序列有天然吸引力，但多跳推理需要在不同时间点回到不同证据，并保持中间变量之间的精确关系。压缩状态若把相似但不等价的实体混在一起，模型即使能看完 1M token，也可能无法恢复证明链。稀疏索引若漏掉一个关键前提，也会产生同样的尾部错误。
因此应把长上下文评测拆成四层：第一层是能否保留单个事实；第二层是能否在冲突信息中选对证据；第三层是能否跨多段组合证据；第四层是能否在工具反馈后修正先前结论。前三层主要考记忆与检索，第四层才接近 Agent 工作负载。访谈所说“要在等状态大小下比较”很关键：如果一个方案用更多状态换到更高准确率，必须把状态成本计入结论。
可观测指标
KV bytes/token、状态维度、prefill/decode 吞吐、长程检索、跨段组合、错误恢复。
隐藏变量
训练数据是否包含长依赖、位置编码、层比、索引器质量和任务的真实分布。
失败样式
忘记、错配、漏检、重复计算、错误自信，以及无法回退到精确注意力。
研究方法：考古、代码与 infra 是同一件事的三面
杨松琳把研究描述为在旧论文里寻找被忽略的结构：有些想法早已出现，只是当时没有足够算力、数据或硬件把它做成。这个判断不是“新论文不重要”，而是提醒我们把技术史看成机会函数：一个方法是否成熟，取决于它与当前硬件、训练规模、数据和评价的匹配。
他同时强调代码、kernel 和工程实现不是论文之后的附属物。对线性注意力来说，真正的研究对象包含数学更新、并行算法、低精度稳定、内存布局和模型仓库；没有可复现实现，社区无法判断收益来自理论、数据还是工程。对年轻研究者的建议也因此偏向“补齐基础、读一手论文、写代码、争取真实算力”，而不是只追逐名词。
Insight：研究的可持续性是一个“部署梯度”越能被 kernel、框架、模型权重和真实任务接住，研究就越容易获得下一轮反馈；只在抽象 benchmark 上成立、无法在系统里运行的想法，会失去继续进化的梯度。
进一步推演：四条值得长期跟踪的 Insight
- 注意力的终点可能是“分工”，不是统一。 Full、Sparse、Linear 的差异对应不同记忆职责；真正成熟的架构会让层、头或路由承担不同信息预算。
- 状态容量会成为新的模型规模指标。 参数量解释容量，激活参数解释每 token 计算，状态大小解释长程工作记忆；三者需要同时进入模型账本。
- 索引器与验证器是同构问题。 Sparse Attention 先决定“看哪些 token”，Agent 先决定“做哪些动作”；两者都把选择错误放大为不可逆的后续错误，必须有回退和覆盖率评测。
- 中国架构创新的优势假设仍需 apple-to-apple 证据。 嘉宾认为算力约束迫使国内团队更重视硬件—算法协同，这是有解释力的行业观察；但若没有相同数据、参数、硬件和预算的公开对照，它只能是待检验假设。
怎样推翻或修正这篇笔记
- 如果纯线性堆叠在相同训练配方、状态大小和硬件下，长期稳定超过混合/全注意力的多跳推理与长程检索，本文对全局通路的强调过强。
- 如果 DSA 类索引器的选择成本在真实部署中持续高于主注意力，且漏选错误无法通过训练解决，稀疏路线的经济性需要下调。
- 如果 KDA 的收益只在特定上下文和低精度 kernel 出现，换硬件或换任务即消失，那么“架构范式”应改写为“实现协同技巧”。
- 如果更长窗口在真实 Agent 任务上不需要层级状态、摘要和回退，本文对上下文治理的担忧需要收缩。
证据边界与资料索引
本笔记以 Zhang Xiaojun Podcast #119 的完整访谈为主材料，字幕连续覆盖 1:43:25，speaker map 能稳定区分杨松琳与张小珺。访谈中的 MiniMax 研发经历、比例选择、模型回退、国内外路线比较和个人建议属于嘉宾口述；不能因为叙述具体就自动升级为公开实验结论。对公开技术事实，我只采用论文摘要、官方仓库或官方文档明确写出的内容。
- Zhang Xiaojun Podcast #119：杨松琳访谈。
- Kimi Linear: An Expressive, Efficient Attention Architecture：KDA、KDA/MLA 混合、公开模型与论文报告的 KV/吞吐结果。
- Gated Delta Networks: Improving Mamba2 with Delta Rule：门控与 delta update 的机制背景及混合架构实验。
- MiniMax-M1 官方仓库：混合注意力、1M context、RL 与 Lightning Attention 的公开说明。
- DeepSeek-V3.2-Exp 官方说明：DeepSeek Sparse Attention 的公开发布语境。
- MoonshotAI/Kimi-K2：MoE、Muon、MLA、agentic training 与部署信息的公开入口。
论文和官方资料的性能数字受版本、硬件、数据、上下文长度、采样与评测协议影响；本文不把厂商自报结果转写成跨模型排名。