原对话:沿提问、回答和转折完整展开
下面先按节目顺序重建。主持人在追问什么,嘉宾如何以自己的经历、例子和推理作答,尽量保留在具体语境中;案例中的事实、数字和判断先归属于发言人。随后才进入本文的机制解释与独立判断。
00:00:05–00:30:51连续对话 1
00:00:05–00:01:21开场:从产业采用回看DeltaNet,三条问题线贯穿全期
程曼祺以9月和10月阿里、Kimi的相关模型进展作为入口:两边都使用了线性注意力成果DeltaNet。她介绍嘉宾杨松琳为DeltaNet核心贡献者之一、MIT在读博士生,也是线性注意力开源小组FLA的发起者。节目并不是只解释一个论文名词,而是要回答三件事:一个2021年已经出现的方法,为什么当时没有得到重视,后来又凭什么进入模型;MiniMax重新采用Full Attention,与Kimi、阿里计划推进混合线性架构为何并存;以及效率之外,线性注意力还有没有独立的研究价值。
主持人预告前25分钟偏技术,之后讨论产业路线和“如果算力无限,还需要线性注意力吗”,最后半小时转向个人研究方法与FLA。她先给两个词作入口性说明:Softmax attention可粗略理解为本期对照的标准Full Attention,decay是衰减。这里的“Full”“线性”“稀疏”不能混为一组效率标签:它们保留、压缩和选择历史信息的方式不同,后文会逐步展开。
Sequence mixing在序列维度聚合不同位置的信息,形成当前表示。Full Attention直接访问历史位置;线性RNN先把历史写入状态再读取,二者是不同实现路径。
矩阵状态与KV Cache线性注意力的状态把历史压缩到固定尺寸的结构中;Full Attention的KV Cache保留各历史token的K、V表示并随序列增长。前者有压缩容量问题,后者有存储与访存增长问题。
Delta Rule本期语境中的状态更新规则:面向key-value关联,不只累加新写入,还依据新目标与已有读取之间的差异修正状态,以增强in-context retrieval。它不能消除固定状态容量。
Decay/遗忘率对旧状态进行衰减的机制。粗粒度可让多个channel共享遗忘率,细粒度可逐channel设置;能管理有限状态中的旧信息,但衰减本身也意味着遗忘。
话题推进:嘉宾先介绍自己的研究方向,主持人随即从最基础的“注意力到底完成什么操作”问起。
00:01:21–00:04:21注意力是序列信息混合:Full Attention直接逐对交互,线性注意力换了一种状态传递方式
- 你可以先简单地就是从你的角度解释一下注意力机制它在大语言模型里面,它是一个什么作用,以及为什么很重要吗?
杨松琳自述博士阶段主要研究注意力,尤其线性注意力。程曼祺回顾此前分别讨论稀疏注意力与线性注意力的两期节目,请她先解释注意力在大语言模型中的作用。嘉宾给出的起点不是公式,而是“处理上下文的机器”:当前位置要利用前面的信息,就必须在序列维度上混合不同位置的信息,形成当前表示,供后续层或下一个token预测使用,这称为sequence mixing。
标准注意力最直接地建立任意两个token之间的pairwise interaction。以三个位置为例,第三个位置可以分别读取前两个位置的表示,不必把前两个位置先压进同一个固定向量。嘉宾随后特意扩展“注意力”的用法:现在它也可泛指完成序列信息聚合的算子,线性注意力即使不再逐对计算Softmax关系,仍属于这条问题线。
主持人的复述把差异落到“每两个词的相关性”和“其他表达关系的方法”。更准确的后续理解是:Full Attention通过保留历史token的K、V表示,让查询按需访问;线性注意力则可改写为递归状态更新,让历史先进入状态,再由当前查询读取。二者都在混合上下文,但信息的存放与访问路径不同,不能只把后者理解为删除Softmax后速度更快。
话题推进:从共同的信息混合目标出发,主持人把话题拉回具体产业应用:Qwen与Kimi究竟继承了DeltaNet的哪一部分?
00:04:21–00:09:41DeltaNet的源头:把历史写入矩阵状态,并用Delta Rule修正已有键值映射
- 你可以给我们简单地介绍一下这些业界新的应用和DeltaNet之间的关系吗?
主持人先给出产业背景:9月12日的Qwen3-Next技术报告混合使用Gated DeltaNet attention与Gated Attention,10月底的Kimi Linear使用Kimi Delta Attention(KDA),KDA也进入FLA。杨松琳据此回溯线性注意力:将Softmax注意力的计算改写后,可用RNN形式处理序列;关键问题随之从“能否写成RNN”变成“这个RNN怎样写入、保留和修正信息”。
2021年《Linear Transformers Are Secretly Fast Weight Programmers》从fast weight programming视角讨论这一过程。可把状态S想成一个“键到值”的关联表:普通线性注意力的加法式更新把新的key-value外积不断加入S,查询时再用key从S读出相关信息。若同一个key后来对应新value,旧写入仍可能干扰读取。Delta Rule的直觉是先检查S当前对这个key读出什么,再按新value与旧读出的差异作修正,因此目标不只是累积信息,还包括改进in-context retrieval——给定上下文中的key,找回它关联的value。
上面的矩阵状态解释是对嘉宾“fast weight、key-value关联、Delta Rule增强检索”的展开,并非本期现场给出了完整公式或逐步实验。原论文摘要明确其替换纯加法式指令,以便修正当前键值映射;本期没有逐项报告论文表格。
嘉宾认为DeltaNet早期没“活起来”有两个相互独立的原因。其一是网络模块尚不成熟:短卷积让一个位置除自身外还能利用前面少数几个位置的信息,嘉宾口头举例为前三个token;output norm或output gate则作用于输出端。其二是高效训练实现缺失:原作者提供的是CUDA循环,能用但慢。她后来研究的是如何沿序列长度并行化DeltaNet更新,而不是重新发明Delta Rule。这里必须区分推理时可递归与训练时可高效并行:逐token依赖适合解码,却不自动意味着长序列训练能充分利用GPU。
话题推进:主持人追问早期线性注意力的时间点和近年改进究竟发生在哪个层面,话题转向网络模块、衰减与更新规则。
00:09:41–00:16:36从模块补齐到Gated DeltaNet、KDA:更新规则管状态怎么变,衰减管旧状态留多少
- 你说的最开始是大家把这个Softmax丢掉,然后直接试到RNN,对吧?这个大概是在什么阶段呀?
- 那更新规则大的改进是最近发生的什么?比如说你24年你们发的那个论文里是有一些更新规则的改进的。
程曼祺先确认《Transformers Are RNNs》约为2020年的工作,DeltaNet则在2021年出现。杨松琳再次强调,早期问题既是慢也是效果不好。近年短卷积、输出归一化与输出门控逐渐成为常用模块,即使较简单的线性注意力配合RoPE和简单decay,表现也能改善。她把RetNet、Lightning Attention等贡献的重要部分归于网络模块和衰减,而非改写核心更新规则;转录中的“Write to Light”按后续上下文只能暂记为待回听专名,不再把猜测写成确认纠错。
主持人追问“更新规则的大改进是什么”。杨松琳把自己的工作定位为用新算法释放旧技术的潜力:先让Delta Rule能够可扩展训练,再在NVIDIA实习期间的Gated DeltaNet中加入decay。她将Gated DeltaNet描述为DeltaNet与Mamba-2的结合:保留Delta Rule更新,同时引入类似遗忘门的衰减。有限状态若只添加、不遗忘,历史信息会不断争用同一空间;衰减提供主动降低旧状态占比的手段,但也会带来遗忘,不能写成容量因此被消除。
她转述Qwen团队的apple-to-apple比较:全局注意力混合、Mamba-2混合与Gated DeltaNet混合等方案中,后者表现最好并被采用。这是嘉宾对公开报告的概括,本期未给出模型规模、训练token、任务、指标数值或全部控制条件,因此不能泛化成Gated DeltaNet在所有设置下都优于其他架构。
KDA保留Delta Rule,改变的是衰减粒度。嘉宾以128个channel为例:粗粒度衰减让128个channel共享一个遗忘率,细粒度衰减给每个channel独立遗忘率,有的可更快忘,有的可更慢忘、承担相对长程的信息。她将KDA理解为GLA与DeltaNet的结合,将Gated DeltaNet理解为DeltaNet与Mamba-2的结合,差别主要在衰减粒度。此处的channel数是用来说明共享与独立遗忘率的例子,不是本期给出的KDA完整超参数表。
话题推进:主持人继续追问网络改进与算子改进的分界,嘉宾用状态转移矩阵把几类更新规则串起来。
00:16:36–00:23:28状态转移矩阵是更新规则的分水岭;算法与Infra必须共同设计
- 你可以给大家解释一下就是这个更新规则的改进和模型架构的改进的区别是什么?
- 能上算子上做一些改进,它需要什么样的背景啊?
- 像你自己的话,是你本来是算法背景,然后你是自己后来就为了做这个研究,你学了比较多Infra的一些东西。
杨松琳把“网络改进”和“算法改进”分开:在输出端加门控,可以在原有GQA等算子外增加结构,仍用FlashAttention训练;更新规则则直接改sequence mixing核心。她的抽象是矩阵值状态的一阶线性递归,可概括为S_t = A_t S_{t-1} + 当前token带来的写入。A_t决定旧状态如何保留、衰减或修正,输入项决定新信息怎样写入;读取则由当前查询对状态操作完成。此处的S_t是矩阵状态,A_t不要与Full Attention的注意力权重矩阵混同。
按嘉宾的分类,基础线性注意力的转移结构是Identity;GLA/Mamba用Diagonal;DeltaNet是Identity plus Low-Rank;Kimi的新工作与RWKV-7采用Diagonal plus Low-Rank(DPLR)。这不是四种KV Cache大小或四种速度排名,而是四种旧状态变换方式。对角结构便于分维度衰减,低秩部分提供与当前输入有关的修正方向;KDA将Identity放宽为可学习的Diagonal。本文不据此追加“当前最强”或“维度间完全无交互”等节目未证明的总评。
主持人随后问,改算子需要怎样的背景,算法出身是否特别困难。嘉宾观察到算法研究者正在学习CUDA、Triton等GPU实现,Infra研究者也在理解算法,因为数学形式能成立并不等于硬件上能高效运行。她硕士时曾做上下文无关文法parsing,需要写CUDA在GPU上并行加速;后来做模型架构时,这类算子经验成为舒适区。
她将兴趣与斯坦福Hazy Research的hardware-aware风格相连:从FlashAttention、Mamba相关工作中看到算法与硬件协同的价值。主持人提到她与Tri Dao合作,嘉宾回答是Log Linear Attention。初稿把该处直接猜改为另一篇论文,没有材料依据,本稿撤销。
话题推进:弄清更新规则后,主持人回到实际模型:既然线性层高效,为何Qwen和Kimi仍保留Full Attention层?
00:23:28–00:28:35混合架构的原因:固定状态与随长度增长的状态,记忆容量和访存成本是一体两面
- 为什么现在大家会采用这种线性和这个比如说之前的full attention混在一起的这种结构啊?就它不能就全部都用线性的原因是什么?
- 在之前把线性注意力机制用到参数很大的模型上是有什么瓶颈吗?
程曼祺问为何不全部使用线性注意力。杨松琳的回答集中在长文本容量:每层线性RNN状态的尺寸固定,所有层加起来的状态总量不随序列长度增长。短文本可能尚可,长序列不断写入后,旧信息要被压缩、覆盖或衰减,无法像保留每个历史token那样逐一恢复。这是状态表示的约束,不只是显存数字小; Delta Rule改善有限状态下的写入与修正,并未把固定维度变成无限记忆。
Full Attention则把历史token的KV Cache视作可继续访问的状态,缓存随token数增长。嘉宾因此说其不受同类固定状态容量约束,但这不等于实际模型长文能力无限、检索永不失误,也不等于所有历史信息都能无损利用。代价是解码时需要管理和读取更多状态;她把这一过程描述为memory bound,强调从global memory读取状态的成本会随上下文增长。
混合架构因此在层间分配功能:部分Full Attention保留直接访问历史的路径,多数线性层控制状态增长和访存。它不能“同时保证容量与低成本”,只是把纯线性的压缩瓶颈和纯Full Attention的增长成本折中;保留的Full Attention层仍会增长,也可能成为多跳或长文任务的关键路径。
主持人接着以当时K2尚未使用线性注意力为例,问为何已落地的模型规模相对较小,是否存在大模型瓶颈。嘉宾把它解释为工业界先小后大的风险控制,而不是已经证明大规模可行:先在较小规模验证架构,避免直接投入昂贵训练。她转述Kimi在Reddit AMA对K3“很可能”使用KDA的回应,以及Qwen后续混合架构的信号,都属于当时的路线判断与预期,不写成已发布事实。转录中的80B、48B等参数数字与旧稿的外部更正不一致,本稿不选择一个数字冒充已核实,列入待核。
话题推进:与Kimi、Qwen“入坑”相对,主持人提出MiniMax从线性相关方案回到Full Attention的反向案例。
00:28:35–00:30:51MiniMax路线反转:普通评测接近,不代表多跳推理与真实Agent表现接近
- 还有一个想聊一聊的动向啊,也是跟这个线性注意力有关的,就是MiniMax……它最近就10月27号发的这个MiniMax M2,他们又变回了就是Full Attention。就是我想知道就是比较关注线性注意力改进的研究员对这个变化有什么讨论吗?
程曼祺回顾MiniMax较早把Lightning Attention用到大模型,而10月27日发布的M2回到Full Attention,询问研究圈怎样理解。杨松琳用“一边往坑外跳、另一边急着往坑里跳”形容路线分歧,但这句比喻不是对任何公司技术能力的最终裁决。
她转述MiniMax预训练负责人的公开反思:Lightning Attention在部分指标上与Full Attention差别不明显,但在多跳推理等更复杂任务上暴露出差距。嘉宾认为,转录写作“MMRU”的这类测试偏短程in-context learning,较短窗口就可能完成,因而不一定能检验长程历史读取与多步信息连接。这里应保留其“评测敏感性不足”的论点,而不是把某个榜单一概说成无用。
多跳推理由此成为下一段的关键反例:当任务要求连接分散证据时,保留逐token访问路径可能比把中间内容压进固定状态更有利。主持人问的是研究路线,不是请嘉宾代替MiniMax披露完整内部决策;公司内部评估、工程成本和组织取舍均未由本期独立证明。
话题推进:嘉宾接着具体解释多跳推理为何困难,以及面对同一Agent目标,其他公司为何仍敢继续混合路线。
00:30:51–00:59:26连续对话 2
00:30:51–00:39:39多跳、状态压缩与稀疏路线:省计算读取、省缓存存储、保留任务能力是三件不同的事
- 既然MiniMax认为Full Attention在Agent任务上效果更好,那么同样要开发Agent能力的Kimi和Qwen,打算如何用其混合架构解决这个问题?
- 线性注意力在保证效果方面,现在是否已经解决得比较好了?
- 从你的角度看,稀疏注意力和线性注意力的未来潜力有什么区别?
杨松琳以A到B、B到C、C到D解释多跳推理:Full Attention可直接建模两个位置的关系,多层传播适合连接这类链式证据。线性或混合架构中的RNN层若已把中间信息压入模糊状态,后续查询可能无法恢复所需中间环节,准确率因此可能下降。她把MiniMax回归Full Attention与其Agent目标联系起来,同时转述其对BBH等预训练评测与真实Agent表现关联较弱的反思。这里的A→B→C是机制示意,不是本期报告的实测任务与分数。
主持人追问Kimi、Qwen同样要做Agent,怎样解决这一问题。嘉宾只能推测各公司内部benchmark给了其信心,并补充MiniMax也仍在验证Hybrid。她认为Lightning Attention的粗粒度、输入无关decay较弱, MiniMax可能受挫于早期方案和评估不足;但她同时明确说“不确定为什么当时直接scale up”。因此,对MiniMax内部eval的批评必须作为嘉宾推测,而非公司事实。
对于“效果问题是否已基本解决”,她没有给出肯定结论,而是要求等待Qwen、Kimi更大规模、更接近旗舰的开源结果。她还提醒,公开可见的Kimi、Qwen推进线性路线,不等于全球只有两家研究;闭源公司无法观察,DeepSeek公开工作更偏稀疏注意力。
稀疏与线性的差别落在三件事。动态稀疏注意力保留全部KV Cache,每步只选择一部分历史状态参与计算,因此主要减少当次读取与计算,并未省掉总缓存。若相关位置选择准确,它有望接近Full Attention;若漏选,信息仍在但本次访问不到。线性RNN则把历史压到固定状态,总状态不随长度增长,却要承受压缩损失。嘉宾称单层潜力稀疏更强,是基于保留历史的安全感,不是端到端效果已经胜出。
她以常见的75%层替换为RNN为例:在层数与每层KV配置相同、只比较Full Attention层KV占位的简化口径下,KV Cache可减少约3/4,从而可能支持更大batch并提高服务吞吐。这里的“约3/4”不是整模型显存、时延或吞吐都改善75%,也不含线性层自身固定状态、模型权重和激活;batch收益还受调度与硬件条件约束。
多跳推理需要连接多个中间证据或关系的任务。它与状态追踪不同:前者强调读取并连接分散信息,后者强调按顺序维护变量或环境变化。
稀疏注意力从全部历史中选择一部分参与注意力计算。动态稀疏若仍保存全部KV Cache,主要减少当次读取,不等于减少总缓存,也可能因漏选丢失当次所需信息。
归纳偏见架构带给学习过程的先验偏好,例如更重视局部信息。它可能在有限数据下提高学习效率,也可能在数据与算力充足时形成限制;本期未给出通用排序实验。
状态追踪随操作或序列推进维护实体、变量或环境的当前状态,如代码变量值、网页Agent已执行步骤。理论表达潜力不等于训练后实际能力。
话题推进:成本对比之后,主持人提出极端假设:若算力与推理成本都不再是问题,线性注意力是否仍有存在理由?
00:39:39–00:47:33算力无限之后仍有两个假设:有限数据的归纳偏见,以及状态追踪的表达能力
- 如果我们假设有无限算力且不在乎推理成本,大家还有动力去做非Full Attention的方法吗?
- 你是指数据太少对Full Attention是个劣势?
- 所以探索线性注意力,除了节省算力成本,也可能在数据少的场景下提升效果?
程曼祺问,若算力无限且不计推理成本,是否还需要非Full Attention。杨松琳把约束换成数据:全局注意力较弱的人工结构先验可能需要更多数据学习;线性注意力若带有局部性等归纳偏见,在数据受限时可能更易学习。主持人连续确认“是数据太少让Full Attention处于劣势吗”“归纳偏见是模型自己学的还是人给的”,嘉宾回答它是由架构注入的先验,并明确说若数据与算力都无限,她会直接选Full Attention。她推测后训练和RL数据更受限,混合线性架构可能在这些阶段体现优势,但没有给出对照结果。
第二条线是状态追踪,而非缓存大小。嘉宾提到Full Attention在电路复杂度讨论中的TC0,以及DeltaNet的NC1-complete,并坦率说自己不展开理论细节。她据此推测DeltaNet可能更擅长维护随序列变化的状态,减少把每一步都写成显式长思维链的需要。这个复杂度比较依赖具体理论设定,不能省略条件后写成“DeltaNet所有任务表达能力都强于Transformer”,更不能当作大规模Agent实证。
她用编程变量和网页Agent解释状态追踪:变量经多次赋值后,当前值是什么;Agent打开网页并执行后续操作后,已经完成哪些步骤、当前处于哪个环境状态。它与多跳推理不是同一能力:多跳侧重连接和读取分散证据,状态追踪侧重按顺序更新实体或环境。前者可能受固定状态压缩伤害,后者可能从递归更新获益,因此“线性注意力不利于Agent”与“递归必然更适合Agent”都过于简单。
嘉宾提到《Recurrence-Complete Frame-based Action Models》作为相关讨论,但主持人把“可能提升”复述成接近确定时,她立即说“很有可能”“还需要大规模验证”。她主张在预训练阶段就寻找能反映Agent能力的proxy指标,避免预训练、后训练、RL全部完成后才评估。主持人补充OpenAI DevDay的评测工具背景,嘉宾则把可靠评测视为架构迭代速度的前提;这些产业信息不是本轮独立核验的重点。
话题推进:主持人把“加先验”连接到The Bitter Lesson,随后又问DeltaNet署名争议;嘉宾分别给出研究判断和贡献边界。
00:47:33–00:51:51先验与scalable不互斥;并行化贡献与DeltaNet原始贡献分开署名
- 关于模型是否要加入先验知识,AI领域一直有讨论,比如《The Bitter Lesson》就认为,通用、可扩展的方法最终胜过人为设计的复杂结构,你怎么看?
- 你这里说的scalable(可扩展)的关键是什么?
- 最近RWKV的创始人彭博说DeltaNet的credit应该给Jürgen Schmidhuber,对此你怎么回应?
程曼祺以The Bitter Lesson追问:人为加入结构先验,是否最终不如依靠更多算力、通用方法和规模化?杨松琳不试图给该文唯一解释,而是把可检验标准放在scalable上:先把方法做得能扩大,再用实验判断好坏,而不是只争论归纳偏见数量。
她所说scalable有两项:效率上能在大规模训练中保持硬件亲和,效果上不是只在浅层或小模型有效、加深扩大后失效。这个定义把前文的并行化与后文的评测连起来:高效算子使试验可做,规模曲线和目标任务评测才决定架构是否值得继续。
随后主持人提出RWKV原始智能创始人彭博关于DeltaNet credit应归Schmidhuber的说法。杨松琳回应,她没有宣称发明DeltaNet,论文沿用2021年名称并明确以Parallelizing为题;自己的贡献是让DeltaNet可扩展训练的并行算法。她还称与原论文作者之一Katsuki熟悉,对方认可她推广了该概念。这些有关他人态度和社交媒体争议的内容属于嘉宾自述,不应被写成各方已经共同确认的客观结论。她对该争议有明显情绪,本稿保留回应的实质,不用情绪替代贡献证据。
话题推进:贡献边界澄清后,访谈转向这项并行化工作如何形成:教育经历、合作网络、数值代数与长期思考。
00:51:51–00:59:26并行化研究的积累链:parsing与CUDA、跨机构合作、矩阵方法和转移矩阵累乘
- 你是怎么关注到线性注意力这个研究方向的?你在哪个阶段开始关注注意力机制的改进?
- 你有哪些合作者或一起学习的小伙伴?
- 你的导师会给你哪些指导或建议?
- 像数值代数这类数学知识,以及CUDA Kernel、Triton这些Infra能力,你是如何积累这些交叉能力的?
- 改进DeltaNet使其并行化的思路是怎么产生的?难点是什么?
主持人按教育经历追问:2016年本科、2020年到上海科技大学、2023年赴MIT读博,何时开始研究注意力。杨松琳说硕士阶段已喜欢模型与“魔改注意力”,2023年才正式以此研究。她选择长文本效率,是因为认为Full Attention的相关问题难以轻易消失,同时其中有可探索的算法空间。
合作网络并不限于所在学校。她提到Hazy Research的Simran、Albert、Tri,微软亚洲研究院董力团队及RetNet一作孙宇涛,也提到与秦峥从知乎私信交流到合作线性RNN工作HGRN。主持人将其总结为跨机构、跨组织的青年研究网络,嘉宾解释同一学校未必有足够多同方向同行。具体人名中个别转写不清处不因熟悉领域就自行补全。
谈及导师,她先用“搞卡”概括资源支持,随即补充大方向建议的重要性:软硬件结合的算法设计与数值代数。博士生在细分领域可能比导师更懂,但导师仍能提供选题方向、算力和论文支持。她将主要idea归于自己,这是个人贡献自述。
这种积累并非到博士才从零开始。她硕士做过需要GPU并行的parsing;本科最喜欢线性代数,所用Gilbert Strang教材从空间与直觉切入,使她对矩阵产生兴趣;硕士“矩阵方法”课程又接触Householder与QR分解。她把兴趣、数值计算与并行实现看作长期串联的能力,而不是孤立的“交叉学科技巧”。
最后落到DeltaNet难点:线性递归若按序列逐步算,当前状态依赖前一状态;要沿序列并行,就要展开依赖,其中出现连续的转移矩阵累乘。若直接为每个位置物化大型矩阵状态和连乘,计算与I/O都可能成为瓶颈。DeltaNet的转移矩阵与Householder形式有关,使她能够寻找数值代数中的紧凑累乘方法。下一分钟她才解释真正打开缺口的WY表示。
话题推进:主持人继续追问这条数学联系如何被发现,嘉宾从“突然想到”还原成数月问题求解与已有知识汇合。
00:59:26–01:27:19连续对话 3
00:59:26–01:04:11从Householder累乘到WY表示:把连乘写成紧凑形式,再接回分块并行训练
- 你是怎么发现(Householder累乘和DeltaNet并行化之间关联)的?
- AI什么时候能像人一样有这种联想的能力?
- (大模型)完全没有人参与也可以吗?如果只给它一个目标,就是说我想这个并行DeltaNet,它能做到吗?
杨松琳回忆,最初既不知道怎样高效计算Householder累乘,也不知道怎样与线性注意力的算法结合。关键线索是WY表示:经典数值线性代数把一串Householder变换的乘积表示成紧凑矩阵形式,使“逐个施加变换”与“成块施加”之间可以转换。她在节目中将这一发现概括为“把累乘变成累加”,因为这与线性注意力可累加的计算形式产生了连接。
严格说,不能仅理解为把任意矩阵乘法免费改写成加法,更不是简单把RNN循环改成for并行。并行DeltaNet论文将该递归重写为矩阵值RNN,利用广义Householder变换的紧凑WY表示,避免在并行训练时逐位置物化大矩阵状态造成高I/O,再接上分块策略。这个补充用于解释嘉宾所指的技术链,具体推导仍应以论文为准。
时间线显示不是一闪而过:她从2023年9月开始思考如何并行DeltaNet,到2024年3月左右才形成可做的算法。早期线性注意力分块算法工作加深了她对计算形式的理解;硕士课程里的Householder与QR分解则让她在观察转移矩阵时有了可检索的数学对象。主持人把它总结为“把过往积累串起来”,比单纯“灵光一现”更贴近嘉宾完整叙述。
程曼祺由此问,AI何时能把看似无关的知识联成新成果。杨松琳先猜当前模型在合适prompt下可能推出后续算法,主持人马上追问:若只给“并行DeltaNet”目标、完全无人参与呢?她转而提出可用RL和verifiable reward探索。这里要保留两个不同问题:沿给定提示推导,不等于模型自主发现值得连接的两个领域;存在可验证奖励提供训练信号,也不证明搜索一定能找到正确算法。她最后对AI能否超过人类及近年科学发现进展都明确不评论。
研究中的联想本例是把转移矩阵识别为可借用Householder工具的对象,再检索WY表示并推导结合。数月思考、分块算法经验和矩阵课程共同支撑,不是无来源的瞬间灵感。
FLA线性注意力开源小组与实现库,将多种算法、layer和高效kernel集中提供,并根据变长训练等用户需求迭代。
动态稀疏与Indexer动态稀疏为当前token选择历史位置;Indexer先估计相关性再取Top-K。选择粒度、读取效率、选择误判、梯度与总缓存是不同问题。
Fast Weight Programming把随输入快速变化的矩阵理解为可更新权重,在RNN视角下对应状态。它提供长上下文与持续学习的统一视角,但不自动解决容量、干扰、稳定性或旧知识保留。
话题推进:研究经历之后,话题转到另一项让算法可复用的工作:为什么把FLA当作产品和社区来维护。
01:04:12–01:11:24FLA作为研究基础设施:算法、可用kernel、变长需求与人才流动的连续链条
- 你开始维护FLA(线性注意力开源小组)的契机是什么?可以分享一下过程中的故事或收获吗?
- 像张雨(FLA核心贡献者),是你在做了FLA之后,他们关注到这个方向,所以她就加入进来了吗?
- 所以张雨是先和你一起做FLA,然后才去的Kimi?
- 这个方向在Kimi里面是谁来判断的?
主持人问FLA的起点及跨国、跨公司贡献者如何聚集。杨松琳说受到FlashAttention“作为产品运营”的启发:底层想法未必全部首次出现,但好用接口、实际kernel、社区互动和持续响应需求,使研究能被别人直接采用。她也承认FlashAttention可能难安装,重点不是包装,而是装上后确实好用并带来提升。
FLA试图补上线性注意力“论文有了、可靠实现分散”的缺口:在一个库里提供多种模型的Triton算子和layer实现,使用户能运行不同模型并有相应kernel支持。用户随后提出feature request,团队再迭代。变长训练是一个具体例子:不同样本长度不一致时,不能仅靠 padding后把填充当真实内容处理,实现需要正确支持样本边界;节目只明确说用户需求很大、团队决定全面加入,未展开接口或性能数字。
张雨的故事纠正了主持人“做了FLA后才被吸引加入”的猜测。两人早在2020年因parsing认识;张雨在苏州大学时维护Supa(苏大Parsing)库,代码清晰、并行实现高效。杨松琳因此在发起FLA时主动邀请她,认为她有写并行算法和kernel的潜力。按嘉宾口述,张雨后来是FLA代码行数与commit贡献最多的人。
主持人再确认时间顺序:张雨先共同维护FLA,之后才去Kimi。杨松琳说她先在各地实习,随后加入Kimi做相关项目。Kimi希望采用hybrid linear时,直接吸纳熟悉实现的人,形成“研究—开源实现—产业采用—人才加入”的链条。至于内部由谁作方向决策,她只听说可能是周欣宇(Tim),并马上声明自己不在那里工作、不太了解;本稿不把这一传闻写成组织事实。
话题推进:开源社区落到人才与实现后,主持人把视线拉回未来:线性与稀疏注意力各自还可能怎么演进?
01:11:24–01:21:11稀疏与线性如何继续混合:选择粒度、Indexer、缓存取舍与渐进架构验证
- 再往下,整个注意力的演进趋势可能是什么样?可以分线性和稀疏注意力都聊一下。
- 你觉得当前的注意力机制离你理想中设想的状态还差什么?
- 现在大家在混的时候都是混的线性和Full Attention,而不是直接用线性混稀疏注意力的原因是什么?
杨松琳先梳理动态稀疏:每个token动态决定读取哪些历史位置,难点同时是选得准与硬件高效。她将NSA的block selection解释为一次选一个块,便于连续读取和计算,但整块未选中就可能漏掉重要信息。DeepSeek后续DSA取消块约束,改为token级非结构化选择。她举例:若预算为512个位置,直接挑512个token,比以block size 32挑16个块更灵活;主持人确认粒度更细,也更难实现。512与32是选择粒度的算例,不是端到端效果证明。
DSA的Indexer被描述为轻量的全局相关性估计模块,再为每个位置选Top-K历史token。嘉宾强调其可借助FP8矩阵乘法,因为选择阶段不需要对精度要求较高的Softmax指数运算。这里轻量不代表平方复杂度消失,Top-K选择也可能误判。她还转述从已有模型向稀疏方案迁移时用注意力分布蒸馏Indexer初始化,以及稀疏选择带来的梯度传递问题;节目没有展开完整训练配方。
稀疏路线遗留的存储问题仍然存在:如果只减少每步激活的历史而不丢弃KV Cache,总缓存仍随长度增长。主持人问是否有人在稀疏基础上进一步丢KV,她直接回答不确定。因此后文“线性+稀疏可降缓存”的设想需要更精确:减少线性层占比能降低一部分随长度增长的缓存,剩余稀疏层若仍保存全量KV,并没有从根本上消除存储增长。
线性方向则回到更新规则:除了Delta Rule,能否找到更有表达力又能并行的规则;已有变体包括加衰减、细粒度衰减、每步多次更新的Delta Product,以及尝试动态扩展状态等。个别工作名转写不清,本稿不猜成新术语。滑动窗口与线性结合的思路则保留近处原始token,把远处信息压入状态,与单纯依赖固定状态或全局缓存不同。
她下一步最想看到Sparse加Linear做通,例如DSA与KDA混合。但主持人追问为何不直接这么做时,她并未声称已经没有技术障碍,而是强调架构研究要渐进:先保留Full Attention验证线性部分,再替换为稀疏层,等更大规模混合模型验证后再动下一个变量。Qwen后续模型与K3被她视为观察窗口,而非已经完成的证明。
话题推进:具体架构路线收束后,主持人把问题扩大到预训练与RL之外:持续学习、权重记忆和上下文记忆会怎样演进?
01:21:11–01:27:19持续学习与Fast Weight:状态更新的更宽视角,愿景尚未等于可靠记忆
- 更广泛来说,你现在比较关注大语言模型或者说预训练+强化学习这个范式再往下走的什么演进趋势?
- 现在的模型的记忆,比如ChatGPT,它并不是内化在模型里面,是靠一些工程或者外挂的方式?
- 如果模型能自己持续学习,岂不是上下文工程的空间就变少了?
程曼祺问,预训练加RL之后,在线学习、持续学习、自主学习等方向中她关注什么。杨松琳认为持续学习重要但路径不清,目前没有看到确定的有效方案。潜在收益有两类:不必每隔一段时间完整重训也能吸收外界新信息;模型通过持续交互形成个性化记忆,更好记住用户偏好与历史。
主持人以ChatGPT memory追问,当前记忆是否主要依赖上下文工程或外挂,而没有内化到权重。嘉宾将信息存放粗分为预训练压入FFN等权重、放入上下文供in-context learning使用,以及外部memory。她没有说所有产品记忆都采用同一实现,也没有断言权重与上下文可以无条件互换。主持人进一步设想持续学习会不会压缩上下文工程空间,嘉宾反而把“信息放权重还是KV Cache”保留为开放问题。
Fast Weight Programming在这一愿景中提供桥梁:把序列中的新token看作学习样本,用更新规则改变快速变化的weight matrix;从RNN角度看,这个矩阵就是随输入演化的状态。普通模型推理时slow weight固定,fast weight路径则允许状态或权重在处理token时更新。这样,前文的Delta Rule不只是省缓存技巧,也是“模型怎样从新信息学习”的一种具体更新规则。
但这条链仍有两个不能跳过的关口:把长上下文压进更紧凑矩阵,仍会遇到本期反复讨论的容量、干扰和遗忘;持续吸收新信息还要解决旧知识保留、更新目标、稳定性和评估。嘉宾说看好这条路,不是说已经解决长文本或持续学习。她也没有把ChatGPT一类现有memory直接等同fast weight。
节目最后,程曼祺回顾DeltaNet技术脉络、Qwen与Kimi应用以及并行化研究过程,并推荐此前讨论稀疏和线性注意力的103、104期及文字版。片尾为关注与分享信息,没有新的技术论据。
话题推进:节目结束;完整技术讨论至此收束。
以上是原对话的分段阅读。下面才开始提炼论证、解释机制并给出本文自己的判断。