Podcast Interview · 逐期深读

对谈DeltaNet贡献者杨松琳:线性注意力机制的演进、应用与未来

本期背景与内容导览

本期由程曼祺与MIT博士生、DeltaNet并行化工作贡献者及FLA发起者杨松琳对谈,从Qwen和Kimi采用相关成果切入,完整走过“状态怎样写入—更新怎样并行—长文为什么仍需混合—效率和效果怎样共同验证”的问题链。嘉宾先区分序列信息混合的不同实现:Full Attention直接访问历史token,线性注意力把历史压进递归状态;Delta Rule改进键值映射的写入与修正,Gated DeltaNet、KDA进一步改变旧状态的衰减方式。她自己的关键贡献是用Householder与WY表示解决DeltaNet沿序列长度高效训练的问题,而非发明DeltaNet。中段以MiniMax回归Full Attention为反例,讨论固定状态容量、多跳推理、评测失真,以及动态稀疏只减少当次读取、不必然减少KV总存储的差别。后段再把问题扩展到数据受限时的归纳偏见、状态追踪、线性+稀疏的渐进验证和Fast Weight持续学习。个人经历贯穿其中:parsing与CUDA、数值代数、跨机构合作、FLA产品化维护共同构成方法得以扩大使用的条件。全期许多产业判断和理论推演都被嘉宾保留为待大规模验证,不能混写成论文实证或已实现的Agent优势。

晚点聊 LateTalk · #143 · 2025-12-01 · 1:27:20

原对话:沿提问、回答和转折完整展开

下面先按节目顺序重建。主持人在追问什么,嘉宾如何以自己的经历、例子和推理作答,尽量保留在具体语境中;案例中的事实、数字和判断先归属于发言人。随后才进入本文的机制解释与独立判断。

00:00:05–00:30:51连续对话 1

00:00:05–00:01:21开场:从产业采用回看DeltaNet,三条问题线贯穿全期

程曼祺以9月和10月阿里、Kimi的相关模型进展作为入口:两边都使用了线性注意力成果DeltaNet。她介绍嘉宾杨松琳为DeltaNet核心贡献者之一、MIT在读博士生,也是线性注意力开源小组FLA的发起者。节目并不是只解释一个论文名词,而是要回答三件事:一个2021年已经出现的方法,为什么当时没有得到重视,后来又凭什么进入模型;MiniMax重新采用Full Attention,与Kimi、阿里计划推进混合线性架构为何并存;以及效率之外,线性注意力还有没有独立的研究价值。

主持人预告前25分钟偏技术,之后讨论产业路线和“如果算力无限,还需要线性注意力吗”,最后半小时转向个人研究方法与FLA。她先给两个词作入口性说明:Softmax attention可粗略理解为本期对照的标准Full Attention,decay是衰减。这里的“Full”“线性”“稀疏”不能混为一组效率标签:它们保留、压缩和选择历史信息的方式不同,后文会逐步展开。

Sequence mixing在序列维度聚合不同位置的信息,形成当前表示。Full Attention直接访问历史位置;线性RNN先把历史写入状态再读取,二者是不同实现路径。
矩阵状态与KV Cache线性注意力的状态把历史压缩到固定尺寸的结构中;Full Attention的KV Cache保留各历史token的K、V表示并随序列增长。前者有压缩容量问题,后者有存储与访存增长问题。
Delta Rule本期语境中的状态更新规则:面向key-value关联,不只累加新写入,还依据新目标与已有读取之间的差异修正状态,以增强in-context retrieval。它不能消除固定状态容量。
Decay/遗忘率对旧状态进行衰减的机制。粗粒度可让多个channel共享遗忘率,细粒度可逐channel设置;能管理有限状态中的旧信息,但衰减本身也意味着遗忘。

话题推进:嘉宾先介绍自己的研究方向,主持人随即从最基础的“注意力到底完成什么操作”问起。

00:01:21–00:04:21注意力是序列信息混合:Full Attention直接逐对交互,线性注意力换了一种状态传递方式

  • 你可以先简单地就是从你的角度解释一下注意力机制它在大语言模型里面,它是一个什么作用,以及为什么很重要吗?

杨松琳自述博士阶段主要研究注意力,尤其线性注意力。程曼祺回顾此前分别讨论稀疏注意力与线性注意力的两期节目,请她先解释注意力在大语言模型中的作用。嘉宾给出的起点不是公式,而是“处理上下文的机器”:当前位置要利用前面的信息,就必须在序列维度上混合不同位置的信息,形成当前表示,供后续层或下一个token预测使用,这称为sequence mixing。

标准注意力最直接地建立任意两个token之间的pairwise interaction。以三个位置为例,第三个位置可以分别读取前两个位置的表示,不必把前两个位置先压进同一个固定向量。嘉宾随后特意扩展“注意力”的用法:现在它也可泛指完成序列信息聚合的算子,线性注意力即使不再逐对计算Softmax关系,仍属于这条问题线。

主持人的复述把差异落到“每两个词的相关性”和“其他表达关系的方法”。更准确的后续理解是:Full Attention通过保留历史token的K、V表示,让查询按需访问;线性注意力则可改写为递归状态更新,让历史先进入状态,再由当前查询读取。二者都在混合上下文,但信息的存放与访问路径不同,不能只把后者理解为删除Softmax后速度更快。

话题推进:从共同的信息混合目标出发,主持人把话题拉回具体产业应用:Qwen与Kimi究竟继承了DeltaNet的哪一部分?

00:04:21–00:09:41DeltaNet的源头:把历史写入矩阵状态,并用Delta Rule修正已有键值映射

  • 你可以给我们简单地介绍一下这些业界新的应用和DeltaNet之间的关系吗?

主持人先给出产业背景:9月12日的Qwen3-Next技术报告混合使用Gated DeltaNet attention与Gated Attention,10月底的Kimi Linear使用Kimi Delta Attention(KDA),KDA也进入FLA。杨松琳据此回溯线性注意力:将Softmax注意力的计算改写后,可用RNN形式处理序列;关键问题随之从“能否写成RNN”变成“这个RNN怎样写入、保留和修正信息”。

2021年《Linear Transformers Are Secretly Fast Weight Programmers》从fast weight programming视角讨论这一过程。可把状态S想成一个“键到值”的关联表:普通线性注意力的加法式更新把新的key-value外积不断加入S,查询时再用key从S读出相关信息。若同一个key后来对应新value,旧写入仍可能干扰读取。Delta Rule的直觉是先检查S当前对这个key读出什么,再按新value与旧读出的差异作修正,因此目标不只是累积信息,还包括改进in-context retrieval——给定上下文中的key,找回它关联的value。

上面的矩阵状态解释是对嘉宾“fast weight、key-value关联、Delta Rule增强检索”的展开,并非本期现场给出了完整公式或逐步实验。原论文摘要明确其替换纯加法式指令,以便修正当前键值映射;本期没有逐项报告论文表格。

嘉宾认为DeltaNet早期没“活起来”有两个相互独立的原因。其一是网络模块尚不成熟:短卷积让一个位置除自身外还能利用前面少数几个位置的信息,嘉宾口头举例为前三个token;output norm或output gate则作用于输出端。其二是高效训练实现缺失:原作者提供的是CUDA循环,能用但慢。她后来研究的是如何沿序列长度并行化DeltaNet更新,而不是重新发明Delta Rule。这里必须区分推理时可递归与训练时可高效并行:逐token依赖适合解码,却不自动意味着长序列训练能充分利用GPU。

话题推进:主持人追问早期线性注意力的时间点和近年改进究竟发生在哪个层面,话题转向网络模块、衰减与更新规则。

00:09:41–00:16:36从模块补齐到Gated DeltaNet、KDA:更新规则管状态怎么变,衰减管旧状态留多少

  • 你说的最开始是大家把这个Softmax丢掉,然后直接试到RNN,对吧?这个大概是在什么阶段呀?
  • 那更新规则大的改进是最近发生的什么?比如说你24年你们发的那个论文里是有一些更新规则的改进的。

程曼祺先确认《Transformers Are RNNs》约为2020年的工作,DeltaNet则在2021年出现。杨松琳再次强调,早期问题既是慢也是效果不好。近年短卷积、输出归一化与输出门控逐渐成为常用模块,即使较简单的线性注意力配合RoPE和简单decay,表现也能改善。她把RetNet、Lightning Attention等贡献的重要部分归于网络模块和衰减,而非改写核心更新规则;转录中的“Write to Light”按后续上下文只能暂记为待回听专名,不再把猜测写成确认纠错。

主持人追问“更新规则的大改进是什么”。杨松琳把自己的工作定位为用新算法释放旧技术的潜力:先让Delta Rule能够可扩展训练,再在NVIDIA实习期间的Gated DeltaNet中加入decay。她将Gated DeltaNet描述为DeltaNet与Mamba-2的结合:保留Delta Rule更新,同时引入类似遗忘门的衰减。有限状态若只添加、不遗忘,历史信息会不断争用同一空间;衰减提供主动降低旧状态占比的手段,但也会带来遗忘,不能写成容量因此被消除。

她转述Qwen团队的apple-to-apple比较:全局注意力混合、Mamba-2混合与Gated DeltaNet混合等方案中,后者表现最好并被采用。这是嘉宾对公开报告的概括,本期未给出模型规模、训练token、任务、指标数值或全部控制条件,因此不能泛化成Gated DeltaNet在所有设置下都优于其他架构。

KDA保留Delta Rule,改变的是衰减粒度。嘉宾以128个channel为例:粗粒度衰减让128个channel共享一个遗忘率,细粒度衰减给每个channel独立遗忘率,有的可更快忘,有的可更慢忘、承担相对长程的信息。她将KDA理解为GLA与DeltaNet的结合,将Gated DeltaNet理解为DeltaNet与Mamba-2的结合,差别主要在衰减粒度。此处的channel数是用来说明共享与独立遗忘率的例子,不是本期给出的KDA完整超参数表。

话题推进:主持人继续追问网络改进与算子改进的分界,嘉宾用状态转移矩阵把几类更新规则串起来。

00:16:36–00:23:28状态转移矩阵是更新规则的分水岭;算法与Infra必须共同设计

  • 你可以给大家解释一下就是这个更新规则的改进和模型架构的改进的区别是什么?
  • 能上算子上做一些改进,它需要什么样的背景啊?
  • 像你自己的话,是你本来是算法背景,然后你是自己后来就为了做这个研究,你学了比较多Infra的一些东西。

杨松琳把“网络改进”和“算法改进”分开:在输出端加门控,可以在原有GQA等算子外增加结构,仍用FlashAttention训练;更新规则则直接改sequence mixing核心。她的抽象是矩阵值状态的一阶线性递归,可概括为S_t = A_t S_{t-1} + 当前token带来的写入。A_t决定旧状态如何保留、衰减或修正,输入项决定新信息怎样写入;读取则由当前查询对状态操作完成。此处的S_t是矩阵状态,A_t不要与Full Attention的注意力权重矩阵混同。

按嘉宾的分类,基础线性注意力的转移结构是Identity;GLA/Mamba用Diagonal;DeltaNet是Identity plus Low-Rank;Kimi的新工作与RWKV-7采用Diagonal plus Low-Rank(DPLR)。这不是四种KV Cache大小或四种速度排名,而是四种旧状态变换方式。对角结构便于分维度衰减,低秩部分提供与当前输入有关的修正方向;KDA将Identity放宽为可学习的Diagonal。本文不据此追加“当前最强”或“维度间完全无交互”等节目未证明的总评。

主持人随后问,改算子需要怎样的背景,算法出身是否特别困难。嘉宾观察到算法研究者正在学习CUDA、Triton等GPU实现,Infra研究者也在理解算法,因为数学形式能成立并不等于硬件上能高效运行。她硕士时曾做上下文无关文法parsing,需要写CUDA在GPU上并行加速;后来做模型架构时,这类算子经验成为舒适区。

她将兴趣与斯坦福Hazy Research的hardware-aware风格相连:从FlashAttention、Mamba相关工作中看到算法与硬件协同的价值。主持人提到她与Tri Dao合作,嘉宾回答是Log Linear Attention。初稿把该处直接猜改为另一篇论文,没有材料依据,本稿撤销。

话题推进:弄清更新规则后,主持人回到实际模型:既然线性层高效,为何Qwen和Kimi仍保留Full Attention层?

00:23:28–00:28:35混合架构的原因:固定状态与随长度增长的状态,记忆容量和访存成本是一体两面

  • 为什么现在大家会采用这种线性和这个比如说之前的full attention混在一起的这种结构啊?就它不能就全部都用线性的原因是什么?
  • 在之前把线性注意力机制用到参数很大的模型上是有什么瓶颈吗?

程曼祺问为何不全部使用线性注意力。杨松琳的回答集中在长文本容量:每层线性RNN状态的尺寸固定,所有层加起来的状态总量不随序列长度增长。短文本可能尚可,长序列不断写入后,旧信息要被压缩、覆盖或衰减,无法像保留每个历史token那样逐一恢复。这是状态表示的约束,不只是显存数字小; Delta Rule改善有限状态下的写入与修正,并未把固定维度变成无限记忆。

Full Attention则把历史token的KV Cache视作可继续访问的状态,缓存随token数增长。嘉宾因此说其不受同类固定状态容量约束,但这不等于实际模型长文能力无限、检索永不失误,也不等于所有历史信息都能无损利用。代价是解码时需要管理和读取更多状态;她把这一过程描述为memory bound,强调从global memory读取状态的成本会随上下文增长。

混合架构因此在层间分配功能:部分Full Attention保留直接访问历史的路径,多数线性层控制状态增长和访存。它不能“同时保证容量与低成本”,只是把纯线性的压缩瓶颈和纯Full Attention的增长成本折中;保留的Full Attention层仍会增长,也可能成为多跳或长文任务的关键路径。

主持人接着以当时K2尚未使用线性注意力为例,问为何已落地的模型规模相对较小,是否存在大模型瓶颈。嘉宾把它解释为工业界先小后大的风险控制,而不是已经证明大规模可行:先在较小规模验证架构,避免直接投入昂贵训练。她转述Kimi在Reddit AMA对K3“很可能”使用KDA的回应,以及Qwen后续混合架构的信号,都属于当时的路线判断与预期,不写成已发布事实。转录中的80B、48B等参数数字与旧稿的外部更正不一致,本稿不选择一个数字冒充已核实,列入待核。

话题推进:与Kimi、Qwen“入坑”相对,主持人提出MiniMax从线性相关方案回到Full Attention的反向案例。

00:28:35–00:30:51MiniMax路线反转:普通评测接近,不代表多跳推理与真实Agent表现接近

  • 还有一个想聊一聊的动向啊,也是跟这个线性注意力有关的,就是MiniMax……它最近就10月27号发的这个MiniMax M2,他们又变回了就是Full Attention。就是我想知道就是比较关注线性注意力改进的研究员对这个变化有什么讨论吗?

程曼祺回顾MiniMax较早把Lightning Attention用到大模型,而10月27日发布的M2回到Full Attention,询问研究圈怎样理解。杨松琳用“一边往坑外跳、另一边急着往坑里跳”形容路线分歧,但这句比喻不是对任何公司技术能力的最终裁决。

她转述MiniMax预训练负责人的公开反思:Lightning Attention在部分指标上与Full Attention差别不明显,但在多跳推理等更复杂任务上暴露出差距。嘉宾认为,转录写作“MMRU”的这类测试偏短程in-context learning,较短窗口就可能完成,因而不一定能检验长程历史读取与多步信息连接。这里应保留其“评测敏感性不足”的论点,而不是把某个榜单一概说成无用。

多跳推理由此成为下一段的关键反例:当任务要求连接分散证据时,保留逐token访问路径可能比把中间内容压进固定状态更有利。主持人问的是研究路线,不是请嘉宾代替MiniMax披露完整内部决策;公司内部评估、工程成本和组织取舍均未由本期独立证明。

话题推进:嘉宾接着具体解释多跳推理为何困难,以及面对同一Agent目标,其他公司为何仍敢继续混合路线。

00:30:51–00:59:26连续对话 2

00:30:51–00:39:39多跳、状态压缩与稀疏路线:省计算读取、省缓存存储、保留任务能力是三件不同的事

  • 既然MiniMax认为Full Attention在Agent任务上效果更好,那么同样要开发Agent能力的Kimi和Qwen,打算如何用其混合架构解决这个问题?
  • 线性注意力在保证效果方面,现在是否已经解决得比较好了?
  • 从你的角度看,稀疏注意力和线性注意力的未来潜力有什么区别?

杨松琳以A到B、B到C、C到D解释多跳推理:Full Attention可直接建模两个位置的关系,多层传播适合连接这类链式证据。线性或混合架构中的RNN层若已把中间信息压入模糊状态,后续查询可能无法恢复所需中间环节,准确率因此可能下降。她把MiniMax回归Full Attention与其Agent目标联系起来,同时转述其对BBH等预训练评测与真实Agent表现关联较弱的反思。这里的A→B→C是机制示意,不是本期报告的实测任务与分数。

主持人追问Kimi、Qwen同样要做Agent,怎样解决这一问题。嘉宾只能推测各公司内部benchmark给了其信心,并补充MiniMax也仍在验证Hybrid。她认为Lightning Attention的粗粒度、输入无关decay较弱, MiniMax可能受挫于早期方案和评估不足;但她同时明确说“不确定为什么当时直接scale up”。因此,对MiniMax内部eval的批评必须作为嘉宾推测,而非公司事实。

对于“效果问题是否已基本解决”,她没有给出肯定结论,而是要求等待Qwen、Kimi更大规模、更接近旗舰的开源结果。她还提醒,公开可见的Kimi、Qwen推进线性路线,不等于全球只有两家研究;闭源公司无法观察,DeepSeek公开工作更偏稀疏注意力。

稀疏与线性的差别落在三件事。动态稀疏注意力保留全部KV Cache,每步只选择一部分历史状态参与计算,因此主要减少当次读取与计算,并未省掉总缓存。若相关位置选择准确,它有望接近Full Attention;若漏选,信息仍在但本次访问不到。线性RNN则把历史压到固定状态,总状态不随长度增长,却要承受压缩损失。嘉宾称单层潜力稀疏更强,是基于保留历史的安全感,不是端到端效果已经胜出。

她以常见的75%层替换为RNN为例:在层数与每层KV配置相同、只比较Full Attention层KV占位的简化口径下,KV Cache可减少约3/4,从而可能支持更大batch并提高服务吞吐。这里的“约3/4”不是整模型显存、时延或吞吐都改善75%,也不含线性层自身固定状态、模型权重和激活;batch收益还受调度与硬件条件约束。

多跳推理需要连接多个中间证据或关系的任务。它与状态追踪不同:前者强调读取并连接分散信息,后者强调按顺序维护变量或环境变化。
稀疏注意力从全部历史中选择一部分参与注意力计算。动态稀疏若仍保存全部KV Cache,主要减少当次读取,不等于减少总缓存,也可能因漏选丢失当次所需信息。
归纳偏见架构带给学习过程的先验偏好,例如更重视局部信息。它可能在有限数据下提高学习效率,也可能在数据与算力充足时形成限制;本期未给出通用排序实验。
状态追踪随操作或序列推进维护实体、变量或环境的当前状态,如代码变量值、网页Agent已执行步骤。理论表达潜力不等于训练后实际能力。

话题推进:成本对比之后,主持人提出极端假设:若算力与推理成本都不再是问题,线性注意力是否仍有存在理由?

00:39:39–00:47:33算力无限之后仍有两个假设:有限数据的归纳偏见,以及状态追踪的表达能力

  • 如果我们假设有无限算力且不在乎推理成本,大家还有动力去做非Full Attention的方法吗?
  • 你是指数据太少对Full Attention是个劣势?
  • 所以探索线性注意力,除了节省算力成本,也可能在数据少的场景下提升效果?

程曼祺问,若算力无限且不计推理成本,是否还需要非Full Attention。杨松琳把约束换成数据:全局注意力较弱的人工结构先验可能需要更多数据学习;线性注意力若带有局部性等归纳偏见,在数据受限时可能更易学习。主持人连续确认“是数据太少让Full Attention处于劣势吗”“归纳偏见是模型自己学的还是人给的”,嘉宾回答它是由架构注入的先验,并明确说若数据与算力都无限,她会直接选Full Attention。她推测后训练和RL数据更受限,混合线性架构可能在这些阶段体现优势,但没有给出对照结果。

第二条线是状态追踪,而非缓存大小。嘉宾提到Full Attention在电路复杂度讨论中的TC0,以及DeltaNet的NC1-complete,并坦率说自己不展开理论细节。她据此推测DeltaNet可能更擅长维护随序列变化的状态,减少把每一步都写成显式长思维链的需要。这个复杂度比较依赖具体理论设定,不能省略条件后写成“DeltaNet所有任务表达能力都强于Transformer”,更不能当作大规模Agent实证。

她用编程变量和网页Agent解释状态追踪:变量经多次赋值后,当前值是什么;Agent打开网页并执行后续操作后,已经完成哪些步骤、当前处于哪个环境状态。它与多跳推理不是同一能力:多跳侧重连接和读取分散证据,状态追踪侧重按顺序更新实体或环境。前者可能受固定状态压缩伤害,后者可能从递归更新获益,因此“线性注意力不利于Agent”与“递归必然更适合Agent”都过于简单。

嘉宾提到《Recurrence-Complete Frame-based Action Models》作为相关讨论,但主持人把“可能提升”复述成接近确定时,她立即说“很有可能”“还需要大规模验证”。她主张在预训练阶段就寻找能反映Agent能力的proxy指标,避免预训练、后训练、RL全部完成后才评估。主持人补充OpenAI DevDay的评测工具背景,嘉宾则把可靠评测视为架构迭代速度的前提;这些产业信息不是本轮独立核验的重点。

话题推进:主持人把“加先验”连接到The Bitter Lesson,随后又问DeltaNet署名争议;嘉宾分别给出研究判断和贡献边界。

00:47:33–00:51:51先验与scalable不互斥;并行化贡献与DeltaNet原始贡献分开署名

  • 关于模型是否要加入先验知识,AI领域一直有讨论,比如《The Bitter Lesson》就认为,通用、可扩展的方法最终胜过人为设计的复杂结构,你怎么看?
  • 你这里说的scalable(可扩展)的关键是什么?
  • 最近RWKV的创始人彭博说DeltaNet的credit应该给Jürgen Schmidhuber,对此你怎么回应?

程曼祺以The Bitter Lesson追问:人为加入结构先验,是否最终不如依靠更多算力、通用方法和规模化?杨松琳不试图给该文唯一解释,而是把可检验标准放在scalable上:先把方法做得能扩大,再用实验判断好坏,而不是只争论归纳偏见数量。

她所说scalable有两项:效率上能在大规模训练中保持硬件亲和,效果上不是只在浅层或小模型有效、加深扩大后失效。这个定义把前文的并行化与后文的评测连起来:高效算子使试验可做,规模曲线和目标任务评测才决定架构是否值得继续。

随后主持人提出RWKV原始智能创始人彭博关于DeltaNet credit应归Schmidhuber的说法。杨松琳回应,她没有宣称发明DeltaNet,论文沿用2021年名称并明确以Parallelizing为题;自己的贡献是让DeltaNet可扩展训练的并行算法。她还称与原论文作者之一Katsuki熟悉,对方认可她推广了该概念。这些有关他人态度和社交媒体争议的内容属于嘉宾自述,不应被写成各方已经共同确认的客观结论。她对该争议有明显情绪,本稿保留回应的实质,不用情绪替代贡献证据。

话题推进:贡献边界澄清后,访谈转向这项并行化工作如何形成:教育经历、合作网络、数值代数与长期思考。

00:51:51–00:59:26并行化研究的积累链:parsing与CUDA、跨机构合作、矩阵方法和转移矩阵累乘

  • 你是怎么关注到线性注意力这个研究方向的?你在哪个阶段开始关注注意力机制的改进?
  • 你有哪些合作者或一起学习的小伙伴?
  • 你的导师会给你哪些指导或建议?
  • 像数值代数这类数学知识,以及CUDA Kernel、Triton这些Infra能力,你是如何积累这些交叉能力的?
  • 改进DeltaNet使其并行化的思路是怎么产生的?难点是什么?

主持人按教育经历追问:2016年本科、2020年到上海科技大学、2023年赴MIT读博,何时开始研究注意力。杨松琳说硕士阶段已喜欢模型与“魔改注意力”,2023年才正式以此研究。她选择长文本效率,是因为认为Full Attention的相关问题难以轻易消失,同时其中有可探索的算法空间。

合作网络并不限于所在学校。她提到Hazy Research的Simran、Albert、Tri,微软亚洲研究院董力团队及RetNet一作孙宇涛,也提到与秦峥从知乎私信交流到合作线性RNN工作HGRN。主持人将其总结为跨机构、跨组织的青年研究网络,嘉宾解释同一学校未必有足够多同方向同行。具体人名中个别转写不清处不因熟悉领域就自行补全。

谈及导师,她先用“搞卡”概括资源支持,随即补充大方向建议的重要性:软硬件结合的算法设计与数值代数。博士生在细分领域可能比导师更懂,但导师仍能提供选题方向、算力和论文支持。她将主要idea归于自己,这是个人贡献自述。

这种积累并非到博士才从零开始。她硕士做过需要GPU并行的parsing;本科最喜欢线性代数,所用Gilbert Strang教材从空间与直觉切入,使她对矩阵产生兴趣;硕士“矩阵方法”课程又接触Householder与QR分解。她把兴趣、数值计算与并行实现看作长期串联的能力,而不是孤立的“交叉学科技巧”。

最后落到DeltaNet难点:线性递归若按序列逐步算,当前状态依赖前一状态;要沿序列并行,就要展开依赖,其中出现连续的转移矩阵累乘。若直接为每个位置物化大型矩阵状态和连乘,计算与I/O都可能成为瓶颈。DeltaNet的转移矩阵与Householder形式有关,使她能够寻找数值代数中的紧凑累乘方法。下一分钟她才解释真正打开缺口的WY表示。

话题推进:主持人继续追问这条数学联系如何被发现,嘉宾从“突然想到”还原成数月问题求解与已有知识汇合。

00:59:26–01:27:19连续对话 3

00:59:26–01:04:11从Householder累乘到WY表示:把连乘写成紧凑形式,再接回分块并行训练

  • 你是怎么发现(Householder累乘和DeltaNet并行化之间关联)的?
  • AI什么时候能像人一样有这种联想的能力?
  • (大模型)完全没有人参与也可以吗?如果只给它一个目标,就是说我想这个并行DeltaNet,它能做到吗?

杨松琳回忆,最初既不知道怎样高效计算Householder累乘,也不知道怎样与线性注意力的算法结合。关键线索是WY表示:经典数值线性代数把一串Householder变换的乘积表示成紧凑矩阵形式,使“逐个施加变换”与“成块施加”之间可以转换。她在节目中将这一发现概括为“把累乘变成累加”,因为这与线性注意力可累加的计算形式产生了连接。

严格说,不能仅理解为把任意矩阵乘法免费改写成加法,更不是简单把RNN循环改成for并行。并行DeltaNet论文将该递归重写为矩阵值RNN,利用广义Householder变换的紧凑WY表示,避免在并行训练时逐位置物化大矩阵状态造成高I/O,再接上分块策略。这个补充用于解释嘉宾所指的技术链,具体推导仍应以论文为准。

时间线显示不是一闪而过:她从2023年9月开始思考如何并行DeltaNet,到2024年3月左右才形成可做的算法。早期线性注意力分块算法工作加深了她对计算形式的理解;硕士课程里的Householder与QR分解则让她在观察转移矩阵时有了可检索的数学对象。主持人把它总结为“把过往积累串起来”,比单纯“灵光一现”更贴近嘉宾完整叙述。

程曼祺由此问,AI何时能把看似无关的知识联成新成果。杨松琳先猜当前模型在合适prompt下可能推出后续算法,主持人马上追问:若只给“并行DeltaNet”目标、完全无人参与呢?她转而提出可用RL和verifiable reward探索。这里要保留两个不同问题:沿给定提示推导,不等于模型自主发现值得连接的两个领域;存在可验证奖励提供训练信号,也不证明搜索一定能找到正确算法。她最后对AI能否超过人类及近年科学发现进展都明确不评论。

研究中的联想本例是把转移矩阵识别为可借用Householder工具的对象,再检索WY表示并推导结合。数月思考、分块算法经验和矩阵课程共同支撑,不是无来源的瞬间灵感。
FLA线性注意力开源小组与实现库,将多种算法、layer和高效kernel集中提供,并根据变长训练等用户需求迭代。
动态稀疏与Indexer动态稀疏为当前token选择历史位置;Indexer先估计相关性再取Top-K。选择粒度、读取效率、选择误判、梯度与总缓存是不同问题。
Fast Weight Programming把随输入快速变化的矩阵理解为可更新权重,在RNN视角下对应状态。它提供长上下文与持续学习的统一视角,但不自动解决容量、干扰、稳定性或旧知识保留。

话题推进:研究经历之后,话题转到另一项让算法可复用的工作:为什么把FLA当作产品和社区来维护。

01:04:12–01:11:24FLA作为研究基础设施:算法、可用kernel、变长需求与人才流动的连续链条

  • 你开始维护FLA(线性注意力开源小组)的契机是什么?可以分享一下过程中的故事或收获吗?
  • 像张雨(FLA核心贡献者),是你在做了FLA之后,他们关注到这个方向,所以她就加入进来了吗?
  • 所以张雨是先和你一起做FLA,然后才去的Kimi?
  • 这个方向在Kimi里面是谁来判断的?

主持人问FLA的起点及跨国、跨公司贡献者如何聚集。杨松琳说受到FlashAttention“作为产品运营”的启发:底层想法未必全部首次出现,但好用接口、实际kernel、社区互动和持续响应需求,使研究能被别人直接采用。她也承认FlashAttention可能难安装,重点不是包装,而是装上后确实好用并带来提升。

FLA试图补上线性注意力“论文有了、可靠实现分散”的缺口:在一个库里提供多种模型的Triton算子和layer实现,使用户能运行不同模型并有相应kernel支持。用户随后提出feature request,团队再迭代。变长训练是一个具体例子:不同样本长度不一致时,不能仅靠 padding后把填充当真实内容处理,实现需要正确支持样本边界;节目只明确说用户需求很大、团队决定全面加入,未展开接口或性能数字。

张雨的故事纠正了主持人“做了FLA后才被吸引加入”的猜测。两人早在2020年因parsing认识;张雨在苏州大学时维护Supa(苏大Parsing)库,代码清晰、并行实现高效。杨松琳因此在发起FLA时主动邀请她,认为她有写并行算法和kernel的潜力。按嘉宾口述,张雨后来是FLA代码行数与commit贡献最多的人。

主持人再确认时间顺序:张雨先共同维护FLA,之后才去Kimi。杨松琳说她先在各地实习,随后加入Kimi做相关项目。Kimi希望采用hybrid linear时,直接吸纳熟悉实现的人,形成“研究—开源实现—产业采用—人才加入”的链条。至于内部由谁作方向决策,她只听说可能是周欣宇(Tim),并马上声明自己不在那里工作、不太了解;本稿不把这一传闻写成组织事实。

话题推进:开源社区落到人才与实现后,主持人把视线拉回未来:线性与稀疏注意力各自还可能怎么演进?

01:11:24–01:21:11稀疏与线性如何继续混合:选择粒度、Indexer、缓存取舍与渐进架构验证

  • 再往下,整个注意力的演进趋势可能是什么样?可以分线性和稀疏注意力都聊一下。
  • 你觉得当前的注意力机制离你理想中设想的状态还差什么?
  • 现在大家在混的时候都是混的线性和Full Attention,而不是直接用线性混稀疏注意力的原因是什么?

杨松琳先梳理动态稀疏:每个token动态决定读取哪些历史位置,难点同时是选得准与硬件高效。她将NSA的block selection解释为一次选一个块,便于连续读取和计算,但整块未选中就可能漏掉重要信息。DeepSeek后续DSA取消块约束,改为token级非结构化选择。她举例:若预算为512个位置,直接挑512个token,比以block size 32挑16个块更灵活;主持人确认粒度更细,也更难实现。512与32是选择粒度的算例,不是端到端效果证明。

DSA的Indexer被描述为轻量的全局相关性估计模块,再为每个位置选Top-K历史token。嘉宾强调其可借助FP8矩阵乘法,因为选择阶段不需要对精度要求较高的Softmax指数运算。这里轻量不代表平方复杂度消失,Top-K选择也可能误判。她还转述从已有模型向稀疏方案迁移时用注意力分布蒸馏Indexer初始化,以及稀疏选择带来的梯度传递问题;节目没有展开完整训练配方。

稀疏路线遗留的存储问题仍然存在:如果只减少每步激活的历史而不丢弃KV Cache,总缓存仍随长度增长。主持人问是否有人在稀疏基础上进一步丢KV,她直接回答不确定。因此后文“线性+稀疏可降缓存”的设想需要更精确:减少线性层占比能降低一部分随长度增长的缓存,剩余稀疏层若仍保存全量KV,并没有从根本上消除存储增长。

线性方向则回到更新规则:除了Delta Rule,能否找到更有表达力又能并行的规则;已有变体包括加衰减、细粒度衰减、每步多次更新的Delta Product,以及尝试动态扩展状态等。个别工作名转写不清,本稿不猜成新术语。滑动窗口与线性结合的思路则保留近处原始token,把远处信息压入状态,与单纯依赖固定状态或全局缓存不同。

她下一步最想看到Sparse加Linear做通,例如DSA与KDA混合。但主持人追问为何不直接这么做时,她并未声称已经没有技术障碍,而是强调架构研究要渐进:先保留Full Attention验证线性部分,再替换为稀疏层,等更大规模混合模型验证后再动下一个变量。Qwen后续模型与K3被她视为观察窗口,而非已经完成的证明。

话题推进:具体架构路线收束后,主持人把问题扩大到预训练与RL之外:持续学习、权重记忆和上下文记忆会怎样演进?

01:21:11–01:27:19持续学习与Fast Weight:状态更新的更宽视角,愿景尚未等于可靠记忆

  • 更广泛来说,你现在比较关注大语言模型或者说预训练+强化学习这个范式再往下走的什么演进趋势?
  • 现在的模型的记忆,比如ChatGPT,它并不是内化在模型里面,是靠一些工程或者外挂的方式?
  • 如果模型能自己持续学习,岂不是上下文工程的空间就变少了?

程曼祺问,预训练加RL之后,在线学习、持续学习、自主学习等方向中她关注什么。杨松琳认为持续学习重要但路径不清,目前没有看到确定的有效方案。潜在收益有两类:不必每隔一段时间完整重训也能吸收外界新信息;模型通过持续交互形成个性化记忆,更好记住用户偏好与历史。

主持人以ChatGPT memory追问,当前记忆是否主要依赖上下文工程或外挂,而没有内化到权重。嘉宾将信息存放粗分为预训练压入FFN等权重、放入上下文供in-context learning使用,以及外部memory。她没有说所有产品记忆都采用同一实现,也没有断言权重与上下文可以无条件互换。主持人进一步设想持续学习会不会压缩上下文工程空间,嘉宾反而把“信息放权重还是KV Cache”保留为开放问题。

Fast Weight Programming在这一愿景中提供桥梁:把序列中的新token看作学习样本,用更新规则改变快速变化的weight matrix;从RNN角度看,这个矩阵就是随输入演化的状态。普通模型推理时slow weight固定,fast weight路径则允许状态或权重在处理token时更新。这样,前文的Delta Rule不只是省缓存技巧,也是“模型怎样从新信息学习”的一种具体更新规则。

但这条链仍有两个不能跳过的关口:把长上下文压进更紧凑矩阵,仍会遇到本期反复讨论的容量、干扰和遗忘;持续吸收新信息还要解决旧知识保留、更新目标、稳定性和评估。嘉宾说看好这条路,不是说已经解决长文本或持续学习。她也没有把ChatGPT一类现有memory直接等同fast weight。

节目最后,程曼祺回顾DeltaNet技术脉络、Qwen与Kimi应用以及并行化研究过程,并推荐此前讨论稀疏和线性注意力的103、104期及文字版。片尾为关注与分享信息,没有新的技术论据。

话题推进:节目结束;完整技术讨论至此收束。

以上是原对话的分段阅读。下面才开始提炼论证、解释机制并给出本文自己的判断。

主要论证:观点怎样由经历与例子支撑

DeltaNet重新受到关注,核心不是简单删除Softmax,而是更好的状态写入规则终于获得可扩展训练实现,并与现代网络模块组合。

杨松琳;本文补充机制边界 · 00:04:21;00:12:39;00:16:36;00:55:34;00:59:26

普通线性注意力把key-value写入压缩状态,Delta Rule进一步根据已有读出与新目标的差异修正映射,面向in-context retrieval。早期方案同时缺少短卷积、输出归一化/门控与高效训练。并行化工作利用广义Householder形式和紧凑WY表示,避免逐位置物化大状态造成的高I/O,使沿序列长度的分块训练可行。Gated DeltaNet和KDA随后再处理衰减及其粒度。

成立条件:并行算法解决训练可用性,不证明任何规模、任何任务效果都优于Full Attention;模块、更新规则和训练数据的贡献需要分别消融。

混合线性注意力与Full Attention是一种容量—成本折中,不是固定状态已经获得无限长文记忆。

杨松琳 · 00:23:28;00:30:51;00:39:00

线性RNN每层状态尺寸固定,历史持续写入后必然涉及压缩、覆盖或衰减;Full Attention为历史token保留KV表示,可直接访问但缓存随长度增长,访存成为解码负担。混合层保留部分直接历史访问,同时减少Full Attention层数。多跳推理反例说明压缩状态可能丢失中间证据,因此保留Full Attention不是冗余。

成立条件:具体效果取决于层比例、状态维度、训练方案、任务与硬件;“约省3/4 KV”只在75%层替换且同层配置的简化口径下成立,不等于全系统成本或时延下降75%。

稀疏注意力、线性注意力和Full Attention应按信息保留与读取方式比较,不能只按KV Cache大小排名。

杨松琳 · 00:37:07;01:11:24;01:16:08

Full Attention保存并读取全部历史KV;动态稀疏通常仍保存全部KV,只为当前计算选取一部分,减少当次读取但有漏选风险;线性RNN保留固定压缩状态,控制随长度增长的存储,却可能损失精确历史。稀疏在单层保留信息方面更有安全感,线性在状态总量方面有优势,端到端任务表现仍取决于选择、更新和训练。

成立条件:这是机制比较,不是同条件实验结论。若稀疏方法进一步丢弃或压缩KV,需另行评估;不能把它与本期所述保留全量KV的动态稀疏混同。

即使算力无限,线性架构仍可能因数据效率与状态追踪而有价值,但这两项都是待实证假设。

杨松琳 · 00:39:39;00:42:28;00:45:21

架构先验可能在有限数据下减少需要从零学习的结构,后训练/RL因此被推测为可能受益的场景;递归状态更新又被嘉宾连接到状态追踪,例如代码变量与网页Agent操作状态。但她也明确,无限数据与算力下会选Full Attention,状态追踪优势还需要大规模验证。多跳推理与状态追踪不可混成同一个“Agent能力”。

成立条件:需要固定参数、数据、训练预算的对照实验,分别测试数据曲线、精确检索、多跳与状态追踪;TC0/NC1-complete不能在脱离理论设定时直接预测训练后的实际成功率。

架构研究是否scalable,要同时看硬件效率与大模型效果,并通过渐进替换和早期评测控制变量。

杨松琳 · 00:32:02;00:35:11;00:47:33;01:19:55

并行kernel让新规则能训练,却不是充分条件;小模型或浅层有效可能在扩大后消失。MiniMax路线反转被她用来说明短程榜单不足,而Kimi、Qwen后续大规模模型被当作观察窗口。对于线性+稀疏,她主张先验线性+Full,再改保留层,而非同时改变多个核心变量。

成立条件:MiniMax内部评测与其他公司信心多属嘉宾转述或推测;真正判断需要公开控制条件、失败结果与目标任务证据。

Fast Weight把线性状态更新连接到持续学习,但从高效算子到可靠在线学习仍有明显距离。

杨松琳 · 01:04:12;01:21:11;01:25:13

随token更新的矩阵既可看作RNN状态,也可看作快速变化的权重,因此长上下文压缩与在线学习共享更新规则问题。FLA则将多种更新规则和高效kernel做成可复用基础设施,促进研究与产业采用。

成立条件:当前模型采用混合线性算子不等于实现持续学习;还需解决更新目标、容量干扰、旧知识保留、稳定性与评估,不能把愿景写成产品已具备的能力。

机制与术语:对象、输入输出和中间过程

Delta Rule怎样更新固定矩阵状态

【本文机制解释,依据嘉宾fast weight与key-value说明】输入为上一状态S、当前key k、value v及查询q。基础加法式更新把新的kv关联写入S;Delta Rule先用k检查当前状态已经给出的关联,再按目标v与旧读出的差修正S,最后由查询读取。这样处理的是同一key需要更新映射时的干扰,而不是只增加历史总量。Gated DeltaNet再加入衰减,KDA让衰减粒度更细。输出仍是有限状态支持的表示,并未恢复所有原始token。

失败条件:状态维度有限时,不同关联仍会竞争;衰减会忘旧信息;查询所需历史若已被覆盖,后续无法像Full Attention那样重新从原token读取。

对应节目:00:06:14;00:13:02;00:15:01;00:23:46

本文自拟示意,不是嘉宾实验

【本文自拟示意,非嘉宾实验】把S简化成两个key-value槽。第一次写入“城市A→编号1”,槽里保存1;后来同一城市要改为编号2。纯累加会在读取时混入旧的1,Delta式修正则先读出旧值,再朝新目标2调整。若槽数固定而城市持续增加,仍会互相挤占,所以Delta Rule改善写入并未取消容量约束。

递归能解码,不等于训练能沿序列高效并行

逐步计算时,当前状态依赖上一状态。沿序列展开后出现转移矩阵连乘;若每个位置都直接保存大矩阵,内存访问会抵消理论计算优势。并行DeltaNet把转移结构识别为广义Householder形式,以紧凑WY表示组织累乘,再配合分块算法,让训练在序列维度利用GPU而不逐步物化全部大状态。

输入是整段序列及状态更新参数,过程是紧凑表示、分块计算与反向传播,输出是可扩展训练的DeltaNet层。失败条件是形式与硬件实现不匹配、I/O过高,或只在 toy scale 有效;并行化本身不保证效果scalable。

对应节目:00:09:15;00:58:48;00:59:26;01:01:09

本文自拟示意,不是嘉宾实验

【本文自拟计算路径示意】若4步更新需依次施加A1、A2、A3、A4,递归写法是逐步读取并改写状态。WY思路不是宣称A4A3A2A1等于普通数字加法,而是把这串结构保存为少量紧凑矩阵,按块一起作用,避免为每一步都写出完整S。具体公式与复杂度以并行DeltaNet论文为准。

Full、Sparse、Linear的信息保留与推理成本

Full Attention保存每个历史token的KV,当前查询直接访问所有历史;动态Sparse保存全量KV但只激活Top-K或部分块;Linear把历史写入固定状态。输入相同时,三者分别面对访存增长、选择误差与压缩损失。混合架构在不同层组合这些路径,Full或Sparse层补充直接历史访问,Linear层减少增长状态。

失败条件:Full在大batch长文下访存与容量紧张;Sparse漏选关键token且总KV仍增长;Linear覆盖或衰减关键状态;混合中剩余全局层仍成为瓶颈。

对应节目:00:23:46;00:37:14;00:39:00;01:18:43

本文自拟示意,不是嘉宾实验

【本文自拟算例】假设40层的每层每token KV都占1单位,上下文10000 token。纯Full约400000单位;若30层换成固定状态、10层仍为Full,则随长度增长的KV约100000单位,另加30份不随长度变化的线性状态。若那10层改成仍保存全部KV的动态Sparse,总KV仍约100000单位,只是每步读取减少。此例不含模型权重、激活和不同层配置,也不代表时延同比例变化。

状态追踪与多跳推理是两个评测维度

多跳任务输入分散证据,要求读取并连接中间链;状态追踪输入连续操作,要求维护变量或环境当前值。Full Attention的直接历史访问可支持前者,递归更新可能为后者提供合适先验,但二者都可能受训练、压缩、检索和任务格式影响。

输出应分别评估最终答案、当前状态、操作合法性和长程退化,不能用一个Agent总分同时证明两种能力。理论复杂度分类只提供可能解释,不能替代这些测量。

对应节目:00:30:51;00:43:05;00:44:01;00:45:37

本文自拟示意,不是嘉宾实验

【本文自拟任务示意】多跳例子是读取“甲认识乙、乙持有钥匙、钥匙能开门”后回答谁的关系链能开门;状态追踪例子是x=1,执行x+=2,再把x乘3,最终x=9。前者考分散信息连接,后者考顺序状态更新。二者可出现在同一Agent任务,却应分别构造对照。

Fast Weight与持续学习的联系及断点

普通推理中slow weight固定,上下文或KV随输入变化;Fast Weight视角将随token更新的矩阵视为可学习权重,RNN状态成为一种快速权重。Delta Rule等更新规则由此不仅决定序列混合,也提供从新样本修改内部状态的机制。

若用于持续学习,输入是连续经验,过程是按目标更新状态,输出应同时保留新知识与必要旧能力。失败条件包括无明确学习目标、状态互相干扰、灾难性遗忘、更新不稳定和无法判断何时该记或忘。

对应节目:01:21:33;01:23:19;01:25:13

独立判断:这些对话改变了什么理解

本期最重要的架构判断不是“线性比Full便宜”,而是压缩表示同时改变学习效率、历史访问与状态更新,成本与能力必须从同一状态结构推导。

推理:固定状态一方面限制精确恢复历史,另一方面使每步状态读取不随序列增长;递归更新一方面可能丢多跳中间证据,另一方面又提供状态追踪先验。用统一“高效注意力”标签会同时漏掉这两种相反后果。真正应比较的是各任务需要保留什么信息、何时读取、怎样更新,以及这种表示能否通过训练学会。

竞争解释与边界:Full Attention也能通过层叠、位置编码与训练形成隐式状态处理,线性模型也不必然学会理论允许的更新;机制优势必须由同条件任务验证。

并行化是架构研究的组成部分,而非论文完成后的工程包装。

推理:Delta Rule在2021年已有,但递归训练若不能有效利用GPU,就难以用现代规模和真实任务检验。Householder/WY不仅缩短运行时间,还决定哪些更新规则能进入可实验空间。FLA进一步把可训练算法变成可复用组件,人才和需求再进入产业。这条链解释“旧想法重新变热”比单纯说算力变强更完整。

竞争解释与边界:高效实现可能让弱先验被更大规模放大,也可能让小规模结论在扩大后失效;所以并行化必须与效果scalable和失败评测一起判断。

“保留更多原始历史”与“更好利用历史”不能混为一谈,稀疏与线性的取舍因此不能靠单层直觉定胜负。

推理:动态Sparse保留KV提供安全网,却要求Indexer找到正确位置;Linear压缩后无法恢复原token,但可能减少不必要的全局搜索并提供递归先验。混合模型还引入层间分工:局部压缩是否帮助后续全局层,需要端到端测量。只按缓存或单层理论上限选架构,会遗漏选择误差、训练难度和层间交互。

竞争解释与边界:如果Sparse可靠找回关键证据且存储尚非瓶颈,它可能更实用;若长序列服务受存储与并发限制,Linear的价值会提高。线性+Sparse也不是自动兼得优点。

“有verifiable reward就能RL做出科学发现”把评价问题和搜索问题压成了一步,主持人的无人参与追问恰好暴露了这个缺口。

推理:并行算法的正确性与速度可提供反馈,但系统还要提出Householder这一候选连接、形成可执行推导、在巨大搜索空间中分配尝试,并在失败后改方向。给prompt完成推导、从目标自主发现方法、取得比人更好的研究结果是三种不同证据。可验证奖励解决“怎样打分”,没有单独解决“提出什么”。

竞争解释与边界:若候选数学工具已由文献检索和先验大幅缩小,RL可能较易搜索;真正困难的是开放式问题形成与跨领域候选生成,应另行评估。

持续学习愿景反而使固定状态容量问题更尖锐,不能借Fast Weight名词绕过。

推理:上下文持续增长与权重持续更新都只是信息存放策略;若权重尺寸固定,经验增加后仍需要选择保留、压缩和遗忘。FFN能吸收大量预训练信息不证明单用户在线更新也能可靠保留长期记忆,因为训练分布、更新次数、目标与访问方式均不同。

竞争解释与边界:外部检索、分层记忆、稀疏扩展状态或定期慢权重整合可能与Fast Weight互补;需要同时测试新知识获取与旧能力保持。

尚未解决的问题与可检验的下一步

待解问题:Delta Rule、衰减粒度与外围网络模块分别贡献多少,随规模是否稳定?

下一步信息或小实验:在相同数据、参数与训练预算下做基础线性、DeltaNet、Gated DeltaNet、细粒度衰减变体及模块消融;同时报告训练吞吐、I/O、检索、多跳、长文与真实目标任务,而非只报单个平均分。

怎样的结果会改变判断:若并行后各变体收益在大规模消失,或优势主要来自外围模块,应下调更新规则本身的重要性;若跨规模稳定改善目标任务,才支持其独立贡献。

待解问题:固定状态究竟在哪些长度、信息密度与任务类型下成为主要瓶颈?

下一步信息或小实验:控制状态维度与Full/Linear层比例,独立改变上下文长度、需要保留的键值数量、干扰项和证据距离,记录精确检索、多跳与状态追踪的退化曲线。

怎样的结果会改变判断:若扩大状态或调整混合比例能恢复全部任务,说明瓶颈可被工程设计缓解;若容量增加仍无法恢复某些精确关系,需重新检查更新规则与训练,而非继续堆状态。

待解问题:动态稀疏与线性混合能否在真实服务中同时改善效果和总成本?

下一步信息或小实验:比较Full、Linear+Full、Linear+Sparse与纯Sparse,固定训练条件,测不同长度和并发下的端到端准确率、总KV与线性状态、显存、首token与逐token时延、吞吐及Indexer漏选率。

怎样的结果会改变判断:若节省只在单层FLOPs而总缓存、调度或准确率恶化,应否定“做通即解决长文本”;若多个工作负载都有稳定帕累托改善,才支持该路线。

待解问题:数据效率与状态追踪的理论优势能否转化为预训练和后训练的实际收益?

下一步信息或小实验:绘制相同模型在多种数据量下的学习曲线,并分别构造精确多跳、变量追踪、网页操作状态任务;在预训练及RL阶段报告训练token、rollout量、思维链长度与成功率。

怎样的结果会改变判断:若只在特定合成任务有效、真实后训练无优势,理论叙事需收窄;若在相同数据与输出预算下稳定改善真实任务,才支持架构先验的实用价值。

待解问题:可验证奖励能否帮助模型独立复现Householder到DeltaNet的研究连接?

下一步信息或小实验:分别测试给完整提示、只给目标、允许检索与自主提出候选工具的设置,记录首次提出Householder/WY的时机、无效分支、推导正确率、kernel一致性与速度,并与人类研究过程对照。

怎样的结果会改变判断:若只能在提示给出关键数学对象后完成,证据支持的是推导而非自主联想;若从无候选提示开始也能反复独立发现且通过数值验证,才支持更强科学发现主张。

影响理解的转录疑点

优先精读00:16:36—00:47:33:先用状态转移矩阵区分更新规则,再理解固定状态容量、多跳反例、Full/Sparse/Linear不同的存储与读取成本,最后看数据效率和状态追踪为何仍是假设。第二段精读00:55:34—01:04:11,串起Householder、WY、分块并行和2023年9月至2024年3月的研究过程,并保留主持人对“AI自主联想”的追问。01:11:24—01:25:51用于检查线性+稀疏与Fast Weight的预测边界,不能当成已验证结果。

证据边界与资料索引

本页依据整期机器转录、官方节目介绍与章节逐段重建,未宣称逐字人工听审。说话人、专名、数字和时间可能存在识别误差;原声仍是最终核对依据。嘉宾关于公司、市场、研究、个人经历与未来的说法按口述保留,不自动等于独立核验的事实。

原节目:143: 阿里、Kimi都在用的DeltaNet是什么?|与杨松琳聊线性注意力新改进

本页使用的公开文字或字幕来源

返回顶部