成立 Oak Lab
Sutton 与 Khurram Javed 离开原先由 John Carmack 带领的小团队,创办 Oak Lab,公开追求一条“略有不同”的路线。
一条创业公告背后,是 Sutton、John Carmack、David Silver 三条“经验时代”路线开始分叉:争论的核心不是要不要强化学习,而是智能能否继续依赖离线批训练、数据回放和部署后冻结,以及一个终身运行的智能体究竟该怎样分配有限的算力、记忆与信用。
最容易产生的误读,是把 Sutton 的表态压缩成“RL 派反对深度学习”。公开材料并不支持这个结论:Oak 的实验仍使用 ReLU 网络、梯度与元梯度,OaK 架构也仍然要学习价值、模型、选项和规划知识。它真正否定的是一种默认制度——从人工整理的数据中做大批量优化,让所有能降低当前样本误差的参数都吸收信用,再把训练好的网络冻结后部署。
Oak 的科学赌注是:智能不是一个训练完成的模型,而是一套在运行时持续管理“写入什么、保留什么、忘掉什么、怎样验证”的更新过程。 Big World 假设给出为什么必须持续更新;IDBD / NetworkIDBD 处理信用应分给谁;batch-size-one 与事件驱动网络处理实时性和能耗;OaK / FC-STOMP 则试图把经验写回可复用的特征、技能与模型。它们组成的是一条连贯的研究路线,但尚未组成一个被完整验证的通用智能体。
Richard Sutton 在 2026 年 7 月 13 日发布的是一条单独的文字帖,没有图片、论文附件或连续自回复。帖子本身包含四层信息:
Sutton 与 Khurram Javed 离开原先由 John Carmack 带领的小团队,创办 Oak Lab,公开追求一条“略有不同”的路线。
Oak、Keen 与 David Silver 的 Ineffable 都把运行时交互经验视为智能产生并维持的来源,而不是只依赖人类整理的数据。
Sutton 认为当前深度学习方法对持续、实时地从经验中学习仍然脆弱而低效,不足以承载雄心更大的 AI。
帖子明确押注“根本性的新想法”和彻底重做,而不是在既有训练配方上做轻微调整。
回复区的大多数内容是祝贺与期待,真正有信息量的回复集中在几个追问:具体算法是什么、问题是否真的在反向传播、运行时学习能否写入结构而非只改权重、样本效率和真实时间效率哪个更重要、为什么创业公司适合基础研究,以及商业可行性在哪里。公开回复中没有看到 Sutton 进一步解释技术路线,因此答案必须来自 Oak 的官方研究页面、Sutton/Javed 既有论文和相邻团队材料,而不能从这条帖本身过度外推。
Khurram Javed 的 Big World 假设不是一句“世界很复杂”的修辞,而是一个资源约束:如果环境中与任务相关的细节始终多于智能体能感知、表示和计算的细节,那么再大的预训练也只能形成先验,无法提前枚举未来每个用户、设备、地点、磨损状态和偏好组合。
Javed 用家务机器人举过很朴素的例子:一台机器即使学会“洗碗”,也不可能在出厂前知道某个家庭如何摆放特殊杯子、哪扇阳台门轻微错位、洗衣偏好何时改变。更大的模型能覆盖更多常识,却不能消除新传感器、新故障、新用户习惯和其他智能体不断产生的长尾。
这带来一个比“模型够不够大”更尖锐的问题:在每一秒有限的计算预算里,智能体该把学习资源分给哪一小部分变化? 如果每个新样本都让整个网络做近似等价的密集更新,规模越大,运行时学习越不现实。Oak 因此把算法效率、信用选择和稀疏事件驱动视为同一个问题,而不是三个独立优化项。
把 Oak 官网、2026 年 7 月的技术文章和 Sutton/Javed 过去十余年的工作连起来,可以看到四个相互依赖的层次。它们不是已经封装好的产品架构,而是一条逐步逼近的研究程序。
Oak 最新文章区分了两类关联:可预测的关联可以在未来复用,不可预测的关联只是当前样本的噪声。普通 SGD 的目标是降低样本误差;只要某个参数对当前误差有非零梯度,它就可能得到信用。大批量 IID 数据通过平均化削弱噪声,但在单步、非平稳数据流中,智能体没有足够样本先做平均,也不能等数据集整理好再行动。
文章先构造一个线性数据流:4096 个稀疏二值特征中只有一个特征稳定预测目标,同时混入稀疏随机事件与方差为 5 的高斯噪声。SGD 会逐渐把不可预测波动写入大量权重;Sutton 1992 年提出的 IDBD 则给每个特征维持独立步长,用跨时间的梯度一致性调整“这个特征是否值得继续学”。直觉上,持续同向、能在后续样本中验证的更新获得更大步长,反复互相抵消的更新被降权。
非线性实验 NoisyMNIST 更接近视觉网络:28×28 的数字被放在 64×64 图像中央,数字只在 10% 的时间出现,中央以外有 1% 概率激活的随机像素,目标是奇数 +1、偶数 −1、无数字 0,再叠加方差为 5 的高斯噪声。一个含 10,000 个 ReLU 隐藏单元的网络用 SGD 训练时,输出权重会广泛增长;NetworkIDBD 则把高信用连接更集中地放在中央真实数字区域。这个实验支持“网络可以学习分配信用”这一局部命题,但没有证明它已解决复杂控制。
Oak 的目标是每次只处理刚到达的一条经验,不保存并反复重放原始数据。这样做不是为了追求一种形式上的“纯在线”,而是为了让学习延迟、存储和能耗随当前事件而不是历史数据集增长。官网进一步把它与事件驱动神经网络绑定:只有相关事件触发局部计算,未被触发的大多数网络保持静默。
这解释了 Oak 那句最激进的目标——让一个一万亿参数的智能体以 20W 实时学习和规划。即使每个参数只占 1 字节,一万亿参数也对应约 1TB 状态;若每一步都密集读取和改写全部参数,20W 目标在概念上就无法成立。因此,事件驱动不是后续工程优化,而是这个目标成立所必需的架构约束。不过 Oak 尚未发布这部分的完整技术报告,官网只标注“即将发布”,所谓多数量级节能目前属于待验证主张。
持续环境通常不可完全观测,智能体需要递归状态。传统 BPTT 要保存一段轨迹再反传,不是严格的实时一步更新;精确 RTRL 可以在线,却随网络规模快速变贵。Javed 等人的 columnar-constructive 网络通过模块化与阶段式构造约束连接,使精确实时递归学习的成本近似随参数线性增长。在 trace patterning 和 Atari 预测实验中,它优于截断 BPTT,但代价是限制函数类与网络结构。这说明“不依赖跨时间反传的实时递归”可以做成,不说明这种结构已能覆盖通用序列建模。
如果运行时学习只是在同一组权重上不停微调,它很容易陷入回复区提出的“没有结构写回”问题。Sutton 在 OaK 架构公开演讲中给出的答案更丰富:系统所有组件都持续学习;每个权重都有通过在线交叉验证元学习的独立步长;系统还循环创建新的时间抽象。公开摘要把这个循环写成 FC-STOMP:
Option 是带终止条件的时间延展策略,可以理解为可复用技能;option model 则预测执行该技能会到达什么状态、获得什么回报、花费多久。所谓“自我可验证”,重点不是让模型用语言宣布自己正确,而是让特征、子任务和技能落到未来可观察的信号上,由实际经验检验。Reward-Respecting Subtasks、STOMP、Horde 和 Alberta Plan 都是这条谱系的前置部件。
这组材料最需要避免的错误,是把不同强度的证据揉成一个结论。持续学习失败已有跨任务、跨设置的独立论文;单项算法有受控实验;完整 Oak 系统则还没有公开的综合基准。下面按“主张—证据—边界”拆开。
| 主张 | 公开证据 | 强度 | 不能推出什么 |
|---|---|---|---|
| 标准深网在长期连续训练中会丧失学习新任务的能力 | Nature 2024 的“loss of plasticity”研究覆盖 Continual ImageNet、CIFAR-100 与连续变化的 RL 设置;长期训练后标准网络可塑性明显下降,持续替换少量低效单元可缓解。 | 较强 | 不等于所有神经网络必然失败,也不等于灾难性遗忘与可塑性衰减是同一问题。 |
| 真实部署的小分布漂移足以破坏固定策略 | Physical Atari 用相机和机器人操纵真实手柄,设备成本低于 1000 美元并连续运行数周;作者报告训练与部署中的轻微物理差异会显著降低策略表现。 | 较强 | 只证明运行时适应值得研究,不证明 Oak 的具体算法已解决适应。 |
| 逐特征步长能减少对不可预测噪声的信用分配 | IDBD 的长期研究谱系,加上 Oak 的合成数据流和 NoisyMNIST 演示;NetworkIDBD 的权重更集中在真正含数字的区域。 | 中等 | 博客演示没有公开完整代码、置信区间、广泛基线和超参数敏感性,不能外推到通用控制。 |
| 逐特征步长可改善在线时序预测 | SwiftTD 结合 true-online TD、逐特征步长优化、过冲约束和步长衰减,在 Atari 输入流的未来回报预测上总体不劣于基线,部分游戏的终身误差低一个数量级。 | 中等 | 主要是预测与策略评估,不是长期、多任务、开放世界控制。 |
| 精确实时递归学习可以扩展得更好 | JMLR 2023 的 columnar-constructive 网络在受控结构下使 RTRL 成本近似随参数线性增长,并在 trace patterning 与 Atari 预测实验胜过截断 BPTT。 | 中等 | 可扩展来自连接约束,表达能力与广泛适用性仍是代价。 |
| 持续构造 reward-respecting 的 option 有助于规划 | Reward-Respecting Subtasks / STOMP 在网格世界等实验中学到比最短路、eigenoptions 或 option-critic 更有规划价值的时间抽象。 | 中等偏弱 | 证据环境仍小,尚未展示大规模真实世界中自动构造的稳定性。 |
| 完整 OaK 可以在 big worlds 中持续学习和规划 | 目前主要是 RLC 2025、MIT 2026 演讲摘要、研究计划及组件论文;未见统一端到端基准。 | 尚待验证 | 不能把架构图等同于已经工作的综合系统。 |
| 一万亿参数智能体可以在 20W 下实时学习 | 这是 Oak 官网明确写出的“holy grail”目标;事件驱动与局部信用让方向在逻辑上自洽,但详细实现仍未公开。 | 愿景 | 不能当作能耗测量、硬件方案或已达到的性能指标。 |
这张表给出的总体结论是:问题存在的证据最强,局部机制有效的证据次之,机制能否组合成 Oak 所承诺的完整系统最弱。 因此对 Oak 最合理的态度不是相信或嘲讽,而是要求它把组件整合后的终身性能、能耗和恢复能力做成可反驳的实验。
三家公司都接受“智能要从自己的经验中生长”这个母题,但公开材料显示它们把主要瓶颈放在不同位置。下表是外部归纳,不是三家发布的正式分类。
核心问题是:怎样在单条经验到达时,只给真正可泛化的局部结构分配信用,并以极低能耗持续学习与规划。
John Carmack 更强调把智能体放进有延迟、磨损、异步和连续运行的真实系统,让基准暴露算法在墙钟时间里的失败。
David Silver 的“superlearner”愿景同样拒绝依赖人类数据,但公开合作重点是让大规模 RL 的行动—观察—评分—更新循环获得更丰富经验和更强算力。
Carmack 2025 年的公开研究笔记尤其能说明分歧。他赞同在线经验的重要性,也认为标准方法在长期、多任务和真实时间里存在根本缺陷;但他明确怀疑完全不回放的流式 RL 能否在数天内学会多样任务。大脑也许不会重放原始像素,却存在独立的长期情景记忆;对机器而言,保存海量经验在工程上并非不可行。他甚至保留一个“苦涩教训”式可能:足够强的 Transformer 基础模型最终也许会吞并 RL 问题。
已经公开的具体部件包括 IDBD / NetworkIDBD 选择性信用、batch-size-one、事件驱动网络方向、columnar-constructive 实时递归,以及 FC-STOMP 的特征—子任务—选项—模型—规划循环。缺失的是把它们合成同一系统后的代码、规模曲线和长期控制结果。
不能这样概括。IDBD、NetworkIDBD、OML 等工作仍使用梯度或元梯度;Oak 批评的是标准损失与优化器把短期样本误差广泛写进参数、又依赖大批量平均和回放消噪。递归部分确实尝试避免 BPTT,但这不等于拒绝所有反向传播。
OaK 的目标正是结构写回:创建特征、定义可验证子任务、学习 option、学习 option model,再让规划组合这些对象。它比纯微调权重更接近可复用程序性知识;但自动创建和淘汰结构在大规模环境中的稳定性仍未证实。
这是一个错误二选一。真实智能体既不能浪费昂贵交互,也不能花几小时消化一秒经验。Oak 的主张只有在样本、墙钟、能耗、内存和响应延迟同时报告时才有意义;单独赢一个指标可以通过转移成本制造假象。
组织形式可以提供长期聚焦、紧密系统集成和更快实验循环,但这不是科学证据。Oak 是否比大学或大实验室更适合,只能由持续公开的方法、基准、代码和可复现实验来回答。
公开材料首先是一项研究计划,没有给出明确产品、客户或收入路径。若其技术成立,低功耗机器人、长期个人智能体和设备端适应都是自然方向;但“可能有用”不能替代当前商业验证。
如果基准仍然把固定数据集随机打乱、允许无限回放、训练完成后只测静态准确率,它会系统性偏向 Oak 正在反对的范式。一个真正区分路线的基准应当具备下面的协议:
不重置模型,不提供任务边界;相关特征、奖励函数、传感器噪声和用户偏好随时间缓慢或突然变化。
限制每步延迟、平均功耗、峰值内存与可保存历史;把 replay 的存储和读取也计入成本。
部分行动要经过多步才能验证,迫使系统学习时间抽象、长期信用与可检验的 option model。
同一技能离开后重新出现,既测遗忘,也测恢复速度;可塑性衰减与灾难性遗忘分别计量。
新任务共享部分动力学却改变表面观察,检验学到的是可复用结构,还是只记住最近输入。
引入手柄磨损、网络延迟、相机位置或 API 行为变化,让“运行时适应”不只存在于模拟器参数中。
对照组至少应包括:冻结的预训练模型、标准 SGD/Adam 在线更新、带回放的持续学习、continual backprop、稀疏/事件驱动网络,以及 Oak 的逐权重步长和结构构造版本。只有这样才能回答真正的问题:优势来自不回放、逐参数元学习、稀疏激活、结构构造,还是它们的组合。
在可重复、可并行、分布相对稳定的任务上,大批量训练和回放非常有效。Oak 的论点针对长期、非平稳、资源受限的 big-world 智能体,不应被扩大成对所有机器学习的否定。
回放可以提高数据复用和稳定性,生物系统也可能保留抽象或情景记忆。真正需要比较的是原始回放、压缩记忆、生成式回放与无回放在同一资源预算下的终身表现。
Oak 的多个组件仍依赖梯度;问题可能来自密集参数耦合、目标函数、优化器、表示陈旧、缺少结构构造,或这些因素的组合。把一切归咎于 backprop 会失去可检验性。
上下文学习、外部记忆、参数高效更新、稀疏 MoE 和持续预训练都可能吸收部分运行时适应需求。Oak 必须证明其更彻底方案在成本—能力曲线上确实占优。
NoisyMNIST 很好地展示选择性信用的直觉,却没有现实控制的多源非平稳性、长延迟回报和结构迁移。它是机制显微镜,不是产品压力测试。
参数规模、精度、激活比例、内存层级、更新频率和传感器/规划成本都未公开。没有这些条件,目标无法与其他系统做公平比较。
今天大多数模型比较都在某个冻结时刻截一张能力快照:参数多少、基准多少、推理成本多少。Oak 要求评价另一种对象——系统在几年经验流里怎样变化。对这种对象,初始能力不是唯一变量;学习速度是否衰减、错误知识能否撤销、旧技能怎样恢复、能耗是否随寿命爆炸,都属于能力本身。一个不会继续变好的高分模型,和一个起点较低但长期能稳定吸收经验的智能体,是两类不同产品。
把 Oak 的语言翻译成系统设计,梯度不是单纯的数值优化信号,而是在申请修改长期记忆。标准 SGD 倾向让所有相关参数共享写权限;IDBD 试图根据跨时间可验证性动态收回某些参数的权限;OaK 又把部分信息升级为特征、技能和模型。于是持续学习的关键不再只是“如何下降损失”,而是谁能写、写到哪一层、凭什么保留、何时被后续经验否决。这与数据库的写入治理、缓存替换和分层记忆有惊人的结构同构。
如果一万亿参数只是容量上限,而每个事件只激活极小子图,那么参数量不再直接等于每步计算量。这个目标逼迫系统具有极高的条件稀疏性、局部更新和分层存储;同时也要求学习规则能够在缺少大批量统计时保持稳定。换言之,Oak 不能先做一个密集算法再等待硬件优化,它必须从一开始让“哪些参数无需被访问”成为学习理论的一部分。
Oak 的即时局部更新、Keen 更开放的长期情景记忆、Ineffable 的大规模经验生成,可能分别对应不同时间尺度:毫秒到秒的快速适应、天到月的经验回访、跨环境的大规模技能发现。真正强的系统未必只选一个,而可能把原始经验、压缩情景、慢速参数、显式 option 和世界模型分层,用不同写入规则连接起来。Oak 的价值在于把最底层实时写入问题推到极致;它的风险则是把“无回放”过早变成教条。
即使 OaK 最终不是正确架构,它仍迫使研究者停止用静态准确率掩盖长期系统问题。把生命周期误差、恢复时间、能耗、内存流量和尾延迟放进同一张表,会改变哪些算法看起来“先进”。这比争论“深度学习是否走到尽头”更有生产力,也更容易被实验推翻。
本文优先采用当事人和机构的公开页面、论文原文与会议摘要。原帖只明确披露组织变化、共享信念和对当前方法的判断;关于 Oak、Keen、Ineffable 的路线差异是根据各自公开研究重点做出的分析。Oak 的事件驱动神经网络详细文章尚未发布,OaK 也没有公开完整端到端评测,因此节能幅度、一万亿参数 / 20W 和通用 big-world 能力均按目标而非结果处理。论文中的受控实验只支持其各自任务范围,不被外推为通用智能证明。