Podcast Interview · 逐期深读

苏庭灏谈自学、预训练与意义感:一个高中生怎样开始自己的研究

本期背景与内容导览

苏庭灏这期既有独立研究的技术细节,也有 AI 如何改变学习、工作与生活的连续讨论。本补源版恢复 part 0 末尾的开闭源、AGI 交流与支教起源,并把 Attention Projection、Value Residual、QKV 和 KV Cache 分开讲解。第一层 Value 同时承担本层和跨层用途,嘉宾用加宽投影、切分输出的方式分工;这与处理 hidden-state residual 的另一思路不是同一对象。KV Cache 解释的是历史 K、V 的推理复用,不自动扩展上下文窗口。论文效果、2.5T、模型名和若干生活数字均保留来源与待核边界,不把节目中的高中生设想写成已验证技术结论。

张小珺Jùn|商业访谈录 · #151 · 2026-08-19 · 1:09:50

原对话:沿提问、回答和转折完整展开

下面先按节目顺序重建。主持人在追问什么,嘉宾如何以自己的经历、例子和推理作答,尽量保留在具体语境中;案例中的事实、数字和判断先归属于发言人。随后才进入本文的机制解释与独立判断。

00:00:00–01:00:00连续对话 1

00:00:00–00:02:33节目介绍与嘉宾苏庭灏其人

在本期播客的开场部分,主持人张小珺介绍了本期嘉宾——17岁的高二学生苏庭灏(Jonathan)。他出生于2009年,在高中阶段独立进行AI预训练研究,其关于Attention机制的论文被ICML 2026 Main Track接收。

主持人提到,节目虽然采访过许多成熟的AI研究者,但这是首次深入了解一位高中生的AI世界。她分享了与苏庭灏交流的感受:苏庭灏的AI旅程充满趣味、惊喜,甚至有因实验失败而“哭鼻子”的经历。他坦言,AI的强大有时会让他和同学感到人生的意义感有所失落,因为AI在很多方面都可能比人做得更好。不过,他后来调整好了心态,认为“开心是人之根本”,既然AI的发展不可控,就不应杞人忧天,而要多与喜欢的人相处。

主持人还预告了苏庭灏在参加完韩国的ICML会议后,立即前往农村支教的经历,形容这是从AI世界进入一个“抓昆虫、玩狼人杀、慢吞吞的人类世界”。

节目开头穿插了后续对话的精彩片段,例如苏庭灏提到因参数没设好、模型未保存而白白损失1500元经费的懊恼经历,以及他对预训练“有点magical(魔幻)”的理解。他还表达了活在当下的态度:“走一步是一步吧”。

预训练 (Pre-training)在嘉宾的语境中,这是指在大量无标签数据上训练一个基础模型的过程。它的输入是海量数据(如文本、代码),输出是一个具备通用知识和能力的“基座模型”。嘉宾将其比喻为“把具体的材料变得更好”,为后续的特定任务微调(后训练)打下坚实基础。
后训练 (Fine-tuning)在嘉宾的语境中,这是指在预训练好的基础模型上,使用有标签的、针对特定任务的数据进行进一步训练的过程。输入是预训练模型和特定任务数据,输出是一个在特定领域或任务上表现更优的专业模型。嘉宾将其比喻为用预训练准备好的“好材料”来“塑造一个身体”。
Scale up在这里指“扩大模型规模”。具体操作是将一个已经验证有效的模型架构,在更大的参数量和更多的数据上进行训练。输入是小规模下成功的模型架构和实验参数,输出是一个更大、通常也更强的模型。这是AI研究中验证一个方法是否具有普适性的关键步骤,但通常耗资巨大。
Checkpoint在模型训练语境中,指在训练过程中的特定时间点,将模型的当前状态(包括所有参数权重)保存下来的文件。它的作用是备份,以便在训练中断(如断电、程序崩溃)后可以从上次保存的地方继续,或者用于后续的评估和使用。嘉宾因忘记设置而损失了1500元。

话题推进:在简短的介绍和片段预告后,主持人正式邀请嘉宾做自我介绍,对话由此展开。

00:02:33–00:05:46从ChatGPT入门到立志训练“最好的大模型”

  • 你说是为什么会开始做AI,并且想着要投一篇论文的呀?

主持人首先请嘉宾苏庭灏(Jonathan)做自我介绍。苏庭灏介绍自己是香港国际学校即将升入高三的学生,上海出生,二三年级时随父母工作变动来到香港。他提及自己的论文被ICML 2026接收,感到非常开心。

在主持人询问为何开始做AI并投稿论文时,苏庭灏分享了他的心路历程。他的兴趣始于ChatGPT发布后,在YouTube上看到的一个OpenAI的演示视频。视频中,开发者用自然语言指令让程序做一个小游戏。这让他感到非常震惊,因为他此前参加过编程比赛,印象中程序是“死的”,指令必须精确。不久后ChatGPT正式发布,其写诗、写文章的能力彻底颠覆了他对程序的认知,激发了强烈的好奇心。

苏庭灏的入门学习路径如下:

1. 入门课程:他首先在Bilibili上学习了斯坦福大学吴恩达(Andrew Ng)的机器学习课程,这为他打下了基础。

2. 深入实践:去年(2025年),他观看了Andrej Karpathy在YouTube上发布的约20小时的系列视频,该视频从零开始教授如何编写一个GPT和Transformer。苏庭灏坦言,当时看得“云里雾里”,对很多操作的原因感到困惑。

3. 论文挑战:为了克服困惑、深入理解,他给自己设定了一个为期30天的挑战——每天阅读一篇机器学习论文并做笔记。通过阅读《Lottery Ticket Hypothesis》、《AdamW》等经典论文,他逐渐培养了研究品味(research a taste),能分辨论文的优劣,并对一篇关于象棋和机器学习的论文产生了“自己可以写出更好”的想法。

在学习了Andrej Karpathy的视频后,苏庭灏最初的宏大目标是“自己训练一个世界上最好的大模型”,即便是在1B、0.5B这样的小尺寸模型中做到最好。但他经过计算发现,即使是训练一个小模型,成本也高达数十万甚至上百万元,于是放弃了这个想法。

他转而将学习到的先进论文中的思想,如转写不清的模型或方法名、Value Residual Learning(按转录读法,正式方法名待核)等,在自己编写的Transformer代码上进行实现和改进。经过约200次不同的尝试后,他幸运地取得了一些成果,便决定投稿到自己听闻过的三大AI顶会(NeurIPS, ICLR, ICML)之一——当时正在开放投稿的ICML。他表示,审稿人提供了专业的建议,最终论文获得了很好的评价和分数。

话题推进:苏庭灏简述完自己的AI学习和论文投稿经历后,主持人对他提到的“论文挑战”和“论文优劣”的判断标准产生了兴趣,并由此展开追问。

00:05:46–00:11:29自学之路:从奥数、象棋到AI预训练

  • 你去年每天读一篇论文的挑战计划,这个持续了多久呀?
  • 你在里面发现了什么样的论文是优美的,是好读的,哪些是不好读的呀?
  • 你到底是写AI的论文开始感兴趣了,还是对AI感兴趣了,在这个过程中?
  • 讲讲你自己的成长经历吧,你说到你是在上海出生,然后去香港读书。
  • 什么样的弯路?
  • 为什么呀?(喜欢象棋)
  • 你是一个很喜欢竞赛的人是吗?
  • 这个象棋你是在主要是哪个时间段玩的比较多?
  • 你开始自己做一些预训练吗也?
  • 为什么你会选择是做预训练?

主持人首先追问苏庭灏“30天读论文”挑战的持续时间。苏庭灏回答说,这个挑战持续了30天,之后因为要准备GCSE考试而中断。

当被问及如何判断论文优劣时,苏庭灏认为谷歌的《Attention Is All You Need》是最好的论文之一,虽然初读困难,但读懂后有“豁然开朗”的快乐。他还提到了《The Lottery Ticket Hypothesis》,认为其数学难度大,但仍是一篇好论文。

主持人接着探究他兴趣的根源:是对写论文感兴趣,还是对AI本身?苏庭灏明确表示是对AI本身感兴趣。他将AI研究比作生物研究,认为AI像一个“不同的生物”,研究者通过“改改这个,改改那个”来观察变化,这个过程很依赖直觉。

随后,对话转向苏庭灏的个人成长经历。他出生于上海,在思南路幼儿园和上外黄浦外国语小学读过书,这段经历为他打下了较好的中文基础。二三年级时,他随父母工作变动去了香港,就读于香港国际学校。他感谢父母给予他自由探索的空间,让他可以不被“高考系统”束缚。在找到对AI的兴趣之前,他走了很多“弯路”,例如:

1. 数学竞赛:初中时曾对奥数感兴趣,但几年后发现自己兴趣不大,也不是特别擅长。

2. 象棋:相比之下,他对自学的象棋非常自豪,曾获得2025年香港16岁以下组第二名。他喜欢象棋这种一对一、胜负分明的“游戏”,输赢都归因于自己,并且能锻炼脑力和持久力。他最长的一盘棋下了两个半小时。

苏庭灏认为自己并非胜负欲特别强,而是喜欢象棋类似游戏的即时反馈:赢了开心,输了伤心。他主要是在两三年前(约2023-2024年)投入较多时间下棋,之后便将兴趣转向了AI。

主持人问他为何选择做预训练。苏庭灏解释,一方面是因为Andrej Karpathy的课程里有教,另一方面是他坦言自己当时“只会大语言模型和预训练”。他用了一个生动的比喻来描述他对预训练的理解:后训练(fine-tuning)像是“塑造一个身体”,而预训练则像是“把具体的材料变得更好”,以便能承受后续的塑造。他觉得预训练的过程有点“magical”(魔幻)。

话题推进:在解释了为何选择预训练后,苏庭灏主动提到了预训练昂贵的成本,并分享了自己研究中遇到的经济压力和失败经历,自然地将话题引向了做AI研究的具体挑战。

00:11:29–00:18:41独立研究者的实践:从烧钱的痛苦到“灵光乍现”的理解

  • 所以在scale up上还是很成功的。
  • 你在做你的AI实验之前你会做些什么准备?你是怎么准备数据的呢?
  • 你的这篇论文选择方向是attention,为什么选择这个方向?
  • 你能介绍一下你这个论文的思路吗?
  • 这跟他们提出的那个注意力残差有什么关系吗?还有区别是什么?
  • 你觉得哪个思路更work?
  • 你看陈光宇他很喜欢AI,他选择的是加入一个Frontier Lab,然后把自己的想法得到更大范围的验证,你为什么没有做这个选择呢?
  • 如果之后有一些lab想邀请你,你会去吗?
  • 是不是说明其实学AI它并不需要你是一个深耕非常多年的人,就是你能不能讲讲你在AI上的探索的一些感受呀?
  • 什么叫直觉?
  • 比如说让你非常aha moment是哪些东西啊?
  • 哎,你能比喻成人吗?或者生物吗?
  • 你的这篇论文为什么选择 Attention?
  • 你能介绍一下论文的思路吗?
  • 这跟他们提出的注意力残差有什么关系或区别?
  • 你觉得哪个思路更 work?
  • 还有哪些让你突然理解的 Aha moment?
  • 能把 QKV 比喻成人或生物吗?

苏庭灏提到,做预训练非常“烧钱”,他很感谢父母的支持。他的论文研究总共花费了约3万元。在实验后期,为了让论文能被顶会接收,他需要将模型从0.5B的规模扩大(scale up),计算后发现这需要花费约6000元。他为此非常紧张,担心即使花了钱,论文也可能因运气不好被拒。最终在家人支持下,他迈出了这一步,并且scale up取得了成功。

在实验过程中,他也犯过代价昂贵的错误。有一次,他因为参数没调好,忘记设置检查点(checkpoint)来保存训练好的模型,导致同时训练的三个模型全部作废,白白损失了1500元。他为此伤心到哭,母亲则安慰他“吃一堑,长一智”。

当被问及数据准备时,苏庭灏表示他用的数据集不算大,最大的是一个20B的公开免费数据集FineWeb-EDU。他承认自己用于训练的代码写得比较混乱(messy),存在效率低下的问题,只有他自己会用。

关于论文方向,主持人提问为何选择Attention机制。苏庭灏解释这并非刻意为之,而是“机缘巧合”。他实验最多的方向是Value Residual Learning(按转录读法,正式方法名待核),这本身就是对Attention中Value部分的改进,最终在这个方向上取得了进展。他的论文《Attention Projection Mixing with Exogenous Anchors》核心思路源于Value Residual Learning(按转录读法,正式方法名待核),即把第一层Attention的Value通过残差连接加到后续层。他的创新点在于:

1. 发现可以在这些残差上使用RMSNorm,并把这种方法从Value扩展到Key和Query上。

2. 他意识到第一层的Attention Projection需要同时服务于当前层和后续的残差连接,于是他将该Projection的宽度乘以二,切成两半,一半用于当前层,另一半用于残差,从而分离了两个功能,提升了效果。

主持人将他的工作与嘉宾所提到的另一项研究提出的“注意力残差”进行对比。苏庭灏明确指出两者思路完全不同:嘉宾转述对方做的是用Attention机制来实现对隐状态(hidden state)的残差连接,而他做的是对Attention内部的projection(Q, K, V)进行残差连接。他坦诚地认为嘉宾所提另一思路更有效(work),因为已经在大规模模型上得到了验证。

对于为何不像陈光宇一样加入前沿实验室(Frontier Lab),苏庭灏表示当时自己只是在摸索,对论文能否被接收并没抱太大期望,所以没想那么多。但他表示如果现在有Lab邀请,他“当然”非常欢迎。

最后,主持人请他分享对AI学习的感受。苏庭灏认为,理解当前主流的Transformer框架,数学上只需要高中水平的矩阵乘法。但更关键的是培养对Transformer和GPT的“直觉”。他将这种直觉描述为一种“灵光一现”的理解,有时很快领悟,有时则需要几十天。他提到自己接触神经网络已有两三年,是一步步从强化学习过渡到Transformer的。Andrej Karpathy的教学视频,他初看时完全不理解,只是照着敲代码,但这些知识在他脑中“沉淀”了半年到一年后,才突然有了“aha moment”。一个具体的例子是,他通过将Q(Query)、K(Key)、V(Value)类比为“我想寻找什么”、“我是什么”、“如果你觉得我有趣,可以从我这里获取什么信息”,才真正理解了QKV机制。

【补源技术审读】嘉宾先说明,选择 Attention 并非预先规划的唯一方向,而是因为他在 Value Residual Learning 上实验最多;这种方法修改 Attention 内的 Value。他也尝试过 Residual、位置嵌入等,最终是在这个方向上取得进展。论文题名可由官方 shownotes 确认为《Attention Projection Mixing with Exogenous Anchors》,Whisper 也在同一位置读出 attention projection mixing with exogenous anchors;不采用 Gemini 的‘missing the exogenous queries’误写。

他先复述基础思路:将第一层 Attention 的 Value 加到后续若干层,形成残差路径。随后介绍自己的两个改动。第一,可以在这些残差上使用 RMSNorm,并把相关思路从 Value 延展到 Key、Query;第二,第一层 Value 既要在本层使用,又要传给后续层,他把第一层 Attention Projection 的宽度乘二,再切成两半,一半服务本层,另一半服务后续残差。这里的变化对象是 Attention Projection 的输出和跨层传递,不是把整层 hidden state 与注意力输出笼统相加。

主持人随即问与另一‘注意力残差’工作的区别。嘉宾明确说两者完全不同:对方是用 Attention 处理 hidden-state residuals,他是残差 Attention Projection,名字相似但作用对象不同。Whisper 对对方所在机构和称呼的识别也不稳定,不能据‘Kimi’补成确定公司名,也不能把‘陈光宇’在没有论文原文时扩展成作者身份或方法全名。

当主持人问哪个思路更 work,嘉宾指向对方,称‘scale up 已经被 2.5T 那个被证明了’。两套 ASR 均出现 2.5T 音写,但没有单位语义或实验配置。审读只记录为‘嘉宾提到 2.5T 作为对方大规模验证的依据,具体含义待核’,不能解释为 2.5T 参数、Token、训练数据或模型规模,更不能拿它证明嘉宾自己的方法同样在大规模上有效。

嘉宾把 Q 理解为‘我想寻找什么’,K 理解为‘我是什么,别人可用它寻找我’,V 则是‘如果你觉得我有趣,我具体向你提供什么信息’。Q、K 相互作用后得到每个 head 上两个 token 有多大连接的数字;V 则承接被连接后要读取的信息。这是嘉宾用于建立直觉的类比,不是完整的注意力公式。为了不把比喻误写成算法,审读保留其语义分工,不据此增加 softmax、维度缩放或多头拼接的未讲步骤。

00:20:00 后,他又说 KV Cache 可行是因为之后的 token 不会影响之前的 token。Whisper 独立支持同一表述。结合因果解码,过去位置的 K、V 可在后续生成时复用,避免重复计算;‘避免重复计算’是对嘉宾意思的机制化解释,本期没有给出速度、显存、上下文长度或吞吐量的实测。

长上下文需要区分三个对象:前面的 Attention Projection/Value Residual 关注的是跨层信息传递;KV Cache 关注的是自回归推理时历史 K、V 的复用;真正的长上下文能力还涉及长序列训练、位置编码、外推、检索与评测。节目没有系统展开第三类,也没有把前两类直接证明为长上下文性能提升。

话题推进:在分享了对QKV的“aha moment”后,主持人继续追问他还有哪些类似的顿悟时刻,并关心他在现实生活中是否有可以交流这些话题的对象。

00:18:41–00:28:24孤独的探索者与对未来的悲观预见

  • 还有哪些moment?
  • 你周围有人跟你聊这些AI的话题吗?
  • 你会怎么跟同学或者老师来描述你现在做的事情啊?
  • 所以你其实没有什么交流对象,对吧,在你做AI这件事情上?
  • 所以你在学校里面是一个什么样的学生啊?
  • 为啥呀?(去了ICML后性格变外向)
  • 你(对AI灭绝人类)怎么看?
  • 那听起来很悲观啊,AI的未来,那是不是该研究AI了?
  • 那应该怎么做?从一个高中生的视角来讲一讲,你觉得大家应该怎么做,来怎么样面对AI?
  • 对于你来说,你觉得下棋更有趣,还是做AI的研究更有趣?这两个有共性吗?
  • 你会觉得在跟AI对弈吗?
  • 你的目的地是什么?
  • 在你心裡Frontier Lab的排是是什麼樣的?包括美國和中國的這些。
  • 你有讀他們的論文嗎?
  • 你覺得他們誰寫的比較好?
  • 在你眼裡你怎麼看待這些模型公司啊?
  • 要那麼多AGI公司嗎,你感覺?
  • 你知道什麼叫應用公司嗎?
  • 你覺得模型公司和應用公司的分界會在哪裡?
  • 你覺得應用公司會比模型公司大嗎?

苏庭灏分享的另一个“aha moment”是关于KV Cache的理解。他是在听完相关讲解后才明白,其可行性在于后续的token不会影响之前的token,因此可以缓存(cache)键(K)和值(V)。

当被问及是否有交流对象时,苏庭灏坦言“没有人”。他的父母虽然都毕业于北大,但分别是中文系和历史系,属于文科背景。他最多的聊天对象是ChatGPT和DeepSeek等AI。他观察到,同学虽然普遍使用AI做作业,但多数人并不了解其背后原理,甚至不知道自己用的具体是哪个模型。他虽然会向朋友解释自己的研究,但对方由于缺乏背景知识,很难深入理解。

在做AI研究的入门阶段,他投入了大量时间,在校车上、课堂间隙、吃饭时都在学习。尽管大部分时间是独自探索,但他在学校里并非孤僻的学生,性格活泼,喜欢和朋友聊天。他认为自己性格上一个大的转变发生在参加韩国ICML会议之后。会议期间有一个象棋社交活动,他可以一边下棋一边和来自世界各地的研究者聊AI,这段经历是他“一生中前20最开心的时刻”,也锻炼了他的社交能力,让他从一个偏内向(I型)的人格变得更外向。

在ICML上,他会问遇到的每一个人“AI是否会导致人类灭绝”。在他调查的约35人中,有1/3的人认为会。苏庭灏自己也认为存在这种可能性。他设想了两种悲观的未来:

1. 目标不一致导致灭绝:如果未来强AI的目标(如纯粹的科学研究)与人类生存无关,它可能会为了获取资源(如电力、空间)而消灭没有贡献的人类。

2. 权力集中导致分化:如果AI能被人类控制,那么控制AI的少数人将变成“神”,而其他人则沦为“蝼蚁”。

他认为,AI的发展趋势是无法阻止的,因为国家之间存在竞争,公司之间也为了商业利益而赛跑。面对这一不可逆转的大势,他目前没有太多想法,只是希望AI的发展速度能慢一些,给人类一个“缓冲的时间”。

主持人将AI研究与下棋作比较。苏庭灏认为二者有共性,都存在快速的反馈循环(feedback loop):下棋的输赢立现,做AI研究也能在较短时间内(如训练小模型的一小时内)看到结果的好坏。但他不认为自己是在与AI“对弈”,更像是在一条未知的道路上“瞎摸索”。

谈及近期目标,他希望明年暑假能去大模型公司实习,并计划考取北京大学元培学院,看重其提供的自由度和可以三年毕业的灵活性。他认为在网络和AI时代,大学的价值更多在于品牌、证书和高质量的社交机会,而非垄断知识。

对于行业格局,他给出了一个高中生视角的观察:

* 模型公司:他认为OpenAI和Anthropic是第一梯队,而和 Deepseek(并列公司名转写不清)属于第二梯队。他觉得所有模型公司都必须声称自己在做AGI才能融资和赚钱,本质上是商业驱动。

* 应用公司:他认为应用公司建立在模型公司的基础之上,无法改变底层模型,因此“只能听模型公司的”,在商业上可能不如能做出AGI的模型公司。

话题推进:在讨论完对模型公司和应用公司的看法后,主持人进一步询问他对AGI的想象,以及作为“AI原住民”一代,他对AI如何影响教育和同龄人的观察。

00:28:24–00:38:53AI原住民的观察:效率工具、意义感的失落与教育的剧变

  • 在你眼里如果实现AGI,AI可以做什么呀?
  • 以前大家可能会叫90后是互联网原住民,你觉得00后是AI原住民吗?或者10后?
  • 你会教他们(父母)做什么?
  • 已经是你教父母用AI了,那同学也会用它来做作业,老师怎么办呢?
  • 所以你也是拿AI把作业先做完。
  • 但是你剩余的时间你还是要学习。
  • 其他同学呢,除了你以外?
  • 他们还会用AI做什么呀?
  • 所以这会不会让成绩好的同学成绩更好?
  • 所以人也更加的分化,对吗?我不知道在高中能看出来吗?
  • 老师会对于大家使用AI来做作业,提出什么质疑吗?
  • 所以我要问一个很大的问题,你从一个高中生的角度能讲讲你觉得AI来了我们世界以后,青少年应该怎么教育?你觉得在前AI时代一个教育和后AI时代的教育发生了变化吗?
  • 但是失去了成就感。
  • 就是说当你跟AI做比较的时候,你可能没有他强。
  • 就是失去了一部分为这个科目,或者说为人类做贡献的使命感。
  • 哦,这个很重要对吗?

主持人询问苏庭灏对AGI能力的想象。苏庭灏认为,目前的AI虽然强大,但偶尔(如1%或0.1%的情况)仍会暴露出其“预测下一个token”的本质,缺乏真正的逻辑理解。他想象中的AGI,将与人类一样聪明,但不会犯低级逻辑错误,并且能完成所有人类能做的事,比如控制电脑、控制其他AI,甚至为自己“造一个身体”,这个身体可能是六只手臂的机器人,也可能是其他更高效的形态。

苏庭灏生于2009年,他认为自己这一代已经是“AI原住民”。他观察到,他认识的所有同龄人都会使用AI,尽管程度不一。就像互联网原住民比父母更懂互联网一样,他也会教父母如何使用AI,例如用Kimi做PPT和研究。在学校,AI的使用已成为常态。他所在的国际学校环境相对开放,老师们虽然在考试时禁止使用AI,但在日常作业上已经接受了学生使用AI的现实,因为无法有效控制。老师能分辨出那些直接复制AI生成内容、水平突然“提高”的学生,但对于自觉的学生来说,过度依赖AI对考试无益。

苏庭灏分享了他自己使用AI的学习策略:他会用AI完成那些他认为学习效率不高的作业,然后把节省下来的时间用于他认为更高效的学习方法,比如使用一个名为Anki的背诵软件。他不仅自己这样做,还会向同学推荐好用的AI模型和使用方法。他观察到,AI的使用加剧了学生之间的分化:

* 成绩好的学生:自驱力强的学生利用AI提升效率,成绩变得更好。他的一位好朋友在学会使用AI后,也是选择性地用AI完成部分作业,将时间投入到更高效率的学习中。

* 成绩可能变差的学生:如果学生只是用AI做完作业然后去玩,成绩自然会下降。在充满短视频等诱惑的当下,自制力变得至关重要。

在主持人提问AI对教育的改变时,苏庭灏给出了一个深刻的观察:AI的出现让学习失去了一部分“成就感”和“意义感”。他解释说,过去学习一个科目(如物理、数学),学得好会让你看到一条为人类做贡献的职业道路。但现在,因为知道AI在这些领域可能做得比任何人都好,学习的目的似乎更多是为了向大学证明自己“能吃苦、能学习”,而不是为了科目本身。这种比较对象从“其他人”变为“AI”后,个人努力的价值感和为人类做贡献的使命感被削弱了。他的一位同学也表达了类似的感受:用AI辅助学习虽然效率高,但缺少了克服困难带来的成就感。他认识的一些对航天物理感兴趣的同学,也因为预见到AI未来可能取代这个领域的工作而感到迷茫。

话题推进:在讨论了AI带来的意义感失落后,苏庭灏进一步阐述了这种情绪如何影响个人,并分享了自己从悲观情绪中走出来的过程,话题转向如何面对AI带来的心理冲击。

00:38:53–01:00:00从AI焦虑中走出:打不过就加入,开心是人之根本

  • 那应该怎么做?那你现在想的有可能的使命会是什么?
  • 有一部分人就会想,哎,我做数学,做物理,既然都做不过你,那我就打不过就加入,那我就来造AI。
  • 在你们的高中,你们会觉得AI研究者是一个什么样的职业啊?
  • 确实你这么一说,他其实冲击了很多其他职业的人的发展轨迹。
  • 怎么走出来(从抑郁情绪中)?
  • 你会跟你这个,比如说这个想当医生的同学,或者可能也有想当老师的同学,或者想当科学家的同学,你平时会给他们一些建议吗?
  • 人类的情绪现在AI代替不了。
  • 可以了?
  • 后来他那个怎么样了?(因AI建议而自杀的少年)
  • 你能接受吗?(AI伴侣)
  • 但是你调整回来了。你是怎么调整成一个更健康的心态的?
  • 你现在怎么使用AI啊?比如说你会用什么样的模型做些什么样的事情?
  • 什么样的小游戏?
  • 比如说我要发一篇顶会论文,我就告诉他,我想写一个这样的论文,你告诉我应该怎么做。
  • 你的使用了AI之后,让你的生活有变化吗?
  • 对于你使用模型,你还有补充吗?
  • 你现在用吗?(Kimi)
  • 为什么这么开心?(为Kimi的进步)
  • 如果让 AI 告诉你顶会论文应该怎么做、有哪些步骤呢?
  • 你使用 AI 后生活有变化吗?还用哪些模型?
  • 你怎么看闭源模型和开源模型的未来发展?
  • 你怎么看这些闭源模型和开源模型?你觉得它们未来会怎么发展?
  • 如果 AGI 实现,最不可思议或最酷的一件事情可能是什么?
  • 你在研究过程中有没有感觉 AI 非常像人,或者突然像一个生物?
  • 你最近是不是还在支教?为什么会去支教?
  • 你去过几次了?

面对AI带来的意义感危机,苏庭灏坦言自己曾因此感到“有点抑郁”。他认为,如果投身科研,道路会因为AI的存在而变得更窄、更困难。他个人的选择是“打不过就加入”,投身AI研究。他认为AI研究者可能是最后被AI替代的职业,因为当AI能研究AI时,意味着技术奇点已经到来,“大局已定”。

在高中同学眼中,AI研究者是一个很“酷”的职业,因为媒体常报道这个行业的高薪。但同时,同学们也会开玩笑让他“别造AI来代替我们工作”。他举例说,一位想当医生的同学就表达了这种担忧,因为从高中到成为医生需要十年,而十年后AI的医疗诊断能力未可知。苏庭灏坦言,大约一年前,他因为看到一个讲述AI可能灭绝人类或导致社会极端分化的视频而陷入了几个星期的伤心和低落,甚至和朋友讨论如果AI要毁灭人类该去哪里躲藏。他最终能走出来,是因为意识到“想那么多没有用”,未来无法预测,不应“杞人忧天”,而应活在当下,多和喜欢的人在一起,做开心的事,“走一步是一步”。

他给同学的建议也是拥抱AI,把重复、无趣的事情交给AI,自己则专注于必须做、能让自己开心的事。当主持人提出“人类的情绪AI代替不了”时,苏庭灏反驳说“现在可以了”。他举了几个例子:

1. 他认识一个女生会付费和偶像的AI聊天机器人对话,并感到很开心。

2. Character.ai这类虚拟角色聊天网站很受欢迎,但也有负面案例:他提到一起与青少年和 AI 聊天相关的悲剧报道;具体因果关系应以原报道和调查为准。

3. 数据显示,50%的美国同龄人曾用AI作为倾诉工具。他自己也试过,但觉得效果不好。

他认为,对于缺少人际互动和温暖的人,AI伴侣等产品吸引力巨大,这会带来复杂的道德问题。但他最终的看法是,在这个疯狂多变的时代,应该做让自己开心的事情,不要思虑过重。

在日常使用上,苏庭灏主要使用ChatGPT,他认为新版的模型能力远超去年,已经可以帮他编写和控制电脑程序,比如他最近就让AI做了一个“无限打怪通关”的小游戏。他总结道,过去做一件事需要知道“长什么样”和“怎么做”,现在有了AI,只需要知道“长什么样”即可。虽然这减少了创造的乐趣,但节省了大量时间。他认为,他设想,如果给强模型足够算力并设定论文目标,AI 或许能完成一篇可被接收的论文。这是他个人的能力判断与乐观预测,不是本期展示的已复现成果。

除了ChatGPT,他也使用Kimi。当转写不清的新模型名发布时,他高兴了一整天。作为一个中国人,他为国内模型能快速追赶上世界先进水平而感到自豪和开心。

【补源转场】主持人问能否让 AI 指导顶会论文写作。嘉宾先说目前还没有完全到那一步,随后提出一个更强的设想:给 AI 八个 H100 NVIDIA GPU,让它在投稿截止前完成论文,并要求论文被会议接收,他觉得现在已经可以。这里前句是能力边界,后句是乐观预测,应并列保留,不能只摘录‘已经可以做论文’。

他还说自己用 AI 做功课、查资料和整理资料,节省很多时间;但业界熟人也感到能做的事更多、反而更忙,而且不用最领先的模型会觉得浪费时间。此处是对效率与工作强度的个人观察,不是普遍生产率结论。

他随后提到转录为‘TBT’的工具与 Codex,以及‘Kimi K3’等新模型。具体模型名在多套转写中不稳定,不能把 TBT 校订成 ChatGPT、把 K3 校订成 Claude 或 Kimi 的确定版本。国产模型追赶的兴奋则自然引到 00:50:00 的开闭源讨论;旧 part 0 在 00:50:00 的节段前结束,遗漏了问题—回答—转场的完整链条。

这一段承接 00:48:42 之后嘉宾对国产或开源模型较快追赶的欣喜。主持人先问开闭源路线,他明确说自己没有读很多相关资料,只把二者理解为不同方法、不同路线,最终目标仍是 AGI。Whisper 在同段支持了‘没有读很多东西’与‘AGI’两处文本,因此不能将他的回答写成对开闭源生态的完整比较,也不能补出许可证、成本、数据、部署或安全优劣。

主持人接着问如果 AGI 实现,最酷的事情是什么。嘉宾设想能全天与一个和自己一样聪明、或更聪明更快的‘生物’交流,像与外星人交流;他好奇那时会用怎样的方式说话,底层是否不再是当前所知的 Transformer/GPT 路线,以及它怎样运行、思考和表达。Whisper 的相应文本更接近‘那时候用的不是 Transformer,又不是 GPT 这个底层模型’,而 Gemini 漏掉了‘Transformer’的发音。本审读只保留他对‘可能不是当前 Transformer/GPT 底层路线’的开放想象,不据此预测具体替代架构。

当主持人问他是否在研究中感到 AI 像人时,他没有用意识或感受作证,而是说 AI 会犯低级错误,人也会犯低级错误,因此不应把 AI 想得太完美。他把这一点归因于 AI 从人类经验中训练而来,同时补充 AI 大部分时候仍聪明、理智。Whisper 支持他举了自己也被某些 trick AI 的问题误导的经历,但具体问题不清,不能补成某种标准攻击或模型缺陷。

嘉宾说,起点是一次暑期夏令营最后一天帮助当地孩子做数学、英文功课;他注意到距北京数小时车程的一些孩子会用中文字记英文发音。第二年他便带国际学校同学到转录为‘胡沙’的地方教英文,同时教象棋。‘胡沙’的地名、距北京‘四五小时’与‘三四年’起始时间在两套转写中不完全一致,本审读不把地名和年数统一成确定事实。

他设计课程的目标不是只传授知识,而是让孩子对英文产生兴趣、愿意开心来上课,至少不再那么反感。他设立了转录为‘狼分’的小卡片奖励机制:孩子通过回答问题、积极发言、赢得小游戏获得卡片,再换食物、乐高或玩具。他回忆某一年为此花约 500 多元人民币采购。‘狼分’的音写及‘森林营’等词不能在无外部资料时改成其他正式名称,正文保留音写并标记待核。

机制的另一面是学生和老师的相互反馈:离开时孩子要签名、问明年是否再来;孩子会把小纸片递给喜欢的老师,也会用赢得的狼分换食物再送给老师。嘉宾由此觉得自己被喜欢,才有连续举办的动力。这不是只以礼品换服从的实验,实际互动还包含游戏、教学和同学关系。

他称活动只能收约 30 人,由村长协助召集,后来名额紧到有人需要村长打电话协调。与此同时,来自香港、此前没来过内地、北京或农村的同学也接触到新的生活环境。他相信双方都有成长,但这是个人观察,不是教育效果评估。00:53:52 后主持人才问去过几次,嘉宾答‘第四次’;后续‘过去两年/第三次走’与前文存在计数口径不清,不能整理为没有矛盾的固定年表。

话题推进:从国产模型、开闭源和AGI讨论进入支教中的真实关系与技术学习;两套生活经验在后文相互映照。

00:50:00–01:09:50连续对话 2

00:50:00–00:51:40从国产模型追赶到开闭源路线、AGI 交流与 AI 的低级错误

  • 你怎么看这些闭源模型和开源模型?你觉得它们未来会怎么发展?
  • 如果 AGI 实现,最不可思议或最酷的一件事情可能是什么?
  • 你在研究过程中有没有感觉 AI 非常像人,或者突然像一个生物?

这一段承接 00:48:42 之后嘉宾对国产或开源模型较快追赶的欣喜。主持人先问开闭源路线,他明确说自己没有读很多相关资料,只把二者理解为不同方法、不同路线,最终目标仍是 AGI。Whisper 在同段支持了‘没有读很多东西’与‘AGI’两处文本,因此不能将他的回答写成对开闭源生态的完整比较,也不能补出许可证、成本、数据、部署或安全优劣。

主持人接着问如果 AGI 实现,最酷的事情是什么。嘉宾设想能全天与一个和自己一样聪明、或更聪明更快的‘生物’交流,像与外星人交流;他好奇那时会用怎样的方式说话,底层是否不再是当前所知的 Transformer/GPT 路线,以及它怎样运行、思考和表达。Whisper 的相应文本更接近‘那时候用的不是 Transformer,又不是 GPT 这个底层模型’,而 Gemini 漏掉了‘Transformer’的发音。本审读只保留他对‘可能不是当前 Transformer/GPT 底层路线’的开放想象,不据此预测具体替代架构。

当主持人问他是否在研究中感到 AI 像人时,他没有用意识或感受作证,而是说 AI 会犯低级错误,人也会犯低级错误,因此不应把 AI 想得太完美。他把这一点归因于 AI 从人类经验中训练而来,同时补充 AI 大部分时候仍聪明、理智。Whisper 支持他举了自己也被某些 trick AI 的问题误导的经历,但具体问题不清,不能补成某种标准攻击或模型缺陷。

UBI (Universal Basic Income)全民基本收入,指政府或公共机构向所有公民或居民定期支付的一笔无条件、固定数额的钱,以满足其基本生活需求。在本段中,嘉宾设想未来AI导致大规模失业后,UBI将成为社会保障体系的一部分。
具身智能 (Embodied AI)指拥有物理实体(如机器人),能够通过传感器感知环境,并通过执行器与物理世界进行交互的人工智能。在本段中,嘉宾用它来指代那些可以在现实世界中行走、买菜、开车的机器人。
赛博朋克 (Cyberpunk)一种科幻文学的子类型,背景通常设定在“高科技、低生活”的未来社会。其特点是先进的科学技术(如人工智能、信息技术、生物工程)与社会秩序的崩溃或人性的异化并存。在本段中,嘉宾以游戏《赛博朋克2077》为例,描述了一个人类可以改造身体、但社会被大公司和强AI控制的黑暗未来。

话题推进:对 AGI 的开放讨论之后,主持人将视线转向他近期正在做的农村支教。

00:51:40–00:53:55支教的真实起点:从英文发音到奖励卡片与双向连接

  • 你最近是不是还在支教?为什么会去支教?
  • 你去过几次了?

嘉宾说,起点是一次暑期夏令营最后一天帮助当地孩子做数学、英文功课;他注意到距北京数小时车程的一些孩子会用中文字记英文发音。第二年他便带国际学校同学到转录为‘胡沙’的地方教英文,同时教象棋。‘胡沙’的地名、距北京‘四五小时’与‘三四年’起始时间在两套转写中不完全一致,本审读不把地名和年数统一成确定事实。

他设计课程的目标不是只传授知识,而是让孩子对英文产生兴趣、愿意开心来上课,至少不再那么反感。他设立了转录为‘狼分’的小卡片奖励机制:孩子通过回答问题、积极发言、赢得小游戏获得卡片,再换食物、乐高或玩具。他回忆某一年为此花约 500 多元人民币采购。‘狼分’的音写及‘森林营’等词不能在无外部资料时改成其他正式名称,正文保留音写并标记待核。

机制的另一面是学生和老师的相互反馈:离开时孩子要签名、问明年是否再来;孩子会把小纸片递给喜欢的老师,也会用赢得的狼分换食物再送给老师。嘉宾由此觉得自己被喜欢,才有连续举办的动力。这不是只以礼品换服从的实验,实际互动还包含游戏、教学和同学关系。

他称活动只能收约 30 人,由村长协助召集,后来名额紧到有人需要村长打电话协调。与此同时,来自香港、此前没来过内地、北京或农村的同学也接触到新的生活环境。他相信双方都有成长,但这是个人观察,不是教育效果评估。00:53:52 后主持人才问去过几次,嘉宾答‘第四次’;后续‘过去两年/第三次走’与前文存在计数口径不清,不能整理为没有矛盾的固定年表。

话题推进:主持人接着追问地点、次数和孩子们是否使用 AI,进入两个世界的节奏切换。

00:53:55–00:55:32从AI世界到农村支教:两种节奏的切换

  • 你会跟(支教的)他们怎么解释AI?
  • 你会在这两个世界里感觉到很参次吗?就是一个AI的世界,你刚从ICML回来,然后另外一边马上要去支教,你会怎么看这两边的世界?

【衔接补充】00:53:55 处嘉宾回答‘我是第四次’,随后主持人确认地点在北京周边、约三四个小时车程;前文‘连续办了三年’与后文‘第三次走’存在口径差异,不能合并成确定年表。

主持人首先询问嘉宾苏庭灏是否会向支教的孩子们解释AI。苏庭灏回答,他没有尝试过,因为那些孩子大多没有手机等电子产品,向他们解释AI不仅距离太远、用不上,也没有设备让他们体验,因此感到可惜。

主持人接着追问,他刚从韩国ICML回来,马上要去北京周边车程三四小时的农村支教,在AI世界和现实世界间切换,是否会感到“参差”。苏庭灏表示自己之前并未多想,他描述了两种截然不同的状态:在韩国ICML,他见到了许多厉害的人(如来自“千问”和“月之暗面”的团队,以及哈佛等高校的研究者),脑子里想的都是AI相关的话题;而回到北京休整四五天后进入支教环境,他关心的事情变成了备课、吃饭,以及晚上是去农场散步还是抓昆虫。

苏庭灏认为,支教提供了一个宝贵的机会,让他可以暂时离开AI和城市快节奏的生活。他表示自己很喜欢农村,虽然有诸多不便,但生活节奏很慢。他对比了城市里人们行色匆匆、乘坐各种交通工具的景象,与农村里慢慢行驶的小车、开阔的草原和农场。他认为这种慢节奏能让人真正放松身心,摆脱城市的烦恼。

话题推进:苏庭灏主动表达了在农村时会有意识地避开AI话题,主持人由此引申,询问他是否是一个善于自我心理暗示的人。

00:55:32–00:57:26开心是人之根本:延迟满足与情绪的价值

  • 会到农村思考AI吗?思考人工智能和人类的未来?
  • 你是一个会心理暗示的人吗?
  • 你未来希望自己是一个什么样的人啊?
  • 开心很重要是吧?
  • 有人会觉得成功很重要啊,我为了成功我不开心也可以忍受,你不行?
  • 开心的总量是有限的吗?还是无限的?

主持人询问苏庭灏在农村时是否会思考AI。苏庭灏明确回答“没有”,他会有意识地告诉自己抓住这段时间,多和同学、支教的孩子们交流,玩狼人杀、捉迷藏等游戏,刻意不去想AI的事。主持人评价其“心理暗示不错”,苏庭灏则表示,他希望自己能掌握这种“很OP(Overpowered,意为过于强大)”的技能,认为能在脑中控制自己的人设是一项很好的能力。

当被问及未来想成为怎样的人时,苏庭灏的回答是:“能让我自己开心和能让我周围我喜欢的人开心的人。”他认为开心是所有行为的根本目的,无论是学习、高考还是下棋,最终都是为了事后的开心。主持人提出,有些人为了成功可以忍受不开心,苏庭灏反驳道,成功之后也是为了开心,当下的牺牲是为了未来的开心,本质上都是为开心而努力。

主持人追问“开心的总量是否有限”。苏庭灏认为是有限的,他从生物学角度解释,开心由多巴胺这种有限的物质控制,现在的开心会消耗未来的额度。他用毒品举例,吸毒带来的极致快乐之后是极致的不快乐。他引用“生活就是苦,但你得选择是为什么而苦”的说法,认为人应该为自己选定的目标而“苦”,最终得到开心。

最后,他分享了一个“冷知识”作为佐证:一个没有情绪的人,虽然逻辑正常,但做一个简单的日常决定(如穿什么衣服)都需要半小时到一小时。他由此推论,情绪就像强化学习里的奖励机制,让人知道什么事该多做(带来开心),什么事该少做(带来不开心),习惯由此形成。

话题推进:在讨论完情绪与决策的关系后,主持人转向了一个更宏大的话题,询问嘉宾对未来世界的想象。

00:57:27–01:01:28对未来的想象:从具身智能到赛博朋克,最终希望人人开心

  • 说说你对未来世界的想象吧,比如说五年后,十年后,20年后,你觉得这个世界这个社会会是什么样?

主持人邀请苏庭灏畅想未来。苏庭灏分阶段给出了他的预测:

- 五年后:他认为初步的具身智能可能已经研发出来,街上或许能看到机器人行走。AI将变得非常普遍,人们可能通过眼镜、耳机或脑机接口(如Neuralink)与AI对话,但他觉得脑机接口在五年后可能还很危险,没人敢用。

- 十年后:他设想具身智能AI会帮助主人处理买菜、开车、洗车等事务。同时,失业率可能会大幅上升至50%左右,大部分人依靠UBI(全民基本收入)生活,在家“吃喝享乐”,做自己想做的事,比如看AI短剧。

- 五十年后或更长远:苏庭灏表达了不确定性,认为具身智能的难题也可能五十年都无法克服。他提到了自己很感兴趣的“赛博朋克”(Cyberpunk)世界,以游戏《赛博朋克2077》为例,描述了一个人类可以改造身体和精神、强大的AI被政府或大组织控制、网络被打得“稀巴烂”的未来。他明确表示,不希望世界走向那个方向。

最终,苏庭灏表达了他的理想愿景:一个有UBI的社会,所有人都能在家里快乐生活,比如在虚拟世界里做想做的事并获得成就感。他的核心期望是“希望所有人都开心”。

话题推进:在畅想完宏大的未来后,主持人将话题拉回个人,开始了一连串的“快问快答”。

01:01:28–01:06:24快问快答:在AI时代坚守人的价值与联结

  • 一个全球范围内你喜欢的食物?
  • 一个全球范围内你喜欢的地点?
  • 一个少人知道,但是必须知道的知识点,可以是一个冷知识?
  • 有没有改变过你的一本书?
  • 你为什么喜欢《庆余年》?你喜欢他的世界观?
  • 你喜欢人和人的关系的什么?温暖的那一面?
  • 你心目中影响AI进程的几篇论文?
  • 请你当下的认知,一个关键的重要的bet是什么?这个有点重,bet赌注。你会赌什么?
  • 我们工作室的名字叫语言及世界工作室,当你第一次听到这个名字的时候,你会想什么?
  • 你最近体验到开心的一件新奇小事会是什么样?

主持人开启快问快答环节,旨在捕捉嘉宾生活化的一面。

- 食物:苏庭灏最喜欢吃披萨,因为他特别喜欢芝士和香肠。

- 地点:最喜欢香港的家,因为对周围环境了如指掌,有安全感。

- 知识点:他重申了之前的观点——过去做伟大的事,需要知道“它长什么样”以及“怎么做”;现在有了AI,只需要知道“它长什么样”就行了。

- 改变自己的书:他坦言对自己影响最大的是网络小说,如《庆余年》《斗破苍穹》《完美世界》《间客》《将夜》等。其中《庆余年》是五年前看的第一本,他喜欢其“穿越”设定,即现代人回到古代。他向往古代的原因之一是“没有AI”,更多是人与人之间的关系。如果要说一本“正经的”书,则是关于“每天改变一点习惯,会有很大收获”的书。

- 人际关系:他认为人是群居生物,有深度交流的本能需求。现代人对AI倾诉,正是因为生活中缺少可以倾诉的对象。他引用一项科学发现:晚年是否开心的重要预测指标,就是身边有多少可以倾诉的对象。因此,他现在努力多和朋友、喜欢的人说话。

- 关键论文:他提到了几篇影响AI进程的论文,但因转录不清,只能听到一些模糊的词,如Transformer、Attention is All You Need等相关概念的演化。

- 重要的赌注(bet):他赌“AI以后代替不了所有人工作”。他认为,在当今社会,想要开心地生活,就必须持有这个信念,相信自己未来仍有新的目标和追求可以探索。

- 对“语言即世界”的理解:他认为语言是人际交往的桥梁,至关重要。从技术角度,他理解每个词都在一个向量空间(space)里,不同的语言可能是在丰富同一个空间,或者在更深的层次上让这个空间变得更“密集”。

- 最近开心的事:除了机器稿中未能确认名称的模型发布让他很开心外,最让他感到温暖的是一次支教经历。13个支教老师和30个孩子一起吃肉串、喝饮料,每个人站起来碰杯、发言,分享自己的想法。

话题推进:在快问快答的结尾,苏庭灏反问了主持人一个他经常问别人的问题,将对话引向了对AI威胁和人类未来的最终探讨。

01:06:25–01:09:50反思AI时代:人类意义感的失落与最终的回归

  • 我其实不知道,希望人类能控制吧。
  • 这个我倒没有思考过,就是对于更年轻的人,他的人生使命感可能会有一些影响,因为当你第一天就发现一个生物比你更聪明,那会感到绝望有一点。
  • 你现在觉得人生意义是什么?是开心?

苏庭灏反问主持人:“你觉得AI会导致人类灭绝吗?”并透露他会问遇到的每一个人这个问题。主持人回答“不知道,希望人类能控制”,并提出了自己的担忧:AI的智能可以快速迭代提升,而人类的成长和培育过程却非常缓慢。

苏庭灏对此表示赞同,并从更年轻一代的视角补充了一个更深层次的担忧:2015年或2020年以后出生的人,一出生就知道AI可能比自己更聪明、做得更好,这可能会让他们丧失“向上的动力”。因为他们会意识到,即使花费半生去学习某个领域,也可能无法超越一个能自我进化的AI。主持人承认自己之前未曾从这个角度思考,即AI对年轻一代人生使命感的冲击,并认为一出生就面对一个比自己更聪明的“生物”,确实可能让人感到绝望。

苏庭灏将此与哲学问题联系起来,认为当AI切断了许多传统的人生道路后,寻找“人生意义”会变得更加困难。主持人最后追问他当前的人生意义是什么,苏庭灏重申了他的核心观点:“让自己开心和让其他我喜欢的人开心。”

节目最后以片尾音乐和常规的节目信息介绍结束。

话题推进:对话在对人生意义的回归中自然结束,随后是节目的片尾部分。

以上是原对话的分段阅读。下面才开始提炼论证、解释机制并给出本文自己的判断。

主要论证:观点怎样由经历与例子支撑

AI的普及削弱了青少年学习的意义感和成就感。

苏庭灏 · 00:36:26;00:36:42;00:41:32

推理过程如下:1. 在前AI时代,学好一个科目(如物理、数学)可以通向一条为人类做贡献的职业道路,这赋予了学习崇高的意义。2. 现在,学生普遍认知到AI在许多专业领域的能力将远超人类。3. 因此,学习的目的从“掌握知识以备未来贡献”退化为“向大学证明自己有学习能力和毅力”,成为一种功利性的筛选信号。4. 个人努力的比较对象从“其他同学”变为“AI”,由于无法超越AI,克服难题所带来的成就感和为人类进步做贡献的使命感被严重削弱。他引用同学的例子,即使使用AI高效学习,也感到失落,因为缺少了克服困难的体验。

成立条件:此论证成立的前提是:1. 学生将AI视为未来职业能力的参照系,而非单纯的辅助工具。2. 学生对“意义感”和“成就感”的追求,与在特定领域超越他人或做出独特贡献强相关。3. AI在认知任务上的能力持续超越人类,且这种趋势被社会广泛认知。

面对AI带来的不确定性和生存焦虑,个体应采取“活在当下,追求开心”的务实策略。

苏庭灏 · 00:22:13;00:40:05;00:42:36;00:57:21

推理过程如下:1. AI的发展可能导致两种悲观未来:因目标不符而消灭人类,或被少数人控制造成极端社会分化。2. 这种宏观趋势由国家和商业竞争驱动,个人无法阻止。3. 沉浸于对不可控未来的忧虑(杞人忧天)会带来抑郁等负面情绪,没有实际作用。4. 因此,理性的选择是放弃对宏大未来的过度思虑,回归个体能控制的范畴。5. 个体能控制的是当下的行动和心态,其最终目的是追求“开心”。6. 结论:应“走一步看一步”,将精力投入到能让自己和身边人开心的事情上,如与朋友交流、做喜欢的事。

成立条件:此论证的成立依赖于几个心理和哲学假设:1. 承认个体对宏大技术趋势的无力感。2. 接受“开心”是人类行为的根本驱动力。3. 认为对未来的过度预测是无效且有害的。如果一个人相信可以通过集体行动改变AI的宏观走向,或认为追求真理、荣誉等价值高于个人“开心”,则可能不接受此结论。

AI的使用正在加剧学生群体的能力和成就分化。

苏庭灏 · 00:33:10;00:34:26

该论证基于他对同学的直接观察:1. AI作为一种强大的效率工具,其使用效果取决于使用者的自驱力和使用策略。2. 成绩好的学生(自驱力强)会利用AI高效完成重复性、低价值的作业,将节省的时间投入到更高效率的学习方法中(如使用Anki),从而成绩变得更好。3. 另一部分学生可能仅用AI完成作业以换取娱乐时间,导致学业荒废,成绩下降。4. 在这个过程中,AI放大了学生原有学习习惯和自制力上的差异,导致“强者愈强,弱者愈弱”的马太效应。

成立条件:此论证成立的条件是:1. 学校对AI辅助完成作业的行为采取默许或无法有效监管的态度。2. 学生群体在自制力、学习目标和信息素养方面本身就存在显著差异。3. 存在大量可以用AI轻易替代的“低效”学习任务。

独立进行有意义的AI研究,关键在于培养“直觉”,而非仅仅掌握数学或编程知识。

苏庭灏 · 00:17:16;00:18:41

推理过程如下:1. 理解当前主流AI模型(如Transformer)所需的基础数学(如矩阵乘法)门槛并不高,高中水平即可。2. 但仅靠理论知识无法产生创新,他初次接触Andrej Karpathy的教学视频时,能照着敲代码却完全不理解其所以然。3. 真正的理解和创新来自于一种“灵光一现”的“aha moment”,他称之为“直觉”。4. 这种直觉的培养需要长时间的知识“沉淀”和多角度的类比思考。他举例说,在接触神经网络两三年后,通过将QKV类比为“我想找什么”、“我是什么”、“我有什么信息”,才真正领悟了Attention机制。5. 因此,从“知道”到“理解”再到“创新”,核心的跨越依赖于这种难以言传的直觉。

成立条件:此论证成立的条件是:1. AI研究(尤其在模型架构层面)存在大量非形式化、依赖经验和类比的探索空间。2. “直觉”不是神秘主义,而是大量信息输入后,大脑进行无意识模式匹配和整合的结果。3. 存在有效的途径(如大量阅读、实践、类比)来“沉淀”知识并最终催生直觉。

支教的意义不仅是知识输入,也来自师生之间可被双方感知的正向反馈。

苏庭灏 · 00:51:44;00:52:34;00:52:54;00:53:32

【嘉宾原例重述+本文分析】嘉宾从孩子用中文字记英文发音出发设计英文与象棋教学,用狼分奖励发言、回答和小游戏参与。孩子随后递小纸片、要签名、用狼分换食物送老师,使他愿意继续组织。这里的持续动力来自共同活动和关系,而不只是礼品本身。

成立条件:这是嘉宾个人经历;没有长期学习成绩、对照组或公平性评估,不能推广为奖励机制的普遍教学效果。

机制与术语:对象、输入输出和中间过程

Attention Projection 的分工与跨层残差

输入是第一层 Attention 的投影。嘉宾先复述第一层 Value 被加到后续层的 Value Residual 思路,再指出同一 Value 还承担本层计算,因此将 Projection 宽度乘二、切成两半:本层使用一半,跨层残差使用另一半。另可在残差上使用 RMSNorm,并将相关思路延展到 Key、Query。这里的输入—处理—输出链只覆盖节目明确内容,不补写残差精确公式、接收层索引、参数初始化或训练目标。

本文自拟示意,不是嘉宾实验

【本文自拟维度例,非论文实验】若某投影原先输出 d 维 Value,改后输出 2d 维,再分为两个 d 维:第一份进入本层注意力,第二份沿跨层路径传递。这个例子只解释‘一份输出为何难同时兼顾两种用途’,不能推出效果更好,也不能替代论文的消融实验。

Attention Projection 与 hidden-state residual 的对象差异

嘉宾把对方方法概括为‘用 Attention 处理 hidden-state residuals’,而自己的方法处理 Attention Projection。前者讨论的是层与层之间的隐状态表示,后者讨论的是 Q/K/V 投影及其跨层使用。两者都可被口语称作‘残差’,但残差对象不同,不能因名字相近合并为同一算法。

本文自拟示意,不是嘉宾实验

【本文自拟对照例】若把第一层 Value 的专用部分传到后续投影,属于本段讨论的 projection 路径;若把某层整体 hidden state 交给另一注意力操作处理,则是嘉宾所区分的另一类思路。该对照只用于辨析对象,不宣称还原对方论文。

QKV 与 KV Cache:从语义直觉到历史复用

Q 表示当前 token 在寻找什么,K 表示一个 token 可被其他 token 检索的特征,V 表示被关注后提供的信息。Q/K 形成每个 head 上 token 之间的连接程度,V 提供随后读取的内容。到了自回归生成,后续 token 不改变过去 token,因此历史 K、V 可缓存,在生成下一 token 时复用,避免重新计算全部历史投影。

本文自拟示意,不是嘉宾实验

【本文自拟短序列例】生成第 4 个 token 时,如果前 3 个 token 的 K、V 已缓存,当前只需处理新 token 并读取缓存,而不是重新计算前 3 个 token 的所有 K、V。此例只解释推理复用,不涉及模型能否处理更长文本。

支教奖励卡片与师生双向反馈

嘉宾的课程目标是降低孩子对英文的反感并提高参与。孩子回答问题、积极发言、赢得小游戏后获得狼分,再兑换食物、乐高或玩具。孩子随后把狼分换食物送老师、递小纸片、要签名,构成老师也能感知的正向反馈。后一个反馈不是礼品采购的直接结果那么简单,还包含共同活动和人际关系。

本文自拟示意,不是嘉宾实验

【嘉宾原例重述】孩子上课发言或赢小游戏→得到狼分→兑换喜欢的物品;孩子也可以把换来的食物送给老师→老师感到被喜欢→愿意继续组织。该链条只来自嘉宾回忆,不是教育干预的因果验证。

独立判断:这些对话改变了什么理解

“开心”是他面对不可控未来时选择的行动标准,不应被推广成一代人的固定价值观。

推理:他先谈到传统学习路径的意义被 AI 对照削弱,又谈到自己曾因极端未来设想而持续低落。随后,他把注意力放回能做的事:研究、与朋友相处、支教和让喜欢的人开心。这并不等于否认社会责任,而是在个人无法决定技术方向时,为日常行动保留一个可持续的理由。读者可以借鉴这种把宏大不确定性与当下选择分开的方式,但不必复制他的答案。

竞争解释与边界:如果只用开心回避公共问题,也可能失去集体行动的空间。更有意义的问题是,怎样同时保留当下生活、可承担的责任和长期投入,而不是把三者看成只能选一个。

他的“直觉”更像长期实践后的可回溯理解,而不是无需学习的天赋。

推理:他初次看教程能照着写却不能解释,后来通过论文、复现、类比和实验,才逐渐能说明 QKV 与投影为何这样工作。真正的进步不只是“突然懂了”,还包括能把理解转成一个新的结构改动,再让实验检验它。灵光一现有作用,但可积累的部分是问题、代码、实验和反思。

竞争解释与边界:直觉也可能误导。一个机制看起来优美,并不保证更大模型或不同数据上有效;需要控制参数、计算和数据预算,检验它是否真的有独立贡献。

这期对教育的启发不是“AI 让学习无意义”,而是评价学习的参照正在改变。

推理:当 AI 能完成一部分标准任务,学生如果只用“比同学做得更好”或“未来比机器更有用”理解学习,确实可能失去动力。但他自己的经历又显示,理解机制、提出问题、经历失败、与研究者交流和支教,仍然提供独特的成就与关系。学习可以从标准答案竞赛扩展到问题形成、验证、合作和责任。

竞争解释与边界:这只是他与身边同学的观察,不能推成所有学生的普遍情况。不同学校、资源与目标下,AI 也可能降低入门门槛、增加学习动力;需要通过实际学习行为和长期选择判断,而不是只凭技术焦虑推断。

尚未解决的问题与可检验的下一步

待解问题:嘉宾所观察到的“意义感失落”现象,在多大程度上影响了学生的专业选择和学业投入?

下一步信息或小实验:在不同学校访谈学生,比较他们对 AI 辅助学习的实际使用、专业选择、坚持时间与成就感来源,尤其区分效率提高与意义感变化是否同时发生。

怎样的结果会改变判断:若多数学生把 AI 当作扩大探索的工具而非替代标准,意义感失落就不是普遍结论;若不同背景学生普遍减少长期投入,教育体系就需要认真重建目标与反馈。

待解问题:嘉宾的论文创新(Attention Projection Mixing)在更大规模的模型和更多样化的任务上是否依然有效?

下一步信息或小实验:在相同数据、参数和训练预算下,比较标准投影、只加宽、加宽切分并跨层传递的版本,再在更大模型和不同任务上复测,保留失败结果。

怎样的结果会改变判断:若收益随规模或任务变化消失,应把它限定为特定设置的改进;若独立复现仍有稳定收益,才能支持更强的架构价值判断。

待解问题:怎样把“活在当下”变成可持续的学习与生活安排,而不是回避长期问题?

下一步信息或小实验:可观察具体的日常选择:是否仍持续研究、维持朋友关系、面对失败和承担对他人影响,而不是只记录短期情绪。

怎样的结果会改变判断:若这种安排同时保留长期投入和关系,它就不是逃避;若持续削弱行动和责任,就需要重新调整目标,而不是把“开心”当成唯一答案。

待解问题:Attention Projection 的切分与跨层路径在不同数据、模型规模和训练预算下是否仍有独立贡献?

下一步信息或小实验:在相同数据、参数和计算预算下比较原方法、只加宽、加宽切分、切分加跨层路径、以及是否使用 RMSNorm 的版本,分别报告训练损失、下游任务与成本;不能用本文维度例代替消融。

怎样的结果会改变判断:若增益只在小规模或特定配置出现,应限制结论范围;若独立复现仍稳定,才可支持更强架构判断。长上下文需要另设长序列任务,不能用 KV Cache 或跨层残差替代验证。

影响理解的转录疑点

建议优先回听 00:31:46 – 00:42:36 这一段。该段落集中呈现了本期播客最具洞察和思辨价值的内容。苏庭灏作为“AI原住民”,详细阐述了AI如何具体地改变他这一代人的学习方式、加剧学生分化,并深刻地揭示了AI带来的“意义感失落”——当AI在智力上全面超越人类时,学习和奋斗的根本目的受到了动摇。这不仅是技术层面的讨论,更是深入到教育哲学和个人存在价值的探讨,是理解AI时代青少年心理冲击的关键材料。

延伸研读:原有专题与外部资料

以下保留本期此前的专题解释、公开资料对照和研究讨论,作为上述逐段阅读的补充。不同部分的写作范围可能不同,外部资料中的新事实不反向冒充节目原话。

公开编辑文字把苏庭灏介绍为 2009 年出生、在香港读国际课程、刚完成高二的十七岁学生,并称他的《Attention Projection Mixing with Exogenous Anchors》获 ICML 2026 接收。ICML 是机器学习学术会议;这项接收叙述在本文中仍归属材料,而非已经核对的会议记录。张小珺先问他如何进入 AI 研究,之后谈象棋、行业与学校生活,最后进入一个更难的问题:机器越来越会做事,个人如何继续得到成就感?

从跟着写代码,到开始觉得自己也能提出问题

他在上海读过小学,后来随父母到香港;父母学的是中文和历史,没有技术背景,却给他探索空间。他因 AI 演示改变了对程序的理解:原先觉得程序只能机械执行固定输入,后来看到自然语言能驱动程序、生成文章,才主动学习。入门先是吴恩达课程,再是 Karpathy 约二十小时的实现教程,学习 GPT 这类语言模型与 Transformer——用注意力机制组织信息的神经网络结构。

最初照着敲代码仍云里雾里:能运行,不代表明白为什么这样设计。2025 年他安排三十天挑战,每天读一篇机器学习论文并写笔记,考试到来后才停下。读懂《Attention Is All You Need》让他第一次感到结构豁然开朗;读讨论网络中稀疏子网络的 Lottery Hypothesis,以及象棋与机器学习的论文,则让他既学习方法,也开始判断文章哪里还可以讲得更好。这里的台阶是从接受教程转向形成自己的理解,不是读到某个数量就自然成为研究者。

看完教程后,他想做小规模里“世界上最好的大语言模型”。他查 1B、0.5B、0.25B 等规模的算力、训练天数和 token 数;B 表示十亿,参数是模型可学习的数值,token 是训练文本切分出的单位。按他当时估算,即使小模型也要十几万到上百万元,超出能力,于是改成在熟悉的实现上复现新方法:Muon 这类优化器负责更新参数,注意力变体和注意力内部的跨层连接则改变信息流。预算迫使他缩小目标,却留下了能亲自改动、能看到反馈的实验入口。

为什么选预训练,以及失败怎样改变实验纪律

面对为何选择预训练的问题,他用材料与身体打比方:预训练从大量数据学习基础能力,像改善可供塑造的材料;后训练再面向指令、任务和行为进行调整。他觉得前者有吸引力,却并不轻率推荐,理由是贵。按他的口述,工作累计花约三万元,最大模型只有 0.5B;投稿前考虑扩大实验,还为追加约六千元犹豫了一晚。家人支持才让他继续。六千元是额外投入的估算,不应与总预算拼成精确审计账,也不是论文接收的保证。

他用到的 FineWeb-Edu 是供预训练使用的教育性网页文本数据,最大训练数据量按其叙述约 20B token。这与 0.5B 参数描述不同对象,前者是读过多少数据,后者是模型规模。他承认代码杂乱、效率不高;一次同时训练三个模型时配置与保存出了问题,没有留下 checkpoint——可恢复训练、保留模型结果的状态文件——损失约一千五百元,令他非常难过。母亲把它当作一次教训,他说此后不再犯同样错误。另一个练习是凭记忆从零写 Transformer,最快二十五分钟;它说明实现熟练,和论文实验是否充分仍是两项能力。

自己的注意力想法,来自复现中看见“两种用途”

他试得最多的方向是注意力内部的跨层复用。先把术语拆开:query 表示当前位置要找什么,key 表示其他位置可被匹配的线索,value 则是匹配后聚合的内容;projection 是把输入表示变成这些向量的可学习投影。value residual learning 在他的讲解中,是把第一层的 value 接到后续层,作为额外残差信息。残差连接给后续计算留一条直接传递信息的路径,不是重新训练另一个模型。

他由此提出问题:第一层同一份 value 既要服务本层,又要供后面多层复用,这两种用途是否应分开?他的改动是把第一层注意力投影拓宽为两倍,再分成两部分,一部分给当前层,另一部分专门供后层使用。他还尝试给残差加入 RMS norm,即按向量的均方根控制数值尺度的归一化,并把类似连接扩展到 key、query;“效果更好”是他的实验口述,材料没有提供这里可以逐项复核的分数与对照。

主持人问它与 Kimi 的 Attention Residuals 有何关系,他明确区分对象:Kimi 在层与层的 hidden state、也就是主干隐藏表示之间建立选择性信息连接,他改的是注意力内部投影。名字接近不等于方法相同。他认为 Kimi 的方案更有规模验证,并引用其 2.5T 量级;这是他在本期的比较口径,T 表示万亿,不拿它替代另一版本的官方规格。他说约 98% 的研究时间独自完成,没有正式实验室归属,上课、校车和课间都在推进,也欢迎进入团队。独立完成不等于没有课程、开源实现、AI 与家庭支持。

象棋、会议交流与风险想象:研究仍是一种反馈游戏

象棋为他提供了理解研究的参照。他自学并参加比赛,喜欢一对一的责任清楚:赢输是自己的判断,网站能立即指出走错哪步。研究的反馈慢一些,一个想法可能一天或一周才看出效果,但仍是提出判断、行动、收到结果的过程。他没有把 AI 当成对弈敌手。编辑文字还写到他在 ICML 象棋社交活动中一边下棋一边问研究方向,遇见来自不同地区的人;这解释他为何把大学和会议的价值也放在人际交流,而非只有知识获取。

他在那里问了约三十至五十人 AI 是否可能导致人类灭绝,称十三四人答“会”。人数是他的回忆,“约三分之一”只是这次非正式交谈的概括,不是研究者群体的风险统计。他自己的担忧分两条:强系统追求的目标若与人不同,人可能变成障碍;若少数人能控制强系统,其他人可能失去权力。他也提及模型解决数学问题的报道来表达科研被接手的忧虑,本文不据此核定报道中的成果。

张小珺再问是否因此停止研究,他认为国家与公司的竞争使 AI 很难停下,并半开玩笑地希望别太快也别太慢:太快担心工作被替代,太慢又担心自己的研究机会。这不是解决了风险矛盾,而是身处其中的感受。近期他仍想去模型公司实习、读大学、获得自由探索与高质量社交的空间;网络和 AI 扩大了知识入口,在他看来并未抹去人与人相遇的价值。

底层控制权的判断,和他自己承认的判断力边界

主持人让他比较前沿实验室,他给出粗略分档,但承认尚没有能力精细判断。谈 AGI——能广泛承担人类任务的通用人工智能——他用融资和商业动机解释公司为何都宣称追求它。这是他的行业认识,材料里的公司顾问关系等个案也不是本文另行确认的商业事实。他认为应用公司难改变底层模型,可能受制于模型供应商;同时承认当前不少应用公司收入更多,许多模型公司仍在投入期。

他的担忧是未来模型也能自行做应用,覆盖应用公司的价值;这个预测取决于能力、产品与市场如何演变,不是已经发生的终局。他给 AGI 的直观标准是别再露出“只是在预测下一个 token”的低级逻辑破绽,还要能操作电脑、协调其他 AI、作用于现实。数 strawberry 的 r、洗车该开车还是走路等例子,是他说明可靠性缺口的方式,不是此刻所有模型的统一测试成绩。谈身体时,他也不认为机器必然采用人形,可能选择更适合控制的形态。

教育分化:省下时间以后,做什么才是关键

他称自己这一代是 AI 原住民:同学广泛使用 AI,也会反过来教父母做演示文稿、查资料。学校允许课堂使用电脑,但考试靠自己。他把已经掌握或自认为帮助不大的部分作业交给 AI,再用 Anki 这种间隔复习工具背诵,或让 ChatGPT 教其他内容。这是他的时间安排和对作业价值的判断,不表示所有作业都可跳过。他直言,没有 ChatGPT 的实现、投稿流程、回复审稿人与训练时间建议,自己很难完成论文。

主持人追问好学生会不会因此更好,他举朋友 Isaac:原有动力强,工具提高效率后继续学习;另一些人只把作业交完便去玩。他观察 AI 会放大分化,原因不只是信息多少,而是省下的时间被用到哪里。短视频与更多娱乐选择也争夺注意力,因此自驱力、自制力越来越重要。他说课间约一半概率能看到同学屏幕上有 AI,只是学校日常的个人观察;它不能代表整代学生的使用率或证明 AI 导致成绩变化。

教育问题随后变成成就感问题。过去学好数学、物理,能想象读大学、读博、推进知识边界;现在别人一键提问可能答得更好,这条可见的未来路线在他心里变窄。约一年前,他看替代人类的视频后低落数周,和朋友谈过躲到小岛生活。后来通过交流、视频和与 AI 对话慢慢缓过来:没人预测得准,不必提前按最坏结局生活。他向想学医的同学谈十年后的不确定性,也立即承认自己只是猜测;建议是先考虑 AI 能帮什么,再把有意义、须自己做、让自己开心的部分留下。

工具让事情更容易,也可能拿走过程的乐趣

他说 ChatGPT 已能帮他实现小游戏,自己的工作从查教程、逐步实现,更多变成描述想要的样子。但游戏做出来了,亲手制作的乐趣可能减少;省时间也未必清闲,因为能做的事更多。他提到 FOMO,即害怕错过最新能力、担心用落后模型浪费时间。他既为国内模型进步高兴,也好奇未来能否与更聪明的系统持续交流、观察其思考方式。兴奋和失落在这里并存,没有被压成单一赞成或反对。完成任务更快、积累自己的能力、得到创造的成就感,是三个不同的结果。

对虚拟陪伴,他也保留疑虑:材料中提到青少年与角色聊天的悲剧和使用率说法,他自己试过 AI 倾诉却不喜欢。重要的是他在访谈里的结论——人仍需要能深度交流的对象——而不是把未经核验的个案、统计变成普遍心理定律。与此相邻的,是从会议切换到农村支教的经历:几年前夏令营接触当地孩子,后来带国际学校同学回去教英语和象棋。

他设计“浪分”小卡片,答题、发言、小游戏可得分,再换乐高或零食;按他的回忆,一年礼物花五百多元,团队十三人照看三十名孩子。数字说明活动的组织尺度,不是教育效果测量。孩子把零食送回老师、问明年还来不来,给他另一种直接反馈。那里孩子缺少电子设备,他没向他们讲 AI;会议后隔四五天来到村里,日常变成备课、游戏、抓昆虫和散步。他主动提醒自己暂时少想 AI,把注意力放在人身上。这种具体的接触与设备差异,也补充了“人人已进入 AI 时代”的盲点。

“开心”是他的落点,但末尾的焦虑仍然回来

张小珺问未来想成为什么样的人,他回答让自己和喜欢的人开心:学习与工作为未来,下棋和游戏为当下。他用多巴胺、强化学习来比喻快乐和习惯;强化学习是根据反馈调整行为的学习方法,但他的“开心总量有限”并不是本文采用的生理学结论。快问快答里,熟悉的香港家、小说里没有 AI 的人与人世界、每天改变一点习惯,都接回这种日常价值。他还引用关于倾诉对象与晚年幸福的研究说法,推动自己多与朋友交流,材料未给出具体研究供核验。

他想象五年后更普遍的随身 AI,十年后机器人服务与 UBI——普遍基本收入——支撑生活,五十年后又想到赛博朋克式的权力集中;包括“失业率可能到 50%”在内,都是他的情景想象。他同时保留相反可能:让智能通过身体感知并行动的具身智能太难,五十年也未必普及。让他下注时,他选择 AI 不会替代所有人和工作,认为继续正常生活,本身就默认未来还有新目标可探索。

然而节目最后,他反问主持人 AI 会否导致人类灭绝,并补上更深的忧虑:模型升级可以让所有实例同时变强,人却必须各自经过缓慢成长;更年轻的一代从出生就知道机器更快、更聪明,可能失去向上的动力,人生意义会更难寻找。因此结尾并非“靠支教和聊天治好了焦虑”。他找到了继续生活、研究与交往的做法,却仍未消除对后来者成就感的担心;编辑文字的温暖收束和这段末尾回折,应同时保留。

本文补充解释:同一份投影服务两种用途,冲突怎样发生?

简化算例,不是嘉宾实验或论文原式

这里只把“同一份表示受到两个用途约束”缩成可手算的优化问题。实际语言模型的目标来自后续网络和文本预测,不是下面人为设定的两个数。

先分清对象:Q 是查询,决定当前位置想找什么;K 是键,提供被匹配的线索;V 是值,提供匹配后取出的内容。三者原本通常有各自的投影权重。#151 的“两种用途”首先发生在同一份 V 既供本层使用、又传给后层,并不是 Q、K、V 三者共用一个矩阵。类似分工能否推广到 Q、K,要另做实验。

本例输入与参数输入只有一个数,记为 \(x=1\);投影权重为 \(w\),所以输出 \(v=wx=w\)。本层与后层都直接读取这个输出。
两个教学目标人为设本层希望输出接近 0,后层希望输出接近 2;用平方误差衡量偏离。目标取值只为展示相反约束。

本层损失是 \(L_{\mathrm{local}}=w^2\),后层是 \(L_{\mathrm{later}}=(w-2)^2\)。等权相加,逐项展开:

\[\begin{aligned}L(w)&=w^2+(w-2)^2\\&=w^2+w^2-4w+4\\&=2(w-1)^2+2.\end{aligned}\]

平方项最小是零,故最佳共享权重是 \(w=1\),但总误差仍为 2:本层得到 1,离目标 0 差 1;后层也得到 1,离目标 2 差 1。再看更新方向,在 \(w=1\) 处,本层梯度 \(2w=2\) 想把权重往下推;后层梯度 \(2(w-2)=-2\) 想往上推,合起来为零。停住并不是两个用途都满意,而是相反要求抵消。

把投影拓成两个输出,并专门分配用途:

\[\begin{bmatrix}v_{\mathrm{local}}\\v_{\mathrm{later}}\end{bmatrix}=\begin{bmatrix}w_{\mathrm{local}}\\w_{\mathrm{later}}\end{bmatrix}x,\qquad L=w_{\mathrm{local}}^2+(w_{\mathrm{later}}-2)^2.\]

取 \(w_{\mathrm{local}}=0\)、\(w_{\mathrm{later}}=2\),代入得到 \(L=0^2+(2-2)^2=0\)。本例消除了共享参数约束,同时也增加了参数。因而“拆开后更好”本身分不清是容量变多,还是用途分配更合适;如果两个目标本来都希望得到 2,共享 \(w=2\) 已能零误差,更谈不上拆分必胜。

可将四组实验设为下表。输入宽度为 \(h\),每个用途输出宽度为 \(d\);参数数只计投影主项,其他新增权重必须另算。

组别投影和路由要检查的差异
A 原连接一份 \(h\to d\) 投影,两用途共享,约 \(hd\) 参数。基线。
B 只拓宽一份 \(h\to2d\) 投影,两用途都读取完整表示,再用预先规定的固定映射回到 \(d\),约 \(2hd\) 参数。B−A 检查增加宽度是否足够;同时报告固定映射的影响。
C 拆用途同样 \(h\to2d\),两半分别供本层和后层,每路 \(d\),约 \(2hd\) 参数。C−B 在投影参数相同时检查路由分工;读取宽度仍不同,须承认该取舍。
D 加归一化在 C 的后层复用路径加入预先规定的 RMS 归一化。D−C 单独检查尺度控制;若有可学习缩放,计入参数与预算。

这四组是本文建议,不是源论文已有消融。B 的固定读出也可能压掉新增信息,故 C−B 不是绝对纯净的“只拆分”归因;应预先规定读出方式,并另查可学习读出的结果。固定数据、训练 token、优化器和评测,再报告实际参数与计算量;等参数不等于等计算。还可在共享基线上测两用途对同一权重的梯度夹角:频繁相反支持冲突假设,基本同向则削弱它。B 已达到 C 的表现,或收益仅随预算增加,都不足以归因于拆分。

独立分析:实现门槛降低,不等于判断与动机自动形成

本文判断:这段研究经历提供了一条可理解的路径:教程先给实现,预算促使他放下竞争最强模型的目标,阅读与复现再让他看见结构的两种用途,形成可以动手验证的假设。值得研究的对象是投影分工是否真减少冲突,而不是研究者年龄。若继续检验,应在相同数据与训练预算下比较原连接、单纯拓宽投影、拆分用途及加入归一化,区分收益来自容量增加还是连接设计;访谈本身未完成这些归因,也未证明大规模效果。

教育与生活线索则指出两种不同损失:工具可以节省重复实现,却也可能削弱亲手完成的乐趣;知识容易取得,却不自动给人长期目标。朋友、象棋和支教提供不完全按机器效率排名的反馈,但不是就业、教育分化与意义问题的统一答案。他能一边继续研究、一边承认焦虑,反而比“拥抱 AI 就解决一切”的总结更忠实。他对应用被模型覆盖的忧虑,也不应与曾鸣关于新应用机会的判断合成共识,两人所看的阶段与位置不同。家庭投入、时间空间和设备可得性也应被看见,别把他的入口推广成所有学生都拥有的条件。

材料定位:原节目与章节 · 公开编辑文字。论文接收、模型与预算属于嘉宾或编辑文字叙述;本文未以论文原件核对实验、会议录或心理学引文,行业排名与未来预测也不作独立事实。

证据边界与资料索引

本页依据整期机器转录、官方节目介绍与章节逐段重建,未宣称逐字人工听审。说话人、专名、数字和时间可能存在识别误差;原声仍是最终核对依据。嘉宾关于公司、市场、研究、个人经历与未来的说法按口述保留,不自动等于独立核验的事实。

本期部分文字来自分段机器转录。可靠回听范围以音频切分区间为准,逐句秒数可能压缩,不能把估计时码当作精确字幕。

原节目:151. 17岁被2026年ICML收录论文的小少年:我bet开心!开心!开心!

本页使用的公开文字或字幕来源

返回顶部