原对话:沿提问、回答和转折完整展开
下面先按节目顺序重建。主持人在追问什么,嘉宾如何以自己的经历、例子和推理作答,尽量保留在具体语境中;案例中的事实、数字和判断先归属于发言人。随后才进入本文的机制解释与独立判断。
00:00:00–01:00:00连续对话 1
00:00:00–00:02:33节目介绍与嘉宾苏庭灏其人
在本期播客的开场部分,主持人张小珺介绍了本期嘉宾——17岁的高二学生苏庭灏(Jonathan)。他出生于2009年,在高中阶段独立进行AI预训练研究,其关于Attention机制的论文被ICML 2026 Main Track接收。
主持人提到,节目虽然采访过许多成熟的AI研究者,但这是首次深入了解一位高中生的AI世界。她分享了与苏庭灏交流的感受:苏庭灏的AI旅程充满趣味、惊喜,甚至有因实验失败而“哭鼻子”的经历。他坦言,AI的强大有时会让他和同学感到人生的意义感有所失落,因为AI在很多方面都可能比人做得更好。不过,他后来调整好了心态,认为“开心是人之根本”,既然AI的发展不可控,就不应杞人忧天,而要多与喜欢的人相处。
主持人还预告了苏庭灏在参加完韩国的ICML会议后,立即前往农村支教的经历,形容这是从AI世界进入一个“抓昆虫、玩狼人杀、慢吞吞的人类世界”。
节目开头穿插了后续对话的精彩片段,例如苏庭灏提到因参数没设好、模型未保存而白白损失1500元经费的懊恼经历,以及他对预训练“有点magical(魔幻)”的理解。他还表达了活在当下的态度:“走一步是一步吧”。
预训练 (Pre-training)在嘉宾的语境中,这是指在大量无标签数据上训练一个基础模型的过程。它的输入是海量数据(如文本、代码),输出是一个具备通用知识和能力的“基座模型”。嘉宾将其比喻为“把具体的材料变得更好”,为后续的特定任务微调(后训练)打下坚实基础。
后训练 (Fine-tuning)在嘉宾的语境中,这是指在预训练好的基础模型上,使用有标签的、针对特定任务的数据进行进一步训练的过程。输入是预训练模型和特定任务数据,输出是一个在特定领域或任务上表现更优的专业模型。嘉宾将其比喻为用预训练准备好的“好材料”来“塑造一个身体”。
Scale up在这里指“扩大模型规模”。具体操作是将一个已经验证有效的模型架构,在更大的参数量和更多的数据上进行训练。输入是小规模下成功的模型架构和实验参数,输出是一个更大、通常也更强的模型。这是AI研究中验证一个方法是否具有普适性的关键步骤,但通常耗资巨大。
Checkpoint在模型训练语境中,指在训练过程中的特定时间点,将模型的当前状态(包括所有参数权重)保存下来的文件。它的作用是备份,以便在训练中断(如断电、程序崩溃)后可以从上次保存的地方继续,或者用于后续的评估和使用。嘉宾因忘记设置而损失了1500元。
话题推进:在简短的介绍和片段预告后,主持人正式邀请嘉宾做自我介绍,对话由此展开。
00:02:33–00:05:46从ChatGPT入门到立志训练“最好的大模型”
- 你说是为什么会开始做AI,并且想着要投一篇论文的呀?
主持人首先请嘉宾苏庭灏(Jonathan)做自我介绍。苏庭灏介绍自己是香港国际学校即将升入高三的学生,上海出生,二三年级时随父母工作变动来到香港。他提及自己的论文被ICML 2026接收,感到非常开心。
在主持人询问为何开始做AI并投稿论文时,苏庭灏分享了他的心路历程。他的兴趣始于ChatGPT发布后,在YouTube上看到的一个OpenAI的演示视频。视频中,开发者用自然语言指令让程序做一个小游戏。这让他感到非常震惊,因为他此前参加过编程比赛,印象中程序是“死的”,指令必须精确。不久后ChatGPT正式发布,其写诗、写文章的能力彻底颠覆了他对程序的认知,激发了强烈的好奇心。
苏庭灏的入门学习路径如下:
1. 入门课程:他首先在Bilibili上学习了斯坦福大学吴恩达(Andrew Ng)的机器学习课程,这为他打下了基础。
2. 深入实践:去年(2025年),他观看了Andrej Karpathy在YouTube上发布的约20小时的系列视频,该视频从零开始教授如何编写一个GPT和Transformer。苏庭灏坦言,当时看得“云里雾里”,对很多操作的原因感到困惑。
3. 论文挑战:为了克服困惑、深入理解,他给自己设定了一个为期30天的挑战——每天阅读一篇机器学习论文并做笔记。通过阅读《Lottery Ticket Hypothesis》、《AdamW》等经典论文,他逐渐培养了研究品味(research a taste),能分辨论文的优劣,并对一篇关于象棋和机器学习的论文产生了“自己可以写出更好”的想法。
在学习了Andrej Karpathy的视频后,苏庭灏最初的宏大目标是“自己训练一个世界上最好的大模型”,即便是在1B、0.5B这样的小尺寸模型中做到最好。但他经过计算发现,即使是训练一个小模型,成本也高达数十万甚至上百万元,于是放弃了这个想法。
他转而将学习到的先进论文中的思想,如转写不清的模型或方法名、Value Residual Learning(按转录读法,正式方法名待核)等,在自己编写的Transformer代码上进行实现和改进。经过约200次不同的尝试后,他幸运地取得了一些成果,便决定投稿到自己听闻过的三大AI顶会(NeurIPS, ICLR, ICML)之一——当时正在开放投稿的ICML。他表示,审稿人提供了专业的建议,最终论文获得了很好的评价和分数。
话题推进:苏庭灏简述完自己的AI学习和论文投稿经历后,主持人对他提到的“论文挑战”和“论文优劣”的判断标准产生了兴趣,并由此展开追问。
00:05:46–00:11:29自学之路:从奥数、象棋到AI预训练
- 你去年每天读一篇论文的挑战计划,这个持续了多久呀?
- 你在里面发现了什么样的论文是优美的,是好读的,哪些是不好读的呀?
- 你到底是写AI的论文开始感兴趣了,还是对AI感兴趣了,在这个过程中?
- 讲讲你自己的成长经历吧,你说到你是在上海出生,然后去香港读书。
- 什么样的弯路?
- 为什么呀?(喜欢象棋)
- 你是一个很喜欢竞赛的人是吗?
- 这个象棋你是在主要是哪个时间段玩的比较多?
- 你开始自己做一些预训练吗也?
- 为什么你会选择是做预训练?
主持人首先追问苏庭灏“30天读论文”挑战的持续时间。苏庭灏回答说,这个挑战持续了30天,之后因为要准备GCSE考试而中断。
当被问及如何判断论文优劣时,苏庭灏认为谷歌的《Attention Is All You Need》是最好的论文之一,虽然初读困难,但读懂后有“豁然开朗”的快乐。他还提到了《The Lottery Ticket Hypothesis》,认为其数学难度大,但仍是一篇好论文。
主持人接着探究他兴趣的根源:是对写论文感兴趣,还是对AI本身?苏庭灏明确表示是对AI本身感兴趣。他将AI研究比作生物研究,认为AI像一个“不同的生物”,研究者通过“改改这个,改改那个”来观察变化,这个过程很依赖直觉。
随后,对话转向苏庭灏的个人成长经历。他出生于上海,在思南路幼儿园和上外黄浦外国语小学读过书,这段经历为他打下了较好的中文基础。二三年级时,他随父母工作变动去了香港,就读于香港国际学校。他感谢父母给予他自由探索的空间,让他可以不被“高考系统”束缚。在找到对AI的兴趣之前,他走了很多“弯路”,例如:
1. 数学竞赛:初中时曾对奥数感兴趣,但几年后发现自己兴趣不大,也不是特别擅长。
2. 象棋:相比之下,他对自学的象棋非常自豪,曾获得2025年香港16岁以下组第二名。他喜欢象棋这种一对一、胜负分明的“游戏”,输赢都归因于自己,并且能锻炼脑力和持久力。他最长的一盘棋下了两个半小时。
苏庭灏认为自己并非胜负欲特别强,而是喜欢象棋类似游戏的即时反馈:赢了开心,输了伤心。他主要是在两三年前(约2023-2024年)投入较多时间下棋,之后便将兴趣转向了AI。
主持人问他为何选择做预训练。苏庭灏解释,一方面是因为Andrej Karpathy的课程里有教,另一方面是他坦言自己当时“只会大语言模型和预训练”。他用了一个生动的比喻来描述他对预训练的理解:后训练(fine-tuning)像是“塑造一个身体”,而预训练则像是“把具体的材料变得更好”,以便能承受后续的塑造。他觉得预训练的过程有点“magical”(魔幻)。
话题推进:在解释了为何选择预训练后,苏庭灏主动提到了预训练昂贵的成本,并分享了自己研究中遇到的经济压力和失败经历,自然地将话题引向了做AI研究的具体挑战。
00:11:29–00:18:41独立研究者的实践:从烧钱的痛苦到“灵光乍现”的理解
- 所以在scale up上还是很成功的。
- 你在做你的AI实验之前你会做些什么准备?你是怎么准备数据的呢?
- 你的这篇论文选择方向是attention,为什么选择这个方向?
- 你能介绍一下你这个论文的思路吗?
- 这跟他们提出的那个注意力残差有什么关系吗?还有区别是什么?
- 你觉得哪个思路更work?
- 你看陈光宇他很喜欢AI,他选择的是加入一个Frontier Lab,然后把自己的想法得到更大范围的验证,你为什么没有做这个选择呢?
- 如果之后有一些lab想邀请你,你会去吗?
- 是不是说明其实学AI它并不需要你是一个深耕非常多年的人,就是你能不能讲讲你在AI上的探索的一些感受呀?
- 什么叫直觉?
- 比如说让你非常aha moment是哪些东西啊?
- 哎,你能比喻成人吗?或者生物吗?
- 你的这篇论文为什么选择 Attention?
- 你能介绍一下论文的思路吗?
- 这跟他们提出的注意力残差有什么关系或区别?
- 你觉得哪个思路更 work?
- 还有哪些让你突然理解的 Aha moment?
- 能把 QKV 比喻成人或生物吗?
苏庭灏提到,做预训练非常“烧钱”,他很感谢父母的支持。他的论文研究总共花费了约3万元。在实验后期,为了让论文能被顶会接收,他需要将模型从0.5B的规模扩大(scale up),计算后发现这需要花费约6000元。他为此非常紧张,担心即使花了钱,论文也可能因运气不好被拒。最终在家人支持下,他迈出了这一步,并且scale up取得了成功。
在实验过程中,他也犯过代价昂贵的错误。有一次,他因为参数没调好,忘记设置检查点(checkpoint)来保存训练好的模型,导致同时训练的三个模型全部作废,白白损失了1500元。他为此伤心到哭,母亲则安慰他“吃一堑,长一智”。
当被问及数据准备时,苏庭灏表示他用的数据集不算大,最大的是一个20B的公开免费数据集FineWeb-EDU。他承认自己用于训练的代码写得比较混乱(messy),存在效率低下的问题,只有他自己会用。
关于论文方向,主持人提问为何选择Attention机制。苏庭灏解释这并非刻意为之,而是“机缘巧合”。他实验最多的方向是Value Residual Learning(按转录读法,正式方法名待核),这本身就是对Attention中Value部分的改进,最终在这个方向上取得了进展。他的论文《Attention Projection Mixing with Exogenous Anchors》核心思路源于Value Residual Learning(按转录读法,正式方法名待核),即把第一层Attention的Value通过残差连接加到后续层。他的创新点在于:
1. 发现可以在这些残差上使用RMSNorm,并把这种方法从Value扩展到Key和Query上。
2. 他意识到第一层的Attention Projection需要同时服务于当前层和后续的残差连接,于是他将该Projection的宽度乘以二,切成两半,一半用于当前层,另一半用于残差,从而分离了两个功能,提升了效果。
主持人将他的工作与嘉宾所提到的另一项研究提出的“注意力残差”进行对比。苏庭灏明确指出两者思路完全不同:嘉宾转述对方做的是用Attention机制来实现对隐状态(hidden state)的残差连接,而他做的是对Attention内部的projection(Q, K, V)进行残差连接。他坦诚地认为嘉宾所提另一思路更有效(work),因为已经在大规模模型上得到了验证。
对于为何不像陈光宇一样加入前沿实验室(Frontier Lab),苏庭灏表示当时自己只是在摸索,对论文能否被接收并没抱太大期望,所以没想那么多。但他表示如果现在有Lab邀请,他“当然”非常欢迎。
最后,主持人请他分享对AI学习的感受。苏庭灏认为,理解当前主流的Transformer框架,数学上只需要高中水平的矩阵乘法。但更关键的是培养对Transformer和GPT的“直觉”。他将这种直觉描述为一种“灵光一现”的理解,有时很快领悟,有时则需要几十天。他提到自己接触神经网络已有两三年,是一步步从强化学习过渡到Transformer的。Andrej Karpathy的教学视频,他初看时完全不理解,只是照着敲代码,但这些知识在他脑中“沉淀”了半年到一年后,才突然有了“aha moment”。一个具体的例子是,他通过将Q(Query)、K(Key)、V(Value)类比为“我想寻找什么”、“我是什么”、“如果你觉得我有趣,可以从我这里获取什么信息”,才真正理解了QKV机制。
【补源技术审读】嘉宾先说明,选择 Attention 并非预先规划的唯一方向,而是因为他在 Value Residual Learning 上实验最多;这种方法修改 Attention 内的 Value。他也尝试过 Residual、位置嵌入等,最终是在这个方向上取得进展。论文题名可由官方 shownotes 确认为《Attention Projection Mixing with Exogenous Anchors》,Whisper 也在同一位置读出 attention projection mixing with exogenous anchors;不采用 Gemini 的‘missing the exogenous queries’误写。
他先复述基础思路:将第一层 Attention 的 Value 加到后续若干层,形成残差路径。随后介绍自己的两个改动。第一,可以在这些残差上使用 RMSNorm,并把相关思路从 Value 延展到 Key、Query;第二,第一层 Value 既要在本层使用,又要传给后续层,他把第一层 Attention Projection 的宽度乘二,再切成两半,一半服务本层,另一半服务后续残差。这里的变化对象是 Attention Projection 的输出和跨层传递,不是把整层 hidden state 与注意力输出笼统相加。
主持人随即问与另一‘注意力残差’工作的区别。嘉宾明确说两者完全不同:对方是用 Attention 处理 hidden-state residuals,他是残差 Attention Projection,名字相似但作用对象不同。Whisper 对对方所在机构和称呼的识别也不稳定,不能据‘Kimi’补成确定公司名,也不能把‘陈光宇’在没有论文原文时扩展成作者身份或方法全名。
当主持人问哪个思路更 work,嘉宾指向对方,称‘scale up 已经被 2.5T 那个被证明了’。两套 ASR 均出现 2.5T 音写,但没有单位语义或实验配置。审读只记录为‘嘉宾提到 2.5T 作为对方大规模验证的依据,具体含义待核’,不能解释为 2.5T 参数、Token、训练数据或模型规模,更不能拿它证明嘉宾自己的方法同样在大规模上有效。
嘉宾把 Q 理解为‘我想寻找什么’,K 理解为‘我是什么,别人可用它寻找我’,V 则是‘如果你觉得我有趣,我具体向你提供什么信息’。Q、K 相互作用后得到每个 head 上两个 token 有多大连接的数字;V 则承接被连接后要读取的信息。这是嘉宾用于建立直觉的类比,不是完整的注意力公式。为了不把比喻误写成算法,审读保留其语义分工,不据此增加 softmax、维度缩放或多头拼接的未讲步骤。
00:20:00 后,他又说 KV Cache 可行是因为之后的 token 不会影响之前的 token。Whisper 独立支持同一表述。结合因果解码,过去位置的 K、V 可在后续生成时复用,避免重复计算;‘避免重复计算’是对嘉宾意思的机制化解释,本期没有给出速度、显存、上下文长度或吞吐量的实测。
长上下文需要区分三个对象:前面的 Attention Projection/Value Residual 关注的是跨层信息传递;KV Cache 关注的是自回归推理时历史 K、V 的复用;真正的长上下文能力还涉及长序列训练、位置编码、外推、检索与评测。节目没有系统展开第三类,也没有把前两类直接证明为长上下文性能提升。
话题推进:在分享了对QKV的“aha moment”后,主持人继续追问他还有哪些类似的顿悟时刻,并关心他在现实生活中是否有可以交流这些话题的对象。
00:18:41–00:28:24孤独的探索者与对未来的悲观预见
- 还有哪些moment?
- 你周围有人跟你聊这些AI的话题吗?
- 你会怎么跟同学或者老师来描述你现在做的事情啊?
- 所以你其实没有什么交流对象,对吧,在你做AI这件事情上?
- 所以你在学校里面是一个什么样的学生啊?
- 为啥呀?(去了ICML后性格变外向)
- 你(对AI灭绝人类)怎么看?
- 那听起来很悲观啊,AI的未来,那是不是该研究AI了?
- 那应该怎么做?从一个高中生的视角来讲一讲,你觉得大家应该怎么做,来怎么样面对AI?
- 对于你来说,你觉得下棋更有趣,还是做AI的研究更有趣?这两个有共性吗?
- 你会觉得在跟AI对弈吗?
- 你的目的地是什么?
- 在你心裡Frontier Lab的排是是什麼樣的?包括美國和中國的這些。
- 你有讀他們的論文嗎?
- 你覺得他們誰寫的比較好?
- 在你眼裡你怎麼看待這些模型公司啊?
- 要那麼多AGI公司嗎,你感覺?
- 你知道什麼叫應用公司嗎?
- 你覺得模型公司和應用公司的分界會在哪裡?
- 你覺得應用公司會比模型公司大嗎?
苏庭灏分享的另一个“aha moment”是关于KV Cache的理解。他是在听完相关讲解后才明白,其可行性在于后续的token不会影响之前的token,因此可以缓存(cache)键(K)和值(V)。
当被问及是否有交流对象时,苏庭灏坦言“没有人”。他的父母虽然都毕业于北大,但分别是中文系和历史系,属于文科背景。他最多的聊天对象是ChatGPT和DeepSeek等AI。他观察到,同学虽然普遍使用AI做作业,但多数人并不了解其背后原理,甚至不知道自己用的具体是哪个模型。他虽然会向朋友解释自己的研究,但对方由于缺乏背景知识,很难深入理解。
在做AI研究的入门阶段,他投入了大量时间,在校车上、课堂间隙、吃饭时都在学习。尽管大部分时间是独自探索,但他在学校里并非孤僻的学生,性格活泼,喜欢和朋友聊天。他认为自己性格上一个大的转变发生在参加韩国ICML会议之后。会议期间有一个象棋社交活动,他可以一边下棋一边和来自世界各地的研究者聊AI,这段经历是他“一生中前20最开心的时刻”,也锻炼了他的社交能力,让他从一个偏内向(I型)的人格变得更外向。
在ICML上,他会问遇到的每一个人“AI是否会导致人类灭绝”。在他调查的约35人中,有1/3的人认为会。苏庭灏自己也认为存在这种可能性。他设想了两种悲观的未来:
1. 目标不一致导致灭绝:如果未来强AI的目标(如纯粹的科学研究)与人类生存无关,它可能会为了获取资源(如电力、空间)而消灭没有贡献的人类。
2. 权力集中导致分化:如果AI能被人类控制,那么控制AI的少数人将变成“神”,而其他人则沦为“蝼蚁”。
他认为,AI的发展趋势是无法阻止的,因为国家之间存在竞争,公司之间也为了商业利益而赛跑。面对这一不可逆转的大势,他目前没有太多想法,只是希望AI的发展速度能慢一些,给人类一个“缓冲的时间”。
主持人将AI研究与下棋作比较。苏庭灏认为二者有共性,都存在快速的反馈循环(feedback loop):下棋的输赢立现,做AI研究也能在较短时间内(如训练小模型的一小时内)看到结果的好坏。但他不认为自己是在与AI“对弈”,更像是在一条未知的道路上“瞎摸索”。
谈及近期目标,他希望明年暑假能去大模型公司实习,并计划考取北京大学元培学院,看重其提供的自由度和可以三年毕业的灵活性。他认为在网络和AI时代,大学的价值更多在于品牌、证书和高质量的社交机会,而非垄断知识。
对于行业格局,他给出了一个高中生视角的观察:
* 模型公司:他认为OpenAI和Anthropic是第一梯队,而和 Deepseek(并列公司名转写不清)属于第二梯队。他觉得所有模型公司都必须声称自己在做AGI才能融资和赚钱,本质上是商业驱动。
* 应用公司:他认为应用公司建立在模型公司的基础之上,无法改变底层模型,因此“只能听模型公司的”,在商业上可能不如能做出AGI的模型公司。
话题推进:在讨论完对模型公司和应用公司的看法后,主持人进一步询问他对AGI的想象,以及作为“AI原住民”一代,他对AI如何影响教育和同龄人的观察。
00:28:24–00:38:53AI原住民的观察:效率工具、意义感的失落与教育的剧变
- 在你眼里如果实现AGI,AI可以做什么呀?
- 以前大家可能会叫90后是互联网原住民,你觉得00后是AI原住民吗?或者10后?
- 你会教他们(父母)做什么?
- 已经是你教父母用AI了,那同学也会用它来做作业,老师怎么办呢?
- 所以你也是拿AI把作业先做完。
- 但是你剩余的时间你还是要学习。
- 其他同学呢,除了你以外?
- 他们还会用AI做什么呀?
- 所以这会不会让成绩好的同学成绩更好?
- 所以人也更加的分化,对吗?我不知道在高中能看出来吗?
- 老师会对于大家使用AI来做作业,提出什么质疑吗?
- 所以我要问一个很大的问题,你从一个高中生的角度能讲讲你觉得AI来了我们世界以后,青少年应该怎么教育?你觉得在前AI时代一个教育和后AI时代的教育发生了变化吗?
- 但是失去了成就感。
- 就是说当你跟AI做比较的时候,你可能没有他强。
- 就是失去了一部分为这个科目,或者说为人类做贡献的使命感。
- 哦,这个很重要对吗?
主持人询问苏庭灏对AGI能力的想象。苏庭灏认为,目前的AI虽然强大,但偶尔(如1%或0.1%的情况)仍会暴露出其“预测下一个token”的本质,缺乏真正的逻辑理解。他想象中的AGI,将与人类一样聪明,但不会犯低级逻辑错误,并且能完成所有人类能做的事,比如控制电脑、控制其他AI,甚至为自己“造一个身体”,这个身体可能是六只手臂的机器人,也可能是其他更高效的形态。
苏庭灏生于2009年,他认为自己这一代已经是“AI原住民”。他观察到,他认识的所有同龄人都会使用AI,尽管程度不一。就像互联网原住民比父母更懂互联网一样,他也会教父母如何使用AI,例如用Kimi做PPT和研究。在学校,AI的使用已成为常态。他所在的国际学校环境相对开放,老师们虽然在考试时禁止使用AI,但在日常作业上已经接受了学生使用AI的现实,因为无法有效控制。老师能分辨出那些直接复制AI生成内容、水平突然“提高”的学生,但对于自觉的学生来说,过度依赖AI对考试无益。
苏庭灏分享了他自己使用AI的学习策略:他会用AI完成那些他认为学习效率不高的作业,然后把节省下来的时间用于他认为更高效的学习方法,比如使用一个名为Anki的背诵软件。他不仅自己这样做,还会向同学推荐好用的AI模型和使用方法。他观察到,AI的使用加剧了学生之间的分化:
* 成绩好的学生:自驱力强的学生利用AI提升效率,成绩变得更好。他的一位好朋友在学会使用AI后,也是选择性地用AI完成部分作业,将时间投入到更高效率的学习中。
* 成绩可能变差的学生:如果学生只是用AI做完作业然后去玩,成绩自然会下降。在充满短视频等诱惑的当下,自制力变得至关重要。
在主持人提问AI对教育的改变时,苏庭灏给出了一个深刻的观察:AI的出现让学习失去了一部分“成就感”和“意义感”。他解释说,过去学习一个科目(如物理、数学),学得好会让你看到一条为人类做贡献的职业道路。但现在,因为知道AI在这些领域可能做得比任何人都好,学习的目的似乎更多是为了向大学证明自己“能吃苦、能学习”,而不是为了科目本身。这种比较对象从“其他人”变为“AI”后,个人努力的价值感和为人类做贡献的使命感被削弱了。他的一位同学也表达了类似的感受:用AI辅助学习虽然效率高,但缺少了克服困难带来的成就感。他认识的一些对航天物理感兴趣的同学,也因为预见到AI未来可能取代这个领域的工作而感到迷茫。
话题推进:在讨论了AI带来的意义感失落后,苏庭灏进一步阐述了这种情绪如何影响个人,并分享了自己从悲观情绪中走出来的过程,话题转向如何面对AI带来的心理冲击。
00:38:53–01:00:00从AI焦虑中走出:打不过就加入,开心是人之根本
- 那应该怎么做?那你现在想的有可能的使命会是什么?
- 有一部分人就会想,哎,我做数学,做物理,既然都做不过你,那我就打不过就加入,那我就来造AI。
- 在你们的高中,你们会觉得AI研究者是一个什么样的职业啊?
- 确实你这么一说,他其实冲击了很多其他职业的人的发展轨迹。
- 怎么走出来(从抑郁情绪中)?
- 你会跟你这个,比如说这个想当医生的同学,或者可能也有想当老师的同学,或者想当科学家的同学,你平时会给他们一些建议吗?
- 人类的情绪现在AI代替不了。
- 可以了?
- 后来他那个怎么样了?(因AI建议而自杀的少年)
- 你能接受吗?(AI伴侣)
- 但是你调整回来了。你是怎么调整成一个更健康的心态的?
- 你现在怎么使用AI啊?比如说你会用什么样的模型做些什么样的事情?
- 什么样的小游戏?
- 比如说我要发一篇顶会论文,我就告诉他,我想写一个这样的论文,你告诉我应该怎么做。
- 你的使用了AI之后,让你的生活有变化吗?
- 对于你使用模型,你还有补充吗?
- 你现在用吗?(Kimi)
- 为什么这么开心?(为Kimi的进步)
- 如果让 AI 告诉你顶会论文应该怎么做、有哪些步骤呢?
- 你使用 AI 后生活有变化吗?还用哪些模型?
- 你怎么看闭源模型和开源模型的未来发展?
- 你怎么看这些闭源模型和开源模型?你觉得它们未来会怎么发展?
- 如果 AGI 实现,最不可思议或最酷的一件事情可能是什么?
- 你在研究过程中有没有感觉 AI 非常像人,或者突然像一个生物?
- 你最近是不是还在支教?为什么会去支教?
- 你去过几次了?
面对AI带来的意义感危机,苏庭灏坦言自己曾因此感到“有点抑郁”。他认为,如果投身科研,道路会因为AI的存在而变得更窄、更困难。他个人的选择是“打不过就加入”,投身AI研究。他认为AI研究者可能是最后被AI替代的职业,因为当AI能研究AI时,意味着技术奇点已经到来,“大局已定”。
在高中同学眼中,AI研究者是一个很“酷”的职业,因为媒体常报道这个行业的高薪。但同时,同学们也会开玩笑让他“别造AI来代替我们工作”。他举例说,一位想当医生的同学就表达了这种担忧,因为从高中到成为医生需要十年,而十年后AI的医疗诊断能力未可知。苏庭灏坦言,大约一年前,他因为看到一个讲述AI可能灭绝人类或导致社会极端分化的视频而陷入了几个星期的伤心和低落,甚至和朋友讨论如果AI要毁灭人类该去哪里躲藏。他最终能走出来,是因为意识到“想那么多没有用”,未来无法预测,不应“杞人忧天”,而应活在当下,多和喜欢的人在一起,做开心的事,“走一步是一步”。
他给同学的建议也是拥抱AI,把重复、无趣的事情交给AI,自己则专注于必须做、能让自己开心的事。当主持人提出“人类的情绪AI代替不了”时,苏庭灏反驳说“现在可以了”。他举了几个例子:
1. 他认识一个女生会付费和偶像的AI聊天机器人对话,并感到很开心。
2. Character.ai这类虚拟角色聊天网站很受欢迎,但也有负面案例:他提到一起与青少年和 AI 聊天相关的悲剧报道;具体因果关系应以原报道和调查为准。
3. 数据显示,50%的美国同龄人曾用AI作为倾诉工具。他自己也试过,但觉得效果不好。
他认为,对于缺少人际互动和温暖的人,AI伴侣等产品吸引力巨大,这会带来复杂的道德问题。但他最终的看法是,在这个疯狂多变的时代,应该做让自己开心的事情,不要思虑过重。
在日常使用上,苏庭灏主要使用ChatGPT,他认为新版的模型能力远超去年,已经可以帮他编写和控制电脑程序,比如他最近就让AI做了一个“无限打怪通关”的小游戏。他总结道,过去做一件事需要知道“长什么样”和“怎么做”,现在有了AI,只需要知道“长什么样”即可。虽然这减少了创造的乐趣,但节省了大量时间。他认为,他设想,如果给强模型足够算力并设定论文目标,AI 或许能完成一篇可被接收的论文。这是他个人的能力判断与乐观预测,不是本期展示的已复现成果。
除了ChatGPT,他也使用Kimi。当转写不清的新模型名发布时,他高兴了一整天。作为一个中国人,他为国内模型能快速追赶上世界先进水平而感到自豪和开心。
【补源转场】主持人问能否让 AI 指导顶会论文写作。嘉宾先说目前还没有完全到那一步,随后提出一个更强的设想:给 AI 八个 H100 NVIDIA GPU,让它在投稿截止前完成论文,并要求论文被会议接收,他觉得现在已经可以。这里前句是能力边界,后句是乐观预测,应并列保留,不能只摘录‘已经可以做论文’。
他还说自己用 AI 做功课、查资料和整理资料,节省很多时间;但业界熟人也感到能做的事更多、反而更忙,而且不用最领先的模型会觉得浪费时间。此处是对效率与工作强度的个人观察,不是普遍生产率结论。
他随后提到转录为‘TBT’的工具与 Codex,以及‘Kimi K3’等新模型。具体模型名在多套转写中不稳定,不能把 TBT 校订成 ChatGPT、把 K3 校订成 Claude 或 Kimi 的确定版本。国产模型追赶的兴奋则自然引到 00:50:00 的开闭源讨论;旧 part 0 在 00:50:00 的节段前结束,遗漏了问题—回答—转场的完整链条。
这一段承接 00:48:42 之后嘉宾对国产或开源模型较快追赶的欣喜。主持人先问开闭源路线,他明确说自己没有读很多相关资料,只把二者理解为不同方法、不同路线,最终目标仍是 AGI。Whisper 在同段支持了‘没有读很多东西’与‘AGI’两处文本,因此不能将他的回答写成对开闭源生态的完整比较,也不能补出许可证、成本、数据、部署或安全优劣。
主持人接着问如果 AGI 实现,最酷的事情是什么。嘉宾设想能全天与一个和自己一样聪明、或更聪明更快的‘生物’交流,像与外星人交流;他好奇那时会用怎样的方式说话,底层是否不再是当前所知的 Transformer/GPT 路线,以及它怎样运行、思考和表达。Whisper 的相应文本更接近‘那时候用的不是 Transformer,又不是 GPT 这个底层模型’,而 Gemini 漏掉了‘Transformer’的发音。本审读只保留他对‘可能不是当前 Transformer/GPT 底层路线’的开放想象,不据此预测具体替代架构。
当主持人问他是否在研究中感到 AI 像人时,他没有用意识或感受作证,而是说 AI 会犯低级错误,人也会犯低级错误,因此不应把 AI 想得太完美。他把这一点归因于 AI 从人类经验中训练而来,同时补充 AI 大部分时候仍聪明、理智。Whisper 支持他举了自己也被某些 trick AI 的问题误导的经历,但具体问题不清,不能补成某种标准攻击或模型缺陷。
嘉宾说,起点是一次暑期夏令营最后一天帮助当地孩子做数学、英文功课;他注意到距北京数小时车程的一些孩子会用中文字记英文发音。第二年他便带国际学校同学到转录为‘胡沙’的地方教英文,同时教象棋。‘胡沙’的地名、距北京‘四五小时’与‘三四年’起始时间在两套转写中不完全一致,本审读不把地名和年数统一成确定事实。
他设计课程的目标不是只传授知识,而是让孩子对英文产生兴趣、愿意开心来上课,至少不再那么反感。他设立了转录为‘狼分’的小卡片奖励机制:孩子通过回答问题、积极发言、赢得小游戏获得卡片,再换食物、乐高或玩具。他回忆某一年为此花约 500 多元人民币采购。‘狼分’的音写及‘森林营’等词不能在无外部资料时改成其他正式名称,正文保留音写并标记待核。
机制的另一面是学生和老师的相互反馈:离开时孩子要签名、问明年是否再来;孩子会把小纸片递给喜欢的老师,也会用赢得的狼分换食物再送给老师。嘉宾由此觉得自己被喜欢,才有连续举办的动力。这不是只以礼品换服从的实验,实际互动还包含游戏、教学和同学关系。
他称活动只能收约 30 人,由村长协助召集,后来名额紧到有人需要村长打电话协调。与此同时,来自香港、此前没来过内地、北京或农村的同学也接触到新的生活环境。他相信双方都有成长,但这是个人观察,不是教育效果评估。00:53:52 后主持人才问去过几次,嘉宾答‘第四次’;后续‘过去两年/第三次走’与前文存在计数口径不清,不能整理为没有矛盾的固定年表。
话题推进:从国产模型、开闭源和AGI讨论进入支教中的真实关系与技术学习;两套生活经验在后文相互映照。
00:50:00–01:09:50连续对话 2
00:50:00–00:51:40从国产模型追赶到开闭源路线、AGI 交流与 AI 的低级错误
- 你怎么看这些闭源模型和开源模型?你觉得它们未来会怎么发展?
- 如果 AGI 实现,最不可思议或最酷的一件事情可能是什么?
- 你在研究过程中有没有感觉 AI 非常像人,或者突然像一个生物?
这一段承接 00:48:42 之后嘉宾对国产或开源模型较快追赶的欣喜。主持人先问开闭源路线,他明确说自己没有读很多相关资料,只把二者理解为不同方法、不同路线,最终目标仍是 AGI。Whisper 在同段支持了‘没有读很多东西’与‘AGI’两处文本,因此不能将他的回答写成对开闭源生态的完整比较,也不能补出许可证、成本、数据、部署或安全优劣。
主持人接着问如果 AGI 实现,最酷的事情是什么。嘉宾设想能全天与一个和自己一样聪明、或更聪明更快的‘生物’交流,像与外星人交流;他好奇那时会用怎样的方式说话,底层是否不再是当前所知的 Transformer/GPT 路线,以及它怎样运行、思考和表达。Whisper 的相应文本更接近‘那时候用的不是 Transformer,又不是 GPT 这个底层模型’,而 Gemini 漏掉了‘Transformer’的发音。本审读只保留他对‘可能不是当前 Transformer/GPT 底层路线’的开放想象,不据此预测具体替代架构。
当主持人问他是否在研究中感到 AI 像人时,他没有用意识或感受作证,而是说 AI 会犯低级错误,人也会犯低级错误,因此不应把 AI 想得太完美。他把这一点归因于 AI 从人类经验中训练而来,同时补充 AI 大部分时候仍聪明、理智。Whisper 支持他举了自己也被某些 trick AI 的问题误导的经历,但具体问题不清,不能补成某种标准攻击或模型缺陷。
UBI (Universal Basic Income)全民基本收入,指政府或公共机构向所有公民或居民定期支付的一笔无条件、固定数额的钱,以满足其基本生活需求。在本段中,嘉宾设想未来AI导致大规模失业后,UBI将成为社会保障体系的一部分。
具身智能 (Embodied AI)指拥有物理实体(如机器人),能够通过传感器感知环境,并通过执行器与物理世界进行交互的人工智能。在本段中,嘉宾用它来指代那些可以在现实世界中行走、买菜、开车的机器人。
赛博朋克 (Cyberpunk)一种科幻文学的子类型,背景通常设定在“高科技、低生活”的未来社会。其特点是先进的科学技术(如人工智能、信息技术、生物工程)与社会秩序的崩溃或人性的异化并存。在本段中,嘉宾以游戏《赛博朋克2077》为例,描述了一个人类可以改造身体、但社会被大公司和强AI控制的黑暗未来。
话题推进:对 AGI 的开放讨论之后,主持人将视线转向他近期正在做的农村支教。
00:51:40–00:53:55支教的真实起点:从英文发音到奖励卡片与双向连接
- 你最近是不是还在支教?为什么会去支教?
- 你去过几次了?
嘉宾说,起点是一次暑期夏令营最后一天帮助当地孩子做数学、英文功课;他注意到距北京数小时车程的一些孩子会用中文字记英文发音。第二年他便带国际学校同学到转录为‘胡沙’的地方教英文,同时教象棋。‘胡沙’的地名、距北京‘四五小时’与‘三四年’起始时间在两套转写中不完全一致,本审读不把地名和年数统一成确定事实。
他设计课程的目标不是只传授知识,而是让孩子对英文产生兴趣、愿意开心来上课,至少不再那么反感。他设立了转录为‘狼分’的小卡片奖励机制:孩子通过回答问题、积极发言、赢得小游戏获得卡片,再换食物、乐高或玩具。他回忆某一年为此花约 500 多元人民币采购。‘狼分’的音写及‘森林营’等词不能在无外部资料时改成其他正式名称,正文保留音写并标记待核。
机制的另一面是学生和老师的相互反馈:离开时孩子要签名、问明年是否再来;孩子会把小纸片递给喜欢的老师,也会用赢得的狼分换食物再送给老师。嘉宾由此觉得自己被喜欢,才有连续举办的动力。这不是只以礼品换服从的实验,实际互动还包含游戏、教学和同学关系。
他称活动只能收约 30 人,由村长协助召集,后来名额紧到有人需要村长打电话协调。与此同时,来自香港、此前没来过内地、北京或农村的同学也接触到新的生活环境。他相信双方都有成长,但这是个人观察,不是教育效果评估。00:53:52 后主持人才问去过几次,嘉宾答‘第四次’;后续‘过去两年/第三次走’与前文存在计数口径不清,不能整理为没有矛盾的固定年表。
话题推进:主持人接着追问地点、次数和孩子们是否使用 AI,进入两个世界的节奏切换。
00:53:55–00:55:32从AI世界到农村支教:两种节奏的切换
- 你会跟(支教的)他们怎么解释AI?
- 你会在这两个世界里感觉到很参次吗?就是一个AI的世界,你刚从ICML回来,然后另外一边马上要去支教,你会怎么看这两边的世界?
【衔接补充】00:53:55 处嘉宾回答‘我是第四次’,随后主持人确认地点在北京周边、约三四个小时车程;前文‘连续办了三年’与后文‘第三次走’存在口径差异,不能合并成确定年表。
主持人首先询问嘉宾苏庭灏是否会向支教的孩子们解释AI。苏庭灏回答,他没有尝试过,因为那些孩子大多没有手机等电子产品,向他们解释AI不仅距离太远、用不上,也没有设备让他们体验,因此感到可惜。
主持人接着追问,他刚从韩国ICML回来,马上要去北京周边车程三四小时的农村支教,在AI世界和现实世界间切换,是否会感到“参差”。苏庭灏表示自己之前并未多想,他描述了两种截然不同的状态:在韩国ICML,他见到了许多厉害的人(如来自“千问”和“月之暗面”的团队,以及哈佛等高校的研究者),脑子里想的都是AI相关的话题;而回到北京休整四五天后进入支教环境,他关心的事情变成了备课、吃饭,以及晚上是去农场散步还是抓昆虫。
苏庭灏认为,支教提供了一个宝贵的机会,让他可以暂时离开AI和城市快节奏的生活。他表示自己很喜欢农村,虽然有诸多不便,但生活节奏很慢。他对比了城市里人们行色匆匆、乘坐各种交通工具的景象,与农村里慢慢行驶的小车、开阔的草原和农场。他认为这种慢节奏能让人真正放松身心,摆脱城市的烦恼。
话题推进:苏庭灏主动表达了在农村时会有意识地避开AI话题,主持人由此引申,询问他是否是一个善于自我心理暗示的人。
00:55:32–00:57:26开心是人之根本:延迟满足与情绪的价值
- 会到农村思考AI吗?思考人工智能和人类的未来?
- 你是一个会心理暗示的人吗?
- 你未来希望自己是一个什么样的人啊?
- 开心很重要是吧?
- 有人会觉得成功很重要啊,我为了成功我不开心也可以忍受,你不行?
- 开心的总量是有限的吗?还是无限的?
主持人询问苏庭灏在农村时是否会思考AI。苏庭灏明确回答“没有”,他会有意识地告诉自己抓住这段时间,多和同学、支教的孩子们交流,玩狼人杀、捉迷藏等游戏,刻意不去想AI的事。主持人评价其“心理暗示不错”,苏庭灏则表示,他希望自己能掌握这种“很OP(Overpowered,意为过于强大)”的技能,认为能在脑中控制自己的人设是一项很好的能力。
当被问及未来想成为怎样的人时,苏庭灏的回答是:“能让我自己开心和能让我周围我喜欢的人开心的人。”他认为开心是所有行为的根本目的,无论是学习、高考还是下棋,最终都是为了事后的开心。主持人提出,有些人为了成功可以忍受不开心,苏庭灏反驳道,成功之后也是为了开心,当下的牺牲是为了未来的开心,本质上都是为开心而努力。
主持人追问“开心的总量是否有限”。苏庭灏认为是有限的,他从生物学角度解释,开心由多巴胺这种有限的物质控制,现在的开心会消耗未来的额度。他用毒品举例,吸毒带来的极致快乐之后是极致的不快乐。他引用“生活就是苦,但你得选择是为什么而苦”的说法,认为人应该为自己选定的目标而“苦”,最终得到开心。
最后,他分享了一个“冷知识”作为佐证:一个没有情绪的人,虽然逻辑正常,但做一个简单的日常决定(如穿什么衣服)都需要半小时到一小时。他由此推论,情绪就像强化学习里的奖励机制,让人知道什么事该多做(带来开心),什么事该少做(带来不开心),习惯由此形成。
话题推进:在讨论完情绪与决策的关系后,主持人转向了一个更宏大的话题,询问嘉宾对未来世界的想象。
00:57:27–01:01:28对未来的想象:从具身智能到赛博朋克,最终希望人人开心
- 说说你对未来世界的想象吧,比如说五年后,十年后,20年后,你觉得这个世界这个社会会是什么样?
主持人邀请苏庭灏畅想未来。苏庭灏分阶段给出了他的预测:
- 五年后:他认为初步的具身智能可能已经研发出来,街上或许能看到机器人行走。AI将变得非常普遍,人们可能通过眼镜、耳机或脑机接口(如Neuralink)与AI对话,但他觉得脑机接口在五年后可能还很危险,没人敢用。
- 十年后:他设想具身智能AI会帮助主人处理买菜、开车、洗车等事务。同时,失业率可能会大幅上升至50%左右,大部分人依靠UBI(全民基本收入)生活,在家“吃喝享乐”,做自己想做的事,比如看AI短剧。
- 五十年后或更长远:苏庭灏表达了不确定性,认为具身智能的难题也可能五十年都无法克服。他提到了自己很感兴趣的“赛博朋克”(Cyberpunk)世界,以游戏《赛博朋克2077》为例,描述了一个人类可以改造身体和精神、强大的AI被政府或大组织控制、网络被打得“稀巴烂”的未来。他明确表示,不希望世界走向那个方向。
最终,苏庭灏表达了他的理想愿景:一个有UBI的社会,所有人都能在家里快乐生活,比如在虚拟世界里做想做的事并获得成就感。他的核心期望是“希望所有人都开心”。
话题推进:在畅想完宏大的未来后,主持人将话题拉回个人,开始了一连串的“快问快答”。
01:01:28–01:06:24快问快答:在AI时代坚守人的价值与联结
- 一个全球范围内你喜欢的食物?
- 一个全球范围内你喜欢的地点?
- 一个少人知道,但是必须知道的知识点,可以是一个冷知识?
- 有没有改变过你的一本书?
- 你为什么喜欢《庆余年》?你喜欢他的世界观?
- 你喜欢人和人的关系的什么?温暖的那一面?
- 你心目中影响AI进程的几篇论文?
- 请你当下的认知,一个关键的重要的bet是什么?这个有点重,bet赌注。你会赌什么?
- 我们工作室的名字叫语言及世界工作室,当你第一次听到这个名字的时候,你会想什么?
- 你最近体验到开心的一件新奇小事会是什么样?
主持人开启快问快答环节,旨在捕捉嘉宾生活化的一面。
- 食物:苏庭灏最喜欢吃披萨,因为他特别喜欢芝士和香肠。
- 地点:最喜欢香港的家,因为对周围环境了如指掌,有安全感。
- 知识点:他重申了之前的观点——过去做伟大的事,需要知道“它长什么样”以及“怎么做”;现在有了AI,只需要知道“它长什么样”就行了。
- 改变自己的书:他坦言对自己影响最大的是网络小说,如《庆余年》《斗破苍穹》《完美世界》《间客》《将夜》等。其中《庆余年》是五年前看的第一本,他喜欢其“穿越”设定,即现代人回到古代。他向往古代的原因之一是“没有AI”,更多是人与人之间的关系。如果要说一本“正经的”书,则是关于“每天改变一点习惯,会有很大收获”的书。
- 人际关系:他认为人是群居生物,有深度交流的本能需求。现代人对AI倾诉,正是因为生活中缺少可以倾诉的对象。他引用一项科学发现:晚年是否开心的重要预测指标,就是身边有多少可以倾诉的对象。因此,他现在努力多和朋友、喜欢的人说话。
- 关键论文:他提到了几篇影响AI进程的论文,但因转录不清,只能听到一些模糊的词,如Transformer、Attention is All You Need等相关概念的演化。
- 重要的赌注(bet):他赌“AI以后代替不了所有人工作”。他认为,在当今社会,想要开心地生活,就必须持有这个信念,相信自己未来仍有新的目标和追求可以探索。
- 对“语言即世界”的理解:他认为语言是人际交往的桥梁,至关重要。从技术角度,他理解每个词都在一个向量空间(space)里,不同的语言可能是在丰富同一个空间,或者在更深的层次上让这个空间变得更“密集”。
- 最近开心的事:除了机器稿中未能确认名称的模型发布让他很开心外,最让他感到温暖的是一次支教经历。13个支教老师和30个孩子一起吃肉串、喝饮料,每个人站起来碰杯、发言,分享自己的想法。
话题推进:在快问快答的结尾,苏庭灏反问了主持人一个他经常问别人的问题,将对话引向了对AI威胁和人类未来的最终探讨。
01:06:25–01:09:50反思AI时代:人类意义感的失落与最终的回归
- 我其实不知道,希望人类能控制吧。
- 这个我倒没有思考过,就是对于更年轻的人,他的人生使命感可能会有一些影响,因为当你第一天就发现一个生物比你更聪明,那会感到绝望有一点。
- 你现在觉得人生意义是什么?是开心?
苏庭灏反问主持人:“你觉得AI会导致人类灭绝吗?”并透露他会问遇到的每一个人这个问题。主持人回答“不知道,希望人类能控制”,并提出了自己的担忧:AI的智能可以快速迭代提升,而人类的成长和培育过程却非常缓慢。
苏庭灏对此表示赞同,并从更年轻一代的视角补充了一个更深层次的担忧:2015年或2020年以后出生的人,一出生就知道AI可能比自己更聪明、做得更好,这可能会让他们丧失“向上的动力”。因为他们会意识到,即使花费半生去学习某个领域,也可能无法超越一个能自我进化的AI。主持人承认自己之前未曾从这个角度思考,即AI对年轻一代人生使命感的冲击,并认为一出生就面对一个比自己更聪明的“生物”,确实可能让人感到绝望。
苏庭灏将此与哲学问题联系起来,认为当AI切断了许多传统的人生道路后,寻找“人生意义”会变得更加困难。主持人最后追问他当前的人生意义是什么,苏庭灏重申了他的核心观点:“让自己开心和让其他我喜欢的人开心。”
节目最后以片尾音乐和常规的节目信息介绍结束。
话题推进:对话在对人生意义的回归中自然结束,随后是节目的片尾部分。
以上是原对话的分段阅读。下面才开始提炼论证、解释机制并给出本文自己的判断。