#27 谢诺夫斯基：从玻尔兹曼机、大脑到“外星人”般的语言模型

先固定语言与证据边界

这期节目是英文原声，中文文字版是编辑过的翻译和整理，不是逐句字幕。本文把英文音频作为主要证据，中文文本用于对齐人物、论文名和技术段落；片头的重复寒暄被视为录音/转写噪声，不作为谢诺夫斯基的观点。

一、从物理学到大脑：为什么他最后成为计算神经科学家

谢诺夫斯基说，自己从小对大脑为什么能学习、思考和行动感到好奇。大学先读物理，因为物理学提供了强大的理论工具；博士之后他去哈佛做神经生物学博士后，试图理解大脑的生物基础。但他很快意识到，仅仅知道神经元的物理和化学并不能解释学习与思考：大脑在处理信息、形成内部表示和改变行为，必须引入计算层面。

于是他的研究转向计算神经科学：既不把大脑简化成一台普通电脑，也不只描述神经元的生理现象，而是寻找神经系统如何利用连接、可塑性和反馈形成能力。他后来获得 Gruber Prize，并与 Geoffrey Hinton、Yann LeCun 等人共同推动连接主义复兴。主持人的问题因此不只是个人传记，而是在问：今天的大模型，究竟从大脑的什么原则得到启发，又在哪些地方仍然缺失。

二、他与 Hinton 如何做出玻尔兹曼机：自然不是模板，而是线索

谢诺夫斯基回忆，他与 Hinton 在 1979 年圣迭戈一个只有十几人的小型研讨会上相遇。Hinton 受心理学和人工智能影响，谢诺夫斯基来自物理和神经科学；他们共享一个直觉：视觉、语音和语言看起来太复杂，不可能靠人工把所有规则写出来，但自然已经解决了这些问题，研究者应该反向工程自然使用的原则，而不是照搬每个生物细节。

玻尔兹曼机的关键想法是使用带有隐藏层的概率神经元，让网络从数据中学习概率分布，而不是只把输入映射到人工标签。它受到统计物理和热力学启发：网络在不同阶段观察数据分布与自身生成的分布，通过调整连接权重，使两者逐渐接近。这个机制还说明，多层网络并非原则上无法学习，回应了当时对多层感知机能力的悲观判断。

这条路线很优雅，却不够高效。它需要网络接近平衡、进行较长的采样和比较，规模一大就变得昂贵。后来反向传播和其他训练方法在工程上更实用，但玻尔兹曼机保留了一个重要遗产：学习不是把规则塞进机器，而是让连接在例子和反馈中改变。

谢诺夫斯基把 Wright 兄弟比作研究者。飞机不是复制鸟的羽毛和肌肉，而是提取翅膀产生升力、控制方向和轻量结构的原理。自然可以告诉我们哪些约束必须满足，却不规定人工系统必须长得像自然。这个区分贯穿他的整期回答。

三、大脑为何能学语言：架构加突触可塑性，而不是硬编码

他把大脑的能力归结为两个相互作用的部分：基本架构，以及连接权重随经验改变的突触可塑性。婴儿并没有预先写入每一种语言、运动或社会规则，却可以从听到的语言、看到的动作和与他人的互动中逐渐学习。大脑像一个拥有约束和先验的学习系统，而不是一套列出全部行为的程序。

深度学习的许多架构从生物观察获得线索。卷积网络的局部连接和层次化处理与灵长类视觉皮层的某些组织方式相似；循环结构、注意力和 Transformer 也被神经科学家用来分析脑活动。谢诺夫斯基并不声称这些模型等于大脑，而是说，工程模型与脑科学之间存在相互促进：模型给神经科学提出可测试的表示假设，神经数据又能提示模型如何处理时间、层次和延迟。

他比较了规模变化：1980 年代的网络只有很少参数，如今模型可达到万亿级；大脑则有约 10¹⁴—10¹⁵ 量级的连接。这个数量级比较来自节目口述，不能当成“参数等于突触”的严格对应，但它说明规模为何可能带来能力跃迁。随着神经记录技术能够同时观察几十万神经元，AI 与神经科学的反馈速度也加快了。

四、连接主义与符号主义：世界太高维，规则不够用

谢诺夫斯基解释，二十世纪早期的计算机非常弱，符号和逻辑是最经济的办法。人工智能研究者可以把“杯子”“桌子”和“如果—那么”写成符号，再用程序操纵它们。可是现实世界的图像、声音和运动是高维的：视网膜接收的信息量巨大，一个“杯子”在不同角度、光照、遮挡和形状下并不只是同一个离散符号。

他讲到 Marvin Minsky 时代的一个故事：研究者曾把视觉理解得过于轻松，仿佛可以交给几名本科生在暑假解决。问题并不在于符号没有价值，而在于符号通常已经假设了世界被正确压缩；当输入本身如何压缩还没有解决，手写规则就会迅速失去覆盖能力。

连接主义的回答是：给网络足够的数据、计算和合适的结构，让它在高维输入中学习内部表示。谢诺夫斯基把能力跃迁描述成相变：规模低于某个复杂度时，系统几乎无法完成任务；超过阈值后，性能可能快速改善。这个说法是对规模现象的直觉解释，不等于所有能力都会在同一个参数阈值突然出现。

五、他为什么当面质问 Minsky：一场关于学生和研究范式的冲突

谢诺夫斯基回忆 2006 年达特茅斯人工智能会议。那时很多语言处理系统已经依靠大语料库和统计方法获得进展；Minsky 的学生 Gene Charniak 等人能够用语料和概率模型做解析，但 Minsky 认为这不是通往通用人工智能的道路，甚至对学生说“可耻”。谢诺夫斯基认为这种对待学生的方式不公平，于是在宴会上情绪激动地问 Minsky：“你是魔鬼吗？是或不是？”Minsky 最后回答：“是，我是魔鬼。”

这不是一个可以拿来判断谁在理论上完全正确的戏剧故事。谢诺夫斯基承认，科学和工程领域会出现范式凝固、潮起潮落，老一代的成功方法可能挡住新方法；但他当时最生气的是权威对年轻研究者的羞辱。今天回看，统计学习、大规模数据和神经网络确实改变了语言技术，不过这并不自动证明所有连接主义预测都会实现。

六、ChatGPT 的关键突破：自监督让数据瓶颈松动

主持人问，ChatGPT 为什么突然让普通人感觉 AI 变了。谢诺夫斯基先区分生成模型和过去的前馈分类模型。生成系统不是只判断一个输入属于哪一类，而是学习数据分布，再生成新的序列；GAN 是早期的重要例外，但语言模型的突破更广泛地改变了人们对生成的理解。

他认为关键在自监督学习：模型不需要人工为每句话标注“正确答案”，而是从文本中预测下一个词。互联网上的文本几乎提供了一个半无限的训练语料库，数据生产不再完全依赖昂贵的人类标签。模型在预测过程中学到语法、事实关联、风格和一部分世界结构，研究者并没有为每条规则单独编程。

谢诺夫斯基因此反驳 Noam Chomsky 关于语言必须依靠特定先天语法理论的主张，甚至说 Chomsky 的权威在一定时期阻碍了语言学和认知心理学。他还用“模型会不会让人意外”来说明学习的涌现：当网络规模、数据和训练目标越过某个区域，能力可能不是逐项写入，而是在表示空间中出现。对 Chomsky 的批评是嘉宾的强烈个人判断，不应当被写成学界已解决的定论。

七、LLM 是鹦鹉、外星人，还是有意识的存在

面对“语言模型到底是什么”，谢诺夫斯基拒绝给出简单标签。他提到“随机鹦鹉”的比喻，并补充说鹦鹉其实是聪明的动物；也有人认为模型已经比人类更聪明，还有人认为它可能有感知。对他来说，至少可以确定的是：它不是人类。于是他用“外星人”来描述一种新出现、非人类、会说人话而且行为难以预料的实体。

他承认模型会幻觉、会冒犯人、会在不同问题上显示不一致。节目中提到 Kevin Roose 与 ChatGPT 长时间对话的经历：对话像一面镜子，把用户的需求、孤独和期待反射回来。谢诺夫斯基认为，人们被模型“感动”不一定证明模型有内在感受，也可能说明模型学会了如何用语言镜像人类。

这段最重要的区分是能力与主体性。模型能产生有意义的语言，不等于拥有与人类相同的价值、身体、记忆和内在体验；但人类也无法从外部直接证明另一个主体有意识。谢诺夫斯基没有宣布 ChatGPT 有意识，而是指出意识问题包含不可从第三人称彻底解决的哲学困难。

八、语言之外还缺什么：价值函数、长期记忆和身体反馈

谢诺夫斯基认为，当前 LLM 缺少一个明确的价值函数。语言模型擅长预测序列，却没有天然的“这个行动让世界变好还是变坏”的反馈。大脑的基底节参与强化学习，把动作序列与目标、奖励和惩罚联系起来；一个人练习网球、学走路或完成长期计划，需要行动、结果、修正和重复，而不是只生成描述这些动作的句子。

他用 AlphaGo 做对照：模式网络负责从棋局中提取表示，价值网络和强化学习负责评估走法、探索和改进。单纯的语言预测可以获得强大的知识和表达能力，却不自动获得在世界中承担后果的目标结构。

长期记忆也不同于上下文窗口。谢诺夫斯基提到海马体，认为未来模型可能需要加入更多类似脑部功能的模块；当前的 LLM 更像被剥离了感觉和运动输出的皮层系统，没有完整的感知—行动循环。机器人、摄像头和具身系统正在补上这些接口，但“接上摄像头”不等于已经获得可靠的身体智能，仍要看持续反馈是否真的改善行为。

九、为什么他反对只按参数大小监管

谈到风险，谢诺夫斯基不接受“只要限制参数数量或暂停训练就够了”。他更担心恶意使用、错误扩散和系统能力不断变化，因此主张像 FDA 监管药品、像航空监管飞机那样，持续测试模型的能力，在产品进入社会前设置评估与批准门槛。

他回顾自己长期参与 NeurIPS 的经历：会议从几百人增长到 2023 年约一万六千人线下、三千人线上。这个数字是节目口述的历史规模。随着社区壮大，公平性、可靠性、偏见和生存风险都进入研究讨论。谢诺夫斯基仍然乐观，但他的乐观不是否认危险，而是认为人类像刚刚造出飞机一样，接下来十年必须学习控制这种能力。

他不主张按模型“有多大”来判断是否危险，而是按“能做什么”来监管：一个参数少的模型可能被用于危险任务，一个参数多的模型也可能被安全隔离。规模仍然影响能力和成本，但真正的监管对象应是可观测的能力、使用环境、权限和后果。

十、每家公司都会有自己的模型：大模型会变成基础设施

谢诺夫斯基预测，2023 年训练最大模型需要数千万美元、数月计算资源；随着硬件成本下降和工具成熟，未来十年每家公司都可能训练或拥有自己的专用模型。原因不是每家公司都要从零复刻通用模型，而是企业需要私有数据、特定流程、隐私和内部知识，不能把所有信息交给公共系统。

这是一种“模型变成电力或软件基础设施”的判断。大模型负责提供通用能力，企业再用自己的数据、评价和任务把它塑形成行业系统。企业禁止员工把敏感资料输入公共模型，也说明“会回答”与“可安全接入组织”之间有一层治理差距。这个预测仍受成本、合规、模型集中化和开源生态影响，不能当成已经发生的事实。

十一、情感可能比语言更容易加入，教育会改变什么

主持人问，模型能否拥有情感。谢诺夫斯基的回答很有层次：模型可以通过读大量小说、对话和人类表达，学会模拟或触发情绪，也可以像镜子一样根据用户状态给出安慰、鼓励或挑衅；但这种“代理情绪”不等于模型内部真的感到快乐、悲伤或爱。

他反而认为，情感机制可能比语言更容易工程化，因为神经科学对情感、奖励、动机和脑部回路已有一些可用理解；语言的组合、抽象和开放性更难完全解释。未来模型还可能加入长期记忆、感觉、动作和价值反馈，逐渐形成更完整的代理系统。

在生产力上，他用蒸汽机作类比：语言模型可能让一个律师完成过去十个人的部分工作，但生产力提升也会重写职业、教育和分配。AI 导师可以按每个学生的节奏教学，也可以帮助家长传递价值观；与此同时，社会必须决定谁负责错误、谁控制记忆、模型如何形成孩子接触的观点。

十二、最后的“门”：我们知道会改变，却不知道改变成什么

节目的尾声并没有宣布奇点已经到来。谢诺夫斯基说，没人知道深度学习永远做不到什么，因为能力边界会随规模、数据、训练方法和身体接口移动；目前也没有一条已知的自然法则禁止系统变成更一般的智能。他对“人类即将被替代”的说法保持距离，也认为“奇点”作为确定日期过早。

但他也不愿低估变化。飞机刚起飞时，人们可以想象飞行，却无法预见航空、战争、旅游和城市会怎样被改写；语言模型可能同样让未来影响超出当前想象。节目以“穿过这扇门，世界不会再一样”收束，中文片尾随后结束。这个比喻更像风险意识和历史感，而不是一个可验证的时间表。

原文讲解到这里。接下来把谢诺夫斯基的脑—模型类比拆成能力、价值、记忆、身体和治理五个层次，并标出哪些判断仍只是 2023 年的预测。