姚顺宇访谈深读：Benchmark 之后，真正稀缺的是任务规格

核心判断：竞争正在从“发现能力”迁移到“发现规格”

姚顺宇最重要的判断并不是“预训练还能继续 scale”，也不是“Agent 会取代程序员”。真正贯穿访谈的是一个更难的问题：模型已有大量潜在能力，但人类尚不清楚要把它教成什么、如何把“好行为”写进环境、数据、reward 和评估。公共 benchmark 被打满只意味着旧题的分辨率下降，并不意味着用户体验收敛，更不意味着需求已被定义。

3:48:01 完整内容地图

物理阶段不是履历前传，而是方法来源

访谈对非厄米 skin effect 的解释，核心是周期边界和开放边界下的谱与本征态不再按传统 Bloch 图景对应。姚顺宇与汪忠 2018 年的论文确实提出，需要在 generalized Brillouin zone 中重新定义拓扑不变量，并建立 non-Bloch bulk-boundary correspondence。这里最重要的不是“本科生做出大成果”的英雄故事，而是研究过程：数值结果与理论预期冲突时，不是把异常当噪声，而是让异常迫使框架改变。

他后来离开高能理论，理由并非该领域不深，而是可达实验不足，个人难以判断工作是否真正改变世界。AI 则同时允许理论假设、数值实验、数据构造和产品反馈在较短周期闭环。由此才能理解他所谓“AI 本质简单”：不是说智能机制简单，而是相对于某些理论物理问题，实验阻力更低、可迭代性更高。

预训练没有结束，但“继续堆”不是完整解释

姚顺宇反对把一次训练不顺直接解释为 scaling law 失效。在明确范式里，许多瓶颈来自数据管线、数值稳定、实验假设或基础设施 bug；只有系统消融后，才知道是规律真的改变，还是实现没有进入应有工作区间。这是重要的工程纪律。

然而“还能从更多数据与计算获益”不能推出“产品价值同比例增长”。公共榜单趋于饱和后，固定 benchmark 的边际分辨力下降；如果不断更换更难 benchmark，又可能移动球门。成熟评估需要同时报告固定任务回归、新任务扩张、成本/延迟、长尾错误和真实用户完成率。

从预训练到后训练：差异首先是分布

访谈把预训练、SFT 与 RL 看作连续谱：本质都是让模型拟合某种数据或偏好分布，只是数据由互联网、人工示范还是环境反馈产生。这个视角有助于避免术语崇拜，但不能抹去它们在探索、信用分配、在线采样和安全审计上的实际差异。

算法处在这条链中间，更像系统约束下的控制器。sampler 与 trainer 的异步方式、训练 FLOPs 与采样 FLOPs、通信、稳定性和 serving bottleneck 都会改变“最优”方案。脱离系统背景传播某个神奇技巧，往往是在传播错误因果。

Coding 为什么先爆发：三种条件罕见地同时满足

这三者让 Coding 成为“验证器经济”的首个大市场：模型不仅生成答案，还能在环境里执行、定位失败、修复并再次验证。姚顺宇所说个人 90% 以上代码由模型生成、实验效率提升 20–50 倍，应当保留为个人工作流估计，而不是行业平均。

同样要看反例：测试可能不完备，模型可以 overfit test；维护性、安全、性能和需求正确性常不能由单测覆盖。Coding 的成功证明了可验证任务可被快速自动化，不证明产品管理、研究选题、法律判断或组织治理都能套用同一 reward。

Claude 3.7：技术故事也是组织故事

Anthropic 的公开 System Card 确认 Claude 3.7 Sonnet 是 hybrid reasoning model，extended thinking 通过强化学习训练，并允许不同 thinking token budget。姚顺宇个人主页则写明其参与 Claude 3.7 的 agentic coding 和 Claude 4 的 RL numerics。公开材料能支持“参与”和产品机制，不能支持外界把某位研究者写成单人主导者。

访谈将 Claude 3.7 描述为后训练规模化的转折：小团队、高不确定性、技术创始人 top-down bet，加上环境、数据、infra 与数值稳定共同完成产品。这种组织在早期范式探索中可以快速集中资源，但依赖创始人的技术信誉、权责一致和团队信任；如果判断错，风险也同样集中。

姚顺宇离开 Anthropic 的原因包含学习广度、公司从 API 向效率产品移动、文化差异，以及对 Dario Amodei 中国立场的不认同。这里必须把层次分开：公开言论可以核验，访谈中的价值判断属于个人解释；不能把人的离职叙事简化成单一政治标签，也不能用它反推全部组织文化。

Gemini 与 long horizon：从大窗口转向信息预算治理

Google 对 Gemini 1.5 的官方说明确认 1M context window 和内部 10M 测试，同时明确长窗口计算密集、延迟仍需优化。窗口长度回答“理论上能放多少”，却没有回答模型在一百步任务中该保留什么、何时检索、如何恢复、什么时候承认丢失。

姚顺宇给出的两条路线分别位于训练和使用层：预训练阶段通过稀疏注意力等架构降低长上下文成本；后训练与 Agent 阶段通过 context management 选择性遗忘、摘要、外存和检索。更准确的目标不是“无限记忆”，而是有限训练、有限工作记忆之上的近无限使用。

访谈把 continuous learning 与 context/KV state 视作功能上相近，强调二者都在让系统根据使用历史适应。但它们并不完全等价：权重更新涉及遗忘、隐私、更新传播与回滚；上下文状态更易隔离和审计，却受容量和污染影响。二者应视为不同持久层，而非同一名词。

机器人“未到 GPT-1”：应读成 scale-up 机制问题

姚顺宇承认中国硬件供应链优势，也认为机器人在单场景可以通过大量工程优化取得成果；他的强判断是领域尚未找到跨任务、跨场景、跨本体稳定迁移的规模化机制。把这句话当作精确历史阶段并无意义，更可检验的版本是：新增数据和计算能否带来可预测的横向正迁移，而不是每个新场景重新做 feature engineering。

机器人与 Coding 的差别也说明“可验证”不是二元属性。代码有离散、低成本、可重复的执行环境；机器人反馈受硬件磨损、现实分布、传感误差和安全约束影响。没有统一、低成本、可扩展的评价环境，RL 很容易只优化特定设备和任务。

从个人英雄到集体主义工程

大模型生产 run 涉及数据、计算、训练框架、评估、产品与安全，成果难以归因给单人。姚顺宇反对用论文式作者排序理解模型贡献，实质是在要求评价系统奖励可靠系统节点，而不是最擅长公共叙事的人。这也解释了他强调研究员必须理解 data、FLOPs、stability 和 production constraints。

Anthropic 与 Google 并非简单的“创业公司文化 vs 大厂官僚”。更准确的条件化判断是：问题高度不确定时，小而有权的 top-down 团队能减少协调成本；范式相对明确后，大组织可用多线储备、工程分工和发布流程降低方差。组织结构应该匹配问题的不确定度，而不是被道德化为唯一正确文化。

24 小时面试的两面

长时间 RL 面试可以测候选人是否会借助 AI、读懂系统和推进未知任务，比纯手写算法更接近研究工作；但把熬夜解释为“重视机会”，会把健康、时区和照护责任误判成动机，选出可过度工作的人而非最可靠研究员。好的评估应保持任务真实性，同时规定有界时间、休息和相同资源。

多方制衡不是核威慑的简单复制

访谈把多个 AI 势力之间的制衡类比核威慑，试图说明能力集中并非唯一安全路径。这个类比提供了“多中心治理”的直觉，却缺少几个前提：核武器库存相对可观测，攻击具有高门槛且归因较明确；模型权重可以复制，网络行动难归因，Agent 能低成本扩散。

因此多方控制或许必要，却远非充分。最低条件还包括可验证承诺、事故信息共享、模型/权重扩散管理、责任归因和跨境应急机制。没有这些制度层，参与者数量增加也可能只增加竞速压力。

哪些是判断，哪些只是 2026 年时点预测

进一步推演：这场访谈真正留下的五条 Insight

1. 规格发现会成为模型时代的产品科学。 更强学习器会更快放大目标中的缺口；产品团队的核心资产将是可执行任务、边界条件、反例和失败分类，而不只是 prompt。
2. 验证器是一种稀缺市场基础设施。 Coding 的优势来自执行反馈。下一批高价值领域，不一定是数据最多的，而是能把“正确”变成低成本、不可轻易作弊信号的领域。
3. Agent memory 应像操作系统内存，而不是无限聊天记录。 需要分层、权限、生命周期、压缩、检索和回滚；错误记忆与错误权重一样需要治理。
4. 算法论文的可迁移性会下降，系统实验的价值会上升。 当最优策略由硬件、rollout、serving 与真实任务共同决定，脱离系统约束的单点 SOTA 越来越难预测 production 收益。
5. 集体主义工程需要新的贡献账本。 反个人英雄不能变成“贡献不可见”；组织仍需记录决策、事故、基础设施、评估和公共品，否则隐性权力会替代显性作者排序。

如何证伪，而不是只接受叙事

• 用固定任务与新任务双轨评估，判断“能力继续增长”是否只是不断更换 benchmark。
• 在等模型、等工具、等预算条件下比较不同 Agent harness，拆分模型与框架贡献。
• 对 long-horizon 系统报告恢复率、错误遗忘、状态漂移和证据追踪，而不只报 context length。
• 让 ML coding agent 完成从假设、实现、运行、诊断到下一假设的盲测闭环，并与等预算人类团队对照。
• 检查机器人新增数据是否跨本体/场景正迁移；若只能提升原任务，就不支持通用 scale-up。
• 比较不同不确定度项目中 top-down 小队与工程化大组织的交付速度、失败率和返工成本。

证据边界与资料索引

本笔记以 Zhang Xiaojun Podcast 对姚顺宇的 3:48:01 访谈及上传者简体中文字幕为主材料，已连续覆盖 17 个官方章节。字幕保留口语和主持人追问，专名与数字以一手来源优先校正。访谈中的公司内部人数、未公开训练细节、个人效率、市场份额和未来时间线均按嘉宾口径处理。

• Zhang Xiaojun Podcast #143：姚顺宇完整访谈（规范视频；本地字幕源对应另一上传 ID）。
• Shunyu Yao 个人主页：当前/历史职务、物理与 AI 研究经历、自述模型贡献。
• Edge states and topological invariants of non-Hermitian systems：non-Hermitian skin effect 与 non-Bloch bulk-boundary correspondence。
• Claude 3.7 Sonnet System Card：hybrid reasoning、extended thinking、训练与安全评估边界。
• Gemini 3.1 Deep Think：Google DeepMind 的公开模型页与厂商评测。
• Google：What is a long context window?：Gemini 1.5 的 1M/10M context 说明与计算成本限制。

证据强度顺序：论文/系统报告与公开产品资料 → 人物本人履历 → 访谈内参与者口径 → 分析推断。本文的 Insight 属于后两层，不伪装成已被外部实验确认的事实。