原文讲解:2:20:45 内容地图:从 Agent 定义到“延伸大脑”
以下先按节目自身的推进讲清楚原文:主持人问了什么,嘉宾怎样回答,哪些经历、案例和转折把后面的结论串起来。这里先不替嘉宾下判断。
| 时间 | 节目章节 | 核心问题 |
| 00:00–00:02 | 开场:为什么先看系统而非模型 | 报告里的 Recipe 很清楚,真正难的是把每个细节调到稳定并持续运行。 |
| 00:02–00:15 | Agent 定义与分类 | 环境、观察、动作如何把模型变成 Coding/Search/Tool/Computer Use Agent? |
| 00:15–00:29 | 路线比较:模型、工具与环境 | Context Engineering 与 End-to-End Training 怎样取舍?安全为何是行动问题? |
| 00:29–00:44 | 合成数据、RL 与 Kimi K2 前训练 | 如何生成多样、保真、可验证的 Agent 轨迹? |
| 00:44–01:08 | Kimi K2 后训练与工具数据 | 任务、角色、MCP 工具、沙盒、Rubric 和 verifiable reward 如何接在一起? |
| 01:08–01:54 | RL 工程、ChatGPT Agent 与安全 | Rollout、资源预算、评估器和人工确认如何影响真实能力? |
| 01:54–01:59 | Qwen3-Coder | 长程 Coding、Browser Use 与大规模并行环境的代价是什么? |
| 01:59–02:06 | Manus Context Engineering | KV Cache、Filesystem、Todo 与结构化记忆怎样管理长上下文? |
| 02:06–02:20 | 自我提升、Agent 家族与结尾 | Agent 能否自己发现任务、奖励、环境并成为个人的协作军团? |
下面按节目自己的推进,把上表中的主题展开成连续讲解;其中的判断、数字和经历先按嘉宾/作者在节目中的说法呈现,尚未进入本文的独立审计。
一、Agent 的边界在环境,不在“会不会思考”
访谈把 Agent 从模型中剥离出来的关键,是一个可反复改变状态的环境。Coding Agent 看到代码库、运行日志和测试结果;Search Agent 看到网页、检索结果和待核对的来源;Tool-Use Agent 看到工具的 schema、返回值与错误;Computer Use Agent 看到截图、HTML 和点击后的新页面。它们的共性不是名字,而是 observation → action → feedback 的循环。
Coding
动作是写入、修改和执行代码;反馈通常较快且部分可验证。
Search
动作是检索、打开、比较和引用;质量依赖来源覆盖与证据链。
Tool Use
动作是调用 API/MCP;错误可能来自参数、权限、状态或工具本身。
Computer Use
动作是点击、输入和拖动;最接近现实,也最容易造成不可逆后果。
因此“Agent 爆发”必须分场景讨论。Coding 已经拥有较短的反馈链,Browser/Tool Use 的难点则转移到环境基础设施、权限和长程恢复;不能用前端代码生成的体感,替代对真实世界行动风险的判断。
二、两条路线不是二选一:Context Engineering 与端到端训练各自买什么
Manus 的路线是把现有模型的 In-Context Learning 能力调到极致:角色拆分、提示词、工具、Filesystem、状态管理和多 Agent 编排可以快速迭代,适合产品先跑起来。Kimi K2、Qwen3-Coder 等则把特定场景的轨迹、奖励和环境写回训练,使模型在 Coding、Tool Use 或 Browser Use 上获得更强的原生倾向。
| 路线 | 主要投入 | 优势 | 结构性代价 |
|---|
| Context Engineering | Prompt、角色、工具、状态、缓存、工作流 | 迭代快;可组合多个模型;容易针对客户改造。 | 上下文污染、编排复杂度、长期一致性与模型上限受限。 |
| End-to-End Training | 轨迹、任务、环境、verifiable/rubric reward、训练与 rollout 基础设施 | 特定场景更强;行为可被训练成默认倾向;推理时编排可能更简单。 | 数据和环境昂贵;多 Agent credit assignment 难;迁移范围可能变窄。 |
| 混合路线 | 基模能力 + 后训练 + 外部工具/记忆/审批 | 把训练获得的肌肉与运行时的灵活性组合起来。 | 边界和责任更难测量,系统接口需要长期维护。 |
三、Kimi K2 的关键贡献:把 Agent 训练写成一条“数据编译器”
官方资料把 Kimi K2 描述为约 1T 总参数、32B 激活参数的 MoE 模型,并报告了大规模预训练与 Muon 优化器。访谈没有把优化器本身神化,而是把注意力放到两个与 Agent 更直接相关的贡献:大规模 Agentic Data Synthesis Pipeline,以及结合可验证奖励与 Rubric 自评奖励的 RL 框架。
知识重写
长文切块、改变表达风格与视角,再做 Fidelity Verification,减少改写时的事实漂移。
数学重写
把高质量数学材料转换为 Learning Notes,让“教会别人”成为一种学习检验。
轨迹生成
从任务、角色、工具和环境出发,合成 observation/action/feedback 交错的行为数据。
这套思路的深层含义是:数据不再只是静态文本,而是由任务规格、工具目录、模拟器和评价器共同编译出的训练样本。模型公司真正需要规模化的,可能不是“再爬一遍互联网”,而是把新环境转换成多样、保真、可回放、可验证的学习轨迹。
三重质量门槛多样性防止模型只学一条捷径;保真度防止合成文本污染知识;可验证性防止奖励把错误目标优化得更快。任何一个门槛缺失,规模化都会放大相应的缺陷。
四、从 MCP 工具到任务 Rubric:Agent 数据怎样被“制造”出来
访谈中最具工程含量的部分,是对工具数据管线的拆解。工具不是简单列一个 API 清单,而是先从约三千个 MCP 工具出发,合成更丰富的工具集合,再为任务配置角色、系统提示、用户目标、成功标准、人物/风格和模拟器;随后在真实世界或沙盒里运行、过滤并留下可训练的轨迹。具体规模和比例属于节目讲解口径,应与官方报告的公开实验设置分开阅读。
Tool inventory
可调用能力
Task + role
目标与身份
Simulator / real
环境与反馈
Trajectory
观察—行动序列
Filter
质量与安全
Train / eval
学习与复测
任务合成的难点是多样性。若让同一个模型在有限网站上自动提出任务,它很快会重复自己的先验;引入人工任务、不同模型、角色、工具组合和难度控制,才能扩大状态覆盖。难度也不能一味拉高:过简单没有学习信号,过困难则只有噪声和超长失败轨迹,最佳区间应由训练曲线和真实迁移共同决定。
安全是这条管线的一部分,而不是上线前的独立闸门。工具权限、系统提示、恶意网页、错误参数和不可逆动作都必须在任务生成、执行、过滤和部署时分别处理。
五、RL 的价值来自“可验证”与“可探索”的组合
对代码、数学和逻辑任务,是否编译、测试是否通过、证明是否成立,能提供相对清晰的 verifiable reward;对开放式写作、研究和交互质量,单一答案往往没有唯一标准,才需要 Rubric、自评、互评或用户反馈。Kimi K2 采用二者组合的思路,正是承认现实目标既有硬约束,也有软质量。
| 奖励类型 | 适用问题 | 常见风险 | 防护 |
|---|
| 可验证奖励 | 数学、逻辑、编译、单元测试、GitHub 任务 | 钻测试漏洞、过拟合沙盒、把局部通过当成整体正确。 | 隐藏测试、跨环境复测、人工抽查、限制工具与权限。 |
| Rubric reward | 表达、研究、帮助性、创造性、风格 | 评估器偏好被模型迎合;漂亮语言掩盖事实错误。 | 多评估器、事实核验、对抗样本、独立用户价值指标。 |
| 用户反馈 | 真实偏好、长期协作与个性化价值 | 点击/停留不等于完成;短期满意损害长期目标。 | 任务结果、返工、留存、错误严重度与用户确认联合衡量。 |
访谈还提到一组训练稳定性工程:控制 rollout 长度和预算、加入长度惩罚、用 PTX loss 保留预训练知识、逐步调整温度,以及处理并发、环境服务、部分 rollout 和 stale trajectory。它们常被忽略,但决定了“论文里能跑”是否能变成“产品里稳定”。
奖励越可写,越需要问“谁写的”Verifier 不是事实本身。它只是把某种规格变成一个可优化信号;规格错了,Agent 会更快地把错误执行到底。
六、ChatGPT Agent:把研究、浏览与行动合成一个产品动作空间
官方介绍把 ChatGPT Agent 描述为能够研究、浏览网页、使用工具并执行任务的产品,并强调用户控制、确认和安全边界。访谈把它理解为 Operator 与 Deep Research 等能力的合流,这是一种基于产品行为的解释,不等于 OpenAI 公布了完全相同的内部实现。
无论内部架构如何,产品层的变化很重要:用户不再只接收一段回答,而是把目标交给一个会访问网页、读取信息、调用工具、形成中间状态的执行者。于是“回答是否正确”必须升级为“它在谁的权限下做了什么、哪些动作需要确认、失败后能否回滚、结果如何审计”。
读
检索、浏览和综合信息;证据覆盖与引用质量是核心。
想
拆解任务、选择工具、管理上下文;长程状态不能靠隐式记忆。
做
写入、提交、购买或发送;不可逆动作需要权限和人类确认。
Computer Use 的安全边界比纯文本回答更具体:一个错误点击可能改变外部账户状态,一千个并行代理则可能变成对网站的集中压力。防护不应只依赖“模型更聪明”,还需要 action guard、速率限制、沙盒、审批和可撤销设计。
七、Qwen3-Coder:长程 Coding 的增量主要在环境和工具
Qwen 官方博客公开了 Qwen3-Coder 的大规模 MoE、长上下文、代码生成、浏览器和工具使用方向,并提供 Qwen Code CLI 等使用入口。节目中提到的具体并行环境数量属于嘉宾讲解口径;可确认的机制是:为了训练长程 Coding/Browser Agent,需要大量彼此隔离、可重置、能返回真实反馈的环境服务。
“Hard to solve but easy to verify”解释了 Coding 为什么适合 RL,却不能掩盖工程成本。每一个环境都要处理依赖、权限、网络、超时、状态清理、数据泄露和正确性判定;并行数越大,调度、监控与存储就越像一个分布式系统,而不是一段训练脚本。
八、Manus 的 Context Engineering:记忆管理其实是计算管理
Manus 的公开经验不是“提示词写得更长”,而是围绕 KV Cache 组织上下文:稳定前缀、追加式写入、在不删除内容的情况下用 mask 隐藏暂时不用的部分,再借助 Filesystem 与 Todo 文件把长期状态移到模型外部。这样既复用缓存、降低推理成本,又给 Agent 一个可读写的工作区。
但这条策略有一个内在张力:上下文越长,缓存越能复用,模型却可能越难把注意力放到真正重要的内容。解决方案不是把所有东西都塞进 prompt,而是让状态有结构:目标、当前计划、已验证事实、失败记录、待确认事项和权限分开存放;错误不能因为摘要而消失,应该保留来源和可回滚版本。
稳定前缀
让系统提示和长期规则尽量不变,提升缓存复用。
追加式日志
新观察追加写入,保留可追溯的事件顺序。
结构化文件
把计划、事实、失败和待办变成可编辑状态。
增删改查
记忆不是堆积,而是能按任务更新、纠错和回滚。
九、自我提升闭环:Agent 先学会寻找自己的课程
访谈最后把问题推向更远处:如果 Agent 能在网站、代码库和工具环境中自主探索,它是否可以自己发现适合训练的任务、奖励和环境?Kimi K2 中由研究人员挑选 GitHub Pull Request/Issue 并搭建沙盒,仍是人类设计课程;更自动的路线则是让 Agent 先提出候选任务,再由人或验证器筛选,最后把成功轨迹压缩成可复用的 Skill、API 或程序知识。
Explore
发现环境
Propose task
提出课程
Verify reward
检查目标
Train / retry
试错学习
Compress skill
程序化记忆
Reuse / audit
复用与追踪
这个闭环的难点不是“能不能自己点网页”,而是奖励发现:Agent 必须区分真正的新任务与重复噪声,判断环境是否安全,理解何时应该提问以消除歧义,并把一次成功压缩成对未来有效而不过拟合的程序。自我提升如果没有独立验证,可能只是自我评价的循环。
最后的“Agent family”也可以用系统工程理解:一个人把 Coding、写作、长文档整理、批评和检索交给不同 Agent,个性差异来自模型、系统提示、奖励和上下文的组合。多 Agent 不等于多人开会;只有当角色、状态和交接协议减少了错误,分工才有必要。
原文讲解到这里。接下来才进入本文的结构化抽象、证据分层和独立判断。
核心判断:Agent 的新瓶颈不是“再大一点”,而是把系统做成可学习的世界
郑博元给出的最小定义很干净:Language Model 接收输入、输出答案,过程可以结束;Language Agent 处在一个环境里,先观察,再生成并执行动作,环境改变后继续循环。Coding、搜索、工具调用和 Computer Use 只是不同的 observation space 与 action space。
Task
目标与约束
Observation
代码 / 网页 / GUI
Reasoning
规划与判断
Action
代码 / API / 点击
Feedback
测试 / 页面 / reward
State
下一轮上下文
本文的中心推论Agent 能力的上限由模型提供,但可用性的下限由环境、验证、状态和权限共同决定。谁把这些“模型外部的东西”做成稳定、可观测、可迭代的基础设施,谁就拥有更长的学习曲线。
从原文切换到独立分析以下卡片是本笔记此前整理出的独立洞察,现统一放在核心判断之后,避免与嘉宾/作者原文混读。
Insight:路线选择其实是在买反馈速度Context Engineering 买的是上线和迭代速度,端到端训练买的是重复任务的单位成本与稳定性。真正的决策变量是:任务是否稳定、reward 是否可写、环境是否可规模化、模型行为是否需要迁移。
Insight:环境是被低估的训练硬件GPU 决定可以同时算多少 token,环境决定这些 token 是否产生有意义的经验。没有可重置、可观测、可验证的环境,增加 rollout 只会增加随机游走。
Insight:Context Engineering 不是 Prompt Engineering 2.0它更接近运行时内存管理和组织知识管理:决定什么进入工作集、什么留在外部存储、什么可以被覆盖、什么必须审计。