原对话:沿提问、回答和转折完整展开 下面先按节目顺序重建。主持人在追问什么,嘉宾如何以自己的经历、例子和推理作答,尽量保留在具体语境中;案例中的事实、数字和判断先归属于发言人。随后才进入本文的机制解释与独立判断。
00:00:04–00:27:30 连续对话 100:00:04–00:02:07 创业方向:在Agent生态中寻找“可训练工具层”的机会开场剪辑先给出本期的三个观察面。Henry 称,OpenAI 当年发布 GDPval、PaperBench 和 SWE-Lancer 时,初始报告里表现最好的反而是 Anthropic 模型,因此赞赏其研究与市场表达能够分开。这是他对所读报告的评价,不是对所有 OpenAI 研究的全面审计。
Bethany 接着介绍 Google Labs:NotebookLM 和 Nano Banana 的产品打造不只依赖工程师和 PM,也引入编辑、作家及擅长网络创作的成员。Naomi 以她参加活动时听到的“美甲上的香蕉”故事解释 Nano Banana 命名,说明产品传播与创意并非纯技术附属品;该故事是现场转述。
创业话题则回到一个克制前提:戴涵俊认为不能先假设 AGI 已实现,当前模型仍在很大程度上依赖训练数据。Bethany 将 Agent 创业空间分成调度层、数据连接层和工具层,Precur 选择工具层,希望利用 RL 等方法让工具保存状态、记住失败并改善自身。这里是创业愿景,后续节目才补充早期效果和技术限制。
Benchmark(评测基准) 由任务、运行协议和评分规则共同构成的比较工具。一个分数只有在模型版本、推理预算、工具权限、数据是否可能泄漏和评分口径明确时才可解释;不能把某个榜单分数直接等同于真实工作能力。
GDPval 节目中讨论的 OpenAI 知识工作评测。Henry 转述其从重要经济行业构造 44 个职业、1320 个任务;主持人引用 GPT-5.1 到 5.2 的 38.8%→70.9% 提升。这里衡量的是特定任务集上的输出比较结果,不等于已经自动完成相应职业的全部工作。shownotes 对该评测的概括较简略,准确口径仍应查原始技术报告。
ARC-AGI-2 以少量示例推断抽象图形规则的评测。主持人引用的 17.6%→52.9% 是该节目所述模型版本与推理设置下的成绩,不能单凭这一项推断 AGI 已实现。
Trainable Tool(可训练工具) Precur 提出的产品愿景:工具保存调用状态,利用成功或失败轨迹改善覆盖、质量或效率。它描述的是待实现的系统方向,不能仅凭“使用 RL”就推出已能可靠自动演化;反馈定义、归因、验证和回滚仍是必要条件。
话题推进: 剪辑结束,主持人介绍四位嘉宾及其相互关联:投资人同时是 Precur 的投资方,创业者则来自 Google。
00:02:10–00:06:11 嘉宾介绍:来自大厂、VC与创业公司的AI一线从业者请戴涵俊和 Bethany 介绍自己此前的研究和工程经历,以及 Precur 正在做什么。 请 Naomi 和 Henry 介绍新基金 MoE Capital 的定位与专家社区。 主持人说明,Henry 与 Naomi 近期和王梦迪教授共同成立早期基金 MoE Capital;戴涵俊和 Bethany 则离开 Google,创办 Agent 工具层公司 Precur。嘉宾背景决定了本期既有技术与产品观察,也有投资立场,阅读时需把“被投公司自述”与独立客户证据分开。
戴涵俊自述曾在 Google DeepMind 强化学习团队及 Gemini 强化学习团队参与多个版本工作;Bethany 自述曾在 Vertex AI 负责 Gemini 强化训练、知识蒸馏、LoRA 微调和评测,面向企业客户提供模型定制。两人的研究与产品工程合作,是 Precur 选择“可训练工具”的经历基础。
Naomi 解释 MoE 的两层含义:技术上的 Mixture of Experts,以及由 OpenAI、Anthropic、Google DeepMind 等实验室年轻研究员参与的投资社区。基金关注 AI 基础设施、应用和 AI for Science,并明确 Precur 是其有 conviction 的被投项目。Henry 则概括自己经历研究、创业后转向早期投资。主持人口播将两位创业者的 Google 经历概括为 7 年;此年限按节目介绍保留。
戴涵俊、Bethany Wang · 00:03:02
戴涵俊的 RL 研究经历与 Bethany 的 Vertex AI 定制平台经历形成研究与产品工程互补。
话题推进: 人物和利益关系交代后,主持人从嘉宾亲历的 Gemini 3 庆祝活动切入基础模型竞争。
00:06:11–00:14:25 Gemini 3与GPT-5.2:大模型竞争进入实用工作场景Gemini 团队在庆祝活动上讲了什么、庆祝什么? GPT-5.2 与 Gemini 3 同日发布,是竞争应对吗? 如何看待 GPT-5.2 在 GDPval 和 ARC-AGI-2 上的明显提升? GDPval 是否真的接近企业中的知识工作? Henry 描述 Gemini 3 Pro 发布后的庆祝活动:旧金山画廊、热门创业公司创始人,以及开发者入口 AI Studio 的增长。他提到由 Logan Kilpatrick 领导的新团队,据此判断 Google 将更重视开发者市场。这是现场观察与推断,不应写成未经限定的组织公告。
关于 GPT-5.2 是否回应 Gemini 3,戴涵俊只说“听说的消息”包括修复此前预训练问题,并将竞争应对视为另一种可能。主持人随后引用两组成绩:GDPval 从 GPT-5.1 的 38.8% 到 5.2 的 70.9%,ARC-AGI-2 从 17.6% 到 52.9%。这些数字必须保留模型版本、评测与推理设置,不能变成“工作能力翻倍”的泛化结论。
戴涵俊把讨论从分数转向成本:test-time scaling 允许模型用更多推理 token 换更好结果,所以还要比较同等成本下的分数,或达到同等分数的总成本。他称 GPT-5.2 虽 token 单价较高,但完成任务的总体 token/成本效率有改善,并将其与一些开源模型冗长、绕路的 thinking trace 对比。这里的关键不是“想得越多越好”,而是有效推理所花成本。
对于知识工作,戴涵俊转述 Databricks 对 GDPval 的批评:真实客户问题分布可能不同,而且企业用户往往连应从哪个文档找起都不知道;OfficeQA 试图补足这一设定,但其权威性也待观察。因此他同时保留两点:GDPval 不应过度解读,GPT-5.2 在另一套办公评测上优于前代仍是积极信号。
Henry 将 GDPval 与 OpenAI 2018 年章程中“自动完成多数有经济价值工作”的 AGI 定义相连,转述其覆盖 44 个职业、1320 个任务。他又用 Garlic 中字母 r 的数量仍偶尔答错,提醒能力并不均匀。最后,他赞赏 OpenAI 的三个新评测在发布时没有把自家模型写成最佳。主持人由此追问:基础模型越来越强,会不会直接吃掉独立 Agent?
话题推进: 从实用工作评测自然引出模型厂商与 Agent 公司的边界之争。
00:14:25–00:19:09 基础模型与Agent应用:是取代还是相互成就?GDPval 所展示的专业交付,会不会让基础模型吃掉独立 Agent 应用? 基础模型会内化哪些 Agent 能力,又会在哪些企业流程留下缺口? 模型厂商与 Agent 应用是否也能相互成就? 主持人的问题是:当 ChatGPT 已能交付财务报表、HR 材料等专业结果,原来依赖外部代码脚手架的 Agent 是否还有独立价值?Naomi 先承认“吸收”确实存在:模型厂商会有意识地覆盖行业及工具,用模拟交互让基础模型学会直接调用工具,原本写在外部的部分流程就可能内化。
她随后给出另一面的判断:企业工作流呈长尾分布,专有流程、数据和例外规则不会全部进入通用训练集,因此仍需额外系统完成适配。这支持“企业专用层有空间”,但“永久存在”仍是她的判断;通用模型若能更可靠地从少量上下文和工具反馈学习,差距也可能缩小。
戴涵俊用 Cursor 说明反向作用:一个成功 Agent 场景会吸引模型厂商专门训练代码生成、debug 和多步能力,模型提升又改善 Cursor 等下游产品。因此竞争不只是“模型吃掉应用”,也包括场景牵引模型、模型扩大应用。
他最后弱化“模型/Agent”的二分:ChatGPT 接上搜索和文件工具后本身就是 Agent,API 后面也可能藏着完整系统。真正需要考察的是谁能拥有用户场景、专有数据、工具反馈和可靠交付,而不是只按产品名叫它模型还是 Agent。
话题推进: 模型与 Agent 的关系讨论后,主持人要求比较 Gemini 3 与 GPT-5.2 在硅谷的实际声量。
00:19:09–00:27:30 Gemini 3 Pro的成功:全面SOTA与Google的长期布局Gemini 3 Pro 和 GPT-5.2 在硅谷的开发者讨论与市场声量有何不同? Google Labs 与 DeepMind 如何分工,为什么重视编辑、作家和创作者? Gemini 3 的预训练是否仍有突破空间,TPU 在大规模训练中起什么作用? 戴涵俊认为 Gemini 3 Pro 的声量更大:发布前一两个月已有很高预期,最后仍能兑现。他回顾 Google 此前在长上下文、成本效率和多模态等单点上的积累,把 Gemini 3 解读为多个维度同时变强的节点。PodHood 章节摘要将 Anthropic 朋友紧张、原生网页生成利于传播的后续发言归给戴涵俊,将 Google Labs 的创意团队介绍归给 Bethany;本文据此辅助归属,但原转录别名仍需音频最终确认。
这段“全面 SOTA”是嘉宾基于当时体验的概括,不是所有任务都已领先。网页生成的审美和可交互性容易传播,办公任务的效率提升则更实用,两者声量不同不构成公平的模型总能力比较。关于其他实验室紧张、Google 内部担心披露过多,均为嘉宾从朋友或既往经历得到的观察与转述。
Bethany 介绍 Google Labs 将编辑、作家和创作者纳入产品开发;Naomi 补充负责人 Josh Woodward 的 Next Billion Users 背景及 Nano Banana 命名故事。这些内容支持“模型能力与产品传播协同”,但不能单独证明模型质量。
技术解释回到预训练和 TPU。戴涵俊转述一位 Google 研究员对 Gemini 3 预训练后续改进空间的乐观看法,并将其与“预训练终结”论对照;转录的人名和短语不清,本文不猜写。随后他把超大规模训练的瓶颈从单卡计算扩展到集群通信,认为 TPU 的 mesh 设计提供优势。Naomi 以长期 co-design 作总结:芯片、kernel/library、JAX 和模型 infra 可联合优化,应用与终端又提供场景和数据。下一部分继续展开这些层次,也讨论 TPU 生态的真实门槛。
戴涵俊(依 PodHood 章节摘要辅助归属) · 00:20:42
Gemini 3 原生网页生成更容易病毒式传播,GPT-5.2 的办公提升更偏实用;传播差异不等于能力排名。
Bethany Wang(依 PodHood 章节摘要辅助归属) · 00:22:15
Google Labs 将编辑、作家和爆款内容创作者纳入产品体验与 demo 设计。
话题推进: 从 Gemini 3 的即时声量转向更难复制的系统条件:应用、终端、芯片和组织协作。
00:27:30–00:55:46 连续对话 200:27:30–00:38:02 Google的三层协同与TPU生态挑战Google 的模型、应用和硬件终端如何形成协同? Precur 如何获得 TPU 支持,TPU 是否也面向外部创业公司? 没有 Google 背景的 GPU 开发者能否顺利使用 TPU?JAX、PyTorch、XLA 和 CUDA 分别在哪一层? TPU 会对英伟达生态产生多大冲击,受哪些条件限制? Naomi 将 Google 的 co-design 继续拆成三层。除了 TPU 到模型 infra,第二层是模型与 Workspace、Agent 应用的协同,第三层是车载、Assistant、Home、Project Astra、Pixel 等终端带来的多模态场景。她的因果判断是:真实应用和终端能反馈数据,长期布局由此转为模型优势。本文保留这条链,同时标明“拥有入口”与“哪些数据在合规授权下实际进入训练”不是同一事实,节目没有给出逐数据集证据。
TPU 讨论包含利益关系:Precur 与 Google TPU 团队及 RL 框架合作,并获得研究用 TPU grant,因此嘉宾对扩展性、稳定性的肯定既是使用体验,也来自生态受益者。关于“外部有时比内部更早获得新 TPU”的说法,是 Naomi 的个人陈述,不能当作普遍供货规则。
主持人连续追问软件栈,目的是弄清 CUDA 护城河是否会被复制。嘉宾解释 PyTorch、JAX 可通过 XLA 等底层支持使用 TPU,vLLM、SGLang 也在降低部署感知;JAX 在 Google 更原生,但框架与硬件并非一一绑定。原分析把 Flax 误写成 Flex、把 Optax 误写成“存权重”,本稿纠正为神经网络框架和优化器库。其他听不清的底层库名不猜补。
Naomi 对英伟达影响的判断有明确条件:短期仍有 CUDA 生态、数据中心适配、TCO 和开发者学习成本;长期若模型迭代变慢、客户能改更底层软件,TPU 可成为供应与议价选择。她还提到供货、先进封装和合作伙伴协调等约束,不构成证券建议。Bethany 关于 GPU 折扣换 TPU 推广放缓的说法被本人标为小道消息,本文只列为传闻,不作为事实。主持人补充的“英伟达工程师最警惕 TPU”同样是其既往采访转述。
Co-design(协同设计) 嘉宾用来概括 Google 跨层协作的框架:TPU—编译/框架—训练 infra,模型—应用,以及终端—数据。它提出可能的因果链,但每一环仍需具体证据;不能从拥有这些资产直接推出资产已被无阻碍用于训练。
JAX、Flax、Optax、RLax JAX 提供可组合的数值计算、自动微分、JIT 与加速器支持;Flax 是神经网络框架;Optax 主要提供梯度处理与优化器,不是“存模型权重的包”;RLax 提供强化学习构件。它们与 PyTorch 的边界并非一一对应,原转录中的库名还可能有识别误差。
XLA 将高层数值计算编译、优化到不同加速器的编译基础设施。JAX 与 PyTorch 是上层使用入口,XLA 更接近底层编译环节;CUDA 则包含英伟达 GPU 的平台、编程模型与库生态,不能只用一个库名简单对齐。
持续学习与自我演化 持续学习指部署后继续从新数据和反馈学习,自我演化还包含发现失败、形成训练信号、更新系统并验证改善的完整闭环。外部记忆、在线 RL 和参数后训练都可参与,但不是等价方案。
戴涵俊(原转录为戴涵俊 (2)) · 00:32:58
JAX 可运行在 GPU/TPU,PyTorch 也可支持 TPU;硬件与框架解耦不等于迁移没有工程成本。
话题推进: 硬件与软件协同之后,主持人追问另一个决定执行效率的变量:Google Brain 与 DeepMind 的组织合并。
00:38:02–00:48:17 合并后的新Google与创业公司的生存空间Google Brain 与 DeepMind 合并前后,infra、人才和研究方向发生了什么变化? 两种研究文化各自适合什么问题,论文政策收紧怎样改变研究员的成就感? 大模型厂商很强时,垂直和水平创业公司还有哪些空间? 戴涵俊以亲历者身份回顾合并:Google Brain 和 DeepMind 原本各有模型团队与 infra,合并在人才集中和方向统一上有收益,也伴随基础设施选择、组织磨合和 politics。他把 Gemini 名称理解为“双子”合并的象征。这里是他对组织历史的个人体验,而非对整个 Google 的统一结论。
他比较两种研究风格:DeepMind 更 top-down、目标明确,AlphaFold、星际争霸等项目需要纪律和高频协作;Google Brain 的研究谱系更宽,既有贴近 Search、YouTube 的工作,也允许自下而上、短期看不到用途的探索。他的判断不是“集中一定优于自由”,而是大模型训练既要求明确交付,又仍包含未知问题,因而需要两种机制的张力。
论文政策收紧后,研究员的成就感也会迁移:有人从探索和内部交流获得满足,有人从薪酬及 Gemini 的全球影响获得回报。他同时承认过去一些论文今天可能不会发表。主持人所问“无名工程”因此没有单一答案,不能用产品影响抹平开放研究减少的代价。
当话题回到创业,Naomi 先分垂类和水平层。生物创业需要生命科学与 CS 的“π 型”能力,并调动药厂、大学实验室与模型能力;基础模型补充生命科学数据,创业公司负责最后落地,是她看到的互补关系。
水平层则被分为 orchestrator、data connector 和 tool layer。调度层用企业数据及 RL 改善模型对工具和流程的使用;Composio 式连接层把企业数据与 Agent 连起来,并通过开发者社区形成动员力;Precur 选择工具层,希望让工具保存失败轨迹、在企业内演化。这个三层框架是投资人的观察视角,不代表市场只有三类或各层边界固定。
戴涵俊(原转录为戴涵俊 (2)) · 00:38:36
合并初期 infra 不同、存在磨合;技术路线明确后才更容易各司其职,说明“合并”本身不会自动产生协同。
戴涵俊(原转录为戴涵俊 (2)) · 00:40:51
自由探索可能产生短期无用工作,也可能带来新突破;目标导向适合集中交付,但两者需要并存。
话题推进: 投资人给出市场地图后,创业者进一步解释为什么“AGI 尚未实现”反而留下可做的问题。
00:48:17–00:55:46 自我演化:创业公司如何弥合当前模型的局限为什么在 Google 势头正好时离开创业,如何平衡立足当下与判断未来? 自我演化与持续学习是什么关系,是否主要靠在线 RL 实现? RAG 式记忆改变模型参数吗,它是不是最终方案? Precur 的可训练工具从什么失败中学习,当前以什么形态切入? 戴涵俊认为创业既不能假设 AGI 已完成,也不能只看眼前缺陷;需要同时估计未来一两年的模型演进。他用“有多少数据,有多少智能”概括当前局限:Gemini 的视觉能力、Anthropic 的 coding 优势都与专项数据和训练投入有关,并非无条件的魔法。这个表述强调数据作用,是简化判断,不应抹去架构、算法和系统优化。
语音是他的差异化案例:通用多模态模型虽能理解或生成语音,专门公司仍可在延迟、质量和单一任务打磨上领先。自我演化则是另一个未解问题:模型发布后的继续训练、记忆和反馈闭环尚未成熟。
他把持续学习视为实现自我演化的一类方法。推荐系统能从滑动、接受等行为更新;Cursor 被转述为用补全是否被接受做 online RL,但嘉宾明确说不知道实际做到什么程度。对于“是否主要靠 RL”,他给出否定边界:在线反馈可能含糊,RL 训练本身不稳定,需要算法和工程控制;RAG 式记忆可保存过去,却未必改变模型参数。他认为外挂记忆短期有效,但不一定是终局,这属于个人技术判断。
Precur 的愿景随后被具体化:工具层保存状态,在调用失败时利用失败轨迹改善覆盖、子 Agent 质量或工具质量,理想上减少人工干预,甚至让工具制造工具。节目没有给出通用自动更新算法,因此不能把这一愿景写成已解决的自我演化。
当前产品切入点是 code-driven tool。嘉宾将 Anthropic 的 Programmatic Tool Calling 与更早的 CodeAct 相连,强调以代码组合调用、降低上下文污染的潜力;具体产品形态当时尚未正式发布。这里的“可训练”既可能包含代码/流程更新,也可能包含模型训练,节目没有完整披露实现边界。
戴涵俊(原转录为戴涵俊 (2)) · 00:49:27
语音创业公司在延迟和质量上可与通用多模态模型差异化,说明“大厂已有该模态”不等于垂直体验已无空间。
戴涵俊(原转录为戴涵俊 (2)) · 00:51:26
Cursor 接受/拒绝补全被转述为在线反馈;嘉宾不知道真实更新程度,不能写成已验证的在线 RL 闭环。
话题推进: 愿景收束到代码驱动工具后,主持人继续追问真实用户、可量化收益和与平台的关系。
00:55:46–01:22:46 连续对话 300:55:46–00:59:58 Precur的产品定位:为Agent服务的“可训练工具层”代码驱动工具为什么可能减少 context pollution? 早期用户获得了哪些覆盖率、延迟和正确率收益,12% 的口径是什么? Precur 是面向 Agent 开发者、企业还是大型 Agent 平台,是否需要替换现有系统? 代码驱动工具的产品理由被进一步解释为:把部分调用组织和中间计算放到代码里,减少每一步都往返模型及把全部结果塞回 context 的需要,从而改善稳定性和上下文污染。嘉宾将其与 Anthropic PTC、早期 CodeAct 联系起来,并说 Precur 在趋势变热前已沿此方向开发。这里是团队对技术路线的陈述,实际收益需在相同任务、模型和预算下比较。
Precur 把直接客户定义为开发者,却把长期主要使用者设想为 Agent,即“to agent”:未来大量 Agent 需要可调用、可学习、对机器友好的工具。产品当时尚未正式发布,因此主持人继续追问早期用户证据。
一位创业者(原转录为“戴涵俊 (2)”)报告三类收益:大数据量下更高 coverage、显著更低 latency,以及部分场景正确率提高。他称某个客户自行设计、团队事先不知道细节的 blind evaluation 中,工具比客户现有方案“好个 12%”。本稿保留数字,同时指出节目没有说明这是百分点、相对百分比还是综合指标,也没有任务、样本量、基线和方差,不能写成经独立验证的普遍提升 12%。
工具层可嵌入 Microsoft Copilot Agent 等现有平台,无需替换整个 Agent,因此团队将 Google、微软等视为潜在合作伙伴。Naomi 只说有多家平台合作想法,未公开公司名;不应据此把潜在伙伴写成已签约客户。
Agent context pollution 长轨迹中积累的工具返回、网页内容、错误尝试和中间结果挤占上下文,使关键指令与证据更难被利用。它不只是“token 不够”,还涉及相关性、位置、压缩和错误状态传播。
RL environment Agent 采取行动后,环境返回新状态、任务反馈和终止条件。创业难点不只是复制 UI,还包括状态覆盖、动作接口、可验证奖励、随机性或边界案例,以及模拟表现能否迁移到真实工作。
RL as a Service 与 Infra as a Service 前者更接近面向业务结果提供数据、训练、评估和交付的整套服务;后者如节目所述 Tinker,主要提供 forward/backward、优化等训练原语,用户仍需自行设计 RL 任务和算法。实际公司的边界需按产品接口核实。
Agent trace 多步任务中的观察、动作、工具返回和结果记录。它既可用于上下文,也可用于训练;有效训练还需要权限、质量筛选、成功/失败标注及防止把错误轨迹当成专家示范。
Precur 创始团队成员(原转录为戴涵俊 (2)) · 00:58:15
某客户盲测被报告为比原方案好约 12%;指标口径、样本量、基线和统计波动均未披露,保留为创业团队早期自述。
Precur 创始团队成员、Naomi Xia · 00:58:35
以嵌入现有 Agent 平台而非替换平台降低采用成本,平台合作关系与客户合同需区分。
话题推进: 从一家公司的产品证据扩大到整个 RL 创业市场,主持人请投资人给出分类和公司案例。
00:59:59–01:08:47 强化学习(RL)创业的三个方向与实例RL 创业可分为哪几层,各层向客户提供什么? Precur 与 Tinker 分别是业务服务还是训练基础设施? Jira 复制和网络安全环境分别暴露怎样的创业门槛? 物理世界仿真、世界模型与零售生成模型有什么联系和差别? 这些公司的估值或融资额是多少?(节目中未获得数字回答) Naomi 用“榨汁”比喻训练信号来源的扩展:在既有文本数据之外,RL 的 interaction 和 reward environment 成为新对象。她把 VC 关注的方向分为三类,这只是投资地图,不是互斥的技术分类。
第一类 RL environment 是训练场和考试场,要模拟企业软件或复杂流程并给出可靠评分,Preference Model 是她披露的被投案例。第二类 RL as a Service 更像训练班,把算法、工程和领域交付打包,让缺乏 RL 能力的企业用自有数据训练销售、客服、合规等专用 Agent。第三类 RL 垂直应用直接面向药物研发、金融、科学发现等高门槛任务,Periodic Labs 被作为例子。是否“取代专家”属于投资愿景,不是节目证明的落地结果。
Precur 初期带有 forward-deployed engineering,被定位为偏 RL as a Service,团队希望随后标准化。Tinker 则被区分成更底层的 Infra as a Service:forward/backward、优化等 primitive 仍需懂 RL 的人设计训练。这里说明“提供 API”与“交付业务结果”的服务深度不同。
Jira 复制品让 RL 环境变得具体:两位创业者曾在一个周末借助 coding agent 复刻复杂任务管理软件,让 Agent 练习操作并自动化软件工程任务。随着复制软件变得容易,壁垒转向网络安全攻防等需要领域知识、接口设计与可靠反馈的环境。物理世界也有自动驾驶和机器人仿真,但主持人问估值和融资额时并未得到数字。
关于世界模型,Naomi 把 simulator 看作其中一部分:Waymo 等可用模拟补充稀有危险场景;她此前参与的零售生成模型以 SKU 为 token,模拟购买及上下文交互,当时只叫仿真或生成模型。该例说明术语会变化,但不能把所有生成模型都直接等同于具备动作条件预测和规划能力的完整世界模型。
最后,一位嘉宾回顾自己偏 RL 采样、优化和离散优化的研究兴趣,以及早期 Google Brain 较自由的跨团队合作环境,解释零售仿真项目的起点;个人姓名和合作对象的转录归属不清,本稿不强行指定为 Naomi 或 Bethany。
戴涵俊(原转录为戴涵俊 (2)) · 01:03:31
一个周末复制 Jira 说明环境原型成本下降;网络安全攻防则说明下一层壁垒在领域真实性和奖励设计。
Naomi Xia(原转录归属;合作者姓名待核) · 01:06:20
零售模型以 SKU 为 token 模拟购买行为,是嘉宾对早期仿真工作的自述;不能据此泛化为所有世界模型的定义。
话题推进: RL 创业地图之后,主持人把问题落到实际采购:开发者在云、折扣、性能和开源之间怎样选模型。
01:08:47–01:22:46 Agent开发者如何选模型:生态优先,性能其次企业数据在哪个云,为什么往往先于模型性能形成选择边界? 折扣、代金券和迁移成本怎样影响模型选型,什么情况下可能改变? Claude 的 coding 能力与 Agent 生态为何需要分开评价? 开发者如何平衡 thinking、质量和延迟? Qwen、Gemma、DeepSeek 的开源实践各自带来什么价值与限制? 企业选型的第一层约束是数据所在云和可用模型。嘉宾以 Azure 无 Gemini、Google Cloud 无 OpenAI 为例说明硬约束,并称 Anthropic 在三大云提供而相对中立;这是访谈时点的使用经验,云目录会变化,且“没有某模型”不等于绝对无法经其他合规架构访问。企业数据迁移被估计可能耗时一两年,具体取决于数据规模和系统,不能当成统一定额。
第二层是折扣与 credit。Precur 获 Google 支持,只要 Gemini 满足需求就倾向优先使用;其他企业也可能用云代金券购买第三方服务。由此嘉宾才进入性能、成本和延迟比较。这个顺序解释了许多真实采购,但不能推出“所有企业都先看生态、性能永远其次”,极高能力差、监管或战略迁移仍可能改变决策。
Claude 的受欢迎被拆成模型 coding 能力和 Agent 工程生态两部分:代码不仅是交付物,也可成为调用工具、处理条件和循环的 action。MCP、Claude Code、PTC 被用来解释 Anthropic 对开发范式的影响;Claude Code 还被用于 n8n 工作流、网页和 PPT。主持人追问 Google 和 OpenAI 也在加强 coding,因此“长期优势”只能按当时体验保留,不能当成永久护城河。
延迟是另一约束。有开发者关闭固定 thinking 模式,再用 prompt 保留少量推理,以手工平衡质量和响应时间;Flash、Mini、Sonnet 等模型可能在限定时间内更合适。这不意味着思考无用,而是 Agent 的总任务成本包含多轮调用的延迟和 token。
开源部分,嘉宾肯定 Qwen 的多尺寸选择和推理表现,同时提醒公开 benchmark 未必迁移到真实 Agent 场景、token 效率仍可改善。中国模型还面临部分企业的政策、价值和合规限制;这是嘉宾观察,不应扩大为所有美国企业的统一规则。对 Gemma 多模态小模型出现乱码的批评属于个人使用体验。
开源的意义也不只是公关。DeepSeek V3.2 被赞赏的是公开训练和稳定化经验;飞往 NeurIPS 的飞机上“约三分之一的人阅读”是 anecdote。原分析把 Google 开源动机与“CloseAI”段子混在一起,本稿改为:Gemma 可能承担开发者关系与开放生态作用,DeepSeek 的例子则强调技术透明本身的研究价值。
戴涵俊(原转录为戴涵俊 (2))、Naomi Xia · 01:08:47
Azure/GCP 模型目录和数据引力构成硬约束;Anthropic 跨云被作为相对中立选项,具体可用性以访谈时点为准。
戴涵俊(原转录为戴涵俊 (2)) · 01:15:42
开发者通过关闭 thinking、再 prompt 少量推理手工调节质量与延迟,说明“最高分模型”不总是“最适合 Agent 的模型”。
戴涵俊(原转录为戴涵俊 (2)) · 01:17:23
Qwen 多尺寸有利于 ablation 和成本选择,但公开分数不保证真实任务迁移,intelligence per token 仍是限制。
戴涵俊(原转录为戴涵俊 (2)) · 01:20:44
DeepSeek V3.2 技术报告被赞赏为坦诚公开训练经验;约三分之一机上乘客阅读是现场轶事,不是统计调查。
话题推进: 模型选择从现实约束进入下一层:面对公开榜单污染,开发者究竟用什么评测判断长程 Agent 能力。
01:22:46–01:40:57 连续对话 401:22:46–01:29:34 如何评估模型:从长程任务到“墨西哥卷饼测试”为什么长程、多步任务比大海捞针更接近 Agent 的真实能力? 动态用户模拟器为 τ²-bench 增加了什么难度? 公开 benchmark 可能泄漏或被 hill-climb 时,个人小测试能补充什么,又不能证明什么? 墨西哥卷饼测试考察哪些多模态生成细节? Naomi 首先说明为什么重视 long trajectory:真实工具和业务任务常需十几步或更多,训练时要处理多步反馈,推理时还要把此前观察、动作和工具输出留在上下文中。SWE-bench Pro 和转录所称 MindWeb 被用作长程 coding、web navigation 的例子,名称和版本需按原始资料再核。
她把“大海捞针”与真正的 Agent 长程任务区分开:前者主要是在长文本里找到特定信息,后者还要理解已发生什么、计划下一步、行动并根据新反馈修正。长上下文容量是必要条件之一,却不能替代历史状态理解和计划能力。
τ²-bench 的用户模拟器又增加一个变量:用户会根据 Agent 的回复改变反应,任务因此不是固定问答,而是不完全信息下的多轮交互。原分析将其误写成 ToolBench,本稿按 Sierra、对话式、Tau square 的语境修正为 τ-bench 系列,并保留协议待核。
戴涵俊则提醒,公开榜单存在信息泄漏和针对优化,新榜单可看,个人“压箱底”测试也有补充价值。他举画独角兽、合成长字典/电路复刻等例子,强调不寻常任务更难被专项训练;但他明确承认后者不是正式 evaluation,单个成功也不能代表总体能力。主持人将其类比为证书之外的面谈题。
他并未据此指控前沿实验室作弊,反而认为各实验室会在意分数与真实行为不一致的声誉成本。这是个人信任判断。Generative Burrito Test 则以“吃了一半且含多种馅料的卷饼”考察图像结构与细节,他称此前模型常失败、Nano Banana Pro 才改善;这是有趣的小测试,不是大样本统计结论。
Long horizon / long trajectory 需要多步观察、决策和工具调用的任务。它同时考验信用分配、长上下文利用、计划修正和错误恢复;把一个任务拆成十几步不自动保证难度,关键还在环境反馈和成功判据。
τ-bench / τ²-bench 按节目所述,是 Sierra 发布的对话式 Agent 评测;第二代引入随 Agent 回复动态变化的用户模拟器,考察多轮交互和环境适应。原分析误猜为 ToolBench,本稿依据“Sierra+user simulator+Tau square”这一内部语境修正,但具体评分协议仍需查原论文。
Agentic RL 将多步交互过程纳入训练,而不是只给单轮最终回答一个偏好奖励。其训练信号可来自任务成功、工具反馈或过程评价,但必须处理长轨迹信用分配、环境覆盖、稳定性和真实迁移。
Generative Burrito Test 嘉宾介绍的多模态生成小测试:画出吃了一半、内部有多种馅料的卷饼。它可暴露对象结构和细节生成问题,但没有公开统一的大样本评分,不能代替系统评测。
戴涵俊(原转录为戴涵俊 (2)) · 01:25:04
画独角兽和合成长字典是个人探针,不是标准 benchmark;公开后同样可能被训练覆盖。
戴涵俊(原转录为戴涵俊 (2)) · 01:28:31
半个卷饼需同时呈现截面、多种馅料和食物结构,嘉宾以此观察多模态生成,而非给出标准化分数。
话题推进: 从“如何评”转入“希望下一代模型改什么”:开源 Agent 基座、多模态、长程原生能力和生态数据。
01:29:34–01:38:30 Agent开发者展望:模型需优化多模态、长程任务与生态协同为什么需要加入大量 agent trace 的开源模型,后训练解决什么产品问题? 多模态理解和生成在扫描 PDF、考卷、电竞等场景分别考验什么? 长程任务会不会从外部 framework 的反思迭代转为模型原生能力? 模型内化 Agent 能力后,增量市场与被替代市场如何判断? Naomi 的第一项期待是更强的开源 Agent 基座。Precur 需要 post-train 来改变模型行为,如果开源模型在训练时已覆盖大量高质量 agent trace,开发者就能在更好的起点上做领域适配。这里还需区分轨迹数量与有效性:失败轨迹若没有可靠评价,数量本身不会自动产生能力。
第二项是多模态。企业中的扫描 PDF、表格和非干净文本需要原生理解,Databricks Parser 在 OfficeQA 中的作用既说明解析工具价值,也暴露模型直接理解的限制。图像生成则可与理解和推理结合,例如在空白考卷上解题并把答案写回图片。马斯克关于电竞的说法被嘉宾当作轻松例子,实际还会同时考验低延迟和动作决策。
主持人把多模态优势与强语言基座、未来 VLA 联系起来。戴涵俊认为 Gemini 从早期就坚持原生多模态,但跨模态一致性、模型容量、数据和计算都是挑战;他提到小模型多模态更难平衡,并以语言回答不一致作类比。这为“Google 有积累”提供解释,不等于大厂必然赢或强语言模型是多模态成功的唯一条件。
第三项是 long horizon。训练范式从单轮 RLHF 走向多步 agentic RL,配套 infra 也在出现。戴涵俊预测,当前由外部 framework 做的计划、反思和多步执行,部分会内化为模型原生能力;这是趋势预测,尚未证明外部系统会消失。
Naomi 因而再次回答“Agent 空间是否被挤压”:ADK 等 framework 的使用可产生符合真实调用模式的数据,若获得授权并进入训练,就形成模型—框架—开发者—数据的反馈环。她把关键量定义为“模型变强新增的市场”减去“被模型内化的旧市场”,并判断目前增量更大。这是投资人的乐观假设,需用客户价值、留存和独立收入验证,而非既定事实。
戴涵俊(原转录为戴涵俊 (2)) · 01:31:34
扫描 PDF 需要 parser 才能提升 OfficeQA 表现,说明文档解析仍有价值,也说明原生多模态理解存在缺口;parser 提供方同时有商业动机。
嘉宾原例重述(原转录为戴涵俊 (2)) · 01:32:59
空白考卷输入→理解题目→推理→把答案写回图片,把多模态理解、生成和 reasoning 连在同一任务里。
Naomi Xia+本文边界整理 · 01:36:35
ADK 使用产生真实交互轨迹的设想可形成反馈环,但数据是否可用于训练取决于授权、隐私和平台政策。
话题推进: 主持人收束访谈,随后用往期节目把 Precur 放回 Agent 工具链的创业版图。
01:38:30–01:40:57 节目总结与往期推荐主持人感谢四位嘉宾,概括本期从模型发布、Precur 创业到企业 Agent 落地的讨论。结尾“连点成线”回到第 137 期工具链节目:高质量工具调用、Agent 间通信、记忆、评估可靠性和语音,构成理解本期可训练工具的背景。
主持人口播还列举 LangChain、ElevenLabs 的融资与估值上升,以及 OpenAI 以 11 亿美元收购 Statsig(转录作 StatSeek),作为工具链受关注的例证;数字和公司事件均为节目陈述,本轮未独立核验。她把 Precur 定位为用 RL 等方法改善工具使用和最终可靠性的 Agent 基础设施实践。
最后的地域判断也需要保留归属:主持人认为国内 Infra 创业相对弱势,大公司倾向自建更多基础层,但面向全球市场的中国创业者和一线研究、产品人员仍可从这些讨论获得启发。这不是对国内所有 Infra 公司的量化比较。节目以评论互动、分享和关注渠道结束。
话题推进: 本期节目结束。
以上是原对话的分段阅读。下面才开始提炼论证、解释机制并给出本文自己的判断。