弱/中模型
规则、memory、skills 与路由主要压低低级错误和结果方差，不能凭空创造深层推理。
核心判断：Harness 不是“壳”，而是能力分配器
把 Agent 框架理解为模型外的一层 UI，会错过这场访谈的主线。框架决定哪些事实进入上下文、何时检索或遗忘、调用哪个模型和工具、失败后怎样恢复、结果怎样验证、任务怎样分给 subagents。模型参数定义潜在能力，框架把有限计算预算映射到任务路径；最终能力是模型、harness、工具、状态、验证器与成本的联合函数。
强模型
更能重写框架、生成技能、探索长路径，harness 开始放大搜索空间而非只做防错。
系统闭环
Agent 行为产生新轨迹，轨迹反过来更新 skills、环境、数据与 post-training。
Insight：框架对不同模型的作用并不对称对弱模型，它更像方差压缩器；对强模型，它更像搜索空间放大器。声称“中端模型借框架达到顶尖模型”时，必须分别测平均成功率、尾部失败、任务上限、token 与时间成本。
3:34:39 完整内容地图
| 时间段 | 主要内容 | 隐藏问题 |
|---|---|---|
| 00:00–00:29 | OpenClaw 三天体验、产品/管理/研究用途、API 开销与惊艳时刻。 | 个人高强度探索能发现上限，却有新奇效应、选择偏差和不可复现成本。 |
| 00:29–00:50 | Agent harness、弱模型补偿、顶尖模型与 3B 本地模型。 | 框架改善的是成功率、成本还是能力天花板，必须拆开。 |
| 00:50–01:10 | skills、memory、开源框架、AI 修改自身工作流。 | 可执行组织记忆带来复利，也扩大供应链、权限和错误固化风险。 |
| 01:10–01:34 | Code 数据、long context、hybrid attention、MTP 与架构选择。 | 窗口数字不是有效依赖；一年前的架构决策是对未来 workload 的资本开支押注。 |
| 01:34–01:58 | MiMo V2、模型规模、速度、MLA、统一多模态的取舍。 | 厂商自报 benchmark 与产品体感要和等预算评测分开。 |
| 01:58–02:27 | pretrain/post-train 资源、Agent RL、环境供给、训练基础设施。 | 后训练扩张会从算力瓶颈转向任务、验证器和高质量环境瓶颈。 |
| 02:27–02:48 | Multi-Agent、并行吞吐、同质模型错误与 subagent。 | 并行带来的可靠收益首先是 wall-clock；能力上限依赖异质信息和整合器。 |
| 02:48–03:17 | MiMo 团队、无固定组/无内部职级、实习生、研究与工程协作。 | 取消显式层级不等于取消资源权、申诉责任和隐性中心。 |
| 03:17–03:34 | AGI 时间线、环境与经验、人才学习速度、未来判断。 | 信念快速更新若没有任务标尺，只能表达主观概率，不能形成可审计预测。 |
OpenClaw 冲击：先把个人体验降噪
罗福莉以三天连续使用 OpenClaw 作为访谈入口：让 Agent 做产品、管理和研究工作，投入较高 API 成本，并描述数周内压缩以往数十周工作量的体验。这个材料有价值，因为它来自前沿模型研发负责人亲自搭系统，而不是二手 demo；但它仍是 n=1 的高动机实验，没有相同任务、相同预算和盲测对照。
OpenClaw 官方文档把 tools、skills、plugins 和 subagents 分成不同层：工具执行动作，skill 是教 Agent 何时、如何工作的 Markdown 指令包，插件扩展运行能力。这支持“harness 是一个运行时系统”的解释。它不支持“开源框架天然安全”或“skills 自动等于组织知识”。
不要把惊艳时刻当生产指标正确评估至少需要任务完成率、重复稳定性、总 token/美元、wall-clock、人工接管次数、权限事故和版本升级后的回归。单次成功最适合发现可能性，不适合估算平均价值。
Skills：组织记忆的可执行接口
互联网预训练提供通用知识，却缺少企业内部规范、数据含义、审批边界和特定工作流。Skill 把这些隐性约束写成模型可读取的说明、脚本和工具路由，因此比普通文档更接近“可执行组织记忆”。它能让失败经验进入下一次运行，也能让新员工和不同模型复用方法。
但这类记忆只有在四个条件下才产生复利：有明确 owner；有版本与适用范围；有基准测试；失败时可回滚。否则 skill 会把过时流程、错误假设和过度权限稳定地复制给所有 Agent。开源则把实验并行化，也把供应链攻击、恶意指令和不兼容更新并行化。
任务失败
提炼 Skill
版本与评测
受控加载
新轨迹反馈
这也是“自我进化”一词需要降温的地方：模型能修改 skill 或代码，只表示它能提出并实施候选变化；只有外部 objective、冻结测试、安全审查和回滚机制能把变化变成可靠改进。
MiMo 的技术主线：能力、效率和 Agent workload 联合设计
MiMo-7B 官方仓库显示，模型从头预训练约 25T tokens，加入 Multi-Token Prediction；post-training 使用约 13 万道可规则验证的数学/代码题，并通过异步 reward、continuous rollout 和 early termination 提高训练/验证吞吐。这个早期路线已经说明团队不把 reasoning 只当 RL 问题，而是在预训练数据、目标与基础设施中提前布局。
MiMo-V2-Flash 技术报告进一步给出 309B total / 15B active 的 MoE；每组 5 层 128-token Sliding Window Attention 配 1 层 Global Attention；27T token 预训练，原生 32K 后扩至 256K；MTP 既作为训练目标，也作为 speculative decoding 的 draft model。报告列罗福莉为作者之一，能核验其参与 MiMo 核心工作，但不能据作者表推断每个模块的个人贡献。
Hybrid attention 不是“缩水”，而是预算分配
全局注意力让每层都看全部历史，长上下文 KV cache 与计算成本高；滑窗层限制局部范围，再周期性插入全局层，把大部分计算投入局部模式，同时保留跨段信息通路。其有效性取决于任务的依赖结构、全局层频率、训练数据和 context management，不能仅凭窗口上限判断。
MTP 同时连接训练与推理
Multi-Token Prediction 让模型额外预测后续多个 token，可能提高表示学习，也能在推理时用额外头提出 draft token，再由主模型验证以加速解码。访谈把 MTP 与 Agent rollout 速度联系起来是合理的：Agent RL 需要生成大量长轨迹，推理吞吐直接限制训练规模。但实际收益仍取决于接受率、batch、硬件、序列长度和实现。
Long context：关键不是 1M，而是单位有效依赖成本
罗福莉把长上下文视为 Agent 时代的基础能力，因为代码仓库、工具日志与多步轨迹天然长。问题在于，名义上能接收 1M token 并不代表能稳定利用跨越 1M 的关键事实。昂贵缓存、注意力稀释、错误历史和重复计划都可能让更多上下文反而伤害行为。
更有效的指标应是：在不同依赖距离下准确率如何变化；单位正确长依赖需要多少训练和推理计算；错误/冲突信息能否抑制；摘要后能否恢复原始证据；状态跨回合是否漂移。Hybrid attention、外部 memory、skills 和检索应在相同任务预算下联合评测。
Insight：Pretrain 架构是一张延期兑现的期权模型训练开始时选定 Attention、KV、MTP、MoE 和硬件协同，数月后才知道 Agent workload 长什么样。过度针对今天优化会损失适应性，保留过多通用余量又抬高成本；架构设计本质是对未来任务分布的资本开支下注。
Post-training 换轨：算力之后，环境成为瓶颈
访谈提出 post-training 算力会快速接近 pretraining，并给出研究、预训练、后训练的资源比例建议。这些数字属于管理判断，不是行业规律。更重要的方向是：随着 Agent RL 扩大，训练不再只是对短答案做 outcome reward，而是让模型在工具、代码、网页和长程状态中运行；rollout 成本、环境稳定性、验证器质量和 reward hacking 都成为一等问题。
MiMo-V2-Flash 报告的 Multi-Teacher On-Policy Distillation 体现这种系统化：领域 teacher 提供 dense token-level signal，同时保留可验证 outcome reward；报告还单列 R3、data scheduler、tool manager 与 SWE-Bench reward hacking。它提醒我们，所谓“一个更好的 RL 算法”常是数据路由、教师、环境、训练稳定和推理系统的组合。
计算供给
更多 rollout 能探索更多路径，但会迅速吞噬推理资源。
环境供给
任务、工具、状态、权限和可重置性决定训练分布。
验证供给
不易作弊的反馈决定系统是在学习能力，还是学习 evaluator 漏洞。
统一多模态：从工程目标退回可证伪假设
访谈对“所有模态必须统一在一个模型”保持怀疑。过去统一架构能复用训练和 serving；Agent 现在可以调度语音、视觉、代码和搜索专用模型，也能快速改写不同 infra，系统级编排降低了非统一的摩擦。因此统一多模态只有在能力迁移、数据效率、成本或产品体验显著更好时才有价值，不能只是审美。
反面同样成立：专用模型过多会增加路由错误、延迟、权限面和跨模态状态不一致。真正要比较的是端到端系统，而不是“一个模型”与“多个模型”的口号。统一是否产生更强世界模型能力，仍然是实验问题。
Multi-Agent：目前最可靠的是吞吐，不是智能上限
多个 subagent 并行读资料、跑实验或写不同模块，最确定的收益是缩短 wall-clock，并允许用便宜模型承担可分解任务。若多个 Agent 使用同一模型、同一上下文和同一错误先验，它们会产生高度相关的失败；多数投票也可能只把共同幻觉变得更自信。
MultiAgentBench 与 BattleAgentBench 都显示，协调协议和任务难度显著影响结果，困难协作仍有很大空间。要提高质量上限，需要角色拥有真正互补的信息、工具、模型或验证器，并有能发现冲突的整合机制。否则“群体智能”只是并行采样。
等预算是关键若四个 Agent 使用四倍 token、四倍工具调用，却只略胜一个强 Agent，收益可能来自 test-time compute 而非协作。报告结果时应同时给出 token、时间、模型、工具和失败恢复成本。
无组、无职级与高密度实习生：显性平权，隐性权力
罗福莉描述的 MiMo 组织强调不设固定组、内部职级弱化、项目按问题临时聚合、年轻人快速承担核心工作。这种结构能减少部门边界和“这不是我的事”，也适合尚未稳定的技术范式。环境确实能让可压缩、反馈快的技能在数月内快速成长。
但没有显式层级不等于没有权力。谁决定大训练、谁分配计算、谁能停止发布、谁获得高可见项目，仍然构成中心。若授权、绩效、事故责任和申诉渠道不透明，权力只会从组织图转移到关系和信息差。
极端口号的代价
访谈提及为了推动大家体验 Agent，曾说出类似“做不到一定轮次就辞职”的强烈表达，后来并未执行。它能传递紧迫感，也可能被下属理解为真实威胁，制造服从展示和过劳。改变范式可以通过有界实验、统一预算、公开复盘和反例展示完成，不必把健康和忠诚当测量工具。
AGI 时间线：贝叶斯更新需要可审计标尺
罗福莉因为 OpenClaw 与团队实践，明显上调了短期 AGI 概率，提出两年以内、某年从约 20% 走到 60–70% 等信念。这些数字有价值，因为它们揭示前沿从业者在什么经验后改变判断；但没有固定任务集合、成本、可靠性、自主时长和人类接管阈值，它们不能被未来清楚判定对错。
“环境比经验重要”也需要条件：在代码、训练 infra 等可快速反馈且知识可压缩的技能上，好环境能显著加速；在安全、跨周期产品责任、隐性组织知识和慢反馈领域，经验仍承担事故记忆。正确做法是按技能可压缩性区分，而不是整体贬低经验。
进一步推演：六条值得长期跟踪的 Insight
- 模型与 harness 会形成协同进化，而不是互相替代。 更强模型能生成更好的 skills 和环境；更好环境又产生更高价值训练轨迹。竞争单位将从单模型变成运行闭环。
- Skills 的护城河是失败闭环，不是文件数量。 真正资产是错误被发现、归因、修订、验证和安全发布的速度。
- 长上下文的经济学会反向塑造模型架构。 Agent 轨迹越长，训练和 serving 越受 KV、Attention 与 speculative decoding 支配，效率不再是部署后优化，而是能力扩张条件。
- Post-training 的稀缺品将从 GPU 迁移到 evaluator。 算力可以买，真实且不易 reward hack 的环境更难规模化；拥有任务与反馈的一方可能比拥有更多通用语料的一方更有优势。
- 多 Agent 的第一阶段是并行计算，第二阶段才是制度设计。 角色分工、冲突处理、权限与证据合并，实际上在重演组织科学问题。
- 扁平组织与 Agent 系统一样需要可观察控制面。 不显式记录决策权、资源和回滚，表面自由会变成难审计的隐性路由。
后续怎样验证这些强判断
- 同一模型在 OpenClaw、简化 harness 与其他 coding agent 中做冻结任务，报告成功率、成本、延迟、人工接管与安全事故。
- 用同一 harness 分别运行顶尖、中端和本地 3B 模型，区分方差下降与任务上限提升。
- 在 32K、128K、256K 以上的真实依赖任务上比较 full/hybrid attention、外存和摘要，按等 FLOPs/延迟计分。
- skills 经版本升级、多人冲突和恶意输入后是否仍正确；错误从进入到回滚需要多久。
- Multi-Agent 在等 token 与等时间下能否超过强单 Agent、自洽采样或简单并行；若不能，收益只是增加计算。
- 无固定组团队在规模扩大、事故和人员发展中是否仍保持决策透明、留存与跨项目速度。
证据边界与资料索引
本笔记以 Zhang Xiaojun Podcast 对罗福莉的 3:34:39 访谈及上传者简体中文字幕为主材料，已连续通读全部 15 个官方章节。关于个人 OpenClaw 体验、团队人数、模型速度、内部资源比例、组织结构和 AGI 时间线均按嘉宾口径；论文与官方仓库只支持其公开写明的架构和评测，不能反推未披露细节。
- Zhang Xiaojun Podcast：罗福莉完整访谈（规范视频；本地字幕源对应另一上传 ID）。
- XiaomiMiMo/MiMo：MiMo-7B 模型、预训练/post-training、公开权重与评测口径。
- MiMo-V2-Flash Technical Report：MoE、hybrid attention、MTP、27T pretraining、MOPD 与 Agent RL 系统。
- DeepSeek-V3 官方仓库：MLA、DeepSeekMoE、MTP、FP8 与训练/推理协同。
- OpenClaw Skills 文档：skill 定义、加载顺序、权限和安全边界。
- MultiAgentBench、BattleAgentBench：多 Agent 协作协议、任务难度和现有能力限制。
模型成绩均为对应发布方自报，受 prompt、采样、工具、版本和 benchmark 污染影响；本文不做实时模型排名。个人任职只写公开署名和能被机构资料支持的层级。