Context Rot 深读：长程搜索 Agent 为什么会被自己的历史拖垮

核心判断

Context Rot 在长程搜索里首先表现为行为崩溃，而不是硬性的 token 溢出。当 agent 不断把搜索结果、失败路线和自我评价追加到轨迹中，它不只是在积累信息，也在递归地条件化于自己之前的信念。旧的“无法确认”“证据冲突”“可能无解”会变成下一轮行动选择的新输入，逐渐降低模型对任务可解性的隐式判断，最终形成重复搜索、保守收尾和提前放弃。

问题重构：为什么更大的窗口没有自动带来更可靠的长期工作

长程搜索与普通长文问答的区别在于：上下文不是一次性给定的。agent 每一轮都会生成 reasoning、调用工具、接收 observation，再把这些内容作为下一轮输入。完整轨迹因此是一个不断增长的闭环，而不是中性的资料库。

如果把完整历史每一步都重新放进 prompt，就像让一个服务在做每次决策前，重新阅读全部运行日志、异常堆栈、失败实验和过去的临时判断。日志保留了可追溯性，却不等于它适合作为当前控制状态。随着轨迹变长，模型必须同时完成四件事：

论文的价值就在于：它没有只把这种失败归结为 recall，而是把终态拆成不同的行为类型，并考察压缩、裁剪和分支隔离如何改变这些行为。

到底评测了什么：不是读一篇长文，而是完成一个搜索任务

任务输入是一道需要跨来源查证的事实型问题。模型输出不是单次文本，而是一条包含 reasoning、搜索动作、网页访问、工具 observation 和最终回答的轨迹。搜索工具返回候选结果，访问工具再把页面处理成与当前目标相关的证据摘要；因此模型面对的是已经过工具与摘要器加工的 observation，而不是永远直接阅读原始网页。

BrowseComp 使用 100 题子集，xbench-DeepSearch 使用公开的 100 题设置；BrowseComp-Plus 的总体数据规模为 860，部分上下文治理实验再随机抽取 200 题。主要实验重复五次。这个规模足以展示稳定现象，但尚不足以支持所有模型、所有 agent scaffold 的普遍定律。

终态分类：Context Rot 是怎样被定义出来的

论文先把“是否答对”和“以什么状态结束”分开，再组合成六类。这个设计比单一准确率有价值，因为两个同样错误的 agent，可能一个自信幻觉，另一个明确意识到证据不足；两者对应的产品风险完全不同。

论文把 Rot = UI + GU。它捕捉的是“带着失败意识结束”的比例，而不是所有错误。CI 不计入 rot，NA 也不计入 rot；这两个排除项正是后面理解指标转移的关键。

关键证据一：同样是 Rot，不同模型以完全不同的方式失败

BrowseComp 的终态分布最能说明为什么 Context Rot 不是一个纯记忆指标。GLM-4.7 倾向直接放弃，MiniMax-M2.5 则很少放弃，却大量产生 uncertain-incorrect；两者都“腐化”，但产品表现截然不同。

这组数字至少说明三点：

1. “不放弃”不等于更可靠。MiniMax 很少 give up，但只是把大量失败转成带着不确定性的错误答案。
2. Rot 混合了检索、校准与停止策略。如果只是长文本 recall 下降，不同模型不应呈现如此不同的终态形状。
3. 产品风险不能只看 Rot 总量。直接放弃、谨慎猜错和自信幻觉需要完全不同的治理手段。

轨迹越长，Rot 越高：强描述证据，但不是干净因果证据

论文按轨迹长度分桶后发现，随着上下文增长，confident-correct 比例下降，uncertain-incorrect 与 give-up 上升；逐步 struggle score 也和这两类终态相关。这是清楚的描述性趋势。

机制推断：失败叙事如何从日志变成行动先验

论文没有直接读取模型内部信念，但实验现象与一个递归自条件化机制高度一致。关键点是：agent 自己写出的 reasoning 会在下一回合重新进入模型输入，因此历史并非只保存世界事实，也保存模型对世界的解释。

这不是传统意义上的“模型忘记了开头”。它更接近自生成历史造成的策略污染：模型仍可能看得到问题和事实，却因轨迹中的失败模式改变了接下来愿意采取的动作。

因此，“context window 不是 bottleneck”更准确的表达应是：许多 agent 会在触及名义窗口上限之前，先发生行为性饱和。这不能证明容量完全不重要，只能说明可靠工作容量通常显著小于 advertised capacity。

到底是 Facts Rot，还是 Reasoning Rot？

论文分别删除旧工具 observation、旧 reasoning，或两者都删除，并保留最近三个交互回合。删除任一类内容都能缓解 rot；尤其值得注意的是，删除 reasoning 后，轨迹有时反而变得更长、回合更多，但 rot 仍然下降。这支持“内容组成比单纯长度更重要”。

但这些干预仍不是完美因果实验：删除内容同时改变了可用记忆、任务进度、模型行为和最终完成率。论文证明“不同内容值得区别管理”，没有识别出哪一种语义成分是首要病因。

七种上下文治理方法：它们分别在删除什么风险

论文比较三类治理策略：摘要压缩、历史裁剪和子 agent 隔离。真正的比较对象不是“谁最短”，而是准确率、rot、未完成率与工具成本之间的 Pareto 权衡。

没有跨模型的绝对冠军

FoldAgent 在 GLM / BrowseComp 上把 rot 降到很低，却让 no-answer 达到 42.6%。它隔离了污染，也消耗了协调与完成预算。子 agent 的价值因此不是“并行一定更聪明”，而是能否让局部噪声留在局部分支，并以高密度证据包返回主线程。

指标陷阱：Rot 降低，可能只是失败换了一个出口

论文最值得警惕的数字来自 Qwen / BrowseComp。长度触发摘要几乎消除了 rot，但很大一部分轨迹变成 no-answer。准确率提高是真实收益，然而 rot 的巨大降幅不能被当成同等幅度的系统可靠性提升。

摘要频率主要改变失败类别，不一定显著改变正确率

三个阈值的准确率区间高度重叠，但 rot 与 no-answer 大幅互换。这说明任何单独优化 rot 的系统，都可能通过沉默、超时或隐藏不确定性获得漂亮数字。

摘要提示词可能造成“不确定性洗白”

官方实现的摘要提示词要求只保留确定、明确的信息，并排除不确定、信息不足或无法确认的内容。它能减少负面自我叙事，但也可能删除真正有价值的认识论状态：来源冲突、单来源结论、缺失条件和未验证假设。

可靠评价应联合报告 accuracy、coverage、confident error、uncertain error、abstention、no-answer、校准、token、工具调用、延迟和多轨迹成本，而不是寻找单一“rot 越低越好”的分数。

Rot-aware Rejection Sampling：风险排序器，不是病因治疗

作者为每道题采样 8 条 ReAct 轨迹，过滤 give-up 与 uncertain 终态，再从 confident 轨迹中按最少回合（FT）、最短上下文（FL）或精确答案多数投票（MV）选择结果。

它说明终态行为确实携带正确性信号，但 confident 不是 correctness。Qwen 用 confident 预测正确性的 precision 在 BrowseComp 为 0.779、BrowseComp-Plus 为 0.981，在 xbench 只有 0.692；xbench 的 recall 却达到 0.975。也就是说，过滤器几乎保留所有正确答案，却也保留了不少自信错误。

因此它更接近 selective prediction：用行为特征做风险路由，而不是修复产生 rot 的上下文机制。更理想的系统应在轨迹中段识别低信息增益分支并重置计划，而不是等八条轨迹全部结束后再丢弃。

官方代码审计：机制可检查，Headline 数字尚不能独立复现

公开仓库包含搜索 scaffold、数据子集、七类上下文管理方法、终态分类和 struggle classifier。实现结构与论文主叙事基本一致，说明这些方法不是只停留在图表描述。

影响数字解释的实现细节

1. 五票分类实际使用 plurality。参数中虽有三票阈值，公开实现没有用它拒绝无多数结果；若出现 2–2–1，仍可能选出一个类别，平票还可能受完成顺序影响。人工一致率很高，实际影响可能有限，但应当修正。
2. turn/tool 统计不是完全原始计数。分析逻辑会对内容相同的 reasoning 与工具响应去重，所以公开统计可能低估重复行为，而重复恰恰是 rot 的一部分。
3. 采样配置不完全自洽。命令入口的默认 temperature、top-p 与部分 rollout 调用的硬编码值不一致，论文也没有完整报告采样参数和随机种子。
4. 摘要调用成本的记账边界不清楚。论文强调工具成本，但 summary、分类、聚合所需的模型 token、延迟与算力没有形成完整端到端账本。
5. v1 附录存在文本拼接瑕疵。个别案例的预测答案与另一段字符串连在一起，更像排版或复制错误；它不直接推翻实验，但表明版本仍需清理。

放回研究坐标：新意不在“长上下文会退化”

静态长上下文退化已有更早、更受控的证据。Chroma 的 Context Rot 研究在 18 个模型上保持任务基本不变，只改变输入长度、干扰项、语义相似度和结构；它更擅长回答“长度与内容结构怎样影响单轮能力”。本论文则转向逐轮积累的真实 agent 轨迹，更擅长回答“长期搜索为何以不同终态失败，以及治理方法怎样改变系统权衡”。

所以论文的合理创新定位是：把 context engineering 的经验性 folklore，推进成一个可测量、可比较权衡的 agent systems 问题。它不是新的神经网络架构，也不是一条已经完成因果证明的理论定律。

术语与概念对齐

证据边界：哪些结论强，哪些仍是推断

• 只测开放模型。作者需要可见 reasoning 做终态诊断，闭源模型与隐藏思维模式是否同样退化尚未知。
• 只测深度搜索。软件工程、浏览器操作、数据分析、科学实验和长期个人助理可能有不同的状态结构。
• 工具 observation 已经过摘要。一部分 rot 可能来自访问摘要器和搜索 scaffold，而不只是主模型上下文。
• 没有显著性检验。部分阈值准确率差异落在较大方差内，不应对小幅排名过度解读。
• 成本口径窄。工具调用数不能替代总 token、TTFT、并行资源、judge 成本、延迟和能耗。
• Abstention 不总是坏事。在医疗、法律或事实无法验证的任务中，知道何时拒答可能比自信给错更安全；把所有 give-up 都计为 rot 带有任务价值判断。

独立 Insight：这篇论文真正教会我们的五件事

落地设计：事件日志、证据账本与活跃工作集

抗 Context Rot 的系统不应每轮重放所有历史，而应采用类似 event sourcing 的结构：原始事件日志作为事实来源，结构化账本作为长期状态，当前 prompt 则是面向下一步行动的 materialized view。

证据账本应显式区分七类状态

触发治理不应只看 token 数

更有效的 context allocator 应监测信息质量：

• 最近搜索动作和搜索词的重复率；
• 新 observation 对候选假设的实际信息增益；
• 来源多样性与独立性；
• 未解决矛盾的数量和密度；
• 同一计划被复述但没有执行进展的次数；
• 候选假设排名是否长期不变；
• 工具失败是否来自同一外部限制；
• 事实、计划、失败叙事和原始 observation 在工作区中的占比。

子 agent 返回主线程时，也不应返回完整聊天 prose，而应返回统一证据包：结论、来源、支持与反对证据、置信度、未解决事项和建议动作。隔离只有在返回边界同样结构化时才真正成立。

下一步研究：怎样真正识别 Rot 的因果机制

最有价值的后续实验不是再加更多模型，而是构造同任务、同轨迹前缀、同 token 预算的配对反事实，只改变历史内容的语义角色。

每个实验都应测下一步动作分布、搜索新颖度、任务可解性判断、答案正确性、置信校准、abstention utility、完成率和端到端成本。只有这样，Context Rot 才能从一个现象标签进一步发展成可干预的机制模型。

证据边界与资料索引

本文以论文 arXiv v1、作者公开 thread、官方代码仓库及公开实现为核心证据，并以 Chroma 的受控长上下文实验和 Anthropic 的 agent context engineering 实践作方法论对照。论文主结果按公开表格复核；官方仓库没有提供主表对应的完整原始轨迹、结果快照和锁定依赖，因此本文能够核验实验设计、实现方向和表内算术，不能独立重跑全部 headline 数字。论文尚未覆盖闭源模型、软件工程 agent 和高风险 abstention 场景，相关外推均按推断处理。

• Shijie Xia：Announcing “Diagnosing and Mitigating Context Rot in Long-horizon Search”
• Diagnosing and Mitigating Context Rot in Long-horizon Search（arXiv:2606.29718）
• 论文 PDF：arXiv v1
• GAIR-NLP / ContextRot 官方代码仓库
• Chroma Research：Context Rot
• Anthropic Engineering：Effective context engineering for AI agents