长程 Agentic 任务合成：
从轨迹拼接到可验证世界

第一遍：这批工作到底在解决什么

1. 材料定位：不是一篇论文，而是一条正在成形的技术路线

这里讨论的不是单一方法，而是 2024 年末到 2026 年间出现的一批长程 agent 数据工作。它们分布在终端、浏览器、企业软件、工具调用和操作系统等不同环境里，但共享同一个目标：让 agent 在训练时见到足够多“需要连续决策、跨阶段保存状态、最后还能被自动判定”的任务。

早期代表是 OS-Genesis、AgentTrek、AgentSynth 和 TaskCraft。它们的共同思路是“先拿到一条轨迹，再把它包装成任务”。2026 年之后，RST、Tev、TerminalHorizon、ToolSpace、LOGIGEN 和 Anchor 把顺序倒了过来：先构造环境、参考解和验证器，再让指令与轨迹从中长出来。这个转向是本文最想讲清楚的主线。

因此，阅读这批材料时不能只问“任务数量是多少”。更关键的问题是：任务包的四件套是否互相一致，参考解是否真能跑通，验证器是否检查了指令真正要求的东西，以及难度是否来自真实工作量而不是更长的 prompt。

2. 一个长程任务包由什么组成

TerminalHorizon 把任务形式化为五元组 T = (I, E, S, V, M)。其中 I 是公开指令，E 是可执行环境，S 是参考解，V 是私有验证器，M 是执行配置。Agent 只能看到 I 和 E，S 与 V 隐藏。

一个任务合法的最低条件是：参考解能在环境里执行并通过验证器；同时，验证器检查的语义必须包含在公开指令或环境中可发现的证据里。不能要求 agent 做指令没提、环境里也找不到线索的事。

分开生成这四件套，会产生 artifact drift：指令描述的任务、环境实际能做的事、参考解实际做的事、验证器实际检查的事，四者逐渐漂移。Anchor 把这个现象视为长程任务可靠性的核心威胁；RST 的应对是“先扩展解，再对齐指令和验证器”。

3. 长程不等于长上下文

The Horizon Gap 综述了 1,547 篇 2024–2026 年的 arXiv 论文，用 26.8% 的 bleed filter 区分三个概念：long-horizon 是任务属性，指需要很多步、很多依赖、很长时间；long-context 是模型一次能读多少 token；long-term memory 是系统能否跨会话保存和检索状态。

它的核心结论是：只看最终成败的 outcome-only 信号，会随着 horizon 变长而失效。失败发生在第 3 步还是第 30 步，无法从最终分数里看出来；这直接催生了 Tev 的 dense progress reward、Explorer-Zero 的可分解奖励和 SkillHorizon 的 progress potential。

长程性的来源可以归纳为六类：依赖链深度、状态持久化、信息不对称、环境规模、失败与中断注入、多轮反馈。后面每一类方法，本质上都在强化其中一两种来源。

4. 第一代：从轨迹里反推任务

OS-Genesis 是 GUI 轨迹合成的早期代表。它先让 agent 在界面里自由探索，记录状态与动作，再从事后轨迹反向推导“用户本来可能想完成什么任务”，最后用 trajectory reward model 过滤质量。这个顺序很重要：不是先写任务再找界面，而是先让界面暴露出可执行动作，再反推目标。

AgentTrek 换了一个信息源：网页教程。它先用分类器收割教程文本，把教程转成结构化任务规格，再让视觉语言模型在真实网站里执行，并由另一个视觉语言模型评估是否完成。ICLR 2025 Spotlight，成本约 0.55 美元一条高质量轨迹，后续被 SWE-smith、OpenCUA、OSWorld 2.0 等工作大量引用。

AgentSynth 利用的是信息不对称：正向一步步解题容易，反向一次性推断整条解很难。它用六个角色——出题、执行、验证、改写、追加子任务、总结——把多条短轨迹拼成一个高层长程任务。难度由总结的子任务数量控制，从 level 1 到 level 6，平均 horizon 从 5 步升到 45 步，应用数从 1.2 升到 3.3，成功率从 18% 降到 4%。六千多个任务，成本约 0.60 美元一条轨迹。

TaskCraft 把组合做得更形式化。它从单次工具调用可解的 atomic task 出发，做 depth extension：把工具输入替换成需要另一跳才能得到的值；再做 width extension：合并两个子任务并要求答案相加。约三万六千个任务，后来成为工具型组合合成的常见基线。

GEM 从文本语料里挖多步工作流，再转成工具调用轨迹；Watch and Learn 从在线操作视频里提取屏幕状态序列，用逆动力学预测动作，得到五万多条 UI 轨迹。它们代表了另外两个信息源：文档和视频。

5. 第二代：把种子任务递归推难

RST 是目前终端任务递归合成里最完整的配方。它从 TerminalWorld 取 639 个已经过 oracle 验证的种子，每轮从 40 个 rewrite operator 中选三十多个，分属五个家族：配置与控制状态、数据与 schema、文件系统与资源绑定、构建缓存与产物、运行时工具与诊断。

关键原则是 solution-first：先扩展参考解 solve.sh 和运行环境，再更新验证器与公开指令。实验显示，solution-first 比 instruction-first 的验证通过率高 24.1 个百分点，递归种子再加 13.2 个百分点；组合方案平均通过率 74.1%，比 instruction-first 非递归高 32.3 个百分点。

规模上，RST 跑了 15 轮，得到 37,484 道题，成本约每千题 50 美元。参考解中位数从第一轮的 67 行、40 条命令，增长到第十五轮的 374 行、244 条命令；DeepSeek-V4-Pro 的 pass@4 从 90% 降到 2.5%，没有饱和。用拒绝采样轨迹做 SFT 后，Qwen3.5 27B 和 122B-A10B 在 Terminal-Bench 2、TB-Hard 和 Long-Horizon Terminal Bench 上最多提升 10 分。

Dream-RSI 把这套递归思路再推进一步：它不直接造任务，而是把历史发现树当作 replay simulator，在“梦中”低成本评估和改写探索策略，再部署回在线环境。它说明 2026 年的递归不只是任务递归，也包括造题策略本身的递归。

RES 不改变任务目标，只递归改环境。它做三类变换：资源变换改变信息访问方式，关系变换改变资源之间的依赖，操作变换改变动作可用时机；再用 dependency composition 让后续操作消费前序产物。每一步都从固定父代独立 replay，检查任务保持、构造一致和公开可执行。

TURTLE 把 benchmark 本身做成可进化的系统。AlphaEvolve 变异 AppWorld 和 AutomationBench 的任务程序，solver 跑多次得到完成率与轨迹长度，反馈生成器比较失败轨迹与标准答案，最后用六个 fitness 选择任务，目标难度设在 0.5 附近。AppWorld hard 任务提升 165%。

SkillHorizon 关注“工作量”而不是单纯步数。它构造七个业务环境，把业务模块按输出依赖组成 DAG，支持顺序扩展、汇合和长距离复用；再用规则型 reference policy 执行，按参考轨迹累计的工具 token 数分 workload band。1,050 个任务，参考工作量从 64K 到 1M token；local-goal completion 从 90.4% 降到 46.8%，说明工作量一大，agent 很容易提前提交未完成答案。

AgentSkiller 是一条十七步的全链路流水线，从领域本体、人物实体图、服务蓝图、工具接口、约束数据库、领域 policy，一直生成到多轮 rollout 和评估。它追求的是跨域 policy 一致性和 persona 模拟，工程量很大，采用门槛也高。

CLI-Universe、Meta-Task 和 FACET 则分别从能力分类、自指生成和环境状态保持三个角度改进了终端任务合成。CLI-Universe 用 rubric 门控、hint 条件过滤和严格的 fail-to-pass 检查，只保留约三分之一候选；Meta-Task 把“造题”本身定义成一个终端任务，让 agent 在真实容器里边生成边执行；FACET 强调源意图保持和共享可执行状态，先修环境，再生成最终任务。

6. 第三代：先有世界，再有任务

Tev 是“潜世界优先”路线最完整的代表。它先构造一个完整正确的隐藏世界 W，包括域、工作流和每一步的期望状态；再由 W 渲染环境，并做声明式、可逆的损坏，得到初始状态 s0。任务包变成 E = (x, s0, ver_W, Φ_W)。工作流由代码编译成 DAG，关键路径定义 horizon，阶段定义 progress potential。

Tev 的核心训练信号是 PPRS：把 progress potential 转成每一步的 dense reward，缓解 GRPO 在长程稀疏奖励下的 starvation。它有 1,170 个经过验证的环境，覆盖七个域，中位 rollout 12.4 分钟；八道自动资格门和十四个 gaming probe 必须零分。Tev-27B 在 ALE-CM 上 Pass@5 达到 0.28，基座是 0.17，接近 GPT-6 Astra 和 Claude Opus 5；Tev-320B 把 GLM-5.3-Flash 在 TB4.0-CM 上从 29% 提到 37%。

LOGIGEN 把业务 policy 编译成 SQLite schema 和 trigger。Architect 负责把 wiki policy 变成数据库约束，BEFORE 触发器产生违规，AFTER 触发器做审计和扣库存；Set Designer 做 boundary-adjacent seeding，把阈值放在 N 到 N-1 的边缘，并加入 trade-off、distractor、substitute 和噪声；Explorer 用 Client 和 Consultant 两个角色探索出可执行 episode，得到目标状态和无剧透指令。验证用 State-Diff，天然没有标准答案漂移。两万道题、八个域，τ²-Bench 达到 79.5%，基座是 40.7%。

Anchor 用约束优化程序做唯一事实源。它把业务流程写成 OR-Tools CP-SAT 约束程序，同一个参数化规范 S_θ 编译出指令、环境初始化、oracle 解和状态验证器。四道端到端检查是：no-op 必须零分，oracle replay 必须满分，LLM judge 交叉一致，reward-hacking canary 在结果优于认证最优时告警。ERP-Bench 三百道题全部通过 no-op 和 oracle；前沿模型只有 25.9% 的 trial 遵守全部规则，17.4% 达到完全最优。

CUA-Gym 面向 computer-use agent，用 Generator 构造初始状态和 golden 状态，用 Discriminator 从任务规格写 reward 函数，再由 Orchestrator 驱动迭代。它产出 32,112 条 verified RLVR tuple 和 110 个高保真 mock web app；GSPO 训练后 A3B 在 OSWorld-Verified 上达到 62.1%，A17B 达到 72.6%。

AutoWebWorld 用有限状态机定义 Web 环境的所有状态、动作和转移规则，再用 coding agent 把 FSM 翻译成可交互网站。动作正确性按预定义规则检查，任务成功等于到达目标状态。29 个环境、11,663 条 verified trajectory，成本约 0.04 美元一条；七 B 模型在 WebVoyager 十五步限制内超过基线，数据量增加时性能持续提升。

C-World 按需创建 computer-use 环境：5,571 个统一工具、204 个常用应用；任务分布引擎合成带 wild constraints 的长程工作流；状态控制器注入真实失败；奖励由可验证指标和 LLM judge 组成。它的 World Engine 与真实执行之间的 Spearman 相关系数是 0.883；仅用 1,170 条 C-World 轨迹微调，就超过了 119k 样本的基线。

EnvScaler、ScaleEnv、Agent World Model 和 InfiniteWeb 属于环境基础设施层：分别从主题挖掘、从零构建、代码加数据库、spec 加测试驱动开发的角度，批量生产可交互环境。它们不一定直接生成最终任务，但决定了任务合成的上限。

7. 真实工作、轨迹回收与工具依赖

TerminalHorizon 从真实专业工作出发，分两阶段。第一阶段是 challenge-guided synthesis：Planner 规划研究 brief，Deep Research agent 查文档、代码、issue 和专业材料，Construction agent 联合构造五元组，要求验证器语义包含在公开指令和可发现证据里；然后由一个不参与构造、只看公开包的 Independent Challenger 实际 rollout，做 Horizon Gap Analysis，找出“构造时已经把核心工作做完”的地方，再 Refine 恢复被省略的工作。第二阶段是 progressive expansion：在同目标下增加更广的角色、更深的机制、更丰富的证据和方法升级，新需求必须依赖前序证据或产物。

它覆盖 27 种 agentic behavioral pattern、五个族，1.5K 个环境；用 3K 条 SFT 轨迹，Qwen3.5-27B 在 Terminal-Bench 2.0 上达到 55.8%，比基座高 14.2 分，并在十二个基准上全面提升；多个 case study 连续运行十二小时。

WorkBorne 以 artifact transition 为中心原语，从真实 artifact 的输入输出关系发现任务。它构建了 1,061 个 artifact corpus、7,882 个任务环境和 15,485 条轨迹，53.6% 的轨迹超过 30 个 assistant turn；Qwen3.5-27B 在 Terminal-Bench 2.1 上从 43.1% 提升到 61.8%，ClawEval General 从 75.0 提升到 80.2。

Terminal-Universe 把已有 agent 轨迹反演成环境：replay 轨迹中的文件操作，恢复每个文件被修改前的状态，得到 partial workspace；再用 completion agent 补齐缺失文件和依赖；然后在恢复的 workspace 上重建原始意图任务，并合成全新任务。它产出 37.3K 个 task-sufficient environment，Qwen3.5-27B SFT 后在 Terminal-Bench 2.1 上提升 11.9 分，在 EvoCode-Bench v2 上提升 13.8 分。

工具侧的三个代表是 ToolVerse、ToolSpace 和 GTA。ToolVerse 用工具依赖图组织课程，按入度零解锁，把 golden trace 反写成用户任务，再用 LangGraph replay 和 teacher Pass@8 过滤。ToolSpace 从真实 MCP 和 agent 轨迹的相邻调用中挖 data、state、retry 三类依赖，用确定性规则而不是 LLM 判断；加权工具组合图聚类成 804 个环境；只给有状态变更的 cluster 合成数据库；用 state-aware random walk 生成跨环境长链，再反编译成带 assertion 的自然语言任务。GTA 则从网站爬取和多跳种子生成 web 任务，并记录最小 gold path，供确定性 replay 和逐步诊断。

8. 自博弈与自适应课程

SPADE 用同一个语言模型扮演两个角色。Environment Designer 写完整的 Python 环境，接口仿照 Gym 的 reset() 和 step(action)；Reasoning Agent 在这些环境里学习。设计者的奖励来自 hint-based regret：同一个环境，有特权提示和没有提示的回报差；再叠加一个难度平台奖励，让胜率落在 0.4 到 0.6 之间。外部语料提供题材，环境记忆提供难度历史。

30B 模型在八个 held-out 基准上平均提升 8.1 分，比最强固定环境基线再高 5.3 分；BFCL-v4 multi-turn 提升 5.7，ACEBench-Agent 提升 13.9。消融显示，去掉语料后多样性几乎坍缩，Vendi/n 从 0.68 降到 0.04；去掉记忆后平均分降到 53.2。这说明新颖性主要来自外部语料，环境设计器主要负责难度适配。

Explorer-Zero 让 proposer 生成可达成、可组合的任务，并记录中间状态和最终状态作为 checkpoint，奖励部分完成；SCOPE 让 Challenger 生成文档 grounding 的任务，Solver 多轮检索作答，用冻结的初始模型作 self-judge 写任务特定 rubric；SESA 把失败蒸馏成可复用 skill 写回 memory，形成出题、解题、记忆的闭环；CuES 则在无预定义目标的环境里，用好奇心探索和记忆树发现任务。

9. 验证器与综述

VerifierBench 专门评估“从指令和环境自动生成可执行验证器”的能力。它有 222 道题、6 个 benchmark、4,993 个隐藏测试，包含 alternative valid solution 和 attack；19 个模型的 normalized balanced accuracy 只有 10.6 到 62.1。关键发现是：生成验证器更擅长拒绝错误解，不擅长接受所有正确解；很多 false rejection 来自“任何解都不接受”的验证器。

The Horizon Gap 提供了概念清理，Agentic Environment Engineering 综述则给出了目前最系统的 taxonomy：符号合成分为任务驱动、真实世界驱动和从零生成；神经合成分为像素、词和潜世界模型；环境演化分为神经驱动、难度驱动和规模驱动。它还把未来方向概括为 environment-as-a-service、多 agent 环境和神经符号环境。

10. 材料最后落到哪里

把这批工作放在一起，作者的共同结论可以概括为五句话。第一，环境比指令更重要；第二，先让解变长变难，再让验证器和指令对齐；第三，独立 challenger 是发现“构造者已经把任务做完”的最好办法；第四，长程训练需要过程奖励，而不是只看最终成败；第五，验证器才是真正的瓶颈。

成本也已经不是主要障碍。RST 约 0.05 美元一题，AutoWebWorld 约 0.04 美元一条轨迹，AgentSynth 约 0.60 美元一条轨迹。问题从“造不起”变成“造得对不对、难不难、有没有泄漏”。

以上是按材料顺序做的连续讲解。下面进入本文自己的结构化抽象、证据审计与独立判断。

第二遍：核心判断

长程 agentic 任务合成的竞争焦点，已经从“谁能生成更多轨迹”转向“谁能先构造出一个自洽、可执行、可验证、难度可调的世界”。这不是一句口号，而是四件套一致性、独立挑战者、过程奖励和验证器工程共同逼出来的结果。

问题背景：为什么固定题库会失效

普通 RLVR 把问题和验证器当成预先存在的数据。模型能力提升后，容易题不再产生组内方差，难到不可解的题也不产生有效梯度；固定池的有效训练密度不断下降。经典 curriculum 可以重新采样难度，却仍只能在既有题型内移动。

长程任务把这个问题放大。一个三十步任务，如果只在最后给一个成败信号，模型很难知道失败发生在哪一步；如果验证器只检查最终文件，模型可能学会绕过中间过程；如果参考解由出题人手工写，成本会随任务数量线性上升。更糟的是，出题人为了让参考解通过，可能已经把最困难的工作做完，留下一个“看起来很长、实际很容易”的任务。

所以，真正的问题不是“怎样写一个更长的任务描述”，而是“怎样构造一个能持续产生可验证长程任务的生产系统”。这个系统至少要同时解决四件事：环境可执行、参考解可复现、验证器语义正确、难度可校准。

方法谱系：六条路线与一层基础设施

把三十项工作按“任务从哪里来”分类，可以得到六条路线。它们不是互斥的，很多系统会同时用到两三条。

在这六条路线之下，还有一层“环境基础设施”：EnvScaler、ScaleEnv、Agent World Model、InfiniteWeb、C-World 和 CUA-Gym 不直接生产最终任务，而是生产可交互环境、状态机和 reward 函数。它们决定了上层任务合成能走多远。

演化方向可以概括为：从“让模型自己出题”，到“让环境先成立”，再到“让验证器和进度信号可执行”，最后到“让任务难度随模型能力自适应”。

机制拆解：一条可靠的合成流水线

把 RST、Tev、LOGIGEN、Anchor 和 TerminalHorizon 的做法抽象出来，一条可靠的流水线大致有六个阶段。

第一阶段决定任务的“题材真实性”。真实 artifact 和轨迹通常比纯 LLM 想象更有依赖结构；文档和视频提供操作知识；业务 policy 提供硬约束。第二阶段决定任务的“可执行性”：状态机、数据库、文件系统、工具 API 和失败注入，都是让任务不只是文字游戏的手段。

第三阶段是最容易被忽略的。很多合成流水线先写指令，再让模型补一个参考解，结果解只覆盖指令的表面要求。RST 的证据说明，先扩展解再对齐指令，验证通过率会显著更高。第四阶段则要求验证器的语义是公开指令的子集：验证器可以检查比指令更具体的东西，但不能要求指令里没提、环境中也发现不了的隐藏知识。

第五阶段是 TerminalHorizon 的核心贡献。构造者自己跑参考解，通常会“知道路怎么走”，因此容易把关键工作省略。独立 challenger 不参与构造，只看公开包，实际 rollout 后再对比 seed 意图，才能发现“构造时已把核心工作做完”的问题。第六阶段是难度校准：TURTLE 用 0.5 附近的完成率，SkillHorizon 用参考 token 工作量分 band，AgentSynth 用子任务数分 level，RST 用递归轮次自然升级。

验证器的强度可以排一个序：状态 diff 和数据库断言最强，其次是 SQL 和业务规则引擎，再次是 pytest 和文件系统检查，然后是程序化 reward 加轨迹 replay，最后才是 LLM judge 加 rubric。原则很简单：能用状态检查就不要用 LLM judge，能用确定性 replay 就不要用“看起来完成了”的截图判断。

关键证据：规模、成本与影响力

代表性工作的硬指标

影响力：引用、下载与讨论不是一回事

引用数来自 2026 年 11 月初的公开学术图谱，Hugging Face upvote、模型与数据集下载、GitHub star 来自同月上旬的公开页面。2026 年 10 月到 11 月发布的新论文，引用数天然接近零，不能直接和 2024 年末、2025 年中的工作比较。

这张表最重要的信息不是排名，而是三层指标经常背离。OS-Genesis 和 AgentTrek 的引用最高，但社区讨论并不多；TerminalHorizon 的引用只有 1，却有 126 个 HF upvote 和一万多次环境数据集下载；ToolSpace 发布三天，引用为零，但已经有 42 个 upvote 和 43 个 star。引用衡量的是“被写进 related work 和 baseline 的程度”，下载衡量的是“发布后几周内真的有人想用”，讨论衡量的是“有没有进入公共叙事”。

RST 是一个典型的基础设施型工作：27 次引用不算惊人，但它被 Dream-RSI、Terminal-Universe、RES、Tev 和 TerminalHorizon 等后续工作引用，已经成为 2026 年终端任务递归合成的枢纽节点。它的数据集下载达到 9,326 次，说明“可复现配方”比“单次 SOTA”更有传播力。

公开批评与可信度

影响力不等于正确性。公开长评里最有价值的三条批评是：RST 的 headline RL 数字存在冲突，contract-validity 审计主要靠 LLM 检查；Tev 的迁移声明比标题弱，determinacy guarantee 超出了实际检查；ToolVerse 的共享 user simulator 和缺少 error bar 使 headline 变弱。

这些批评指向同一个问题：合成流水线的“自动验证”很容易变成“自我确认”。如果没有独立 challenger、fresh sandbox、no-op 与 oracle 门禁和人工抽检，LLM judge 很可能把构造者的盲点复制到验证器里。

术语解释

边界与风险

第二，验证器过度约束。VerifierBench 显示，生成验证器更擅长拒绝错误解，不擅长接受所有正确解。很多 false rejection 来自“任何解都不接受”的验证器。oracle replay 满分只能证明参考解能过，不能证明其他正确解也能过。

第三，构造者提前把任务做完。这是长程合成最隐蔽的失败模式。出题人为了让参考解通过，可能已经把核心工作完成，留下一个只需少量操作的“长任务”。TerminalHorizon 的独立 challenger 是目前最好的解药，但它也增加了成本，并且 challenger 本身可能不够强。

第四，分布偏置与污染。合成任务往往集中在少数种子、网站、工具或业务域。RST 用 TerminalWorld 种子，GTA 用网站爬取和多跳种子，ToolSpace 用真实轨迹，但都无法自动覆盖长尾。更严重的是，合成任务可能与 benchmark 同源；如果没有逐样本去重，训练提升可能包含泄漏。

第五，环境重置与复现成本。状态化环境的重置很昂贵。ToolSpace 用 rollback 和 replay，Tev 用可逆损坏，都是局部解；当环境包含外部 API、数据库和浏览器会话时，完全复现仍然困难。

第六，长轨迹信用分配。稀疏奖励下 GRPO 容易 starvation。Tev 的 PPRS、ToolVerse 的 turn-aware relative advantage、Explorer-Zero 的 checkpoint reward 是三条不同路线，但都还没有统一的评估标准。

第七，用户模拟器偏差。Terminal-Universe、SkillHorizon 和 WorkBorne 都引入 user agent 或多轮反馈。User agent 的偏差会直接变成任务偏差；如果它总是配合、总是给出清晰反馈，任务会比真实用户容易得多。

第八，安全与双用途。终端和浏览器环境合成能力可以生成攻击性任务，也可以被用来测试危险操作。需要访问控制、滥用审计和明确的使用边界。

第九，影响力指标不是质量结论。引用有滞后，HF upvote 可以被话题热度放大，GitHub star 不等于可复现。一个工作引用为零，可能只是发布时间太短；一个工作 HF 很高，也可能只是叙事好听。

工程与研究启发

按目标选路线

一条最小可落地流水线

1. 定义能力 taxonomy。领域、技能、能力、工程支柱四个维度，避免所有任务挤在同一类。
2. 选 grounding 源。真实 artifact、已有轨迹、文档、教程或业务 policy；不要只让 LLM 凭空想象。
3. 先造环境和参考解，再生成指令与验证器。solution-first，避免 instruction-first 的伪扩展。
4. 注入依赖与多轮。用 DAG 组合、跨阶段状态复用和 user agent 追加需求，让长程性来自结构而不是字数。
5. 过四件套门禁。no-op 零分、oracle 满分、fresh replay、泄漏检查，一个都不能少。
6. 请独立 challenger。不参与构造的 agent 只看公开包，实际 rollout，做 horizon gap 分析。
7. 校准难度。按 pass rate 0.3 到 0.7 分 band，按参考工作量或子任务数分 level。
8. 收集轨迹并过滤。拒绝采样、teacher Pass@8、LLM judge 加人工抽检；记录每条轨迹的验证结果和失败步骤。

需要持续跟踪的指标

任务层面看 valid rate、solvability、difficulty distribution、horizon、diversity、leakage 和 cost per accepted task；训练层面看 SFT 或 RL 后在 held-out benchmark 上的提升，以及 failure taxonomy：格式失败、规划失败、执行失败、验证失败、提前提交。只报一个平均分，无法判断系统到底改善了哪一环。

证据边界与资料索引

本文综合 arXiv 论文、ACL 与 ICLR 论文页、官方项目页和公开数据页面。规模、成本、通过率与训练提升均为论文或项目方报告，本文只对少量平均值和差值做算术复算，没有重跑大规模训练或 benchmark。引用数截至 2026 年 11 月初，HF upvote、模型与数据集下载、GitHub star 截至同月上旬；新论文的引用为零通常只反映时间窗口，不构成质量判断。公开社区讨论只选取可定位的代表性材料，不代表穷尽。合成任务的污染、验证器语义和真实工作量，仍需独立审计。

• RST: Recursive Synthesis for Long-Horizon Terminal Tasks
• TerminalHorizon: Scaling Agentic Data for Long-Horizon Terminal Intelligence
• Tev: Scaling Long-Horizon Agentic Environments with Dense Progress Rewards
• AgentSynth: Scalable Task Generation for Generalist Computer-Use Agents
• TaskCraft: Automated Generation of Agentic Tasks
• LOGIGEN: Environment-First Task Synthesis
• ToolVerse: Unified Tool Environments for Long-Horizon Agents
• ToolSpace: Scaling Long-Horizon Tool-Use Environments from Real Trajectories
• SkillHorizon: Long-Horizon Skill Composition
• RES: Recursive Environment Scaling
• TURTLE: Evolving Self-tuning Benchmarks for Long-Horizon Tool Use
• Anchor: Preventing Artifact Drift for Reliable Agent Verification
• AgentSkiller: A Unified Framework for Agentic Task Synthesis
• CuES: Curiosity-Driven Environment Synthesis
• C-World: A Computer Use Agent Environment Creator
• SPADE: Self-Play in Adaptive Synthetic Executable Environments
• Explorer-Zero: Self-Play with Decomposable Rewards
• SCOPE: Self-Play via Co-Evolving Policies for Open-Ended Tasks
• SESA: Self-Play Meets Skill Evolution
• SynWeaver: Website-Prior Task and Trajectory Co-Synthesis
• OS-Genesis: Automating GUI Agent Trajectory Construction via Reverse Task Synthesis
• AgentTrek: Agent Trajectory Synthesis via Guiding Replay with Web Tutorials
• Watch and Learn: Learning to Use Computers from Online Videos
• GEM: Unlocking Implicit Experience from Text
• Terminal-Universe: Turning Agent Trajectories into Scalable Terminal Environments
• WorkBorne: Discovering Agentic Tasks from Real-World Artifact Transitions
• AutoWebWorld: Synthesizing Verifiable Web Environments via Finite State Machines
• CUA-Gym: Scaling Verifiable Training Environments for Computer-Use Agents
• Agent World Model: Infinity Synthetic Environments for Agentic RL
• EnvScaler: Scaling Tool-Interactive Environments via Programmatic Synthesis
• ScaleEnv: Scaling Environment Synthesis from Scratch
• InfiniteWeb: Scalable Web Environment Synthesis for GUI Agents
• CLI-Universe: Towards Verifiable Task Synthesis for Terminal Agents
• Meta-Task: Turning Terminal Task Synthesis into a Terminal Task
• FACET: Preserving Source Intent and Executable State in Terminal Task Synthesis
• Dream-RSI: Recursive Self-Improvement through Evolving Worlds
• VerifierBench: Benchmarking Executable Verifiers for LLM Agents
• The Horizon Gap: A Survey of Long-Horizon Agents
• Agentic Environment Engineering for LLMs: A Survey
• RST 公开长评
• Tev 公开长评
• ToolSpace 公开长评