十字路口目录 · 后训练与企业 AI

Kevin Ding:AutoRL 怎样接上企业反馈与持续训练

从训练基础设施到奖励、数据回流和大小模型协作:企业现场的反馈怎样变成可检验的模型改进?

完整对话脉络:从 RL as a Service 到 AutoRL 与大小模型协作

这期《十字路口》中,Koji 对谈了 Pyromind 创始人兼 CEO Kevin Ding。2025 年以来,RL as a Service(强化学习即服务 / 后训练即服务)迅速成为热门赛道,但在 Kevin 看来,单纯卖训练基础设施只解决了一半问题。整场访谈围绕四个核心命题层层推进:为什么 AI 下半场不会归拢到一个超级中心化模型,而是走向「Agent 蜂群」;Pyromind 如何用无状态 AutoRL 管道切入工业工艺优化与视觉质检并算清企业 ROI;开源协作推理架构 PyroDash 如何用 4B 小模型配合强基模拆解成本、效率与隐私的「不可能三角」;以及为什么两名 FDE(前线部署工程师)就能支撑十多个 B 端客户。

嘉宾背景Kevin Ding,32 岁(1994 年生),毕业于伦敦国王学院(King's College London),摩羯座,MBTI 测试为 INTJ(自认介于 I 与 E 之间)。创业前在阿里云长期深耕基础设施,主要负责弹性 GPU 实例与训练 GPU 集群。
公司与定位Pyromind 最终定位于 AutoRL,视为 RSI(Recursive Self-Improvement,递归自我改进)的具象化落地路径。旗下形成两层产品:偏基础设施的 Pyromind Studio、封装全自动闭环的 EchoMind,以及近期开源的大小模型协作推理引擎 PyroDash。
融资、团队与 PMF去年成立后完成天使轮融资,投资方包括高瓴、百度风投、蓝驰与 Atypical;团队规模 20 多人。收入和利润暂不公开,但 Kevin 称已跑通两重 PMF:一是证明 AutoRL 在真实生产环境中商业模型成立,二是在跨场景与跨客户复制上,交付工作量正逐步递减。

1. 为什么 AI 下半场是「Agent 蜂群」,而不是超级基模一统天下

开场聊到创业契机,Kevin 先强调预训练本身远没有终结,但 2025 年下半年起,无论硅谷还是国内技术圈在讨论「AI 下半场」时分化出了两条路线:一条认为继续沿预训练狂奔,最终通向一个超级庞大的中心化模型解决绝大多数问题;另一条则认为 ASI(超级人工智能)的终局会是服务化的 Agent 蜂群形态。

Kevin 旗帜鲜明地押注后者,理由很现实:无论在空间维度还是时间轴上,人类世界需要 AI 解决的场景都是无穷无尽且持续演化的,试图用有限参数的单体模型去泛化无限动态场景,至少在现有 Transformer 架构下挑战极大。一年多之后他看到一个强信号——RSI(递归自我改进)的热度突然蹿升。为什么过去大家不急着提 RSI、今年却成了刚需?正是因为 Agent 蜂群真的开始铺开了:当一个人日常带着几十个 Agent 干活,绝不可能手动维护每一个 Agent 随场景演进;想要确保它在时间轴上持续符合预期,Agent 就必须具备自我迭代能力。

2. 从 RL as a Service 到 AutoRL:Studio 与 EchoMind 的产品边界

Kevin 坦承,AutoRL 并非创业第一天就画好的蓝图,而是在服务客户过程中一步步浮现的。最初团队以为做一个扁平的 RL as a Service 就够用,后来发现这只解决了一半问题:只要是偏自助的 Service,背后终归需要客户自己养着算法工程师去分析业务需求、设计奖励函数、跑训练循环。要把 RSI 真正跑起来,必须把训练与奖励两块一起接住。

他举了一位 GUI Agent 客户的真实两阶段对比。这家客户在消费级市场有很大部署量,不断冒出长尾用户需求与版本迭代问题:

3. 客户画像与三条铁律:为什么偏爱工业质检与工艺优化

Pyromind 挑客户的核心标准是寻找「真实生产场景中、处于现有基模能力之外的数据」,因为这类数据对后训练提点最明显。目前最核心的一批客户集中在工业制造领域(例如英伟达的上游供应链企业),背后叠加了三重优势:第一,经历过制造 1.0、2.0 数字化改造后,工厂积累了规模超出想象的真实数据;第二,制造业对精益生产有刚性标准,数据天然自带清晰的好坏标签,直接化解了标注难题;第三,工厂一切按账本说话,ROI 容易算清楚。至于具身智能,团队虽然也看,但因牵扯硬件复杂度高,现阶段优先在纯软件与多模态工业场景推进。

谈到哪些需求找上门会被果断拒绝,Kevin 给出了三条清晰的商业筛选铁律:

  1. ROI 必须可衡量:像办公自动化、发票识别、差旅助手这类 Agent,很难量化直接经济回报,定价逻辑在客户面前说不通,现阶段主动放弃。
  2. 不能偏离多模态研发主线:真实世界落地不可能只靠纯文本单模态,拒绝会把研发精力扯散的孤立需求。
  3. 场景必须具备企业内与跨企业横向扩展性:例如电镀类工艺在几乎所有 PCB(印制电路板)企业都通用,可见光与结构光视觉质检则在绝大多数制造业通用。

具体怎么干?他拆解了两个工业「甜蜜点」:一是工艺参数优化(类比电镀),产线前段要配一批复杂参数,后段产出直接决定良率,过去全凭老师傅个人经验调参,后训练则是把历史数据和每天新增的生产数据里的老师傅经验迁移进模型,长期运行在品控稳定性和抗波动上甚至可能超过人工;二是多模态视觉质检(AVI,自动视觉检测),他给出一个具体案例——基于客户约 1 万张样本,把误报率从原来的 23% 直接降到 8%。

Koji 追问:工厂流水线前后环环相扣,质检或工艺真能单独拆出来让 AI 接手吗?Kevin 解释,现实流水线确实前后耦合,但许多工厂会把一整段长流程里的 PQ(Process and Quality,过程与质量控制)节点汇总成一份抽象报告,这份报告恰好构成一个边界清楚、非常适合模型接管的决策单元。

4. 竞品路线分化与「无状态管道」怎么承接有状态环境

面对去年涌现的一批中美 RL as a Service 创业公司,Kevin 观察到行业已经分化出两条路线:一条以 Applied Compute 为代表,走「纵向做重」路线,把少数头部大企业内部所有 Agent Serving 与 AI 应用全包掉;另一条以 DeepMind 背景的 Trajectory 为代表,走「横向做轻」路线,专注把 RL 训练本身做到极致,与 Clay、Harvey(以及转写作 Mercury)等垂直公司合作。Pyromind 坚定选择后者——如果把企业里所有杂事全包下来,就会沦为项目制咨询,只能押注一两家超大客户养活全周期;而 Agent 蜂群本质上是分布式市场,必须靠横向可扩展的平台打法。

这里引出了全期技术含量最高的一段交锋:Koji 指出,大家做后训练总离不开「环境(Environment)」,代码领域有编译器(Compiler)可以轻松抽离出无状态奖励;但 GUI Agent 或企业生产环境强绑定每个客户的私有上下文,是有状态的,怎么可能做成无状态产品?

Kevin 给出的解法是把环境状态与 AutoRL 管道做一层解耦:客户的生产环境依然有状态,模型在现场完成 rollout(轨迹采样执行)后,由奖励模型/奖励 Agent 算出 advantage(优势信号),或者直接结合生产回流的人工标注,一并沉淀进客户自己的数据集里。Pyromind 交付给不同客户的只是那条无状态的 AutoRL 管道和通用奖励结构——「绝不能把 A 客户的生产状态打包卖给 B 客户」,双方界面极其干净:客户喂入数据集,管道还回一个更新好的模型。

5. 定价逻辑、持续训练与为什么 AI To B 能算清 SaaS 算不清的账

两层产品对应两套截然不同的商业计费:

Koji 抛出一记经典反问:如果模型越训越好,后面还需要持续训练吗?这会不会变成一锤子买卖?Kevin 区分了静态与动态场景:纯静态任务确实训一次就够,但工业工艺和 AVI 质检看似流水线固定,实则每天上游订单需求不同、产线混线生产,一点细微工况变化就会让模型「掉点」,因此必须依靠持续学习长期维持性能。

至于为什么中国传统 SaaS 普遍难做、Pyromind 却认为 AI To B 能把账算清,Kevin 把原因归结为引入了一个颠覆性变量——模型本身。软件时代卖的是固定功能工具,ROI 厚度有限;AI 时代则是直接教会模型把高价值生产问题解掉(比如质检误报从 23% 压到 8%),客户只需算「付出多少成本、换回多少收益」,算力成本与业务收益之间留出的价值空间远大于传统 SaaS。

6. PyroDash 详解:4B 小模型协作基模,直击成本、效率与隐私「不可能三角」

中后段对话切入 Pyromind 的重磅开源工作 PyroDash(第三方转写误作 Paradigm)。Koji 把企业采纳 AI 的需求拆成三层:第一层追求好用与有效(靠基模 API 和 DSPy 这类 Harness 工程即可满足大半);第二层看 ROI;下沉到第三层,企业就会撞上成本低、速度快、隐私安全的「不可能三角」。

Kevin 透露,PyroDash 最早源于团队自己的痛点——日常 Vibe Coding 烧 API 太贵了。于是他们打造了一套协作式推理引擎:把一个 4B 参数小模型(Worker Model)与任意 Base Model(开源闭源皆可)拼在一起。选择 4B 规模非常刻意:它刚好能在本地 Mac 端侧流畅运行,推理边际成本近乎为零;同时整个引擎靠上下文策略拼接,不需要基模的梯度,也不修改基模参数。

这套协作模型的训练拆成三个递进阶段:第一阶段对问题难易度做分类;第二阶段建立路由协作机制——请求先由端侧小模型接管,能搞定就直接本地完成,遇到卡壳则交给基模处理(项目开源仓库进一步说明,小模型可在生成过程中输出特殊控制标记,动态把当前推理交棒给大模型,而非仅仅在请求入口粗暴二选一);第三阶段引入 GRPO(群体相对策略优化)做强化学习,开源版设置了「正确性奖励 + 带系数 lambda 的成本奖励」。Kevin 分享了一组团队自测数据:在基准测试上比纯 Base Model 提升约 10%,且在较小 lambda 设定下节省约 20% 的调用成本。

不过在 Kevin 眼里,省钱只是打开社区的突破口,PyroDash 真正瞄准的深水区是 B 端隐私与「公域 / 私域」分层:

Koji 随即追问两类对比:第一,和 Thinking Machines 推出的 Tinker 有什么区别?Kevin 指出 Tinker 主打 LoRA API,LoRA 权重必须与特定基模强绑定,基模一换就得重做迁移;而 PyroDash 通过上下文与基模完全解耦,底座可以随时替换,而且基模越进化,Worker Model 的压力反而越小,两者是搭顺风车的共生关系而非正面冲突。第二,面对「在本地服务器部署开源模型配合 Harness 路由不也能解隐私吗」的质疑,Kevin 坚持认为不改参数的 Harness 天花板存疑,到了深垂直领域终归要动参数。

7. FDE 岗位边界之争、云厂商威胁与「基模够不够用」

聊到 B 端最花钱也最花时间的环节,Kevin 毫不讳言是初次进入新场景时的 FDE(前线部署工程师)工作——必须进场摸清客户数据制式、领域知识与评价基准,并把奖励结构适配上去。但他追求的不是消灭 FDE,而是收窄 FDE 的职责宽度:行业主流 FDE 从需求调研一路包办到 Base Model + Harness 交付,极难复制;Pyromind 采用「T 字型」分工,FDE 只负责前半段「把需求接回来」,后半段沉淀成可复用的 AutoRL 管道。目前团队仅靠约 2 名 FDE 就支撑了十几个 B 端客户。

Koji 敏锐地抓住漏洞追问:「需求接回来后,第一次适配奖励结构不还是得由公司其他同事来做吗?这难道不算一种更泛化的 FDE?」Kevin 当场反驳了这个界定:承接奖励适配的是偏向通用产品的研发团队,他们的目标不是写一次性定制脚本,而是在同一模态下不断抽象跨行业可复用的奖励网络——「同一模态(如视觉质检)具备强迁移性,跨模态则很难」。这恰恰构成他眼中的内部飞轮:接入的同模态场景越多,奖励泛化能力越强,新增客户的边际交付成本越低。

关于竞争格局,Kevin 称团队切入的深工业领域目前纯 RSI 竞品反倒不多,正面遇到的多是深耕多年的传统行业 SaaS(业务不冲突就井水不犯河水,有交集则谈合作);纯 RSI 竞争主要集中在法律等热门 Agent 赛道(如 Harvey 生态)。至于掌控算力的公有云厂商会不会反手吞掉他们,这位前阿里云 Infra 负责人显得很淡定:云厂商盘子太大、目标太杂,就像试图用单一超级基模解决一切一样,很难在垂直后训练管道上做到创业公司这般敏捷专用。被问到今天基模够不够用,他给出一句辩证评价:「够用,也不够用」——宏观体验很惊艳,但直接接 API 到企业现场根本干不了活,填平最后一段鸿沟靠的不是堆人头,而是建起收敛的奖励网络。

8. 小黑屋共识、日常工具偏好与 Hugging Face 的小模型佐证

尾声聊到创业至今最有成就感的时刻,Kevin 没提融资也没提大单,而是说近期和 CTO Frank 一起论证 PyroDash 架构——两人最初观点截然相反,像此前论证具身智能一样把大家关进「小黑屋」反复交锋,最终达成共识的那一刻最让他兴奋。他带着浓浓的 RL 味儿打了个比方:「大家带着不同视角进来,每个视角都自带奖励信号;在多目标奖励信号碰撞下提炼出的结论,就离真相很近了。」

在个人工具偏好上,他日常高频使用极简 Coding Agent Pi,也留意到当时社区 stars 暴涨至十四五万的开源项目(转写作 Dify);模型方面用过 Claude、Gemini,近期尤其认可 Kimi 以及阿里的千问(Qwen)系列(点名千问 3 的 8B 与 27B 小模型反响极佳)。最后他甩出一条来自当月 14 号 Hugging Face 报告的硬数据为自己的大方向背书:在本地模型下载量中,100B 以上超大模型占比极小,100B 以下的小模型占据绝对主流。在他看来,这直接印证了需求世界是多元且分布式的,不可能全部收拢到一个巨型 Base Model 里——而他当下最期待的下一个里程碑,就是看到 PyroDash 真正走出 benchmark 跑分,在社区的真实生产场景里稳稳解决一批固定难题。

机制与算例:从生产反馈到无状态更新,再到质检真实 ROI

把 Kevin 描述的三条产品线放在同一张工程视图下,可以清晰看到后训练从「卖算力」向「卖闭环」和「卖推理协作」的演进边界:

产品形态 谁负责奖励与迭代 与基模/生产环境的耦合度 计费与扩展逻辑
Pyromind Studio(RL as a Service) 客户自配算法工程师写 Reward 并驱动迭代 屏蔽单卡/多机 DP、TP 物理调度,管线由客户维护 按 GPU/CPU/存储云资源自助计费
EchoMind(AutoRL) Pyromind 内置奖励结构与自动循环管线 对外透出 Proxy 抓取轨迹,管道本身与客户状态解耦 按场景价值与轮次以自研 Quota 计费
PyroDash(大小模型协作) 用正确性、成本(及规划中的隐私)奖励训练 4B 小模型 通过上下文拼接与控制标记移交,不改基模参数、随时可换基模 开源架构,端侧降推理成本、云端兜底难题

1. 从现场误判到可验收更新的三步机制

本文自拟例子:产线视觉质检模型看一张 PCB 图像输出「疑似缺陷」,人工复核确认实为合格品(一次误报)。要让这次反馈真正变成有效训练信号,系统不能只记一句「模型错了」,而需完成三步:

  1. 归因与对齐:把图像、模型输出、人工复核真值、对应批次与相机光照工况绑定进客户数据集,确认复核标签可靠且记录分布漂移。
  2. 构造奖励与优势信号:在 RL 流程中,奖励模型给出的标量分数(Reward)并不自动等同于策略更新用的 Advantage(优势)——后者还需把本次回报与同组均值或基线做差(例如 GRPO 在同题多条 rollout 间做相对归一化),才能指明哪条轨迹该强化、哪条该抑制。
  3. 独立验收与回滚:更新后的候选模型必须在独立留出集及最新批次上,同步验收误报率、漏检率、分缺陷召回与人工复核量;若拿同一套奖励模型既当裁判又当验收官,模型极易学会「迎合打分(Reward Hacking)」却不提升真实良率。上线后还必须保留版本灰度与一键回滚能力。

2. 为什么「误报率从 23% 降到 8%」不一定省钱(可计算算例)

本文自拟算例:假设某批次 1,000 块 PCB 板中,实际合格品 900 块、真实缺陷品 100 块。旧模型将 23% 的合格品误报为缺陷,共 900 × 23% = 207 块需人工复核;新模型将误报率降至 8%,仅 900 × 8% = 72 块需复核。若单次人工复核成本 2 元,复核支出从 414 元骤降至 144 元,账面看似省下 270 元。

但工业质检最怕的往往不是误报,而是漏检(把次品放流出厂)。如果模型为了压低误报变得过于保守,导致漏检从 4 块升至 8 块,而单块不良品流向下游客户的索赔与返工损失为 100 元,则漏检损失将从 400 元跳升至 800 元。两项合并计算:旧模型总质量成本 414 + 400 = 814 元,新模型总成本 144 + 800 = 944 元,新模型反而多亏了 130 元。这个算例说明,节目里「误报率 23% 降到 8%」虽具直观冲击力,但在缺少漏检率变化、测试集划分和复核单价的前提下,无法直接换算成真实 ROI。

独立判断:AutoRL 要跨过的四道硬坎

1. 「抓得到轨迹」不等于「信号足够指导自动优化」

在客户端插一个 Proxy URL 确实大幅降低了数据接入摩擦,但真实生产轨迹往往充满噪声与延迟:用户没有回复究竟是满意离开还是彻底放弃?人工改写究竟是纠错还是个人风格偏好?更隐蔽的风险在于选择偏差——未复核样本往往集中在旧模型原本就自信的区域,拿它反复自训并用同口径奖励打分,盲区不仅不会消失还可能自我放大。AutoRL 真正难的不是把流水线自动化,而是自动化之后如何防止静默退化。

2. 「同模态可复用」不能抹平业务逻辑与奖励校准成本

两家工厂同样做可见光视觉质检,一家查手机中框微米级划痕,另一家查 PCB 虚焊与锡珠,两者的成像光照、缺陷定义、误报/漏检惩罚权重截然不同。底层的视觉编码器与训练框架固然可以复用,但标签标准、业务阈值与客户验收仍需深度定制。同样地,评判 FDE 杠杆不能只看「2 名 FDE 接了十几个客户」,而要把后端通用产品团队花在首次奖励适配、数据清洗与维护上的真实工时一并计入单位交付成本,否则只是把现场人力账转记到了研发账上。

3. 大小模型协作必须按「端到端总账」而非单指标验收

PyroDash 用 4B 端侧模型拦截简单请求、遇难再移交云端基模,思路清晰且规避了 LoRA 绑定基模的短板。但实际工程落地上必须算清两笔隐性账:第一,一旦小模型先生成半段再触发移交,该请求同时承担了端侧首包延迟与云端二段推理开销,尾延迟与上下文拼接成本可能拉高;第二,至于隐私保护,仅靠小模型「遮挡敏感词(masking)」很难提供可审计的合规保证——上下文语义关联、代码结构特征与工具日志仍可能反向泄露商业机密,敏感企业仍需结合网络隔离与形式化脱敏规则共同验收。

4. 持续场景适配(AutoRL)与开放式递归自我改进(RSI)不是一回事

让工业质检或编码路由模型在真实回流数据上每隔几天自动微调、抵抗分布漂移,已经是极具商业价值的持续任务学习(Continual Post-Training)。但它与学术界讨论的通用 RSI——即系统自主发现未知瓶颈、主动提出新假设、改写奖励函数甚至改进自身训练算法——仍隔着本质鸿沟。把扎实可算账的工业持续训练,与更宏大的 RSI 叙事分层看待,反而能更公允地评估 Pyromind 当前的真实进展。

证据边界与资料索引

本文依据整期第三方机器转写、官方节目简介及 PyroDash 开源项目 README 重建,未做全片逐字听审,亦未独立复现基准实验。第三方转写将 PyroDash 误写作「Paradigm」、将投资方 Atypical 误写作「Vertical」、将 RL as a Service 误作「RLSS Service」及将 Vibe Coding 误作「Web coding」,均已按官方节目简介与项目发布方资料校正;个别海外合作方与开源项目名(如转写作 Mercury、Dify 处)保留审慎标注。客户数量、百万至千万级付费区间、质检误报率(23% 降至 8%)、PyroDash 提点 10% 与省成本 20% 等数据均属嘉宾口述,尚未独立核验;机制部分的对比表与质检 ROI 算例为本文构造。

返回十字路口目录