十字路口目录 · 模型服务

于文渊:Token 增长背后的算力、服务与工程判断

从 Claude Code 与 OpenClaw 引发的 Token 爆发切入,深入拆解 GPU 调度、企业上云与自建之争、Vibe Coding 与 Spec Coding 的工程边界,以及国产算力供给与 AI 基础设施终局。

先把访谈讲清楚

快问快答:嘉宾背景与平台定位

本期由《十字路口》主播 Ronghui 对谈阿里云百炼研发负责人于文渊。访谈切入点是 Claude Code 与 OpenClaw 流行后行业普遍感叹“Token 不够用”。Ronghui 点出,Token 紧缺只是结果,真正不够用的是高性价比算力;未来能否像水、电、煤气一样稳定调用 AI,将决定人类智能应用的上限。百炼是阿里云的 MaaS(Model as a Service,模型即服务) 平台——用户通过接口调用模型,由云服务商承接模型部署、集群调度、精度保障与高并发运维。

个人画像39 岁;本科北京大学计算机专业,博士英国爱丁堡大学;MBTI 为 INTP,双鱼座。
履历与角色2018 年创办图计算公司,后被阿里收购;随后长期在达摩院等阿里内部实验室从事系统研究,目前负责阿里云百炼研发。他自称愿意把双手弄脏的工程派(hands-on / hands-dirty)。

Token 爆发与云计算范式重写

谈及编程与 Agent 工具爆发对百炼的冲击,于文渊给出最直观的体感:平台 Token 消耗量大致按月翻倍,且几乎都是高质量的前沿 SOTA 模型 Token——用户已经告别聊天机器人阶段,把 AI 嵌入了真实生产力链路。他在开场两分钟内反复强调“现在仅仅是一个开始”,预计增速还将继续拉升。

他将这场变化拆成两层:第一,虽然难预测短期下一个爆发点,但未来 3 到 5 年大量原本依靠人力的工作必将交由 AI 完成;第二,云计算范式将被彻底重写——数据中心形态、调度系统以及计算、存储和网络资源的使用方式,在 3 到 5 年后都将与今天截然不同。

面对 Ronghui 追问“Cloudflare 等 Neocloud(面向 AI 负载的新兴云服务商) 是否会打破中美云巨头格局”,于文渊坦言已有洗牌趋势,“好用的云”定义正在改变,但传统云巨头同样在自我革命。阿里云正在思考:当未来云的主要用户不再是真人而是海量 Agent,它们需要怎样的计算、存储、网络、数据库与算力形态?

让每块 GPU 一秒不闲:峰值压力、Token 含金量与出海

于文渊把稳定性与安全排在首位,但压力来自“白天级别”的爆发:千问 3.5(Qwen3.5)除夕当天发布,仅两周后其峰值每分钟处理 Token 数(Tokens per Minute,简称 TPM;官方简介记作 QPM 即每分钟请求数)便创下平台历史上所有文本模型的最高纪录。尽管阿里云有一位“对算力投入非常激进的 CEO”,加上内部模型训练与外部推理服务同时争抢 GPU,算力依旧吃紧。他也补充,百炼自上线第一天起增长就没停过,此前视频生成模型跨过“从 Demo 到可用产品”门槛时也曾引发陡峭放量,而 Claude Code 与 OpenClaw 在 Agent 场景带来了绝对加速。

面对有限 GPU 与剧烈峰谷,他给团队定下唯一使命:让每一块 GPU 不要有一秒钟闲下来——无论是 1,000 卡、10,000 卡、100,000 卡还是 1,000,000 卡,都要通过统一 API 对外呈现出近似中国最大单集群的极致弹性与稳定性。

针对走红的微信群“1 亿 Token 俱乐部”(日耗 1 亿 Token 入群),他提醒单看数量极易误导:0.6B 小模型或文本向量化(Embedding)模型的 Token,与具备深度思考能力的前沿大模型 Token,在算力与智能上毫不等价。OpenClaw 这一波烧的都是顶级模型;百炼上每天新增“数以万计”此类重度用户,尤其是 Coding Plan 个人用户,1 亿已不算门槛,应该升级为“10 亿 Token 俱乐部”。

除峰值调度与削峰填谷外,平台紧盯首包延时(TTFT,发出请求到看见首字的等待时间)与生成速度。对 Ronghui 提出“靠国际化让中国白天与欧洲白天接力,实现 GPU 24 小时满载”的设想,于文渊回应 Token 出海是大势所趋,但现阶段阿里云国际业务刚起步,国内外增速不同,差两个月就会拉开差距,国际业务占比仅个位数百分比,短期难填平波谷,且需跨过地缘政治与合规关口;不过终局中台一定会国内外共用。

真实业务落地与 MaaS 差异化壁垒

分享平台观察到的真实业务案例时,于文渊举了一家饮料厂商:他们在经销商微信群接入机器人,经销商只需像跟人说话一样喊“补货”并说明品类与箱数,机器人结合历史采购记录识别需求并直接完成下单,省去学习订货系统的门槛。他认为大模型正在从底层替代具体业务角色。

各家云厂商的 MaaS 看似相近,差异化何在?于文渊认为阿里云的护城河在于端到端全栈协同:一是多年积累的基础设施广度、规模与稳定性;二是与同一体系的模型兄弟团队“背靠背”联合打磨,上线前反复调试而非部署黑盒;三是内部平头哥芯片团队(他从 CPU 时代就开始内部使用,开发体验丝滑高效)。很多客户反馈自己部署千问等开源模型,效果或速度不如百炼,根源在于推理框架、精度体系与调度差异;百炼可以自信承诺,千问各模型在 Model Card(模型卡片)上的分数在百炼 API 上都能复现。

自建还是上云:一个“暴论”与三重反转

被问及企业何时应该私有化自建 GPU,于文渊先声明“只代表阿里云百炼”,随即抛出“暴论”:没有任何情况需要自建。他认为外界低估了大模型运维的复杂度与迭代速度,企业采购 GPU 常见的三大理由,恰恰是应该用 MaaS 的理由:

企业自建动机自建的隐性瓶颈MaaS 应对逻辑(嘉宾主张)
成本可控模型和推理优化迭代太快,普通企业难长期养专业 Infra 团队;多模型混部下,服务质量与 GPU 利用率极难平衡。聚合多租户削峰填谷,由平台持续做推理优化,摊薄有效 Token 成本。
数据安全自建同样面临运维风险,且易拖慢模型更新节奏。除云厂商不看数据的操守外,百炼推广机密推理(Confidential Inference):密钥在用户手里,密码学保障云方看不到模型文件和请求。
硬件灵活今天最大的确定性恰恰是“不确定”——明天模型架构和推理形态如何演变无人可知,买卡反易锁死。按需弹性调用,随模型与硬件演进无缝切换。

学计算机、Spec Coding 与“OS 内核最先被替代”

谈到本科生还应不应该学计算机,于文渊给出肯定答案,援引实验室一位 1980 年代北大计算机系导师当年听到的名言:未来只有两种人——使用计算机的人,和被计算机使用的人(并呼应《混在系统里的人》一文)。无论自动化走多远,底层依然是逻辑、门电路与硅片,从业者不能不知中间如何运转。

但他接着给出反直觉忠告:一定要学用 AI,但不要让 AI 写太多代码。他借用张文宏谈医生用 AI 的比喻:资深医生用 AI 没问题,但实习医生从第一个病人起就全交给 AI,便永远练不出识别 AI 那 1% 错误的直觉,只能盲信 99%。Ronghui 补充 Cursor 半年内的数据反转:无脑 Tab 补全代码的比例已从 20%–30% 升至 70%–80%。于文渊坦言,自己做 Code Review 时一看代码是 AI 写的就会发慌,团队也常把 AI 代码推倒重做:Vibe Coding(靠自然语言直觉快速生成代码)做原型(Prototype)完全够用,但生产级、关键任务代码还差一点——上线承压后才会暴露内存泄漏或文件句柄持续占用,事后返工只会在“代码屎山”里挣扎。

他更推崇 Spec Coding(规范驱动开发):由架构师用偏形式化逻辑写清需求与约束,再让 AI 填空。他举了一篇发表在顶级存储会议 FAST 上的论文,说明只要规范足够清晰,当时的 32B 模型也能写出高质量文件系统。但他强调必须“自己先会做,再让 AI 提效”,直言企业把“AI 生成代码占比”当硬性 KPI 非常危险——团队里大量隐式过程知识(创始人风格、产品历史上下文)无法靠几句提示词传递;AI 应是让一个人干出几个工程师的活,而不是直接裁人。Ronghui 用买宜家家具总结“生产要素、知识要素、过程要素”——买来板材与说明书依然装得痛苦,师傅胜在装过无数遍的过程熟练度。于文渊深表赞同:“哪怕 AI 做到 99.9%,也要守住那 0.1%。”

讨论顺势引出最反直觉的职业预言。Ronghui 提出写操作系统内核、数据库、文件系统的顶尖底层工程师可能最先被替代,于文渊完全认同:这类工作代码库质量高、测试用例明确、优化目标可量化,属于 AI 最擅长的封闭问题(类似数学与编程竞赛);越靠近人的工作(如前端与产品型工程师)面对“什么叫好用的短视频 App”,没有固定答案,属于开放问题,反而难被取代。至于他自己所在的 MaaS 系统工程,因 AI、算力与硬件变化极快,当下仍属考验应对变化潜力的开放问题。

算力如石油、Neocloud 筛选与“水、电、煤、模”终局

面对英伟达芯片供应与断供影响,于文渊坦承影响“很大、非常大”,但对国产算力长期自主可控充满信心。他把算力比作石油:问题不是中国能不能产油、有多少油田,而是每天奔涌的需求与每天实际供给能否匹配——高速公路上的车已经跑起来,油却供不上(恰如部分国家卡在电力供血不足)。只要能进市场的算力供给,对中国都只有好处。

谈及国产芯片,他盛赞自家平头哥“非常有远见、用起来非常丝滑,不能再说得更好了”,同时高度认可英伟达的事实标准地位;对摩尔线程、沐曦则如实表示没用过不做评价,重申石油有轻质也有重质,总有人能炼出来,当下核心矛盾是总量供给。他自信表示,明年哪怕给 10 倍、100 倍甚至 1,000 倍算力,无论是训更强模型还是把应用打便宜,市场都能全部消化——这种算力饥渴在传统云计算时代前所未有。

展望 2026 年底,他自称“意想不到阈值已很高”,但笃定今年最大两大 Token 增量来自 Agent 与 AI 生成。针对“用户为何经过百炼而不直接调模型 API”,他先澄清千问官方 API 本身就是百炼 API,平台胜负在于把算力以更高效率、更低成本、更稳容量转成 Token;同时百炼不仅托管国内主流开源模型,也支持用百炼 API Key 调用 MiniMax、Kimi 及硅基流动(SiliconFlow)的 DeepSeek API 等原厂/推理服务。对于 Neocloud,他不看好纯转售裸 GPU 的模式,更看好屏蔽硬件复杂性的 AI 原生服务——如 Fireworks、Together 等 MaaS 厂商,以及沙箱托管、云桌面、浏览器、搜索和类似 Datadog 的 Agent 可观测性服务。

谈及终局,他相信 AI 将像水、电、煤气、电信和高速公路一样成为基础设施级公共服务,构成“水、电、煤、模”四件套;但它不会像电网那样彻底同质化——插上插座不用区分核电或水电,都是 220 伏,而未来的 AI 模型在速度、成本、效果与功能上仍会长期多样并存,难以形成单一插头的绝对垄断。

推理服务算例:为什么吞吐量、等待时间和成本不能只看一个数字

一次大模型推理包含两个物理瓶颈完全不同的阶段:prefill(预填充)一次性并行处理全部输入上下文并建立注意力缓存(KV Cache),主要受计算力限制,决定首字等待时间(TTFT);decode(逐词解码)自回归地逐个吐字,频繁读取模型权重与历史缓存,主要受显存带宽与容量限制,决定生成速度。

算例(吞吐与延时的跷跷板,本文自拟):假设两位用户调用同一模型各输出 1,000 Token,但用户 A 只输入 100 Token,用户 B 传入 80,000 Token 代码库并开启深度思考,后者在 prefill 计算与 KV Cache 显存占用上是前者的数百倍。再看并发调度:若节点同时收到 4 个请求,串行处理每个 2 秒,第 4 位用户要等 8 秒且 decode 阶段算力大量闲置;通过连续批处理(continuous batching)合并解码,4 个请求或许 3.2 秒全完成,但若为凑更大批次强行等待新请求,第 1 位用户的首字延时会被拖慢;前缀缓存虽省算力,却占用显存压低最大并发。因此评估 MaaS 必须联合看成功率、P95/P99 首字延时、吐字速度、实际精度与单位任务成本,而不能只看单一的 GPU 利用率或日耗 Token 数。

独立判断:怎样把强观点变成可比较的选择

自建与上云:把“暴论”落到总拥有成本与信任边界

于文渊代表百炼提出“任何情况都不需要自建”,符合公有云服务商立场,但企业选型必须按总拥有成本(TCO)算细账。自拟对比:探索期或昼夜峰谷悬殊的业务,自建集群的硬件折旧、机房电费与 2–3 名专职 Infra 人力合计一年约 180 万元,同等负载按量调 MaaS 约 90 万元,上云显然更优;但如果企业拥有 24 小时平稳的巨量推理需求(如离线批处理或高频检索)、模型长期稳定且具备自有推理优化团队,硬件高利用率摊薄后,自建或专属托管的边际成本就可能反超按量 API。安全同样不能简化为口号:机密推理借助可信执行环境(TEE)与密码学把信任边界从口头操守推进到了技术验证层,但企业仍需核对解密位置、密钥托管、远程证明是否覆盖 GPU 显存与传输链路、运维日志留存及性能开销。

核对 FAST 论文:SysSpec 的真正证据边界

与嘉宾所述最吻合的公开论文是 FAST 2026 的 SysSpec(SpecFS)。核对原文有两点必须精确区分:一是论文确实通过结构化规范(功能、模块关系、并发约束)与生成验证流水线产出了在数百项回归测试中逼近人工基线的 SpecFS;二是论文虽评测了 Qwen3-32B 等模型,但在特定 45 模块实验中达到 100% 通过率的是更强的 Gemini-2.5-Pro 与 DeepSeek-V3.1,不能笼统归给 32B。更重要的是,人工写规范、拆模块与测试闭环共同决定了效果,它证明“形式化约束 + 自动化验证”大幅抬高了生成上限,而非几句提示词就能安全产出生产级内核。

工程学习与“封闭 / 开放问题”的更精细分界

新人学习不必在“全手写”与“全交给 AI”间二选一:动手前先自己推演并发状态与资源泄漏风险,再让模型实现并写压测去证伪,审查时确保自己能说清不变量与边界条件,以能否定位那 1% 的隐蔽故障衡量成长,远胜机械统计代码占比。同样,“内核比前端更早被替代”抓住了可验证性决定自动化速度的主线,但两类岗位内部皆有光谱——系统领域定义新硬件抽象与容错权衡依然高度开放,前端大量样板页面则早已高度可自动化。更实用的切法,是按任务是否具备低成本可靠验收来划分人机边界,而非给整类职业贴淘汰标签。

证据边界与资料索引

本文对话重建部分依据节目官方简介与全文机器转写整理,其中明显同音转写误差(如 Claude Code、OpenClaw、MaaS、Vibe Coding、Spec Coding、Fireworks 等)已结合上下文与官方简介还原,但未逐字听审原始音频,也未独立审计云平台流量、模型卡复现或机密推理实现。嘉宾身为阿里云百炼研发负责人,其关于自建与上云、自研芯片及竞品格局的表态带有明确业务立场,均按访谈时点(2026 年 3 月底)的嘉宾判断理解。文末独立分析已核对 FAST 2026 SysSpec 论文摘要及相关实验段落,未复现代码;推理与成本算例为本文构造。

返回十字路口目录