十字路口目录 · 技术对谈

张金涛:实时视频生成与三层推理加速

从更快的注意力计算,到长时间互动视频:一项研究怎样穿过算法、硬件与服务部署。

先把对话讲清楚

开场引子与快问快答:从马斯克的算力推算到 Vidu S1 负责人

节目开场,Koji 讲了一段朋友拜访 Elon Musk 时听到的推算:如果未来人类双眼所见的一切画面都由 AI 实时生成,全球究竟需要多少算力与数据中心?算法很直白——把一个人两只眼睛每秒接收的像素,乘以每天睁眼时长,再乘以全球几十亿人口。除了持续堆叠硬件算力,软件与算法层面的推理加速同样是绕不开的核心命题。本期嘉宾正是在这一领域一线攻坚的年轻研究者——生数科技负责流式视频生成与推理部署的张金涛。录制前一天晚上,他带队刚刚发布实时交互视频生成模型 Vidu S1:上传一张图片、选择或克隆声音,就能像打视频电话一样与角色聊天,并用语音实时驱动角色的表情、动作与肢体语言。

个人画像26 岁,清华大学博士在读;MBTI 自述属 NTJ 型,水瓶座。
学术背景硕士二年级时转博跟随清华大学朱军教授,由陈建飞老师具体指导科研,主攻推理加速;正式加入生数科技前曾在 UC Berkeley 访问半年。
工作职责在生数科技负责全公司所有模型的推理加速与集群部署;同时负责流式视频生成模型 Vidu S1 的完整链路——从数据、训练算法到推理工程化与模型评测。
代表成果底层算子 SageAttention(官方简介注 GitHub 3.5K 星标)、模型加速框架 TurboDiffusion(GitHub 3,600+ 星标)、集群部署论文 TurboServe,以及实时交互视频模型 Vidu S1。

1. 看到 GPU 上闲置的更快计算单元:SageAttention 的起点

Koji 从他最早出圈的工作 SageAttention(机器转写多处误作“C Attention”)聊起。张金涛回忆,研二硕转博时,朱军看中他之前做过系统性工作,便安排陈建飞具体指导他做推理加速,切入点正是 Attention(注意力机制)的底层算子实现——做一个即插即用、直接替换大模型原有 Attention 层的更快实现。

当时 FlashAttention 影响力极大,业界普遍默认它已将 Attention 算子做到极致。但张金涛与陈建飞观察到一个显而易见的落差:大模型内部的主要计算大致分为线性层(Linear)和 Attention 两类;GPU 显卡上明明存在更快的低比特计算单元,且早已被广泛用于加速线性层,却没有任何工作把它们用到 Attention 上。“这么明显的收益,为什么没人做?”两人决定把它做出来。

Koji 追问此前为何无人涉足低比特 Attention。张金涛拆解出三个非常现实的障碍:

正是啃下了底层 Kernel 实现和低比特精度控制两块硬骨头,团队才做出 SageAttention。他颇为自豪地表示,SageAttention 现已成为“事实上的行业标准”:不仅 NVIDIA、AMD 以及国产硬件厂商华为昇腾、摩尔线程、沐曦都实现了各自版本并部署在显卡上,包括生数科技、字节、腾讯、Google 在内的几乎所有多模态公司都在使用。

2. 从 SageAttention 到 Vidu S1:推理加速的“三层楼”

Vidu S1 能在全球开放网页与 API 服务并实现实时交互,张金涛强调这绝不仅是单个算子快,而是“模型 + 部署”的全栈优化,由下至上分为三层:

优化层级核心目标典型手段与代表工作
第一层:算子层让单个基础运算在 GPU 上尽可能逼近硬件物理上限优化 Attention(SageAttention)、线性层与非线性算子的底层 Kernel 实现
第二层:模型层直接降低模型本身必须完成的计算复杂度步数蒸馏(将扩散模型 Diffusion 去噪从约 50 步压至 4 步,计算复杂度降十几倍)、稀疏注意力(Sparse Attention)微调,并结合多卡通信与计算重叠(overlap);代表工作为 TurboDiffusion
第三层:工程部署层面向全球并发用户的多机多卡集群服务与调度模型并行策略、流式会话的 KV Cache 管理以及高并发请求调度;代表论文为 TurboServe

他专门介绍了第二层的 TurboDiffusion:在 SageAttention 和更快线性层算子的底座上,针对任意扩散模型设计通用步数蒸馏与稀疏 Attention 微调方法(不仅换算子,还需少量训练降低模型复杂度),再辅以多卡并行时把卡间通信与单卡计算重叠(overlap)的工程优化,让任何扩散模型在单卡或单机上大幅提速。Koji 好奇做这项工作时他们还在高校,数据和算力理应很紧张。张金涛说 TurboDiffusion 本身对资源需求不高,团队基于开源视频生成模型、仅用少量微调数据便跑通,开源后已收获 3,600 多个 GitHub Star,在细分领域表现亮眼。

3. Vidu S1 不只是“快”:实时范式、无限时长与画质取舍

聊到刚发布的 Vidu S1,张金涛先纠正了一个常见认知:流式实时视频模型不能简单等同于“把原来的短视频算得更快”。普通视频模型是离线范式——输入提示词,等待很久,拿到一段 5 秒或 10 秒的成片;而实时交互范式是边玩边聊、逐帧生成,必须满足生成速度大于播放速度,否则播放迟早追上生成进度导致卡顿,绝非“把 50 分钟缩短到 10 分钟”那么简单。

据他介绍,Vidu S1 在画质与效率上的配置相当亮眼:支持 540p 分辨率(市面上能实时生成的模型鲜少达到这一分辨率),生成帧率达 25 到 42 FPS(每秒帧数),且在消费级显卡上就能达到这一效率,同时支持上传任意自定义图片和角色。

但比速度更难的是长时间生成不崩坏。他提到当前最先进的基础视频模型最长通常只生成约 30 秒视频,30 秒连一个问题都还没问完;流式对话却要支持聊上一两个小时乃至“几天几夜”,且画面不能漂移、崩坏,还得对用户的实时语音或视频输入持续给出准确反馈。为此团队在扩散模型的本质训练方法上下了功夫,重点探索改进了 Attention 的计算方式与噪声强度控制。

既要快、又要清晰、又要长时不漂移,必然面临目标函数之间的权衡(trade-off)。张金涛把优先级排得很清楚:“快”是实时交互不可动摇的第一前提,只有先过实时门槛,才在这个前提下尽力优化画质、响应准确度与长时一致性;如果现阶段非要排出优先级最低、最先适度妥协的一项,那就是画质稍微降一点。商业化方面,节目播出时网页与 App 端均免费开放体验,API 平台则按时长收费,约每分钟两三元人民币,且不设时长上限。

4. 为什么实时视觉娱乐将超过离线内容,以及发布次日的爆款玩法

实时交互视频究竟是不是伪需求?张金涛从人类视觉娱乐的本质切入,将其拆成两类:电影和短视频属于离线预生成内容,而面对面聊天、谈恋爱、打游戏和日常生活则充满在线实时交互。在数字革命之前,人类几乎所有视觉娱乐都是实时交互的。更重要的是,离线视频存在“共享播放量”,一段视频可以同时播给几百万人;而在线实时交互里每个人的需求、每时每刻的互动各不相同,每个人都需要一个独立的生成会话(session)——这正好呼应了开场 Elon Musk 的全球算力推算。他语气极为笃定:“未来我们的视觉娱乐信号会被 AI 生成的内容充斥、替换掉。”他认为从技术上看目前没有不可逾越的壁垒,这个方向已经势不可挡。

尽管 Vidu S1 前一晚才刚刚上线,发布不到 24 小时,张金涛已经在社区看到不少点赞收藏破千的有趣案例:

5. 推理加速全景图与未来研判:中间收敛,壁垒在“更底层”和“更上层”

聊回推理加速全行业,Koji 提到近期从 Cerebras 到 Taalas(芯片创业公司,原转写误作“Talos”和“特斯拉”)等一系列硬件探索,请张金涛梳理整个推理加速领域的版图。

张金涛首先破除一个常见误解:许多人以为推理加速就是把单个算子在特定硬件上压榨到理论极限;其实同等重要的是去掉 AI 黑盒里的冗余计算、降低模型本身的计算复杂度——比如稀疏 Attention、MoE(混合专家架构)、模型参数蒸馏和采样步数蒸馏;若再往下拆一层,英伟达不断推出更强芯片本质上也是硬件层推理加速。

他盘点了自己接触并认可的几类代表工作(同时强调这远非完整名单):

展望未来,张金涛提出了一个非常鲜明的判断:推理加速的未来属于“更底层”和“更上层”,中间的算子层会逐渐收敛。随着 AI 编程(Vibe Coding)日益精通底层硬件架构和高效代码写法,把给定算子跑到接近硬件上限的门槛将迅速拉平。真正拉开长期壁垒的是两端:

Koji 追问这是否意味着更底层更容易长出独立创业公司、而纯算法层很难独立成事。张金涛回应:顶尖推理加速本质上离不开软硬件 Co-Design(协同设计);单做芯片可以立住,但只做纯算法层缺乏壁垒、也难在真实硬件上验证效果,创业公司最好同时握有两端能力。

6. 中国视频模型为何站稳世界第一梯队

谈及近几个月的中美 AI 视频分化——中国视频模型牢牢站稳第一梯队,张金涛从机器学习的基本原理给出两层解释。

第一层是模型收敛后,数据成为决定性变量。他把 AI 拆成“建模(模型结构)”和“训练(学习输入到输出的映射)”。Transformer 问世以来,建模范式逐渐趋同,此时差距不再仅仅来自数据总量,更来自数据质量、是否契合人类偏好、以及数据的可学习性。他用人类教育打了两个极生动的比方:建模能力相当于智商,数据相当于教材与讲师——看著名中文 AI 博主苏剑林《科学空间》10 分钟就能把复杂规律彻底悟透,胜过看劣质博客 3 小时,而且劣质数据不止浪费时间,还会“污染”模型;同理,推理模型里的思维链(CoT)之所以有效,是因为直接从问题 A 跳到答案 Z 看不出映射关系,拆解成一步步思考后就变得高度可学习。他确信,无论数据量、数据质量、偏好对齐还是数据构造方式,国内视频生成公司目前整体领先美国同行(背后可能也有政策等多重因素)。

第二层是文化与产业生态驱动。他个人感觉国内用户对视觉娱乐的要求更严苛,而且中国在抖音、小红书、直播、电商等视频生态上高度发达,既沉淀了更丰富的素材数据,也催生了把视觉生成做到极致的最强商业动机。

7. 教授与 PhD 创业热潮、朱军的点拨,以及“两行 Bug 决定成败”

2026 年教授和博士群体掀起创业热潮(早年已有清华唐杰、生数科技朱军等先行者)。身在其中的张金涛认为,AI 并非泡沫,它触及人类的全方位需求,市场大到绝非一家公司能吃完,因此这波创业潮既合理也会持续很久。

但他同时泼了一盆清醒的冷水:并非所有技术过硬、论文高产的学者都适合创业。他不加掩饰地自评,在生数科技带队一段时间后,发现自己其实很适合创业——知道什么人适合做什么、能看懂每个人的想法、能凝聚团队。但很多极聪明的学者未必擅长管理与跨部门协调。被 Koji 请教具体管理经验时,他分享了两套心法:

8. 写作边界即智能边界,以及“改一行代码提速一倍多”的巅峰时刻

节目尾声回到个人成长。张金涛说自己小时候贪玩,数学很好、语文偏弱,长大后才深感语文背后的沟通表达与情绪共情力极为重要。大学时自学和表达优势显现,在实验室分享论文时,他特别享受把措辞和配图打磨得极其 sharp(锐利清晰),直击本质。他认为写论文好不好直接映射研究者的水平:“智能的边界和语言的边界有时候是对等的”——把简单事讲清不难,难的是把极复杂的工作凝练成无冗余、强逻辑的清晰表达,把动机(motivation)、现有局限(limitation/challenge)、解法与贡献层层抠准。

最快乐的科研瞬间:一行代码,像素级一致,端到端快了一倍多

张金涛把硕转博后的时光称为自己最开心的阶段。2024 年 5 月生数科技成立 Vidu 推理组保障全球上线,他在清华安静的科研楼里,一边和陈建飞讨论、向朱军汇报,一边一个线程一个线程地模拟排查底层精度问题,直接在 Vidu 模型里手写出全世界首个低比特 Attention 加速实现(SageAttention)。当精度终于完全对齐,他把模型里的 FlashAttention 换成自己的代码——只改了一行代码,生成的视频画面像素级一模一样,端到端推理速度却直接快了一倍多。他迫不及待把对比视频发给陈建飞和朱军看,兴奋难抑,之后才整理发表论文并开源。

最后,他由衷感谢了导师朱军对自己的信任与重用——如今让他独当一面掌管 Vidu 推理和 S1 团队,“感觉就像在创业”。在他眼中,朱军有三大过人之处:第一是方向判断极准,实验室走出过宋飏、陆成、庞天宇、孟佳义等一批顶尖学者;第二是资源极其充足;第三是管理与科研氛围,与他在 UC Berkeley 访问半年感受到的自由开放高度一致(朱军早年也在 CMU 任过教)。Koji 感慨于他对科研本身纯粹的快乐,祝愿他未来拥有更多这样的高光时刻。

算一算:帧率、响应延迟与端到端收益

1. 平均帧率(FPS)不等于交互延迟(Latency):本文自拟一组简化数字来拆解实时交互视频的两个指标。假设视频按 25 FPS 播放,系统为了兼顾吞吐,每次按批生成 10 帧,每批画面可供播放 10 ÷ 25 = 0.40 秒(400 毫秒)。只要模型生成一批的时间小于 0.40 秒——例如只需 0.25 秒(250 毫秒)——稳定吞吐就能达到 10 ÷ 0.25 = 40 FPS,播放永远追不上生成,不会断流。但如果用户刚说完一句话,系统需要经历语音识别与理解(假设 150 毫秒)+等待凑齐并算完下一批 10 帧(250 毫秒)+编码与网络传输(100 毫秒),用户实际感受到的响应延迟就会达到约 500 毫秒。因此,高平均帧率回答“能不能持续不卡顿地放下去”,端到端延迟回答“我说完话对方多久给反应”,两者必须同时达标。

2. 阿姆达尔定律(Amdahl's Law):为什么单靠改一个算子拿不到十倍提速?假设生成一批视频总耗时 100 毫秒,其中 Attention 计算占 40 毫秒,线性层、VAE 解码、条件编码与多卡通信等其他环节合占 60 毫秒。如果只把 Attention 算子加速 2 倍(40 毫秒 → 20 毫秒),总耗时变为 80 毫秒,端到端仅加速 100 ÷ 80 = 1.25 倍。这也是为什么从 SageAttention 走到 Vidu S1 必须做“三层加速”:只有同步通过步数蒸馏把 50 步去噪压到 4 步(大幅压缩主干循环次数)、用稀疏 Attention 砍掉计算量、再用工程部署掩盖多卡通信,端到端总耗时才能真正跨越实时门槛。

3. 低比特量化与精度控制:用 INT8/FP8 等低比特表示部分矩阵能激活 GPU 上吞吐更高的低精度张量核心并减半搬运带宽,但会引入舍入与截断误差。误差是否破坏画质,高度依赖量化对象(如 Query/Key/Value 还是 Softmax 后概率矩阵)、动态缩放粒度(逐块/逐通道)以及是否存在离群激活值(outliers)。某几个视频样例呈现“像素级一致”,说明在特定输入和采样配置下误差被有效抑制在可见阈值之下,不代表低比特运算在数学上严格无损;工程落地仍需在统一随机种子、多样化场景与长时自回归累积误差下做回归测试。

独立判断:什么决定一项推理加速能否变成真实产品

1. “硬件闲置”只是研究线索,找到“为何没人做”的变化窗口才是关键

SageAttention 的故事极具方法论启发:它不是凭空拍脑袋,而是精准捕捉到了硬件能力与软件用法之间的错配。但更有价值的是张金涛对“过去为什么没人做”的归因——2024 年前语言模型 Attention 卡在显存带宽而非算力,写低比特 Attention 收益微薄;当多模态与视频生成把 Attention 推向严重 compute-bound 区间,原有默认假设就失效了。做系统与算法研究时,同时追问“哪里有未被利用的硬件能力”以及“当初放弃它的前提条件如今变了没有”,往往比盲目追逐热门赛道更容易挖出高影响力的真问题。

2. 交互视频产品的真正体检表:长时稳定性与单位分钟经济账

将离线视频升级为无限时长实时通话,评测维度会发生质变。短演示里的 540p、25–42 FPS 只能证明单会话跑得通,真要做成规模化产品,至少要经受四项硬检验:一是多小时连续运行后的身份与画质漂移(自回归生成天然存在误差累积);二是语音与外部视频流双输入下的语义响应准确率(比如陪玩游戏时是真看懂了战局,还是泛泛夸奖);三是高并发随机进出时的尾延迟(P99)与 KV Cache 显存碎片回收;四是商业单位经济模型——API 每分钟两三元人民币对应的单卡并发路数、显卡折旧与电费是否打正,以及免费网页端在出圈后的算力承压能力。如果实时交互真的如他所料走向一人一独立会话,那么成本下降速度必须追上用户时长增长,否则越受欢迎亏得越快。

3. 软硬件 Co-Design 成立,但“中等通用芯片”的商业生死线在软件生态

张金涛对“算子层随 AI 编程收敛、机会向芯片与算法两端分化”的判断很敏锐,对 Taalas 式将单一模型写死进硬件的迭代风险也点得很准。不过,介于通用 GPU 与单模型 ASIC 之间的“面向一类模型的半定制芯片”同样面临残酷的工程现实:多模态模型架构仍在快速演进(从纯全注意力 DiT 到线性/稀疏混合注意力、再到自回归与扩散混合),芯片从立项流片到量产往往耗时 18–24 个月;如果流片出来时主流算子比例已变,或者编译栈与主流训练/推理框架对接成本过高,理论能效优势就会被生态摩擦抵消。硬件能否跑赢,既看微架构配比,也看软件栈能否以极低迁移成本接住下一代模型。

4. “中国视频模型赢在数据与生态”需要更精细的归因

短视频、直播和电商生态确实为中国视频模型提供了极强的产品打磨反馈与真实场景牵引,但把当前中美视频模型的表现差异主要归结为“国内数据量、质量和构造全面占优”,仍缺少受控实验的直接证据。原始视频存量不等于可合规用于商业训练的高质量切片,也不自动等于高物理一致性;要想分清差距到底来自数据筛选清洗、人工偏好标注、模型后训练策略还是算力配比,需要在固定骨干架构与训练算力预算下做消融对照,而非仅从终端成片观感反推单一原因。

证据边界与资料索引

本文对话重建部分依据官方简介与全文第三方机器转写整理,未逐字听审原音频或复现模型。其中多处机器转写造成的专名误识已对照官方简介或常识核正并说明:“C Attention”据官方简介核正为 SageAttention;“Talos”“特斯拉”据官方简介上下文核正为芯片公司 Taalas;“Web Coding”据上下文核正为 Vibe Coding;“苏建林”作规范姓名“苏剑林”,“宋阳”作“宋飏”;转写中“自然科研楼”按清华科研楼保留原述,另有一处涉及小米 MiMo 与开源框架的英文项目名因转写失真未作无依据展开。嘉宾口述的性能指标(540p、25–42 FPS、消费级显卡运行)、采用厂商名单、GitHub 星标数、API 定价、中美对比及未来预测,均按 2026 年 7 月节目播出时的口述口径记录;文末帧率、延迟与阿姆达尔定律算例为本文自拟。

返回十字路口目录