先把对话讲清楚
开场引子与快问快答:从马斯克的算力推算到 Vidu S1 负责人
节目开场,Koji 讲了一段朋友拜访 Elon Musk 时听到的推算:如果未来人类双眼所见的一切画面都由 AI 实时生成,全球究竟需要多少算力与数据中心?算法很直白——把一个人两只眼睛每秒接收的像素,乘以每天睁眼时长,再乘以全球几十亿人口。除了持续堆叠硬件算力,软件与算法层面的推理加速同样是绕不开的核心命题。本期嘉宾正是在这一领域一线攻坚的年轻研究者——生数科技负责流式视频生成与推理部署的张金涛。录制前一天晚上,他带队刚刚发布实时交互视频生成模型 Vidu S1:上传一张图片、选择或克隆声音,就能像打视频电话一样与角色聊天,并用语音实时驱动角色的表情、动作与肢体语言。
1. 看到 GPU 上闲置的更快计算单元:SageAttention 的起点
Koji 从他最早出圈的工作 SageAttention(机器转写多处误作“C Attention”)聊起。张金涛回忆,研二硕转博时,朱军看中他之前做过系统性工作,便安排陈建飞具体指导他做推理加速,切入点正是 Attention(注意力机制)的底层算子实现——做一个即插即用、直接替换大模型原有 Attention 层的更快实现。
当时 FlashAttention 影响力极大,业界普遍默认它已将 Attention 算子做到极致。但张金涛与陈建飞观察到一个显而易见的落差:大模型内部的主要计算大致分为线性层(Linear)和 Attention 两类;GPU 显卡上明明存在更快的低比特计算单元,且早已被广泛用于加速线性层,却没有任何工作把它们用到 Attention 上。“这么明显的收益,为什么没人做?”两人决定把它做出来。
Koji 追问此前为何无人涉足低比特 Attention。张金涛拆解出三个非常现实的障碍:
- 计算瓶颈随模态发生转移:2024 年初以前,大语言模型的 Attention 运算主要受限于显存数据传输速度(memory-bound,显存带宽受限),单纯提高张量计算速度对总耗时增益不大,因此大家缺乏动力。但随着语言模型新范式以及多模态模型、尤其是视频生成模型兴起,Attention 变成严重的 compute-bound(算力受限),计算速度直接决定了端到端快慢。
- 底层 GPU 编程门槛极高:普通线性层用 PyTorch 一行代码就能写完,加两行就能做量化;而 Attention 的计算结构决定了它必须手写底层 GPU Kernel 代码。2024 年初前,AI 辅助编程(Vibe Coding,原转写误作“Web Coding”)还不具备可靠的底层 GPU 库调用和 Kernel 编写能力,全靠人工逐行硬写。
- 数值精度对低比特极其敏感:若粗暴地把 Attention 里的全部张量计算直接量化到 8-bit(8 比特),无论是语言模型还是视频生成模型,输出内容都会明显崩坏。
正是啃下了底层 Kernel 实现和低比特精度控制两块硬骨头,团队才做出 SageAttention。他颇为自豪地表示,SageAttention 现已成为“事实上的行业标准”:不仅 NVIDIA、AMD 以及国产硬件厂商华为昇腾、摩尔线程、沐曦都实现了各自版本并部署在显卡上,包括生数科技、字节、腾讯、Google 在内的几乎所有多模态公司都在使用。
2. 从 SageAttention 到 Vidu S1:推理加速的“三层楼”
Vidu S1 能在全球开放网页与 API 服务并实现实时交互,张金涛强调这绝不仅是单个算子快,而是“模型 + 部署”的全栈优化,由下至上分为三层:
| 优化层级 | 核心目标 | 典型手段与代表工作 |
|---|---|---|
| 第一层:算子层 | 让单个基础运算在 GPU 上尽可能逼近硬件物理上限 | 优化 Attention(SageAttention)、线性层与非线性算子的底层 Kernel 实现 |
| 第二层:模型层 | 直接降低模型本身必须完成的计算复杂度 | 步数蒸馏(将扩散模型 Diffusion 去噪从约 50 步压至 4 步,计算复杂度降十几倍)、稀疏注意力(Sparse Attention)微调,并结合多卡通信与计算重叠(overlap);代表工作为 TurboDiffusion |
| 第三层:工程部署层 | 面向全球并发用户的多机多卡集群服务与调度 | 模型并行策略、流式会话的 KV Cache 管理以及高并发请求调度;代表论文为 TurboServe |
他专门介绍了第二层的 TurboDiffusion:在 SageAttention 和更快线性层算子的底座上,针对任意扩散模型设计通用步数蒸馏与稀疏 Attention 微调方法(不仅换算子,还需少量训练降低模型复杂度),再辅以多卡并行时把卡间通信与单卡计算重叠(overlap)的工程优化,让任何扩散模型在单卡或单机上大幅提速。Koji 好奇做这项工作时他们还在高校,数据和算力理应很紧张。张金涛说 TurboDiffusion 本身对资源需求不高,团队基于开源视频生成模型、仅用少量微调数据便跑通,开源后已收获 3,600 多个 GitHub Star,在细分领域表现亮眼。
3. Vidu S1 不只是“快”:实时范式、无限时长与画质取舍
聊到刚发布的 Vidu S1,张金涛先纠正了一个常见认知:流式实时视频模型不能简单等同于“把原来的短视频算得更快”。普通视频模型是离线范式——输入提示词,等待很久,拿到一段 5 秒或 10 秒的成片;而实时交互范式是边玩边聊、逐帧生成,必须满足生成速度大于播放速度,否则播放迟早追上生成进度导致卡顿,绝非“把 50 分钟缩短到 10 分钟”那么简单。
据他介绍,Vidu S1 在画质与效率上的配置相当亮眼:支持 540p 分辨率(市面上能实时生成的模型鲜少达到这一分辨率),生成帧率达 25 到 42 FPS(每秒帧数),且在消费级显卡上就能达到这一效率,同时支持上传任意自定义图片和角色。
但比速度更难的是长时间生成不崩坏。他提到当前最先进的基础视频模型最长通常只生成约 30 秒视频,30 秒连一个问题都还没问完;流式对话却要支持聊上一两个小时乃至“几天几夜”,且画面不能漂移、崩坏,还得对用户的实时语音或视频输入持续给出准确反馈。为此团队在扩散模型的本质训练方法上下了功夫,重点探索改进了 Attention 的计算方式与噪声强度控制。
既要快、又要清晰、又要长时不漂移,必然面临目标函数之间的权衡(trade-off)。张金涛把优先级排得很清楚:“快”是实时交互不可动摇的第一前提,只有先过实时门槛,才在这个前提下尽力优化画质、响应准确度与长时一致性;如果现阶段非要排出优先级最低、最先适度妥协的一项,那就是画质稍微降一点。商业化方面,节目播出时网页与 App 端均免费开放体验,API 平台则按时长收费,约每分钟两三元人民币,且不设时长上限。
4. 为什么实时视觉娱乐将超过离线内容,以及发布次日的爆款玩法
实时交互视频究竟是不是伪需求?张金涛从人类视觉娱乐的本质切入,将其拆成两类:电影和短视频属于离线预生成内容,而面对面聊天、谈恋爱、打游戏和日常生活则充满在线实时交互。在数字革命之前,人类几乎所有视觉娱乐都是实时交互的。更重要的是,离线视频存在“共享播放量”,一段视频可以同时播给几百万人;而在线实时交互里每个人的需求、每时每刻的互动各不相同,每个人都需要一个独立的生成会话(session)——这正好呼应了开场 Elon Musk 的全球算力推算。他语气极为笃定:“未来我们的视觉娱乐信号会被 AI 生成的内容充斥、替换掉。”他认为从技术上看目前没有不可逾越的壁垒,这个方向已经势不可挡。
尽管 Vidu S1 前一晚才刚刚上线,发布不到 24 小时,张金涛已经在社区看到不少点赞收藏破千的有趣案例:
- 与自家宠物视频聊天:用户上传自家小狗照片,直接和狗狗实时对话互动,效果自然。
- B 站“二次元游戏陪玩”:有玩家把电脑屏幕左边四分之三留给游戏画面、右边四分之一放上 Vidu S1 生成的二次元女孩,并把游戏画面作为视频流实时传给模型。因为 Vidu S1 具备基础的视频理解能力(可接入摄像头或外部视频流),角色真的能“看见”游戏里的战况,边陪聊边做出相应动作。
- “程序员鼓励师”设想:Koji 顺势脑洞,能不能把每天写代码、聊微信、写文档的电脑屏幕流实时传给它?张金涛确认可行——模型能看懂屏幕上的字和界面切换,适时给出陪伴反馈,预计未来两周会冒出大量新奇用法。
- 定制“峰哥转圈祝福舞”:前一天晚上还有同学上传网红“峰哥”的照片与人设,实时互动让其跳起招牌转圈舞,说出“祝谁谁谁长命百岁、永远不死”的定制祝福。
5. 推理加速全景图与未来研判:中间收敛,壁垒在“更底层”和“更上层”
聊回推理加速全行业,Koji 提到近期从 Cerebras 到 Taalas(芯片创业公司,原转写误作“Talos”和“特斯拉”)等一系列硬件探索,请张金涛梳理整个推理加速领域的版图。
张金涛首先破除一个常见误解:许多人以为推理加速就是把单个算子在特定硬件上压榨到理论极限;其实同等重要的是去掉 AI 黑盒里的冗余计算、降低模型本身的计算复杂度——比如稀疏 Attention、MoE(混合专家架构)、模型参数蒸馏和采样步数蒸馏;若再往下拆一层,英伟达不断推出更强芯片本质上也是硬件层推理加速。
他盘点了自己接触并认可的几类代表工作(同时强调这远非完整名单):
- 系统与推理框架:TensorRT(侧重算子优化与降低模型复杂度)和开源的 vLLM(更突出请求调度与系统管理)。
- 流式扩散的集群调度:以往扩散模型做离线生成,没有 KV Cache(键值缓存),也几乎无需动态批处理,比语言模型简单得多;一旦进入流式自回归(Autoregressive)生成,不仅引入了 KV Cache,还要应对用户随时接入、随时中断的动态负载,生数科技的 TurboServe 论文正是为解决这一调度与部署难题。
- 语言与多模态稀疏加速:语言模型方向点名赞赏了 DSA(DeepSeek Sparse Attention) 以及国内团队基于开源加速框架做出的显著提速;扩散模型方向则提到自家团队的 SLA(Sparse Linear Attention)——字节、腾讯等多家大厂的多模态负责人都向他反馈正在使用,不过他坦承开源版 SLA 在 Linear Attention 选型上还存在缺陷。
展望未来,张金涛提出了一个非常鲜明的判断:推理加速的未来属于“更底层”和“更上层”,中间的算子层会逐渐收敛。随着 AI 编程(Vibe Coding)日益精通底层硬件架构和高效代码写法,把给定算子跑到接近硬件上限的门槛将迅速拉平。真正拉开长期壁垒的是两端:
- 更底层(芯片层):要么像英伟达一样造极强的通用芯片,要么面向某一类模型做低成本、高效率的专用芯片。他评价把单一特定模型直接“写死”在芯片里的路线(如官方简介点出的 Taalas)略显浪费——一旦模型迭代更新,芯片就可能报废;更合理的折中是面向一类模型做具备一定通用性的定制芯片,例如针对语言模型偏 memory-bound、视频模型偏 compute-bound 的差异,重新设计显存容量、显存传输带宽与算力的配比,以及不同精度计算单元的数量,这是目前 AI 仍难以替代的硬能力。
- 更上层(算法降复杂度层):他拿人脑功耗只有约 25 瓦却能解决诸多复杂任务作例,说明理论上模型计算复杂度还有极大压缩空间——通用层面压缩整体计算量,专用层面则根据每次请求的难易动态走捷径,不必每个简单请求都把所有层和算子完整算一遍。
Koji 追问这是否意味着更底层更容易长出独立创业公司、而纯算法层很难独立成事。张金涛回应:顶尖推理加速本质上离不开软硬件 Co-Design(协同设计);单做芯片可以立住,但只做纯算法层缺乏壁垒、也难在真实硬件上验证效果,创业公司最好同时握有两端能力。
6. 中国视频模型为何站稳世界第一梯队
谈及近几个月的中美 AI 视频分化——中国视频模型牢牢站稳第一梯队,张金涛从机器学习的基本原理给出两层解释。
第一层是模型收敛后,数据成为决定性变量。他把 AI 拆成“建模(模型结构)”和“训练(学习输入到输出的映射)”。Transformer 问世以来,建模范式逐渐趋同,此时差距不再仅仅来自数据总量,更来自数据质量、是否契合人类偏好、以及数据的可学习性。他用人类教育打了两个极生动的比方:建模能力相当于智商,数据相当于教材与讲师——看著名中文 AI 博主苏剑林《科学空间》10 分钟就能把复杂规律彻底悟透,胜过看劣质博客 3 小时,而且劣质数据不止浪费时间,还会“污染”模型;同理,推理模型里的思维链(CoT)之所以有效,是因为直接从问题 A 跳到答案 Z 看不出映射关系,拆解成一步步思考后就变得高度可学习。他确信,无论数据量、数据质量、偏好对齐还是数据构造方式,国内视频生成公司目前整体领先美国同行(背后可能也有政策等多重因素)。
第二层是文化与产业生态驱动。他个人感觉国内用户对视觉娱乐的要求更严苛,而且中国在抖音、小红书、直播、电商等视频生态上高度发达,既沉淀了更丰富的素材数据,也催生了把视觉生成做到极致的最强商业动机。
7. 教授与 PhD 创业热潮、朱军的点拨,以及“两行 Bug 决定成败”
2026 年教授和博士群体掀起创业热潮(早年已有清华唐杰、生数科技朱军等先行者)。身在其中的张金涛认为,AI 并非泡沫,它触及人类的全方位需求,市场大到绝非一家公司能吃完,因此这波创业潮既合理也会持续很久。
但他同时泼了一盆清醒的冷水:并非所有技术过硬、论文高产的学者都适合创业。他不加掩饰地自评,在生数科技带队一段时间后,发现自己其实很适合创业——知道什么人适合做什么、能看懂每个人的想法、能凝聚团队。但很多极聪明的学者未必擅长管理与跨部门协调。被 Koji 请教具体管理经验时,他分享了两套心法:
- 何谓“做到世界最领先”:感谢朱军在 GPT-3 刚发布时的点拨——不要把 GPT-3 想象得遥不可及,它并不是靠某种神秘黑科技,而是“知道世界上最正确、最领先的方法是什么,然后把它正确地实现出来”,把每个环节都做到极致。今天许多同行做不出 Vidu S1,未必不知道背后用到了哪些技术,极可能只是代码仓库里藏着两行带 bug 的代码,足以让整个实验功亏一篑。
- 怎样带好团队:第一要让大家开心工作——管理者必须足够敏锐,简单聊几句就要读懂每个成员内心最看重什么:是更高的工资、更多的成果署名(credit),还是做成事的成就感;第二要树立威信,面对利益并不一致的多个关联部门,从第一性原理出发做好协调与判断。
8. 写作边界即智能边界,以及“改一行代码提速一倍多”的巅峰时刻
节目尾声回到个人成长。张金涛说自己小时候贪玩,数学很好、语文偏弱,长大后才深感语文背后的沟通表达与情绪共情力极为重要。大学时自学和表达优势显现,在实验室分享论文时,他特别享受把措辞和配图打磨得极其 sharp(锐利清晰),直击本质。他认为写论文好不好直接映射研究者的水平:“智能的边界和语言的边界有时候是对等的”——把简单事讲清不难,难的是把极复杂的工作凝练成无冗余、强逻辑的清晰表达,把动机(motivation)、现有局限(limitation/challenge)、解法与贡献层层抠准。
张金涛把硕转博后的时光称为自己最开心的阶段。2024 年 5 月生数科技成立 Vidu 推理组保障全球上线,他在清华安静的科研楼里,一边和陈建飞讨论、向朱军汇报,一边一个线程一个线程地模拟排查底层精度问题,直接在 Vidu 模型里手写出全世界首个低比特 Attention 加速实现(SageAttention)。当精度终于完全对齐,他把模型里的 FlashAttention 换成自己的代码——只改了一行代码,生成的视频画面像素级一模一样,端到端推理速度却直接快了一倍多。他迫不及待把对比视频发给陈建飞和朱军看,兴奋难抑,之后才整理发表论文并开源。
最后,他由衷感谢了导师朱军对自己的信任与重用——如今让他独当一面掌管 Vidu 推理和 S1 团队,“感觉就像在创业”。在他眼中,朱军有三大过人之处:第一是方向判断极准,实验室走出过宋飏、陆成、庞天宇、孟佳义等一批顶尖学者;第二是资源极其充足;第三是管理与科研氛围,与他在 UC Berkeley 访问半年感受到的自由开放高度一致(朱军早年也在 CMU 任过教)。Koji 感慨于他对科研本身纯粹的快乐,祝愿他未来拥有更多这样的高光时刻。
算一算:帧率、响应延迟与端到端收益
1. 平均帧率(FPS)不等于交互延迟(Latency):本文自拟一组简化数字来拆解实时交互视频的两个指标。假设视频按 25 FPS 播放,系统为了兼顾吞吐,每次按批生成 10 帧,每批画面可供播放 10 ÷ 25 = 0.40 秒(400 毫秒)。只要模型生成一批的时间小于 0.40 秒——例如只需 0.25 秒(250 毫秒)——稳定吞吐就能达到 10 ÷ 0.25 = 40 FPS,播放永远追不上生成,不会断流。但如果用户刚说完一句话,系统需要经历语音识别与理解(假设 150 毫秒)+等待凑齐并算完下一批 10 帧(250 毫秒)+编码与网络传输(100 毫秒),用户实际感受到的响应延迟就会达到约 500 毫秒。因此,高平均帧率回答“能不能持续不卡顿地放下去”,端到端延迟回答“我说完话对方多久给反应”,两者必须同时达标。
2. 阿姆达尔定律(Amdahl's Law):为什么单靠改一个算子拿不到十倍提速?假设生成一批视频总耗时 100 毫秒,其中 Attention 计算占 40 毫秒,线性层、VAE 解码、条件编码与多卡通信等其他环节合占 60 毫秒。如果只把 Attention 算子加速 2 倍(40 毫秒 → 20 毫秒),总耗时变为 80 毫秒,端到端仅加速 100 ÷ 80 = 1.25 倍。这也是为什么从 SageAttention 走到 Vidu S1 必须做“三层加速”:只有同步通过步数蒸馏把 50 步去噪压到 4 步(大幅压缩主干循环次数)、用稀疏 Attention 砍掉计算量、再用工程部署掩盖多卡通信,端到端总耗时才能真正跨越实时门槛。
3. 低比特量化与精度控制:用 INT8/FP8 等低比特表示部分矩阵能激活 GPU 上吞吐更高的低精度张量核心并减半搬运带宽,但会引入舍入与截断误差。误差是否破坏画质,高度依赖量化对象(如 Query/Key/Value 还是 Softmax 后概率矩阵)、动态缩放粒度(逐块/逐通道)以及是否存在离群激活值(outliers)。某几个视频样例呈现“像素级一致”,说明在特定输入和采样配置下误差被有效抑制在可见阈值之下,不代表低比特运算在数学上严格无损;工程落地仍需在统一随机种子、多样化场景与长时自回归累积误差下做回归测试。
独立判断:什么决定一项推理加速能否变成真实产品
1. “硬件闲置”只是研究线索,找到“为何没人做”的变化窗口才是关键
SageAttention 的故事极具方法论启发:它不是凭空拍脑袋,而是精准捕捉到了硬件能力与软件用法之间的错配。但更有价值的是张金涛对“过去为什么没人做”的归因——2024 年前语言模型 Attention 卡在显存带宽而非算力,写低比特 Attention 收益微薄;当多模态与视频生成把 Attention 推向严重 compute-bound 区间,原有默认假设就失效了。做系统与算法研究时,同时追问“哪里有未被利用的硬件能力”以及“当初放弃它的前提条件如今变了没有”,往往比盲目追逐热门赛道更容易挖出高影响力的真问题。
2. 交互视频产品的真正体检表:长时稳定性与单位分钟经济账
将离线视频升级为无限时长实时通话,评测维度会发生质变。短演示里的 540p、25–42 FPS 只能证明单会话跑得通,真要做成规模化产品,至少要经受四项硬检验:一是多小时连续运行后的身份与画质漂移(自回归生成天然存在误差累积);二是语音与外部视频流双输入下的语义响应准确率(比如陪玩游戏时是真看懂了战局,还是泛泛夸奖);三是高并发随机进出时的尾延迟(P99)与 KV Cache 显存碎片回收;四是商业单位经济模型——API 每分钟两三元人民币对应的单卡并发路数、显卡折旧与电费是否打正,以及免费网页端在出圈后的算力承压能力。如果实时交互真的如他所料走向一人一独立会话,那么成本下降速度必须追上用户时长增长,否则越受欢迎亏得越快。
3. 软硬件 Co-Design 成立,但“中等通用芯片”的商业生死线在软件生态
张金涛对“算子层随 AI 编程收敛、机会向芯片与算法两端分化”的判断很敏锐,对 Taalas 式将单一模型写死进硬件的迭代风险也点得很准。不过,介于通用 GPU 与单模型 ASIC 之间的“面向一类模型的半定制芯片”同样面临残酷的工程现实:多模态模型架构仍在快速演进(从纯全注意力 DiT 到线性/稀疏混合注意力、再到自回归与扩散混合),芯片从立项流片到量产往往耗时 18–24 个月;如果流片出来时主流算子比例已变,或者编译栈与主流训练/推理框架对接成本过高,理论能效优势就会被生态摩擦抵消。硬件能否跑赢,既看微架构配比,也看软件栈能否以极低迁移成本接住下一代模型。
4. “中国视频模型赢在数据与生态”需要更精细的归因
短视频、直播和电商生态确实为中国视频模型提供了极强的产品打磨反馈与真实场景牵引,但把当前中美视频模型的表现差异主要归结为“国内数据量、质量和构造全面占优”,仍缺少受控实验的直接证据。原始视频存量不等于可合规用于商业训练的高质量切片,也不自动等于高物理一致性;要想分清差距到底来自数据筛选清洗、人工偏好标注、模型后训练策略还是算力配比,需要在固定骨干架构与训练算力预算下做消融对照,而非仅从终端成片观感反推单一原因。
证据边界与资料索引
本文对话重建部分依据官方简介与全文第三方机器转写整理,未逐字听审原音频或复现模型。其中多处机器转写造成的专名误识已对照官方简介或常识核正并说明:“C Attention”据官方简介核正为 SageAttention;“Talos”“特斯拉”据官方简介上下文核正为芯片公司 Taalas;“Web Coding”据上下文核正为 Vibe Coding;“苏建林”作规范姓名“苏剑林”,“宋阳”作“宋飏”;转写中“自然科研楼”按清华科研楼保留原述,另有一处涉及小米 MiMo 与开源框架的英文项目名因转写失真未作无依据展开。嘉宾口述的性能指标(540p、25–42 FPS、消费级显卡运行)、采用厂商名单、GitHub 星标数、API 定价、中美对比及未来预测,均按 2026 年 7 月节目播出时的口述口径记录;文末帧率、延迟与阿姆达尔定律算例为本文自拟。