#模块九：多模态（图文音视频）

#97. CLIP 的核心思想是什么？

#标准答案

CLIP 的核心思想，是通过对比学习把图像和文本映射到同一个表示空间里：配对的图文应该彼此靠近，不相关的图文应该彼此远离。模型不是直接学“这张图属于哪个固定类别”，而是学“这张图和这段文本是不是同一个语义”。

它的重要意义在于建立了跨模态对齐基础。图像编码器学会提视觉语义，文本编码器学会提语言语义，两者在同一空间里对齐后，就可以做零样本分类、图文检索、多模态理解等任务。面试里如果能补一句”它把监督从固定标签扩展到自然语言描述”，会更完整，也更能说明它为什么影响后续 VLM 路线和多模态预训练范式。

#深度解析

1. 对比学习的数学形式（InfoNCE Loss）

CLIP 的训练目标是让配对的 (image, text) 对在 embedding 空间中距离近，非配对距离远：

L = -1/N * Σ [log(exp(sim(I_i, T_i)/τ) / Σ_j exp(sim(I_i, T_j)/τ))]

• sim(I, T)：图像和文本 embedding 的余弦相似度
• τ：温度系数，控制分布的”尖锐度”
• 分母中的 Σ_j：包括所有非配对文本（负样本）

直观理解：对于第 i 张图片，模型要学会在众多文本描述中”认出”正确的那一个。

2. 为什么 CLIP 能做到零样本分类？

传统分类：训练时固定类别（如 1000 个 ImageNet 类别），模型学的是”这张图属于第 437 类”。

CLIP 零样本：

1. 把类别标签变成自然语言描述：”a photo of a dog”
2. 用文本编码器得到描述 embedding
3. 图像编码器得到图片 embedding
4. 计算相似度，取最高的描述对应的类别

关键突破：类别不再是固定 ID，而是可变的自然语言。遇到新类别（如”一只穿西装的猫”），只需构造新的文本描述即可，不需要重新训练。

3. CLIP 的训练数据与规模

• 数据：4 亿对 (image, text) 从互联网收集
• 图像编码器：ResNet 或 Vision Transformer (ViT)
• 文本编码器：Transformer（类似 GPT）
• 训练：32 epochs，~256 V100 GPU days

规模效应：数据量从 1M 增加到 400M，零样本 ImageNet 准确率从 20% 提升到 76%。

4. CLIP 的局限

5. 面试官常见深挖追问

• ”CLIP 的对比学习和 SimCLR（纯视觉对比学习）有什么区别？”
  • 答：SimCLR 对比的是”同一张图的不同增强视图”（图像-图像对比）；CLIP 对比的是”配对图文的相似性”（图像-文本对比）。CLIP 的跨模态对齐让它可以借助文本的丰富语义来理解图像，而 SimCLR 只能学到视觉特征。

• ”温度系数 τ 在 CLIP 中起什么作用？”
  • 答：τ 控制对比损失的”尖锐度”。τ 小 → 模型被迫把正负样本拉得更开（ harder negatives 更有效，但训练更不稳定）；τ 大 → 分布更平滑（训练稳定，但区分度降低）。CLIP 中 τ 是可学习参数，初始值约 0.07。

• ”为什么 CLIP 之后 VLM 都倾向于用对比学习做对齐？”
  • 答：对比学习的优势：1）不需要人工标注类别标签，数据获取成本低；2）自然语言描述比固定类别更灵活、更丰富；3）学到的表示是”语义级”而非”任务级”，更容易迁移到新任务。后续 VLM（如 BLIP、LLaVA）虽然在具体架构上有差异，但跨模态对齐的核心思想都受 CLIP 启发。

#98. VLM 和纯文本 LLM 的最大区别是什么？

#标准答案

VLM（Vision-Language Model）和纯文本 LLM 的最大区别，不只是多了图像输入，而是必须先解决“非文本模态如何表示”和“不同模态如何对齐”这两个问题。文本天生已经是离散 token，而图像、视频、音频都不是，必须先经过编码器转成模型能消费的表示。

所以多模态系统比纯文本系统多出一整层挑战：视觉或视频特征如何抽取，如何压缩到可接受长度，如何与语言空间对齐，以及最终生成时如何让模型真正利用这些非文本信息。这也是为什么 VLM 不是”把图像接到 LLM 后面”这么简单，而是一次建模范式扩展。

#深度解析

1. 模态差异的本质：连续 vs 离散

2. VLM 的核心技术挑战

图像输入
    ↓
视觉编码器（ViT/CNN）
    ├── 挑战 1: 信息压缩 — 50K 像素 → 几百个特征，丢失多少细节？
    ├── 挑战 2: 分辨率适配 — 不同尺寸图像如何统一处理？
    └── 挑战 3: 细粒度保留 — 小物体、文字、边缘是否保留？
    ↓
模态对齐层（投影/Adapter/Q-Former）
    ├── 挑战 4: 空间对齐 — 视觉位置如何对应语言描述？
    ├── 挑战 5: 语义对齐 — “红色”在视觉和语言空间是否一致？
    └── 挑战 6: 粒度对齐 — 图像块与词/短语如何对应？
    ↓
语言模型
    ├── 挑战 7: 注意力融合 — 视觉特征是否真正被用于推理？
    └── 挑战 8: 生成协调 — 何时描述图像、何时基于图像推理？

3. 主流 VLM 架构路线对比

4. 为什么”接到 LLM 后面”不够？

假设简单拼接方案：

图像 → ViT → 256 个视觉 token
文本 → Tokenizer → 50 个文本 token
输入 LLM: [V1, V2, ..., V256, T1, T2, ..., T50]

问题：

1. 压缩损失：256 个 token 代表整幅图，小物体/文字细节被平均掉了
2. 注意力竞争：256 个视觉 token 占据大部分注意力预算，文本推理受限
3. 空间混乱：ViT 的 patch 顺序是扁平的，模型难以重建空间关系
4. 训练不匹配：LLM 预训练时没见过视觉 token，初期对齐困难

5. 面试官常见深挖追问

• ”VLM 的幻觉和纯文本 LLM 的幻觉有什么不同？”
  • 答：VLM 幻觉多一层”视觉-语言错位”。纯文本幻觉是”编造不存在的信息”；VLM 幻觉包括：1）”看到不存在的东西”（如把阴影误认为物体）；2）”忽略存在的东西”（如漏看图中的关键文字）；3）”空间关系错误”（如”左边”说成”右边”）；4）”属性错误”（如颜色、数量说错）。这些错误根因往往是视觉编码器的压缩损失或对齐不足，而非语言模型本身。

• ”为什么 VLM 通常先预训练视觉编码器，再对齐，而不是端到端训练？”
  • 答：计算效率和稳定性。视觉编码器（如 CLIP ViT）需要海量图文对（数亿级）学习基础视觉表示；对齐阶段需要高质量指令数据（数百万级）。如果端到端训练，需要同时优化视觉和语言，数据需求更大、收敛更慢、更容易崩溃。分阶段训练先用大量廉价数据打好视觉基础，再用少量高质量数据做对齐，是更经济稳定的路线。

#99. diffusion model 的前向和反向过程分别是什么？

#标准答案

扩散模型的前向过程，是从真实数据开始，逐步加入噪声，直到样本接近纯噪声分布；反向过程则是学习怎样一步步把噪声去掉，最终还原成结构化样本。训练时模型学的是这个去噪逆过程，推理生成时就从随机噪声出发，按多步去噪链把样本生成出来。

直觉上可以理解为：前向是在”破坏数据”，反向是在”学会修复”。这和自回归模型一 token 一 token 地往后写不同，扩散模型更像是在连续空间中逐步雕刻出目标样本，因此在图像生成上特别有优势。它的代价通常是采样步骤更多、生成时延更长，所以在实时性要求很高的场景里要特别权衡。

#深度解析

1. 前向过程的数学（DDPM）

设真实数据为 x_0，前向过程在第 t 步加入高斯噪声：

q(x_t | x_{t-1}) = N(x_t; √(1-β_t) * x_{t-1}, β_t * I)

通过重参数化，可以直接从 x_0 采样任意时刻的 x_t：

x_t = √(ᾱ_t) * x_0 + √(1-ᾱ_t) * ε,  其中 ε ~ N(0, I)

• β_t：噪声调度（通常从 0.0001 线性增加到 0.02）
• ᾱ_t：Π(1-β_i)，累积保留信号的比例
• 当 t → T（如 T=1000），ᾱ_t → 0，x_T 接近纯噪声

2. 反向过程的数学

模型学习的是去噪过程：

p_θ(x_{t-1} | x_t) = N(x_{t-1}; μ_θ(x_t, t), Σ_θ(x_t, t))

训练目标（简化版）：预测噪声 ε：

L = E[||ε - ε_θ(x_t, t)||²]

即：给定加噪后的图片 x_t 和时间步 t，模型预测当时加入了多少噪声 ε。

3. 为什么扩散模型适合图像生成？

图像具有强空间相关性（相邻像素相似），扩散模型的全局去噪能更好地保持这种结构。

4. 采样加速：DDIM 和少步生成

原始 DDPM 需要 1000 步去噪，生成一张图要几分钟。

DDIM（Denoising Diffusion Implicit Model） 核心洞察：

• 前向过程定义了从 x_0 到 x_T 的轨迹
• 但反向过程不需要严格按这个轨迹走
• DDIM 允许用更少的步骤（如 50 步）跳跃式去噪

加速效果：1000 步 → 50 步，质量损失很小；→ 20 步，略有损失；→ 4-8 步（Distillation 后），质量可接受。

5. 面试官常见深挖追问

• ”扩散模型训练时模型预测的是什么？是干净图片还是噪声？”
  • 答：预测的是噪声 ε（标准 DDPM）。也可以预测干净图片 x_0 或预测 x_{t-1}，但预测噪声在数学上最稳定。因为噪声是高斯分布，预测目标有良好定义；而预测干净图片需要模型恢复精细细节，难度更大。

• ”classifier-free guidance（CFG）是什么？为什么能让生成质量提升？”
  • 答：CFG 是无分类器引导，核心做法是训练时随机丢弃条件信息（如文本 prompt），让模型学会”有条件生成”和”无条件生成”两种方式。推理时：output = output_uncond + w * (output_cond - output_uncond)，其中 w > 1 是引导强度。w 越大，生成结果越”忠实于条件”，但多样性降低。w=7.5 是常见默认值。

• ”扩散模型和 VAE、GAN 相比各有什么优劣？”
  • 答：GAN 生成快（1 步），但训练不稳定、容易 mode collapse；VAE 训练稳定、有显式隐空间，但生成质量通常不如 GAN 和扩散；扩散模型训练最稳定、生成质量最高，但采样慢（需多步）。当前趋势：扩散模型主导图像生成，通过蒸馏（如 Consistency Models、SDXL Turbo）逐步解决速度问题。

#100. 图像编码器与语言模型对齐通常怎么做？

#标准答案

常见做法是先用视觉编码器把图像转成一串视觉特征，再用投影层、adapter、Q-Former 或 cross-attention 模块，把这些视觉特征映射到语言模型可以消费的表示空间。换句话说，不是让语言模型直接“看像素”，而是让前面的视觉模块先把图像压缩成高层语义特征。

对齐的关键在于两件事：一是视觉信息要保留足够语义，二是这些信息要能以语言模型习惯的方式注入进去。不同架构的差别，主要就在注入位置、压缩方式和训练目标上，也决定了后续多模态推理能力的上限和推理成本结构，因此这一步往往比单纯换更大 LLM 更先决定系统表现。

#深度解析

1. 对齐层的技术方案对比

2. 对齐训练的两阶段策略

阶段一：表示对齐（Representation Alignment）
    数据：大规模图文对（如 LAION-400M）
    目标：让视觉特征和文本特征在共享空间中"近义词接近"
    方法：对比学习（InfoNCE）或 captioning 损失
    结果：视觉编码器输出能被 LLM"理解"

阶段二：指令对齐（Instruction Alignment）
    数据：高质量指令数据（如 LLaVA-Instruct）
    目标：让模型学会"根据图像回答指令"
    方法：指令微调（SFT），通常冻结视觉编码器
    结果：模型能执行 VQA、描述、推理等任务

3. 对齐质量的评估维度

4. 工程实践中的关键权衡

5. 面试官常见深挖追问

• "为什么通常冻结视觉编码器，只训练对齐层？"
  • 答：三个原因。1）视觉编码器（如 CLIP ViT）已经在大规模图文对上预训练，视觉表示质量高，不需要从头学；2）视觉编码器参数量通常不小（300M+），全量微调需要大量数据和计算；3）更重要的是"灾难性遗忘"——如果微调视觉编码器，可能破坏它原有的视觉表示能力，反而影响对齐效果。冻结视觉编码器、只训练轻量对齐层，是数据效率和稳定性的最优解。

• "对齐层训练时，学习率怎么设？为什么通常比 LLM 微调的学习率大？"
  • 答：对齐层是随机初始化从头训练的，需要较大学习率（如 1e-3）快速收敛；而 LLM 是预训练好的，微调时学习率通常很小（如 1e-5）避免破坏已有知识。如果同时训练对齐层和 LLM，通常会对齐层用较大学习率、LLM 用较小学习率，或者使用分层学习率调度。另一种做法是分两阶段：先只对齐层高学习率训练，再全模型低学习率微调。

#101. 多模态任务中常见 benchmark 有哪些类型？

#标准答案

多模态 benchmark 常见可以分成几类：图文检索，考跨模态对齐；视觉问答，考图像理解和语言推理结合；图像描述，考视觉信息到自然语言生成；OCR 与文档理解，考细粒度文本读取和版面感知；视频问答、视频摘要，考时序建模；音视频理解，则考模态同步与事件抽取；还有更综合的多模态推理 benchmark，考的是关系、因果和常识。

回答时最好强调：这些 benchmark 并不是同一种能力的重复测量。一个模型图文检索强，不代表视频理解也强；OCR 好，也不代表开放问答就好。所以多模态评测必须按任务类型拆开看。

#深度解析

1. 多模态 Benchmark 的完整分类体系

2. 不同 Benchmark 的能力正交性

                    细粒度
                      ↑
    OCR/TextVQA    │    Visual Grounding
    DocVQA         │    RefCOCO
    ───────────────┼────────────────
    粗粒度 ←───────┼───────→ 推理深度
    ───────────────┼────────────────
    Image Caption  │    MMMU
    COCO Retrieval │    ScienceQA
                      ↓
                    高推理

关键洞察：一个模型在 Image Caption（粗粒度生成）上表现好，不代表它在 TextVQA（细粒度 OCR）上也好；在 VQA（单图推理）上好，不代表在视频问答（时序推理）上好。

3. Benchmark 的局限性与误用

4. 多模态评测的最佳实践

5. 面试官常见深挖追问

• "如果一个模型在 COCO Caption 上 CIDEr 很高，但用户说描述不够实用，问题在哪？"
  • 答：CIDEr 是基于 n-gram 匹配的指标，奖励"和参考描述用词相似"，而非"对用户有用"。模型可能学到：1）生成安全但泛泛的描述（"一张有物体的图片"）；2）过度拟合训练集中的常见句式；3）忽略用户真正关心的细节。解决方法：1）加入人工相关性评估；2）用 LLM Judge 评估描述的信息量；3）按应用场景定义"好描述"的标准（如电商场景强调商品属性）。

• "MMMU 号称测'大学级别多模态推理'，它的难点到底在哪？"
  • 答：MMMU 的难点在于跨模态深度推理链：1）需要同时理解图像（图表/公式/实验图）和文本（问题描述）；2）需要调用专业知识（医学/法律/工程）；3）推理步骤多（3-5 步），中间一步错就全错；4）答案格式严格（数字/单位/术语）。这不是单纯的"看图说话"，而是"看图→理解→知识检索→推理→生成"的完整链条。目前顶尖模型准确率也只有 60% 左右，说明多模态推理仍是开放挑战。

#102. 视频理解相比图像理解多了哪些难点？

#标准答案

视频理解比图像理解多出来的最大难点，是它不只是空间理解，还要做时间理解。你不仅要知道每一帧里有什么，还要知道事件先后顺序、动作变化、跨帧关系，以及哪些瞬间才是真正关键。于是采样策略、长序列压缩、时序建模、关键帧选择都会变成核心问题。

如果视频还带音频、字幕或 ASR 文本，问题会进一步升级成多模态同步：画面、声音、对白是不是对齐，叙事重点在哪一段，哪些片段该高采样。也就是说，视频理解不是”很多张图像的和”，而是时空结构建模问题，这也是它比图像任务贵得多的原因之一，因为任何一步采样失误都可能直接漏掉关键事件。

#深度解析

1. 图像 vs 视频：任务复杂度对比

2. 视频理解的四大核心挑战

视频输入
    ├── 时序理解
    │       ├── 动作识别：”挥手”需要看多帧
    │       ├── 因果推断：”因为 A 发生，所以 B”
    │       └── 时序定位：”第 3 秒到第 5 秒发生了什么”
    ├── 采样策略
    │       ├── 均匀采样：可能漏掉快速动作
    │       ├── 关键帧提取：计算成本高
    │       └── 事件密度变化：不同视频最优采样率不同
    ├── 长序列压缩
    │       ├── 显存爆炸：300 帧 × 每帧 256 token = 76K token
    │       ├── 注意力稀疏化：哪些帧互相 attend？
    │       └── 层次化表示：clip-level → event-level → video-level
    └── 多模态同步
            ├── 音视频对齐：说话人和口型是否匹配
            ├── 字幕时序：ASR 文本与画面是否同步
            └── 叙事理解：谁、什么时候、做了什么

3. 采样策略的定量分析

假设一个 10 秒视频，30fps，共 300 帧：

4. 时序建模的技术路线

5. 面试官常见深挖追问

• ”如果一个 1 小时的视频，你不可能每帧都过模型，怎么保证不漏掉关键事件？”
  • 答：分层策略。第一层用轻量模型（如场景分类器）做快速扫描，检测场景切换和异常片段；第二层对候选片段用完整模型做密集分析；第三层如果有多模态信号（音频/字幕），用文本做初筛（如检测到”爆炸”关键词再去看对应视频段）。这种”由粗到细”的策略把计算集中在最可能包含关键信息的片段，而不是均匀分配。

• ”视频理解中，时序信息是不是一定比空间信息更重要？”
  • 答：取决于任务。动作识别（如”跑步”）时序更重要；场景理解（如”在厨房”）空间更重要。多数任务需要两者结合。一个有趣的现象：对于短clip（<3s），空间特征有时足以判断场景类型；对于长视频（>1min），时序结构和叙事逻辑变得至关重要。这也解释了为什么视频模型通常先用图像预训练权重初始化——空间理解是基础，时序理解是增量。

#103. 为什么多模态系统常常不是”把图像特征接到 LLM 后面”这么简单？

#标准答案

因为真正困难的不只是“接进去”，而是“接进去以后模型能不能真的用好”。图像特征和语言表示来自完全不同的空间，如何对齐、如何压缩、如何保留细粒度关键信息，本身就是难题。再往上，还有长视频时序压缩、多模态噪声、模态缺失和标注成本等问题。

所以一个靠谱的多模态系统，通常至少要解决四件事：输入怎么编码、模态怎么对齐、上下文怎么组织、任务怎么评测。只会说”把视觉特征接到 LLM 后面”通常说明还停留在架构草图层面，离真实落地还差很远，因为真正难的是让模型稳定用好这些特征，而不是把特征塞进去就结束；这也是多模态工程经常比纯文本系统更难调试的原因。

#深度解析

1. “接进去”的四个隐藏工程难题

2. 多模态系统的调试复杂性

纯文本系统出错，通常只有一层要查：

文本输入 → LLM → 文本输出
     ↑ 问题只可能在这里

多模态系统出错，有六层可能：

图像输入 → 视觉编码器 → 对齐层 → LLM → 文本输出
    ↑           ↑          ↑      ↑        ↑
  图像质量    编码失真    对齐偏差  推理错误  生成幻觉

实际案例：模型回答错误，可能是因为：

• 视觉编码器没识别出图中的关键物体（编码层）
• 识别出来了但对齐层没把它映射到正确的语义（对齐层）
• 映射正确但 LLM 的 attention 没”看”这个视觉 token（注意力层）
• LLM 看了但和文本问题关联错了（推理层）

3. 多模态落地的额外系统挑战

4. 为什么”简单拼接”在 demo 里能跑，生产里不行？

5. 面试官常见深挖追问

• ”如果多模态系统在某些图上表现很好，某些图上很差，怎么定位问题在哪一层？”
  • 答：分层隔离实验。1）换不同视觉编码器测试同一批图，如果都差→图像本身质量问题；2）看视觉编码器的中间输出（如分类 logits），如果编码器已识别错→编码层问题；3）把视觉特征替换成文本描述（”图中有一只猫”），看 LLM 回答是否正确，如果不正确→LLM 推理问题；4）用 attention 可视化检查 LLM 是否关注了正确的视觉 token。这种分层定位是纯文本系统不需要的，也是多模态调试更复杂的原因。

• ”多模态系统里，视觉信息有没有可能'喧宾夺主'，反而让文本推理变差？”
  • 答：有可能。现象：加了图像后，纯文本能答对的问题反而错了。原因：1）视觉 token 过多挤占了文本 token 的 attention 预算；2）图像中的噪声信息（如背景文字）干扰了推理；3）模型过度依赖视觉、忽略文本问题中的关键约束。解决方法：1）控制视觉 token 数量；2）在 prompt 中明确强调”根据问题要求回答，不要过度推断图像”；3）训练数据中增加”图像无关”样本，让模型学会判断何时应该忽略图像。

#104. 视频理解为什么难，难在时序、采样、压缩还是标注？

#标准答案

这几个都难，而且是叠加关系。时序难，是因为很多答案依赖动作顺序、因果和跨片段联系；采样难，是因为视频太长，不可能逐帧全看，必须决定哪些帧值得保留；压缩难，是因为长视频会把计算和显存迅速拉高；标注难，是因为视频标注远比单图昂贵，还常涉及多事件、多角色和跨模态对齐。

所以视频理解难，不是某一个单点卡住，而是表示、计算、数据三层一起在卡。面试时如果能把这三层同时说出来，通常会比只答“因为有时间维度”更完整，也更像真正理解任务成本结构和系统落地难点，因为每一层都会单独抬高训练与推理成本，并且让系统优化空间变得更碎片化。

#深度解析

1. 四层难度的量化对比

2. 时序、采样、压缩、标注的相互依赖关系

标注质量 ↑
    → 训练更好的时序模型
    → 更好的关键帧检测
    → 更优的采样策略
    → 更高效的压缩（保留关键信息）
    → 更低的推理成本
    → 可以处理更长视频
    → 需要更多标注...

这是一个正反馈循环，但启动困难：标注少 → 模型差 → 采样压缩不准 → 成本高 → 更难获取标注。

3. 各难度的具体技术挑战

时序理解：

• 动作分解："打篮球" = 运球 + 投篮，需要识别子动作序列
• 时序推理："因为地面湿了，所以有人滑倒了"需要跨帧因果推断
• 长程依赖：1 小时纪录片中，开头和结尾的关联

采样策略：

• 事件密度差异：体育视频（密集动作）vs 访谈视频（静态对话）
• 关键事件持续时间：进球瞬间（2s）vs 整场比赛（90min）
• 最优采样率无法预先知道

计算压缩：

• 1 分钟 1080p 视频 = 1800 帧 × 1920×1080 × 3 字节 ≈ 11 GB 原始数据
• 经过编码器后：假设每帧 256 token，1 分钟 = 460K token，远超 LLM 上下文
• 即使是 1fps 采样，1 小时视频 = 3600 帧 = 921K token

标注成本：

• 图像标注：1 张图，$0.1-0.5
• 视频标注：1 分钟视频，需标注时序区间、动作类别、参与对象，$5-20
• 多事件重叠：同一时间段多个动作同时发生，标注复杂度指数增长

4. 行业解决方案演进

5. 面试官常见深挖追问

• "如果视频里有两个同时发生的事件，模型怎么知道回答哪个？"
  • 答：这取决于问题和上下文。技术上，模型通常通过 attention 机制隐式选择"与问题最相关"的事件。但如果两个事件都与问题相关，模型可能混淆。工程解决方案：1）在 prompt 中明确指定时间范围或事件类型；2）训练数据中增加多事件场景，让模型学会处理；3）输出时要求模型明确说明引用的是哪个时间段的事件。目前这仍是开放问题，多事件视频理解准确率明显低于单事件场景。

• "视频理解中，标注成本比图像高多少？有没有降低标注成本的方法？"
  • 答：视频标注成本通常是图像的 10-50 倍，因为：1）需要标注时间区间（开始/结束帧）；2）动作边界模糊，需要多人标注取一致；3）长视频需要观看完整内容才能标注。降低成本的方法：1）自监督预训练（如对比学习、掩码预测），用无标注数据学基础表示；2）主动学习，只标注模型最不确定的样本；3）弱监督，用视频级标签（如"篮球比赛"）训练，不标注帧级动作；4）合成数据，用游戏引擎生成带自动标注的视频。

#105. 图文检索、视觉问答、视频摘要这三类任务的模型需求有什么差异？

#标准答案

图文检索最看重的是跨模态表示对齐，也就是图和文能不能落在同一语义空间里；视觉问答则要求模型既看懂图像内容，又能把问题理解和视觉证据结合起来做语言推理；视频摘要更进一步，重点变成如何压缩长时序、筛选关键事件、组织叙事结构。

因此这三类任务虽然都属于多模态，但模型需求完全不同：检索更偏对齐，VQA 更偏感知加推理，视频摘要更偏长期时序建模和内容压缩。回答时如果能把“输入形式、核心能力、输出目标”三者拆开讲，会更清楚，也更容易体现为什么不能用一个指标评所有任务、也不能期待一个调参方案通吃所有多模态任务。

#深度解析

1. 三类任务的输入-处理-输出对比

2. 模型架构的适配差异

图文检索（对称双塔）
    文本 → Text Encoder ──┐
                          ├── 相似度 → 排序
    图像 → Image Encoder ─┘
    特点：编码器可离线预计算，检索时只算相似度

视觉问答（融合编码）
    文本 + 图像 → 联合编码器 → 解码器 → 答案
    特点：必须同时处理两种模态，推理成本高

视频摘要（层次化编码）
    视频 → 片段编码 → 事件检测 → 摘要生成
    特点：长序列处理，需要时序建模和选择机制

3. 为什么一个模型不能通吃三类任务？

反例：CLIP 可以做简单检索，但做 VQA 需要额外训练（如 visual prompt tuning）。

4. 三类任务的数据需求差异

5. 面试官常见深挖追问

• "如果一个模型在图文检索上效果很好，但做 VQA 效果差，最可能缺什么能力？"
  • 答：最可能是细粒度视觉推理能力。图文检索学的是"全局语义对齐"——图像整体内容和文本整体语义的匹配；VQA 需要的是"局部视觉推理"——根据问题定位到图像的特定区域，再结合该区域做推理。例如检索能判断"这是一张狗的照片"，但 VQA 要回答"狗左边是什么"就需要定位能力。解决：在检索预训练基础上，加入 grounding 数据（如 ReferCOCO）和 VQA 数据做微调。

• "视频摘要和图文检索能共享同一个视觉编码器吗？"
  • 答：可以共享底层（如 ViT 提取帧特征），但上层必须不同。检索需要"全局语义压缩"（一个向量代表整段视频）；摘要需要"时序结构保留"（不能压缩成单一向量，否则会丢失事件顺序）。实践中常用共享帧编码器，但检索加全局池化，摘要加时序建模（如 Transformer/RNN）。

#106. 如果做一个短视频内容理解系统，你会怎样设计输入采样与时序建模？

#标准答案

更稳的设计通常是分层采样。先做稀疏全局采样，保证整段视频的覆盖；再对关键片段做加密采样，比如场景切换点、动作高峰段、对白密集段；如果有 ASR 或字幕，也可以用文本信号辅助决定哪些时间段值得重点看。这样做是为了在有限计算预算下尽量保留关键事件。

时序建模方面，则要把静态视觉 backbone 和时序汇聚模块结合起来，必要时再融合音频和文本。核心思路不是逐帧暴力堆算力，而是在”覆盖完整叙事”和”控制推理成本”之间找到折中。也就是说，采样本身就是建模的一部分，而不是纯预处理细节，它会直接决定系统能不能看到关键事件。

#深度解析

1. 短视频（15-60s）的分层采样架构

原始视频 (30fps)
    │
    ├── 第一层：全局稀疏采样 (1fps)
    │       └── 目标：获取视频整体结构
    │       └── 输出：30-60 个关键帧候选
    │
    ├── 第二层：事件检测
    │       ├── 场景切换检测（颜色直方图差异）
    │       ├── 动作峰值检测（光流幅度）
    │       ├── 音频事件检测（音量突变、音乐切换）
    │       └── ASR 文本关键词定位
    │       └── 输出：5-10 个高价值片段区间
    │
    ├── 第三层：局部密集采样 (5fps)
    │       └── 目标：在高价值区间获取更多细节
    │       └── 输出：每片段 10-30 个帧
    │
    └── 第四层：帧级编码
            └── 视觉编码器（ViT/ResNet）
            └── 音频编码器（可选）
            └── 输出：每帧一个特征向量

2. 时序建模的技术选择

短视频（15-60s）推荐：Video-LLM 或 Transformer，因为长度可控，能负担全帧 attention。

3. 多模态融合策略

视觉特征：V = [v1, v2, ..., vN]  (N 帧)
音频特征：A = [a1, a2, ..., aM]  (M 片段，通常 M > N)
文本特征：T = [t1, t2, ..., tK]  (ASR 文本 token)

早期融合：拼接 [V, A, T] 一起输入模型
    └── 优势：模态交互充分
    └── 劣势：维度高、计算大

中期融合：各模态分别编码，在高层交互
    └── 优势：平衡效果和效率
    └── 劣势：需要设计交互机制

晚期融合：各模态独立决策，结果融合
    └── 优势：简单、可解释
    └── 劣势：模态间信息利用不充分

4. 计算预算分配策略

假设总预算 = 处理 100 帧的等效计算：

5. 面试官常见深挖追问

• ”短视频理解中，ASR 文本和视觉信息哪个更重要？如果只能用一个，选哪个？”
  • 答：取决于任务。内容审核/分类场景，ASR 文本通常信息量更大（说话内容直接揭示主题）；视觉场景理解（如动作识别），视觉更重要。如果只能选一个，短视频场景我会优先 ASR，因为：1）短视频通常有解说/对话，文本信息密度高；2）ASR 处理成本远低于视觉编码；3）文本可以直接用成熟的 NLP 模型。但最佳实践是两者都用，因为有些关键信息只在视觉中（如画面中的文字、动作）。

• ”如果视频有 1000 条，要求 1 小时内处理完，怎么设计系统？”
  • 答：这要求平均 3.6s/视频。设计要点：1）批量处理而非逐条；2）视觉编码用 GPU 批量推理；3）ASR 用流式处理；4）关键帧检测用轻量模型（CPU 可跑）；5）如果 QoS 允许，低置信度视频降级处理（更低分辨率/更少帧）；6）水平扩展：多机并行。3.6s/视频对短视频是可行的，但需要全链路优化，不能有任何单点瓶颈。

#107. 扩散模型和自回归生成模型各自更适合什么类型的生成任务？

#标准答案

扩散模型通常更适合图像这类连续空间生成任务，因为它通过逐步去噪的方式，可以在高维连续分布里稳定生成高质量样本；自回归模型则更适合文本、代码、结构化 token 序列，因为这类任务天然就是一个 token 接一个 token 地展开。

如果讲得更实用一点，可以说：扩散擅长“高保真连续内容合成”，自回归擅长“顺序化离散生成与推理”。所以两类模型并不是谁完全替代谁，而是各自在不同输出空间里占优，实际系统里也经常混合使用，例如文本规划后再调用图像生成模型，从而把两者优势拼起来，这也是多模态产品里常见的组合方式。

#深度解析

1. 扩散模型 vs 自回归模型的本质差异

2. 两类模型的适用场景矩阵

3. 混合使用：实际系统的常见模式

文本规划（自回归 LLM）
    ↓
"生成一张日落时分的海滩照片，有棕榈树"
    ↓
解析为结构化条件（自回归/规则）
    ↓
图像生成（扩散模型）
    ↓
图像输出

这种"自回归规划 + 扩散执行"的模式已成为行业标准：

• DALL-E 3：GPT-4 生成详细 caption → 扩散模型生成图像
• Sora：GPT 生成视频描述 → 扩散 Transformer 生成视频
• MusicLM：文本编码器 → 音频扩散模型

4. 扩散模型的核心优势详解

5. 自回归模型的核心优势详解

6. 面试官常见深挖追问

• "扩散模型能做文本生成吗？为什么主流还是自回归？"
  • 答：技术上可以（如 Diffusion-LM），但效果不如自回归。原因：1）文本是离散的，扩散在离散空间效率低；2）文本需要严格的语法和逻辑连贯性，自回归的因果结构天然保证这一点；3）扩散生成需要"一次性"确定整个序列，而文本往往需要根据前文动态调整后续内容。自回归的"逐步决策"更适合文本的层次结构（词→句→段）。

• "为什么视频生成用扩散而不是自回归？"
  • 答：视频是时空连续的像素数据，和图像同属连续空间。如果用自回归生成视频，需要把视频离散化为 token（如 VQ-VAE 的 codebook），这会带来：1）信息损失（离散化压缩）；2）序列极长（即使 256×256 的视频也有 65K 像素）；3）因果结构对空间相邻关系建模不自然。扩散模型直接在连续像素空间操作，通过逐步去噪生成，既保留连续性又避免超长序列问题。Sora 使用 Diffusion Transformer 正是这种思路。

#108. 多模态系统在线上落地时，成本和时延通常比文本系统多出哪些问题？

#标准答案

多模态系统在线上落地时，首先多出的是前处理成本：图像要编码、视频要采样并编码、音频要转写或提特征，这些步骤在模型真正开始推理前就已经消耗了不少时间和显存。其次，多模态输入往往更长、更重，导致上下文构造、显存占用和带宽压力都比纯文本大。

此外，多模态还会引入同步问题：视频帧、音频、字幕是否对齐，是否要做多路模型协同，都会拉长链路。也就是说，文本系统的瓶颈常在模型本身，而多模态系统的瓶颈经常是”预处理 + 编码 + 对齐 + 生成”整条链路一起决定，因此容量规划和链路拆分通常要更早介入。

#深度解析

1. 多模态 vs 纯文本系统的成本结构对比

假设处理一个典型请求：

2. 多模态系统特有的时延来源

用户上传图像
    │
    ├── 上传带宽（用户侧）
    │       └── 高清图 5-10MB，4G 网络需 2-5s
    │
    ├── 服务端预处理
    │       ├── 格式校验（JPEG/PNG/WebP）
    │       ├── 解码（像素矩阵）
    │       ├── 尺寸适配（如 224×224 或 512×512）
    │       └── 归一化
    │       └── 小计：10-50ms
    │
    ├── 视觉编码
    │       └── ViT/CLIP 编码器前向
    │       └── 小计：20-100ms（GPU）
    │
    ├── 文本编码 + 拼接
    │       └── Tokenization
    │       └── 视觉 token + 文本 token 拼接
    │       └── 小计：1-5ms
    │
    ├── LLM 推理
    │       └── 主要瓶颈
    │       └── 小计：500ms-5s（取决于模型和长度）
    │
    └── 总时延
            └── 通常 1-10s，是文本系统的 2-10 倍

3. 多模态系统的额外工程成本

4. 成本优化的特殊策略

5. 面试官常见深挖追问

• ”如果多模态系统的视觉编码成为瓶颈，怎么优化？”
  • 答：多层优化。1）模型层：用更轻量的视觉编码器（如 MobileViT、EfficientNet）替代标准 ViT，牺牲少量精度换速度；2）缓存层：对高频出现的图像（如产品图、用户头像）做特征缓存；3）批处理层：视觉编码 GPU 批处理，提高吞吐量；4）硬件层：视觉编码和 LLM 推理分离部署，各自独立扩缩容；5）算法层：如果场景允许，降低输入分辨率（如 224→112），编码速度提升 4 倍。

• ”多模态系统的成本是按什么计费的？和文本有什么不同？”
  • 答：多模态成本通常包括：1）图像/视频处理费（按分辨率、时长计费）；2）视觉编码费（按调用次数）；3）LLM 推理费（按 token 数，视觉 token 通常和文本 token 等价计费）。以 GPT-4V 为例：一张 512×512 的图约等于 255 个 text token 的成本。视频更复杂，通常按帧数和分辨率综合计费。因此多模态成本优化不能只看 LLM 部分，视觉处理往往占 30-50%。