#数学基础专项强化题库（第十批：离散数学、概率论、线性代数与微积分）

很多大模型岗位不会直接说“我们考数学”，但会在优化器、损失函数、注意力、概率建模、对齐训练、PCA/SVD、拉格朗日乘数法、凸优化、梯度与 Hessian 这些问题里持续追问。如果这些底层数学不稳，面试看起来就会像“会背工程词，但解释不到根上”。所以这一节不是为了做纯数学竞赛，而是为了把最常在机器学习、深度学习、训练系统讨论里反复出现的数学知识点补齐到“能讲原理、能解释公式直觉、能接回工程实现”的水平。

#核心术语先对齐

离散数学帮助解释命题、图、组合和复杂度；概率论帮助解释采样、期望、方差、KL 和不确定性；线性代数帮助解释 embedding、矩阵乘法、SVD、PCA 和低秩结构；微积分与优化帮助解释梯度、Hessian、反向传播、约束和数值稳定。

数学专项的目标不是把推导写得越长越好，而是让每个公式都能说出对象、维度、直觉和工程含义。例如 KL 不只是一个公式，它解释了分布差异和对齐训练里的约束；Hessian 不只是二阶导，它解释了曲率、条件数和优化稳定性。

#阅读顺序

• 先读第 73 章速览，确认高频数学问题范围。
• 再读第 74 章逐题详细解答，补齐基础数学对象。
• 如果还要拔高，继续读第 75-77 章的高阶追问和详细解答。

#数学题的答题底线

每个数学答案至少要说清对象类型、公式含义和使用边界。对象类型包括标量、向量、矩阵、随机变量、分布和函数；公式含义要能翻译成中文；使用边界要说明独立性、可微性、凸性、样本量、数值稳定或维度匹配等前提。

大模型面试里的数学很少要求纯粹炫技推导，更看重你能否把公式接回训练和推理。例如 softmax 接交叉熵和采样，SVD 接低秩和压缩，KL 接对齐约束，Hessian 接优化曲率，Monte Carlo 接评测方差和拒绝采样。

复习时可以采用“一个公式三句话”：第一句说对象和维度，第二句说公式在计算什么，第三句说它在 LLM 或 Quant 中对应什么场景。比如 \(\mathbb{E}[X]\) 是随机变量的长期平均，在采样评测里对应平均指标；\(w^T\Sigma w\) 是组合方差，在风险控制里对应资产共同波动。这样公式就不会变成孤立记忆。

如果公式里有矩阵或概率，一定要补维度和条件。维度检查能防止把向量、矩阵和标量混用；条件检查能防止把独立、同分布、可微、正定、凸性等前提忘掉。很多数学追问并不难，难在能否主动说出这些边界。

数学专项也适合和手写代码结合。比如 softmax 可以手写稳定实现，最小二乘可以写正规方程或梯度解法，Monte Carlo 可以写采样估计，SVD/PCA 可以解释输入输出形状。把公式落到小例子里，理解会比纯背诵稳定很多。

读完本入口后，至少要能判断一个追问主要依赖哪门数学：变化率看微积分，空间结构看线代，不确定性看概率统计，流程和复杂度看离散数学。