建模。设 \(y=X\beta+\varepsilon\)，\(X\in\mathbb{R}^{n\times p}\)。OLS 选择使残差平方和 \(S(\beta)=\|y-X\beta\|^2\) 最小的 \(\beta\)。

推导。令梯度为零：\(-2X^T(y-X\beta)=0\)，得正规方程 \(X^TX\hat\beta=X^Ty\)。当 \(X\) 列满秩（\(\mathrm{rank}(X)=p\)，需要 \(n\ge p\) 且无完全共线）时 \(X^TX\) 正定可逆：

二阶导 \(2X^TX\succeq 0\) 加上满秩即正定，驻点确为全局最小。假设按高斯–马尔可夫清单给：线性性、\(\mathbb{E}[\varepsilon\mid X]=0\)、\(\mathrm{rank}(X)=p\)、同方差无自相关（保证 BLUE），再加独立正态噪声则得到精确的推断与 MLE 等价性。

检验。单变量退化检验：\(p=2\)（截距加斜率）时公式应还原为 \(b=S_{xy}/S_{xx}\)、\(a=\bar y-b\bar x\)；把 \(X\) 的某列乘 2，对应系数应除以 2，拟合值不变——量纲一致性通过。

面试怎么讲。先写目标函数、求导、给闭式解，三步不要跳；然后主动补一句「\(X^TX\) 不可逆时（重复列、\(p\gt n\)）解不唯一，实务上加 \(\lambda I\) 变岭回归」——这一句直接把话题引向你准备好的 027 章内容。

建模。带截距的单变量回归，斜率由中心化向量的投影给出。

推导。代数路线：\(b = \mathrm{Cov}(X,Y)/\mathrm{Var}(X) = r\,s_y/s_x\)，同理 \(b' = r\,s_x/s_y\)，相乘得

几何路线：中心化后 \(\tilde x,\tilde y\) 的夹角 \(\theta\) 满足 \(\cos\theta=r\)，两个斜率分别是 \(\|\tilde y\|/\|\tilde x\|\cos\theta\) 与 \(\|\tilde x\|/\|\tilde y\|\cos\theta\)，长度比相消，乘积即 \(\cos^2\theta\)。

检验。边界核对：\(r=\pm1\) 时 \(b\,b'=1\) 且 \(b'=1/b\)，两直线重合（互为逆函数）；\(r=0\) 时两个斜率同时为零；乘积落在 \([0,1]\) 内，与 \(r^2\) 的取值范围一致。

面试怎么讲。给出乘积结论后主动解释「为什么不是 \(b'=1/b\)」：两个方向最小化的距离方向不同，并抛出几何解释（\(\cos\theta\)）；能补一句「所以由 \(y\) 的预测反推 \(x\) 不能用同一条直线，这正是均値回归现象的来源」即为满分口径。

建模。过原点回归的斜率是 \(\mathbb{E}[XY]/\mathbb{E}[X^2]\)（最小化 \(\mathbb{E}[(Y-aX)^2]\) 得 \(a=\mathbb{E}[XY]/\mathbb{E}[X^2]\)）；带截距时斜率为 \(\mathrm{Cov}/\mathrm{Var}\)。

推导。过原点情形：\(a\,c = \dfrac{\mathbb{E}[XY]}{\mathbb{E}[X^2]}\cdot\dfrac{\mathbb{E}[XY]}{\mathbb{E}[Y^2]} = \dfrac{\mathbb{E}[XY]^2}{\mathbb{E}[X^2]\mathbb{E}[Y^2]}\le 1\)，最后一步是柯西–施瓦茨不等式（Cauchy–Schwarz）；当 \(\mathbb{E}[X]=\mathbb{E}[Y]=0\) 时它恰好等于 \(r^2\)。带截距情形：\(k = r\,s_y/s_x\)、\(k' = r\,s_x/s_y\)，\(k=k'\) 给出 \(r(s_y/s_x - s_x/s_y)=0\)，故要么 \(r=0\)（此时 \(k=0\)），要么 \(s_x=s_y\)（此时 \(k=r\)）。综合：\(k\) 的可能取值恰为 \([-1,1]\)——取 \(s_x=s_y\)、相关系数为 \(k\) 即可实现任何一个 \(k\in[-1,1]\)，\(k=0\) 由 \(r=0\) 覆盖。

检验。取 \(Y=X\)（完全正相关、同方差）：\(k=k'=1\) 成立；取 \(Y=-X\)：\(k=k'=-1\)；取独立数据：\(k=k'=0\)。三个端点都自洽。

面试怎么讲。分「过原点 / 带截距」两条答，先给通用关系 \(a\,c\le1\)（柯西–施瓦茨），再给带截距的 \(k\,k'=r^2\)，落到 \(k\in[-1,1]\)。强调分类讨论的习惯：「等斜率要么因为零相关，要么因为同尺度」。

建模。题目问的是「Y 对 X」的斜率，即条件期望 \(\mathbb{E}[Y\mid X=x]\) 中 \(x\) 的系数；双变量高斯下条件期望恰是线性函数。

推导。代入 \(\mathbb{E}[Y\mid X=x] = \mu_y + \rho\,\dfrac{\sigma_y}{\sigma_x}(x-\mu_x)\)：

检验。两方向斜率乘积 \(1\times0.25=0.25=r^2\)，与例题 2 的一致性核对通过；截距由 \(\mu_y - \beta\mu_x\) 给出，与斜率无关。

面试怎么讲。先答 1，再讲假设：(1) 问的是 Y 对 X 的方向（反方向是 0.25）；(2) 总体双变量高斯——这保证条件期望严格线性、斜率公式精确成立，若只是边缘高斯或数据非高斯，该公式只是最佳线性近似；(3) 我们在谈总体参数，样本估计还有抽样误差。主动列出假设是统计题的得分习惯。

建模。MSE 路线最小化残差平方和；MLE 路线需要先给 \(\varepsilon\) 一个分布假设，设 \(\varepsilon_i \overset{\text{iid}}{\sim} N(0,\sigma^2)\)。

推导。MSE 路线就是例题 1 的单变量版：\(b = S_{xy}/S_{xx}\)、\(a=\bar y-b\bar x\)。MLE 路线写对数似然：

对固定的 \(\sigma^2\)，最大化 \(\ell\) 等价于最小化平方和 \(\sum(y_i-a-bx_i)^2\)——与 MSE 的目标函数完全相同，因此 \(\hat a_{\text{MLE}}=\hat a_{\text{OLS}}\)、\(\hat b_{\text{MLE}}=\hat b_{\text{OLS}}\)。差别只出现在方差上：\(\hat\sigma^2_{\text{MLE}} = \frac{1}{n}\mathrm{RSS}\)，而无偏版本除以自由度 \(n-2\)。

检验。反过来想：若 \(\varepsilon\) 是拉普拉斯噪声，似然正比于 \(\exp(-\frac{1}{b}\sum|y_i-a-bx_i|)\)，MLE 变成最小绝对偏差（LAD）回归——说明「高斯」才是等价的前提，而不是数值巧合。

面试怎么讲。写出对数似然、指出「指数上的平方和」与 MSE 目标重合，两个句子完成推导；再补一句反向例子（拉普拉斯噪声给 LAD）展示你理解等价的条件结构。028 章会把 MLE 的一般理论（Fisher 信息、Cramér–Rao 下界）展开。

建模。目标 \(Z=XY\)，回归子为 \(1, X, Y\)。OLS 的最优性条件是残差与每个回归子正交（例题 1 的正规方程），先算所需矩：\(\mathbb{E}X=\mathbb{E}Y=\tfrac12\)、\(\mathrm{Var}(X)=\mathrm{Var}(Y)=\tfrac1{12}\)、\(\mathrm{Cov}(X,Y)=0\)（独立性），以及

推导。代入带截距双回归子的正规方程（\(a\,\mathrm{Var}(X)+b\,\mathrm{Cov}(X,Y)=\mathrm{Cov}(Z,X)\) 及对称式）：\(a/12=1/24\) 与 \(b/12=1/24\)，解得

此时残差为 \(XY - \tfrac12X - \tfrac12Y + \tfrac14 = (X-\tfrac12)(Y-\tfrac12)\)，它对中心化的 \(\tilde X,\tilde Y\) 与常数都正交（独立性使 \(\mathbb{E}[\tilde X\tilde Y\tilde X]=\mathbb{E}[\tilde X^2]\mathbb{E}[\tilde Y]=0\) 等），正交条件全部满足，确为 OLS 解。

检验。再算决定系数：\(\mathrm{Var}(Z)=\mathbb{E}[X^2]\mathbb{E}[Y^2]-\tfrac1{16}=\tfrac19-\tfrac1{16}=\tfrac7{144}\)，拟合部分方差 \(=\tfrac14\mathrm{Var}(X)+\tfrac14\mathrm{Var}(Y)=\tfrac1{24}=\tfrac6{144}\)，故 \(R^2=\tfrac{6/144}{7/144}=\tfrac67\approx0.857\)——线性近似能解释八成半的方差，量级合理。

面试怎么讲。这题的陷阱是把「\(X,Y\) 不相关」误推成「\(a=b=0\)、\(c=\mathbb{E}[XY]=\tfrac14\)」：不相关只说明回归子之间正交，不说明目标与它们线性无关——\(\mathrm{Cov}(X,XY)=1/24\ne0\) 才是定系数的量。答完务必把残差写成 \((X-\tfrac12)(Y-\tfrac12)\) 这个漂亮形式，自证正交。