开始前:把接下来要用的数学读法捡回来
不用先重学一整门数学。先把“加起来、按信息筛选、加权平均、局部变化、面积累积”这五个动作看懂,后面的推导就有了落脚点。遇到不熟符号,可回到这一节核对;本书的每个例子仍会把这些动作具体展开。
1. Σ 是逐项相加,Π 是逐项相乘
取三个数x₁=1、x₂=2、x₃=3,下标只是给数编号。Σᵢ₌₁³xᵢ表示1+2+3=6;Σᵢ₌₁³xᵢ²表示1²+2²+3²=14,先平方再加。Πᵢ₌₁³xᵢ则表示1×2×3=6。n!读“n阶乘”,是1×2×…×n,例如4!=24。C(n,k)读“从n个里不计顺序选k个”:3人中选2人有AB、AC、BC共3组,因此C(3,2)=3。
2. 随机变量、分布和条件符号
掷骰子前,不知道点数X会是多少;“随机变量”就是把随机结果记成一个数。分布说明每种结果分配多少概率。公平骰子P(X=2)=1/6;“P”表示概率。事件A∩B表示A、B同时发生,A∪B表示至少发生一个。竖线“|”读“已知”:P(X=2|X为偶数)只在2、4、6三种等可能结果里数,所以为1/3,分母从6缩成3。
连续变量不能逐个数点,改用密度下的面积:X在[0,2]均匀时,密度f(x)=1/2,区间[0,1]的概率为宽1×高1/2=1/2。某个精确点概率为0,并不等于它不可能出现。分布函数F(x)=P(X≤x)把左侧面积累计起来;上例在0到2内F(x)=x/2。正态分布N(μ,σ²)是一类钟形密度,μ给中心,σ给典型偏离尺度;标准正态N(0,1)的分布函数记作Φ。
3. 期望是按概率加权,方差是偏离的平方平均
X等概率取1或3。期望E[X]=(1+3)/2=2,不要求2本身也是可能结果。方差Var(X)=[(1−2)²+(3−2)²]/2=1,标准差是方差开平方,即1。一般地先算μ=E[X],再算E[(X−μ)²];展开平方可得Var(X)=E[X²]−μ²。上例E[X²]=(1+9)/2=5,5−4=1。方差单位是原单位的平方,标准差回到原单位。
协方差Cov(X,Y)=E[(X−E[X])(Y−E[Y])]看两者是否一起偏高或一起偏低。若Y=2X,上例Cov(X,Y)=2Var(X)=2;除以双方标准差后得到无单位的相关系数ρ=1。正相关只描述共同变化,并不证明X导致Y。条件期望E[X|信息]也是加权平均,只是先按已知信息更新了可考虑的结果和概率。
4. 导数看局部变化,积分把小贡献累加
函数f(x)=x²在x=2附近,x增加很小h时,平均变化率是[(2+h)²−4]/h=4+h。h越来越小时趋近4,所以导数f′(2)=4;一般f′(x)=2x。导数正表示局部上升,负表示局部下降。积分∫ₐᵇf(x)dx则把a到b之间“高度f(x)×很小宽度dx”累加;例如∫₀²x dx是底2、高2的三角形面积,等于2。
连续变量的期望同样是累积贡献:上面U(0,2)的E[X]=∫₀²x×(1/2)dx=1。累积面积F(x)=∫₀ˣf(u)du对终点x求导,会回到高度f(x);后面的积分递推转微分方程主要用这一点。u只是积分中临时使用的变量名。
5. 为什么取log,为什么求导等于0
本文log或ln均指自然对数,以e≈2.71828为底。它把乘法变加法:log(ab)=log a+log b;因为log随x上升,最大化一个正数与最大化它的log得到同一位置。这让很多小概率的乘积变成容易求导的和。常用导数为(log x)′=1/x、(eˣ)′=eˣ,复合函数还要乘里面的导数,如[log(1−p)]′=−1/(1−p)。
例:f(p)=7log p+3log(1−p),导数是7/p−3/(1−p)。找区间内部的平滑最高点时,左右局部变化率必须衔接成0,才令导数等于0;解得p=0.7。还要检查它是最大而非最小,并检查边界:例如U(0,θ)的最大似然解就在边界,不能要求导数必须为0。多个参数时,分别对每一项求导,排成的向量叫梯度,下一本教材会用数值例子再解释。
从题目到模型:这本笔记怎样组织
假设面试官问“连续出现两次正面需要等多久”,直接枚举长度会越来越复杂;如果只记住“末尾有没有H”,无限历史就压缩成两个状态。换成数据题,面试官问“信号均值为正是否可靠”,思路也相同:先找生成机制与假设,再把问题压缩成均值、方差、样本依赖和检验规则。
本书分为八组:A组处理信息与计数;B组处理总量与等待;C组处理带历史的随机过程;D组处理分布与极值;E组处理样本变大的极限;F组把观测反推为参数;G组给参数估计附上证据强弱;H组把这些工具放回金融序列与执行。前几组主要面对“模型已知时预测数据”,后几组面对“数据已知时推断模型”。
符号约定:E表示期望,Var表示方差,Cov表示协方差;IID表示独立同分布;p̂或θ̂表示从样本算出的估计量。随机变量用大写,已经观察到的数值用小写。每次看到“独立”“正态”“平稳”,都把它当成需要核验的条件。
学习时把三个动作串起来
先说清随机性或数据来自哪里,再手推一个最小例子,最后指出结论成立的条件。能复述公式只是第一步;能解释公式为什么在这道题里合法、换条件后哪里先失效,才是迁移能力。
下面每节均包含例子、推导、面试追问、易错点与关联方向。建议先遮住解答,用纸写出状态、目标和第一步;卡住时只看下一条推导,再自行继续。
A · 看见信息后缩小样本空间
01 · 条件概率、全概率与贝叶斯
这节先认清:假设Hᵢ表示互斥且覆盖全部情况的解释,这里就是“坏品”和“正常品”。贝叶斯更新就是把每种解释的原有权重,乘上“在这种解释下看到当前结果有多容易”,再除以总和重新归一化。归一化只表示让更新后的概率加起来仍为1。
坏品率为 1%,检测灵敏度 90%,正常品误报率 5%。看到一次阳性,坏品概率并不是 90%。在 10,000 件中,100 件坏品约有 90 件阳性;9,900 件正常品约有 495 件阳性,阳性共 585 件,真正坏品只占 90/585≈15.38%。
机制与推导步骤
- 设 D 为坏品、+ 为阳性;先写所求 P(D|+),避免把条件倒转。
- 按坏品/正常品这个互斥且完备的划分,把阳性概率拆成 0.9×0.01+0.05×0.99=0.0585。
- 联合概率 P(D∩+)=0.009,再除以阳性概率。新的信息改变分母,也改变可考虑的样本空间。
面试追问:独立地做两次检测,两次阳性后坏品率是多少?
必须先说“给定真实好坏状态后,两次结果条件独立”。在此假设下,分子 0.01×0.9²=0.0081;分母再加 0.99×0.05²=0.002475,得到约 76.60%。如果重复测量共享系统误差,不能平方似然。
P(+|D) 和 P(D|+) 不同;无条件独立与条件独立也不同。市场上多个信号可能只是同一底层信息的重复。
识别线索与迁移:看到“已知、至少、观察到、筛选后”先画事件树;关联到后验预测、选择偏差与模型校准。
A · 先检查乘法是否合法
02 · 独立、互斥与条件独立
这节先认清:“两两独立”只检查每两个事件;“共同独立”还要求任意多项交集都能乘概率。条件独立则先固定一条信息再检查。下面硬币例子特意展示:两两都过关,不代表三项同时过关。
掷两枚公平硬币,A=第一枚正面,B=第二枚正面,C=两枚结果相同。任意两个事件都独立,但三者并不共同独立:A、B 发生时 C 一定发生。
机制与推导步骤
- 列出 HH、HT、TH、TT,各自概率 1/4。P(A)=P(B)=P(C)=1/2。
- P(A∩B)=P(A∩C)=P(B∩C)=1/4,所以两两独立。
- 但 P(A∩B∩C)=1/4,而三者概率乘积为 1/8,不能把三项相乘。若给定 C,则 P(A∩B|C)=1/2,也不等于 1/4。
面试追问:零相关是否意味着独立?
一般不意味着。令 X 在 [-1,1] 上均匀,Y=X²。E[X]=E[X³]=0,故 Cov(X,Y)=0,但 Y 完全由 X 决定。联合高斯时,零协方差才可推出独立。
正概率互斥事件不独立:交集为 0 而乘积非 0。独立需要分布条件,不能仅凭“来自不同来源”。
识别线索与迁移:关联到朴素贝叶斯的条件独立假设、集成模型误差相关性、投资组合分散化。
A · 从计数压缩到近似
03 · 排列组合、补集与生日碰撞
这节先认清:“碰撞”在本节只指至少两个人生日相同;“补集”是相反事件,即所有人生日不同。乘积Π来自逐人加入时的条件概率;log近似log(1−x)≈−x仅用于x较小,精确乘积本身无需近似。
23 人中至少两人生日相同为何已接近一半?假设一年 365 天、生日独立且均匀,直接数“至少一对”会重复计数同一天三人的情况,补集更容易。
机制与推导步骤
- 先求所有生日不同:第 1 人任意,第 2 人避开 1 天,第 k 人避开 k−1 天,概率是 ∏(1−k/365),k 从 0 到 n−1。
- 取对数,把乘积变成和;当 k/365 较小时,用 log(1−x)≈−x。
- 得到无碰撞概率约 exp[−n(n−1)/(2×365)],故碰撞概率取 1 减去它。n=23 时精确值约 0.5073,近似约 0.5000。
面试追问:抽样是有放回还是无放回,为什么必须问?
从 52 张牌中无放回抽 5 张时,手牌可用组合数 C(52,5);顺序过程则分母 52×51×…×48。若有放回,每次分母一直为 52。两种建模会改变相关性与概率。
不能把“至少一对”写成对数×单对碰撞概率;那是稀有事件近似或并集上界,概率可能超过 1。
识别线索与迁移:哈希碰撞、重复样本、coupon collector;先问是否等概率,再选顺序计数或组合计数。
B · 不求整个分布也能算总量
04 · 期望线性与指标变量
这节先认清:指标变量把一个判断改写成数:成立记1、不成立记0,所以它的期望恰等于判断成立的概率。E[X(X−1)]数的是“有顺序的两封同时装对”,每对只需乘一次联合概率,随后由X²=X(X−1)+X回到方差。
n 封信随机装进 n 个信封,平均多少封装对?每封装对概率是 1/n,虽然各封信是否装对相关,总数期望仍是 1。
机制与推导步骤
- 定义 Iᵢ=1 表示第 i 封装对,否则为 0,总数 X=ΣIᵢ。
- 因为 E[Iᵢ]=P(Iᵢ=1)=1/n,由期望线性得到 E[X]=n/n=1;这里从未使用独立性。
- 若追问方差,需算两封同时装对的概率 1/[n(n−1)]。对 n≥2,E[X(X−1)]=1,因此 E[X²]=2,Var(X)=1。
面试追问:随机排列的记录值(新高)有多少个?
第 i 个元素成为前 i 项最大值的概率为 1/i,因为前 i 项中最大值位置均匀。因此期望记录次数是 Hₙ=1+1/2+…+1/n≈log n+γ。不需要先证明这些指标独立。
期望可加不代表方差可加;n=1 的装信题方差为 0,不能机械套 n≥2 的计算。
识别线索与迁移:重复碰撞对数、随机图边数、空箱数量;看到“多少个满足条件的对象”就尝试拆指标。
B · 按隐藏环境分层
05 · 全期望、条件期望与全方差
这节先认清:“条件”是先固定市场状态,只在该状态内算平均;“再取期望”是按各状态出现比例平均。全方差的两项分别回答:同一状态内部还会波动多少、不同状态的平均位置本身相差多少。下面的5和1正是这两个来源。
市场有两种等概率状态。平静时期单日收益均值 1、方差 1;剧烈时期均值 −1、方差 9。总体均值 0,总方差不是平均方差 5,而是 6。
机制与推导步骤
- 先对环境 Z 条件化,E[X]=E[E[X|Z]]=(1−1)/2=0。
- 把 X−E[X] 拆成 X−E[X|Z] 与 E[X|Z]−E[X]。前一项在给定 Z 后条件均值为 0,所以交叉项期望为 0。
- 因此总方差=状态内平均方差 (1+9)/2 加状态均值方差 (1²+(-1)²)/2,共 6。
再把中间一步算开:把上面的分解逐项核对:平静/剧烈状态各占一半,组内方差平均是(1+9)/2=5。两组均值1与−1相对总体均值0的偏离平方都为1,所以组间方差是1。总方差6不是额外假设,而是把每个收益的偏离来源拆开后相加。
面试追问:为什么 E[X|信息] 是最好的均方预测?
任意基于信息 Z 的预测 g(Z),平方误差可拆成 E[(X−E[X|Z])²]+E[(E[X|Z]−g(Z))²]。第二项非负,取 g(Z)=E[X|Z] 最优。绝对误差则对应条件中位数。
用平均状态代替状态混合通常会漏掉环境变化风险;E[g(X)] 一般不等于 g(E[X])。
识别线索与迁移:随机样本数、混合分布、偏差方差分解;把“先发生哪种情况”作为条件变量。
B · 次数与等待时间成对出现
06 · 二项、几何、泊松、指数:用生成机制选分布
这节先认清:分布名称先对应实验:伯努利只有成功/失败一次;二项数固定多次里的成功数;几何数等第一次成功要几次;泊松数一段时间有几次到达;指数数连续时间要等多久。“强度λ”是每单位时间平均到达次数,不能与等待时间混用单位。
每分钟独立到达的订单均值为 2:若用恒定强度泊松过程建模,1 分钟到达数是 Pois(2),等下一单的时间是 Exp(2),均值 0.5 分钟。
机制与推导步骤
- 固定 n 次独立试验、每次成功概率 p,计成功数,得到 Bin(n,p),均值 np、方差 np(1−p)。
- 等待第一次成功的试验次数 T 从 1 开始,P(T=k)=(1−p)^(k−1)p。用 E[T]=1+(1−p)E[T] 得到 1/p。
- 把单位时间切成 n 个小格,每格到达概率约 λ/n,二项极限得到 Pois(λ)。零到达概率 e^(−λt) 也是等待时间生存函数,微分得到指数密度 λe^(−λt)。
面试追问:等待了 10 分钟仍没到,下一分钟到达的概率改变吗?
在恒定强度指数模型中不改变:P(T>s+t|T>s)=e^(−λt)。现实订单强度有日内变化、聚集与自激,所以指数模型是基线,不能默认有效。
几何分布有从 0 开始计失败次数的另一种定义,其均值是 (1−p)/p;先声明定义和时间单位。
识别线索与迁移:事件次数→泊松;连续无记忆等待→指数;固定试验次数→二项;离散无记忆等待→几何。
B · 等待长尾由最后几类主导
07 · 尾和公式与 coupon collector
这节先认清:“尾概率”是还没停的概率,比如T≥3表示至少要做第3次。一次实现若T=3,会在T≥1、T≥2、T≥3三项各计1,因此把这些尾概率相加就能得平均时间。coupon collector只是“集齐所有卡片”的通用叫法。
收集 6 种等概率卡片,平均要抽多少张才能集齐?前 5 种出现后,最后一种平均还要 6 抽,不能用“6 种所以 6 抽”回答。
机制与推导步骤
- 已有 k 种时,下一抽得到新种类概率 pₖ=(n−k)/n。
- 将总时间分成从 k 种到 k+1 种的等待 Tₖ,每段是均值 n/(n−k) 的几何等待。无需段之间独立即可加期望。
- 总期望 nHₙ;n=6 时为 6×(1+1/2+1/3+1/4+1/5+1/6)=14.7。尾和公式来自把整数 T 写成 Σ1{T≥k}。
面试追问:种类概率不均匀还等于 nHₙ 吗?
不等于。当前已收集集合决定下一次新种类的概率,而不只由集合大小决定。两种概率 p 与 1−p 的卡片,E[T]=1+p/(1−p)+(1−p)/p;p 趋近 0 时等待发散。
集齐的时间与每一类首次出现时间的和不同;首次出现可同时推进,只有“阶段等待”才可直接相加。
识别线索与迁移:缓存覆盖、探索新状态、最后一类稀有事件;用阶段拆分压缩复杂停止时间。
C · 记住最少必要历史
08 · 首步分析与序列等待
这节先认清:“状态”就是为了判断未来必须保留的信息。空态并非以前没掷过,而是过去末尾没有能继续拼目标的后缀;“吸收态”表示目标已完成,以后不再付出等待步数。方程中的1始终计下一次真实投掷。
公平硬币首次出现连续 HH,平均等多久?答案是 6;首次出现 HT 是 4。两种长度同为 2 的模式等待时间不同,原因是失败后保留的后缀不同。
机制与推导步骤
- 对 HH 定义 E₀:当前无有用后缀;E₁:末尾已有 H;吸收态 E₂=0。
- 从空态掷一次:E₀=1+0.5E₁+0.5E₀,所以 E₀=2+E₁。
- 从 H 态掷一次:再 H 则完成,再 T 回空态,E₁=1+0.5E₀。代入得 E₀=6、E₁=4。HT 的 H 态遇 H 仍保留 H,因此 E₁=1+0.5E₁=2,再得 E₀=4。
面试追问:换成 HTH 时状态如何选?
记录当前历史末尾与目标前缀匹配的最长长度:空、H、HT。方程为 E₀=1+(E₀+E₁)/2;E₁=1+(E₁+E₂)/2;E₂=1+E₀/2。解得 E₀=10。无需记录所有历史序列。
模式失败不总是回空态;要找最长可复用后缀。状态不完整会得到看似合理但错误的方程。
识别线索与迁移:马尔可夫链吸收时间、KMP前缀状态、动态规划;核心是未来只依赖当前压缩状态。
C · 二阶差分
09 · 赌徒破产:先解边界,再谈停时
这节先认清:“随机游走”是位置每步随机加1或减1;“边界”是0和N,碰到便停止。二阶差分就是相邻两次变化的差:tᵢ₊₁−2tᵢ+tᵢ₋₁。它和二阶导数相似,用来识别直线或二次式,但本题只在整数位置算。
公平随机游走从资金 i=3 开始,到 0 破产或到 N=10 获胜就停。最终达到 10 的概率是 0.3,平均需 3×7=21 步。
机制与推导步骤
- 定义 uᵢ 为先到 N 的概率,边界 u₀=0、uₙ=1。公平时 uᵢ=(uᵢ₋₁+uᵢ₊₁)/2,所以 uᵢ₊₁−uᵢ=uᵢ−uᵢ₋₁,各相邻差相等。写成 uᵢ=A+Bi,代边界得A=0、B=1/N。
- 定义 tᵢ 为停止前平均步数,t₀=tₙ=0,tᵢ=1+(tᵢ₋₁+tᵢ₊₁)/2。移项得tᵢ₊₁−2tᵢ+tᵢ₋₁=−2。试tᵢ=ai²+bi+c,二阶差分为2a,故a=−1;边界给c=0、b=N,得到i(N−i)。
- 有偏时 p uᵢ₊₁+q uᵢ₋₁=uᵢ,尝试uᵢ=rⁱ得到pr²−r+q=0,根为1与q/p。故uᵢ=A+B(q/p)ⁱ,代边界解出一般式;这里要求0<p<1,p=1/2时两根合并,单独使用直线解。
面试追问:公平游戏不断加倍下注是否必胜?
有限资金或有限下注上限下,连续亏损会导致无法继续;无限资金模型中的停止时间与财富不满足可随意交换期望和极限的条件。一次最终获利的直觉不能证明期望为正。
先说明每一步独立、步长固定、边界吸收。内部起点下p=0必先到0、p=1必先到N,这两个退化情形单独处理。把无限半轴问题直接套有限区间公式会破坏期望有限性。
识别线索与迁移:概率递推与时间递推只差每步成本 1;关联到鞅、最优停止、随机过程边界值。
C · 停下来的规则也是模型
10 · 鞅、可选停止与最优停止
这节先认清:停时τ是一个由已观察过程决定的停止时刻:今天看到资金归零就停合法,事后选未来最高点所在时刻不合法。鞅并非每条路径不变,而是“已知过去,下一步平均仍等于现在”;最优停止则在每个时刻比较现在兑现与继续等待的期望。
公平游走 Sₜ 的下一步条件期望仍为 Sₜ,因此它是鞅。若在 0 与 N 之间停止且停止时间可积,停时后的期望可保持初值;但“最后总会赢”的无限策略不能直接套。
机制与推导步骤
- 鞅定义为 E[Mₜ₊₁|过去]=Mₜ,且每时刻绝对可积。它说给定现有信息没有可预测漂移,不要求增量独立。
- 安全的可选停止版本:停止时间有界时,E[Mτ]=E[M₀];另一个常用充分条件是增量有界且 E[τ] 有限。使用定理前明确采用哪组条件。
- 最优停止则比较立即兑现 x 与继续价值 c。一个剩余重掷机会的公平骰子,重掷期望 3.5,因此看到 1、2、3 重掷,4、5、6 停止。起点价值 (3×3.5+4+5+6)/6=4.25。
面试追问:再增加一次重掷机会,阈值变成多少?
继续价值为上一步的起点价值 4.25,因此看到 1 到 4 重掷,5、6 停止。最开始价值 (4×4.25+5+6)/6=14/3≈4.6667。阈值随剩余机会改变,不能一直用 3.5。
停时条件依赖过去与现在,不能偷看未来;最优停止最大化的是受信息约束的期望,并非对整条未来路径事后取最大值。
识别线索与迁移:定价公平性、Wald恒等式的条件、Bellman方程;先说明信息集、停止规则、成本和有限性。
D · 先求分布函数
11 · 极值、次序统计与分位数
这节先认清:“第k小”是把样本从小到大排序后第k个,称次序统计量;分位数则是分布中累积概率达到某比例的位置。Beta(k,n+1−k)在这里是区间[0,1]上的密度名称,后面的显式公式已经给出它的形状,不必先记这个名称。
n 个独立 U(0,1) 随机变量的最大值 M,n=4 时均值是 4/5。不要把“每个均值 1/2”与“最大值的均值”混为一谈。
机制与推导步骤
- 事件 M≤x 等价于所有 Xᵢ≤x,在 0≤x≤1 上由独立性得 Fₘ(x)=xⁿ。
- 对 x 微分得到密度 n xⁿ⁻¹;积分 E[M]=∫₀¹x·nxⁿ⁻¹dx=n/(n+1)。
- 第 k 小值的密度可由选 k−1 个落在 x 左侧、一个落在 dx 内、其余落在右侧推得,为 Beta(k,n+1−k),均值 k/(n+1)。
面试追问:最小值、极差的期望分别是多少?
最小值均值 1/(n+1)。由期望线性,极差均值 E[max−min]=(n−1)/(n+1),不需要最大最小独立。它们事实上相关。
一般连续分布可用 F(X) 转成均匀分布;反变换后 E[F⁻¹(U)] 通常不等于 F⁻¹(E[U])。
识别线索与迁移:极端风险、拍卖、样本分位数;max 的CDF是 Fⁿ,min 的生存函数是 (1−F)ⁿ。
D · 概率质量不能凭空改变
12 · 变量变换、雅可比与比值
这节先认清:“原像”指哪些X值会变成同一Y值。若Y=X²而X可正可负,y会同时来自±√y,两个分支概率都要加。“雅可比”是多维变换中小面积/小体积被放大的倍数;一维时它就退化成逆函数导数的绝对值。
X~U(0,1),Y=X²。Y 更密集地分布在 0 附近,因为一段小 Y 区间对应的 X 区间更长。
机制与推导步骤
- 因为变换在 [0,1] 单调,P(Y≤y)=P(X≤√y)=√y。
- 微分得到 fᵧ(y)=1/(2√y),0<y<1;积分为 1。一般单调变换 y=g(x) 的密度是 fₓ(g⁻¹(y))×|d g⁻¹(y)/dy|。
- 非单调需把所有原像分支的贡献相加。多维变换用逆变换雅可比行列式绝对值;例如从直角坐标到极坐标,dxdy=r drdθ。
面试追问:两个独立标准正态 X、Y 的比值 X/Y 是否有有限均值?
比值服从标准 Cauchy,密度 1/[π(1+z²)]。可通过设 x=zy,雅可比 |y| 后对 y 积分求得。它对称,但绝对一阶矩发散,所以通常意义的均值不存在,不能凭对称性说为 0。
密度函数值大于 1 合法;概率由积分给出。分母靠近零的比值可能产生重尾。
识别线索与迁移:收益率变换、lognormal、相关统计量;先看支持域与是否一对一,再算导数。
D · 相关性变成后验修正
13 · 多元高斯、条件分布与线性预测
这节先认清:联合高斯比“每个单独都正态”更强:还要求它们所有线性组合都正态。Σ是记录每两项协方差的矩阵,ΣXX⁻¹是用来撤销X尺度与相关性的逆矩阵;只有一个X时,这一项就是除以Var(X)。Schur补在此只是最后那条“总方差减去已解释方差”的矩阵表达。
标准化的信号 X 与未来收益 Y 联合高斯,相关系数 0.6。观察到 X=2 后,Y 条件均值是 1.2,条件方差从 1 降为 0.64。
机制与推导步骤
- 把 Y 写成 ρX+ε。取 ε=Y−ρX,则 Cov(ε,X)=ρ−ρ=0。
- 由于联合高斯,零协方差使 ε 与 X 独立;Var(ε)=1−ρ²。给定 X=x,只剩 ε 的随机性,所以条件均值为 ρx。
- 推广到向量:先用交叉协方差乘信号协方差的逆给出回归系数,再用 Schur 补得到剩余协方差。
面试追问:去掉高斯假设后还成立吗?
同一公式仍给最佳线性均方预测器(协方差存在且矩阵可逆时),但一般不等于真实条件均值。X 对称、Y=X² 是反例:最佳线性斜率为 0,真实条件均值却是 x²。
ρ 是相关系数,不是任意单位下的回归斜率;一般斜率还要乘 σᵧ/σₓ。协方差奇异时需要降维、伪逆或正则化。
识别线索与迁移:线性回归、Kalman更新、组合风险;先检查联合分布条件,再说线性预测是否精确。
E · 样本变多到底保证什么
14 · 大数定律、中心极限定理与浓缩
这节先认清:“收敛”要分清:大数定律说平均值会靠近μ;符号⇒说标准化平均值的分布越来越接近正态,不是每次试验都恰等于均值。“标准误”是估计量本身的标准差,“浓缩界”则给偏离真值超过某幅度的概率上限。
独立日收益均值 0、标准差 2%,收集 100 天后,平均收益的标准误约 0.2%。单日收益仍有 2% 波动,变稳定的是样本均值。
机制与推导步骤
- 独立同分布且一阶绝对矩有限时,大数定律说明样本均值收敛到总体均值,不自动给误差速度。
- 独立同分布且方差有限时,CLT说明 √n(平均值−μ)/σ 的分布趋近标准正态,所以标准误 σ/√n。
- 不依赖正态近似时,可由 Chebyshev 得 P(|平均值−μ|≥ε)≤σ²/(nε²)。独立有界变量还能使用指数衰减的 Hoeffding 界。
再把中间一步算开:Chebyshev上界也能直接看懂:若平均值误差绝对值≥ε,误差平方就至少ε²,所以“误差平方的平均”至少是ε²乘“发生大误差的概率”。独立样本下平均值误差平方的期望为σ²/n,移项就得到所列上界。它是保守上限,不是误差实际恰好发生的概率。
面试追问:Cauchy 样本均值会随样本数变大而稳定吗?
不会按上述方式稳定。独立标准 Cauchy 的均值仍为标准 Cauchy,均值和方差不存在,通常的 LLN/CLT 条件不满足。金融重尾和序列依赖也会使朴素标准误失真。
CLT不是“数据量足够就数据本身正态”;它是标准化和的极限定理。100个高度相关样本的信息量可能远小于100。
识别线索与迁移:置信区间、t检验、有效样本量;先问尾部矩、独立性、稳定性,再选近似。
F · 写概率,再取对数求导
15 · 最大似然:从生成模型反推参数
这节先认清:概率与似然可以用同一式子,但未知对象不同:固定p=0.7问出现7正面的概率,是预测数据;已经看到7正面,让p变化并比较哪个p更能解释它,是似然。符号argmax表示“取得最大值的位置”,本题返回p,不是返回最高概率数值。
抛硬币 10 次出现 7 次正面,最大似然估计为 p̂=0.7。它选择让已观察到的数据最可能的参数,不是在求参数本身的概率。
机制与推导步骤
- 把独立观测的似然写为 L(p)=p⁷(1−p)³。二项系数与 p 无关,求极值时可略。
- 对数似然 ℓ=7log p+3log(1−p)。导数 7/p−3/(1−p)=0,乘p(1−p)得到7(1−p)−3p=0,解p=0.7。二阶导数−7/p²−3/(1−p)²为负,所以是内部唯一最大值。
- 高斯样本写v=σ²,对数似然为−(n/2)logv−Σ(xᵢ−μ)²/(2v)+常数。对μ求导为Σ(xᵢ−μ)/v,置0得到μ̂=平均值。再对v求导为−n/(2v)+Σ(xᵢ−μ̂)²/(2v²),置0得v̂=Σ残差²/n。MLE方差分母是n;因为用样本估计μ损失一个自由度,Σ残差²的期望为(n−1)σ²,无偏估计因此用n−1。
面试追问:Xᵢ~U(0,θ),θ 的 MLE 是什么?
似然是 θ⁻ⁿ×1{θ≥max xᵢ}。在合法区间内它随 θ 下降,所以最大值在边界 θ̂=max xᵢ。不能只对 log θ 求导后声称没有解。其期望 nθ/(n+1),可乘 (n+1)/n 校正。
似然不是对参数归一化的密度;检查参数支持域、边界与可辨识性。局部极值未必全局最优。
识别线索与迁移:指数分布速率 MLE n/Σx、线性回归概率解释、逻辑回归交叉熵。
F · 少量样本时收缩估计
16 · MAP、共轭先验与后验预测
这节先认清:“先验”是看到这批数据以前对参数的分布,“后验”是乘似然并归一化后的分布。“共轭”只表示乘完以后仍属于同一家族:Beta先验配伯努利数据仍为Beta,所以只需更新两个参数。MAP取后验密度最高点,后验预测则对所有可能p加权平均。
硬币 10 次中 7 次正面,先验 p~Beta(2,2)。后验为 Beta(9,5),下一次正面的预测概率是 9/14≈0.6429,低于 MLE 的 0.7。
机制与推导步骤
- Beta先验密度正比 p^(α−1)(1−p)^(β−1)。乘上 s 次成功与 f 次失败的似然,指数直接相加。
- 后验 Beta(α+s,β+f)。后验均值 (α+s)/(α+β+n) 也是下一次伯努利试验的预测成功概率,因为它是 ∫p·后验密度 dp。
- 当后验两个形状参数都大于1时,后验众数MAP为 (α+s−1)/(α+β+n−2)。本例MAP为8/12=2/3,和后验均值不同。
再把中间一步算开:为什么Beta参数直接加计数?先验取α=β=2时,密度正比p¹(1−p)¹;7正3反的似然为p⁷(1−p)³。相乘得到p⁸(1−p)⁴,对照Beta的指数α′−1、β′−1,正好是α′=9、β′=5。先把指数逐项相加,再认出分布名称,便不需要硬背“共轭更新”。
面试追问:MAP 为什么对应正则化?
最大化 log似然+log先验,等价于最小化负log似然−log先验。高斯参数先验给 L2 惩罚,Laplace先验给 L1 惩罚;系数取决于似然噪声与归一化约定。
MAP取众数,贝叶斯预测积分全部参数;连续密度的众数会随重参数化变化,不能把MAP当作完全不依赖坐标的真值。
识别线索与迁移:冷启动胜率估计、正则化、Thompson sampling;明确先验代表信息还是方便计算的建模选择。
F · 好估计不只有无偏
17 · 偏差、方差、MSE与Fisher信息
这节先认清:估计量是由一批随机样本算出的数,因此换样本它也会变。“无偏”指反复采样的平均估计等于真值,不保证这一次很准。Fisher信息衡量log似然对参数变化有多敏感:先求导得到得分,再平方取期望;下界说在给定假设下无偏估计不能随意变得更稳定。
估计高斯均值时,样本均值无偏但小样本可能波动大;把它向 0 收缩会引入偏差,却可能降低总均方误差。
机制与推导步骤
- 对估计误差加减 E[θ̂],展开平方,交叉项为0,所以MSE=Var(θ̂)+Bias²。
- 若 θ̂=a平均值,偏差=(a−1)μ,方差=a²σ²/n。因此 a=1 不总是MSE最小,最优取值取决于未知μ与先验信息。
- 在可交换微分积分、支持域不随参数等正则条件下,得分 sθ=∂log f/∂θ 均值0,Fisher信息 Iₙ=nE[sθ²]。无偏估计的方差下界为 1/Iₙ。
再把中间一步算开:Fisher信息用p=0.5具体算:一个正面样本的log似然导数是1/p=2,反面样本为−1/(1−p)=−2;平方都为4,平均信息即4。n个独立样本为4n,方差下界1/(4n),恰好等于硬币正面比例的方差0.25/n。它衡量整批数据平均能约束参数多紧,不是给单个结果评好坏。
面试追问:估计伯努利 p 的Fisher信息是多少?
单样本得分 X/p−(1−X)/(1−p),平方取期望得1/[p(1−p)]。n样本信息 n/[p(1−p)],下界 p(1−p)/n,样本均值的方差恰好达到。边界p=0或1需另处理。
Cramér–Rao 下界不适用于任意有偏估计;U(0,θ)支持域随θ变化,是正则条件失效的典型例子。
识别线索与迁移:模型偏差方差、正则化与样本复杂度;面试中先声明比较目标是MSE、方差还是一致性。
G · 给估计附上不确定性
18 · 置信区间、t分布与有效样本量
这节先认清:自由度n−1可先理解为:知道样本均值后,n个离差之和必须为0,只有n−1个能自由变化。t分布是用样本标准差替代未知总体标准差后出现的参考分布,小样本尾部比正态更厚。HAC是在存在相关/异方差时估计标准误的办法,此处先记住不能默认σ/√n。
100 个独立近似正态观测,平均值 0.2%、样本标准差 2%,标准误 0.2%。95%均值区间约为 0.2%±1.984×0.2%,即 [−0.197%,0.597%]。
机制与推导步骤
- 总体方差未知,用样本标准差 s。若观测独立正态,(平均值−μ)/(s/√n) 服从自由度 n−1 的 t 分布。
- 选临界值 tₙ₋₁,0.975,再反解关于μ的不等式,得到区间。区间包含0意味着这组数据不能在双侧5%水平拒绝均值0。
- 有自相关时 Var(平均值)=(σ²/n)[1+2Σₖ₌₁ⁿ⁻¹(1−k/n)ρₖ]。正相关使误差增大;可用HAC估计、块bootstrap,不应机械套独立标准误。
再把中间一步算开:为何区间要“估计值±临界值×标准误”?t分布给出P(−c≤(平均值−μ)/(s/√n)≤c)=0.95。分母为正,依次乘分母并移项,就得到平均值−c·s/√n≤μ≤平均值+c·s/√n。这里随机的是平均值和s,所以由它们构造的区间也随样本改变。
面试追问:95%置信区间是否表示μ有95%概率落在这个已算出的区间内?
频率学派下μ固定、区间随机:重复同样采样和构造过程,约95%的区间覆盖μ。贝叶斯可信区间才是在给定数据和先验后,对参数作概率陈述。
均值区间不是下一次观测的预测区间。正态独立下预测区间还含新观测噪声,宽度用 s√(1+1/n)。
识别线索与迁移:收益均值显著性、回归系数标准误、A/B测试;先说采样单位是什么。
G · 证据必须计入搜索次数
19 · 假设检验、功效与多重比较
这节先认清:H₀是先拿来检验的基准说法,例如均值0;统计量把数据压成一个可比较的数,例如“均值离0有几个标准误”。p值是在H₀成立时看到至少这么极端结果的概率;阈值α是你事先容许的误拒水平。家族错误率管“至少错报一次”,FDR管发现列表的平均错误比例,两者目标不同。
对真实无效的 100 个独立信号各做一次5%检验,期望约5个假阳性;至少一个假阳性概率是 1−0.95¹⁰⁰≈99.41%。
机制与推导步骤
- 先定义原假设H₀、备择H₁、统计量和方向,再看数据。p值是在H₀及模型条件成立时,得到当前这么极端或更极端统计量的概率。
- 一类错误α是误拒真H₀,二类错误β是未拒假H₀,功效1−β。增加样本量、降低噪声、效应变大通常提升功效。
- 控制家族错误率可用Bonferroni,把m次每次阈值降为α/m;它无需检验独立。若关心发现列表中的假发现比例,可用BH程序,在独立或适当正依赖条件下控制FDR。
再把中间一步算开:先看一个完全能数出来的p值:事先约定只检验“硬币正面概率是否大于1/2”,抛10次全为正面。在公平H₀下,“至少这么偏正面”只可能仍是10正,概率(1/2)¹⁰=1/1024。若事先约定双侧检验,把10反也算同样极端,p值变2/1024。方向必须提前定,不能看到结果再挑最有利的一侧。
面试追问:p=0.03 是否意味着策略有效概率为97%?
不是。它不是P(H₀|数据),也不表示经济效应大小。需报告效应估计、区间、试验次数、预注册与样本外结果。反复偷看后选择最好一天停止,也会改变原定检验错误率。
“未显著”不等于证明无效;样本可能没有足够功效。用测试集反复调参等于增加隐含比较次数。
识别线索与迁移:因子挖掘、参数扫描、多个回测;统计显著后仍需检查费用、容量和可执行性。
G · 系数的解释依赖条件
20 · 回归推断、遗漏变量与异方差
这节先认清:“外生性”在此表示真实未解释误差在给定X后平均为0;“异方差”表示不同X对应的误差波动不同。残差是拟合后算出的y−预测值,真实误差则来自未知生成机制。sandwich只是稳健协方差公式的外形名称,不会把内生性或错误因果解释自动修好。
研究信号X与收益Y,用 Y=β₀+β₁X+ε。如果遗漏的市场因子Z同时影响X和Y,回归系数会混入市场暴露。
机制与推导步骤
- 一元OLS斜率是 Cov(X,Y)/Var(X)。若真模型 Y=βX+γZ+ε 且Cov(X,ε)=0,代入协方差即得遗漏偏差 γCov(X,Z)/Var(X)。
- 零条件均值 E[ε|X]=0 是OLS条件无偏的关键;残差与样本X正交是拟合的代数性质,不能证明真实外生性。
- 同方差下系数协方差 σ²(XᵀX)⁻¹;若每个样本噪声方差不同,应使用稳健sandwich估计;时间相关还需HAC或聚类。
面试追问:OLS残差和自变量不相关,是否说明没有遗漏变量?
不说明。正交由最小二乘正规方程强制满足,即使真实误差与X相关,样本残差仍可与X正交。要用研究设计、控制变量、工具变量等额外论证识别条件。
稳健标准误修正推断,不会自动修正内生性、错误标签或模型偏差。
识别线索与迁移:机器学习线性回归、因果与预测区别、金融因子暴露;先问解释目标是预测还是因果。
G · 重采样必须保留依赖结构
21 · Bootstrap与置换检验
这节先认清:Bootstrap用重复“抽样→重算统计量”观察结果怎样波动;置换检验则在原假设允许交换标签时,打乱标签观察偶然也会有多大差异。“可交换”要求打乱后联合分布不变,时间顺序有依赖时通常不满足。块bootstrap是把连续几天作为一块抽,尽量保留块内依赖。
想估计样本中位数的不确定性,不易手推方差。若原始样本近似IID,可有放回抽n个样本,算一次中位数,重复B次,以重采样分布估计标准误和区间。
机制与推导步骤
- 把经验分布当作未知总体分布的近似,从经验分布抽样等价于原样本有放回抽取。每次重采样都重新计算完整统计量。
- B个结果的样本标准差估计标准误;分位数法区间取2.5%与97.5%分位数,但小样本、强偏差与极值统计量下可能覆盖不好。
- 置换检验不同:在H₀下标签可交换时打乱标签,构造统计量零分布。有限B次可用(极端次数+1)/(B+1)避免零p值。
面试追问:日收益有自相关,还可以逐日随机重采样吗?
逐点重采样会打破相关性。应考虑移动块或平稳bootstrap,重采样连续片段,块长度需权衡保留依赖与有效块数。非平稳序列仅保留局部块也不保证有效,需要按阶段评估。
Bootstrap不是“无需任何假设”;样本没覆盖的罕见风险不会凭重采样自动出现。训练过的模型若参与统计量,应在每轮正确重拟合。
识别线索与迁移:策略收益区间、模型稳定性、成对模型比较;保持同日期/同资产的成对结构。
H · 序列相关改变误差与验证
22 · 平稳性、AR(1)与随机游走
这节先认清:“平稳”在这里用弱平稳含义:均值和方差不随时间变,两时刻协方差只由间隔决定。εₜ叫创新,即这一时刻新来的冲击;AR(1)表示只用上一期X作线性预测。白噪声只有不相关等二阶条件,不能据此说每期完全独立。
AR(1)模型 Xₜ=φXₜ₋₁+εₜ,若φ=0.8,冲击会逐步衰减;若φ=1则成为随机游走,冲击永久保留,方差随时间增长。
机制与推导步骤
- 假定创新独立、均值0、方差σ²。|φ|<1时递推展开为Σφʲεₜ₋ⱼ,几何级数收敛。
- 平稳方差v满足 v=φ²v+σ²,所以v=σ²/(1−φ²),滞后k自相关为φᵏ。
- 若φ=1,Xₜ=X₀+Σε,Var(Xₜ|X₀)=tσ²;水平不平稳。两条无关随机游走的水平回归可能出现伪相关。差分、协整与结构变化需要分别判断。
面试追问:白噪声与独立同分布是否等价?
不等价。白噪声通常只要求零均值、常方差和不同时刻不相关;可有更高阶依赖。收益无明显线性自相关,平方收益仍可能相关,表现为波动聚集。
高R²的价格水平回归可能只是共同趋势;平稳也不代表参数永远不变。训练期的均值方差不应借用未来。
识别线索与迁移:有效样本量、walk-forward、波动建模;先区分价格水平、差分、收益率和波动序列。
H · 预测分数不是最终收益
23 · 从信号到执行:期望、风险与交易成本
这节先认清:bp是基点,1bp=0.01%,所以4bp是0.04%。w是持仓比例,γ是你给风险惩罚的权重;(x)₊表示max(x,0)。soft-threshold即“先减去门槛,没超过就归零”,对应收益优势不足以覆盖成本时不交易。
信号预测下一期毛收益 4bp,完整往返交易成本 5bp,即使方向预测常常正确,直接交易的净期望仍为 −1bp。模型评估必须延伸到执行决策。
机制与推导步骤
- 定义单位头寸预期收益μ、风险方差σ²、成本c;线性成本下只有预测优势超过成本门槛才考虑交易。
- 若以 wμ−(γ/2)w²σ²−c|w| 为目标,对w>0求导,μ−γwσ²−c=0,得到正头寸(μ−c)/(γσ²),仅在μ>c时成立。
- 在负半轴同样推导;综合为 soft-threshold形式,|μ|≤c时w=0。真实市场还要加入库存、成交概率、冲击与容量约束。
面试追问:高准确率策略为何可能亏损?
收益幅度不对称:90%赚1,10%亏20,毛期望0.9−2=−1.1。再加费用更差。需看每笔条件收益、尾部、换手与执行,而非只看分类正确率。
上式是单期均值方差与线性成本的教学模型,不是通用最优策略。净收益应按实际可成交价格和完整成本计算。
识别线索与迁移:学习顺序为信号预测→执行决策→成交与成本→净收益;把数学结果落到可检验的业务量。
H · 非线性变换必须保留随机性
24 · Jensen不等式、对数增长与矩母函数
这节先认清:“凹”是向下弯,如log;平均输入后再取log,通常高于先逐项取log再平均。矩母函数不是新随机过程,只是把X变成e^(tX)后取平均的函数,t控制对大值的放大程度。Chernoff界再挑最有利的t,获得偏大概率的上界。
资产等概率涨50%或跌50%,算术平均收益是0,但长期反复投资的平均对数增长为[log1.5+log0.5]/2=log0.75/2≈−0.1438。均值为0不代表复利财富稳定。
机制与推导步骤
- 对凹函数log,Jensen给E[logW]≤logE[W];对凸函数则方向相反。这解释了波动为什么会降低期望对数增长。
- 对小收益r做Taylor展开log(1+r)≈r−r²/2,取期望约为μ−(σ²+μ²)/2;忽略μ²时常写μ−σ²/2,需明确是小收益近似。
- 矩母函数Mₓ(t)=E[e^(tX)]在0附近存在时,其导数给矩;独立和的矩母函数相乘,对数矩母函数相加。由Markov应用于e^(tX),可得P(X≥a)≤e^(−ta)Mₓ(t),再对t>0优化得到Chernoff上界。
再把中间一步算开:两种收益用两期财富也能核对:先涨50%再跌50%,1元变成1×1.5×0.5=0.75元,并未回到1元;顺序反过来也一样。期望对数增长是每期log乘数的平均,而log乘积又等于log之和,因此它对应长期复利的自然计量。
面试追问:正期望下注是否值得把全部财富投入?
不一定。若每次有正概率损失全部财富,对数效用会为负无穷。下注比例f改变增长率E[log(1+fR)];在简单二元赔率模型下可求Kelly比例,但它极敏感于胜率估计、相关性与尾部设定。
Taylor近似不适用于接近−100%的收益;并非所有分布都有矩母函数,lognormal的正t矩母函数即发散。
识别线索与迁移:风险厌恶、复利与Kelly、指数尾界;遇到非线性期望先问凸凹性,再考虑能否交换运算。
闭卷复习:检验是否真正掌握
- 任选一节,只凭标题复原例子的计算,不能只背最终数字。
- 把独立改成相关、把已知参数改成未知、把固定样本量改成停止规则,说明哪一步需要重写。
- 给出一个反例:解释公式在什么情况下不能用,再说可用的替代方法。
- 用两分钟把题目讲给同事:设定 → 核心工具 → 推导 → 数值检查 → 边界。
证据边界与资料索引
本套笔记是独立编写的教学路线和例题,不是公司真题转录,也不声称覆盖某家公司的所有题目。官方招聘材料只支持能力方向;每节的学习优先级是按概念依赖和迁移范围作出的教学判断,没有未经证实的考题频率排名。招聘流程与网页可能变化,适用范围以具体岗位与招聘方说明为准。
- Jane Street · Probability & Markets:官方明确列出概率、期望与做市等基础准备方向;不等于每一道题都会考。
- Jane Street · Interviewing:区分交易、研究与机器学习面试,研究与交易及工程能力交叉。
- Citadel · Quantitative Research FAQ:明确概率统计、数据分析、预测模型与编程能力。
- Citadel · QR interview process:强调编程、研究、数据结构算法与解释解题过程。
- MIT 6.041SC · Probabilistic Systems Analysis and Applied Probability:概率模型、离散/连续变量、随机过程、大数定律与推断的原始教学课程;适合作为推导与练习的进一步阅读。
- An Introduction to Statistical Learning · 作者官网:回归、重采样、多重检验等章节及免费教材入口。
- scikit-learn · Cross-validation:训练/验证/测试边界、预处理泄漏与时间序列验证。
公式中的默认假设在各节列出。市场数据的非平稳、重尾、依赖与执行成本会破坏课堂模型;数学例题的正确不构成策略可盈利证据。