这道题在问两件事：第一，函数每个点的斜率是多少；第二，斜率本身变化得快不快。softplus 里面有复合函数：外层是 \(\log(\cdot)\)，内层是 \(1+e^x\)。用链式法则，对外层求导得到“内层的倒数”，再乘内层导数 \(e^x\)。

这里 \(\sigma(x)\) 是 sigmoid 函数。为了求二阶导数，可以继续对 \(\sigma(x)\) 求导：

代入 \(x=0\)，先算 \(\sigma(0)=1/(1+e^0)=1/2\)，所以：

因为 \(0<\sigma(x)<1\)，所以 \(f''(x)>0\)，函数是凸的。凸的意思是曲线整体像碗一样向上弯，没有“向下凹”的局部区域。

再看它和 ReLU 的关系。ReLU 是 \(\max(0,x)\)：当 \(x<0\) 时输出 0，当 \(x>0\) 时输出 \(x\)。softplus 在两端也有类似行为：

不同点在 \(x=0\) 附近。ReLU 在 0 处有尖点，导数从 0 突然跳到 1；softplus 的导数从 0 平滑过渡到 1，所以优化时不会遇到不可导尖点。

Taylor 近似的想法是：在一个熟悉的点附近，用“函数值、斜率、曲率”拼出一个多项式，临时代替原函数。这里展开点是 \(0\)，函数是 \(g(x)=\log(1+x)\)。

先计算展开所需的导数：

二阶 Taylor 公式是：

代入上面的数值，得到：

先代入 \(x=0.05\)：

真实值 \(\log(1.05)\approx 0.04879\)，误差大约是 \(0.00004\)，很小。再代入 \(x=0.5\)：

真实值 \(\log(1.5)\approx 0.40547\)，误差大约是 \(0.03047\)，明显变大。原因不是 Taylor 公式错了，而是我们只保留到二阶，丢掉了后面的高阶项：

当 \(x=0.05\) 时，\(x^3\) 已经非常小；当 \(x=0.5\) 时，\(x^3/3\) 约为 \(0.04167\)，不能再忽略，所以二阶近似会低估真实值。

这是一个二元函数。变量有两个：\(x\) 和 \(y\)。求梯度时，分别问：“只动 \(x\)，函数怎么变？”以及“只动 \(y\)，函数怎么变？”这两个答案就是两个偏导。

对 \(x\) 求偏导时，把 \(y\) 当常数：

其中 \(x^2\) 对 \(x\) 的导数是 \(2x\)，\(2xy\) 对 \(x\) 的导数是 \(2y\)，\(3y^2\) 对 \(x\) 的导数是 0。对 \(y\) 求偏导时，把 \(x\) 当常数：

代入 \((1,-1)\)：

梯度 \((0,-4)\) 的意思是：在 \((1,-1)\) 附近，单独增加 \(x\) 的一阶影响为 0，增加 \(y\) 会让函数值快速下降，因为 \(y\) 分量的偏导是 \(-4\)。

方向导数要把梯度和单位方向做内积：

结果是负数，说明沿 \(u\) 方向走，函数值一开始会下降；绝对值 \(16/5\) 表示下降速度的大小。

最陡上升方向是梯度方向 \((0,-4)\) 的单位化，也就是 \((0,-1)\)。最陡下降方向是负梯度方向 \((0,4)\) 的单位化，也就是 \((0,1)\)。

驻点的定义是梯度为 0 的点。直觉上，在驻点处，一阶变化看不出函数往哪个方向立刻上升或下降。但这还不代表它一定是最小值，还要看二阶曲率。

先求梯度：

令梯度为 0：

两式同时除以 2，得到更简单的线性方程组：

用第二式减第一式，得到 \(y=-2\)，再代入 \(x+y=2\)，得到 \(x=4\)。所以驻点是 \((4,-2)\)。

接着求 Hessian，也就是把二阶偏导排成矩阵：

二维矩阵正定的快速判断是：左上角元素大于 0，行列式大于 0。这里：

所以 \(H\) 正定，驻点 \((4,-2)\) 是严格局部极小值。因为这是二次函数，并且 Hessian 在所有点都正定，所以它也是全局极小值。

没有约束时，\(x^2+y^2\) 的最小值在 \((0,0)\)，因为它表示点 \((x,y)\) 到原点距离的平方。但现在有约束 \(x+y=1\)，点必须落在这条直线上，不能随便取 \((0,0)\)。

Lagrange 方法把目标和约束写到同一个函数里：

这里 \(x+y-1=0\) 是约束。乘子 \(\lambda\) 可以理解成“约束的权重”或“为了不离开约束面，需要施加的修正力”。

分别对 \(x,y,\lambda\) 求偏导并令其为 0：

前两式说明 \(2x+\lambda=2y+\lambda\)，所以 \(x=y\)。再代入约束 \(x+y=1\)，得到：

最小值为：

如果还想求 \(\lambda\)，代入 \(2x+\lambda=0\)，得到 \(\lambda=-1\)。这个数本身不是目标值，而是描述约束对最优解的一阶影响。

目标函数 \(f(w)=(w-3)^2\) 的最小点显然是 \(w=3\)，因为此时平方项为 0。梯度下降不会直接“看答案”，它只用当前点的导数决定下一步怎么走。

先求导：

梯度下降更新式是：

学习率 \(\eta=0.1\) 时：

它在慢慢靠近 3。步子比较稳，但速度不快。

学习率 \(\eta=1\) 时：

它在 0 和 6 之间来回跳，永远不靠近 3。这不是因为方向错，而是步子太大，每次都跨过最小点同样远。

学习率 \(\eta=1.2\) 时：

离最优点越来越远，说明学习率过大时会发散。

这个例子还可以从误差 \(e_t=w_t-3\) 看得更清楚：

要收敛，需要 \(|1-2\eta|<1\)，也就是 \(0<\eta<1\)。\(\eta=0.1\) 满足条件，\(\eta=1\) 卡在边界震荡，\(\eta=1.2\) 超过边界发散。

这道题里的符号含义是：\(X\) 是数据矩阵，每一行是一条样本；\(w\) 是要学习的参数；\(Xw\) 是模型预测；\(y\) 是真实值；\(Xw-y\) 是残差，也就是预测错了多少。

先令残差 \(r=Xw-y\)，目标变成：

为什么前面放 \(\frac12\)？只是为了求导后抵消平方带来的 2，让公式更干净，不改变最优点。

用微分法推导最稳。因为 \(r=Xw-y\)，所以 \(dr=X\,dw\)。目标函数的微分为：

把 \(dw\) 放到右侧，并写成“某个向量转置乘 \(dw\)”的形式：

因此梯度是：

做一个小数值验证。取：

先算预测：

再算残差：

最后左乘 \(X^T\)：

所以 \(\nabla_w J(w)=(0,1)^T\)。如果用学习率 \(\eta=0.1\) 做一步梯度下降：

这表示当前第一维参数的一阶方向不需要动，第二维参数应该下降一点，以减小平方误差。