一元函数看的是一条线,多元函数看的是一个面。
一旦变量变多,问题就不再只是“往左还是往右”,而是“往哪个方向走”。这时,导数的概念会自然升级成梯度和 Hessian。
梯度告诉你方向
对于多元函数
$$ f(x, y) $$
它在点 $(x_0, y_0)$ 的梯度定义为
$$ \nabla f(x_0, y_0) = \left(\frac{\partial f}{\partial x}(x_0, y_0),\ \frac{\partial f}{\partial y}(x_0, y_0)\right). $$
梯度的方向,是函数增长最快的方向;梯度的模长,则表示增长最快的速度有多大。
这点很有意思。它不像普通的“斜率”那样只给你一个数字,而是直接给出一个方向场。
多元函数的局部线性近似
如果 $f$ 在点 $a$ 可微,那么局部可以写成
$$ f(\mathbf{x}) \approx f(\mathbf{a}) + \nabla f(\mathbf{a}) \cdot (\mathbf{x}-\mathbf{a}). $$
这和一元情况下的切线公式本质一致,只是现在切线变成了切平面。
这说明一个很重要的事实:即使函数本身很复杂,它在足够小的邻域里仍然可以被线性对象近似。
极值问题为什么离不开 Hessian
如果你只看一阶导数,能知道哪里可能有驻点:
$$ \nabla f(\mathbf{x}) = 0. $$
但驻点不等于极值点。要判断局部到底是最大值、最小值还是鞍点,还得看二阶信息。
对于二元函数,Hessian 矩阵可以写成
$$ H_f = \begin{pmatrix} \frac{\partial^2 f}{\partial x^2} & \frac{\partial^2 f}{\partial x \partial y} \\ \frac{\partial^2 f}{\partial y \partial x} & \frac{\partial^2 f}{\partial y^2} \end{pmatrix}. $$
它描述的是函数在局部的曲率结构。
如果 Hessian 正定,点附近像山谷;如果负定,像山峰;如果不定,往往是鞍点。
一个经典二次型
考虑
$$ f(x, y) = x^2 + y^2. $$
它的梯度是
$$ \nabla f(x, y) = (2x, 2y), $$
在原点处为零。Hessian 为
$$ H_f = \begin{pmatrix} 2 & 0 \\ 0 & 2 \end{pmatrix}, $$
显然正定,所以原点是局部最小值。
这个例子很简单,但它几乎就是多元极值理论的最小模型。
拉格朗日乘子法
如果极值问题还带着约束,就要用拉格朗日乘子法。
设约束为
$$ g(x, y) = 0, $$
那么在极值点附近,通常有
$$ \nabla f = \lambda \nabla g. $$
这表示目标函数的梯度和约束曲面的法向量平行。
换句话说,真正的最优点,不是随便找出来的,而是目标函数和约束条件在几何上发生了平衡。
结尾
多元函数的核心,不只是“变量变多了”,而是几何结构开始变得主导。
梯度告诉你怎么走,Hessian 告诉你地形是什么,拉格朗日乘子告诉你在约束下怎样找平衡。
这套语言,是高等数学里最接近真实优化问题的一部分。
评论