拉格朗日乘数法和 KTT条件

预备知识

令 $X$ 表示一个变量组(向量) $(x_1, x_2, \cdots, x_n)$
考虑一个处处可导的函数 $f(X)$, 为了方便描述, 这里以二元函数为例
对于微分, 考虑在初始点处固定x移动y产生的变化量, 是和先将x移动dx,然后固定x移动y产生的变化量是相等的
那么有全微分公式 $df = \frac{\partial f}{\partial x}dx + \frac{\partial f}{\partial y}dy$
定义 $\nabla f(x, y)$ 为点 $(x, y)$ 上的梯度方向向量(平面上的这些向量构成一个向量场)
梯度方向向量指向让$df$最大的方向. 也即使 $(\frac{\partial f}{\partial x},\frac{\partial f}{\partial y})\cdot(dx, dy)$ 最大的 $(dx, dy)$
要投影最长, 同向自然最优, 因此偏导组成的向量$(\frac{\partial f}{\partial x},\frac{\partial f}{\partial y})$就是梯度方向向量
同理考虑 $df=0$ 的方向(等高线), 投影为0, 这说明等高线的方向与梯度的方向垂直
高维的情况同理

拉格朗日乘数法

考虑这么一个问题:
$~~\max f(X)$
$s.t.~~g_k(X) = 0, \forall k \in [1,m]$

考虑 $f(X)$ 在什么时候取得局部极大值:
考虑往某个方向微移, 若满足这样移动不影响任何一个 $dg$, 那么必须要有 $df=0$
否则如果存在 $df\neq 0$ , 必然 $<0, >0$ 都会出现 (考虑反向微移), 就不是局部极值点了
考虑把 $dx_1, dx_2,\cdots dx_n$ 这种东西看作变量
把 $\nabla g_1, \nabla g_2, \cdots \nabla g_m$ 以及 $\nabla f$ 都横着放在矩阵里看作若干个方程
之前的条件就等价于: 前 $m$ 条方程蕴含了最后一条方程
也即 $\nabla f$ 可以被 $\nabla g_1\cdots \nabla g_m$ 线性表示

令$L(X,\Lambda) = f(X) + \sum_{k=1}^m \lambda_k g_k(X)$
我们只需求解 $\nabla L(X,\Lambda) = 0$ 即可

这样我们对 $n$ 个变量分别求偏导即可得到 $n$ 个方程
加上 $g$ 的 $m$ 个方程 (恰好是对$\lambda$分别求偏导)
总共 $n+m$ 个方程.

KKT条件

考虑这么一个问题:
$~~\max f(X)$
$s.t.~~h_k(X)\ge 0, \forall k \in [1, m]$

令 $L(X, \Lambda) = f(x) + \sum_{k=1}^m \lambda_k h_k(X), \lambda_k \ge 0$

因为$\lambda\ge 0, h\ge 0$, 所以 $f(X) = \min_{\Lambda\ge 0} L(X,\Lambda)$
原问题等价于 $\max_X \min_{\Lambda\ge 0} L(X,\Lambda)$

考虑对偶问题 $\min_{\Lambda\ge 0}\max_X L(X, \Lambda)$
显然$L(X, \Lambda)\ge f(X)$, 则有 $\max_X L(X, \Lambda) \ge \max f(X)$
对偶问题对所有的这些值取 $\min$, 仍然是 $\ge \max f(X)$

设原问题极值点在 $X^{*}$, 对偶问题极值点在 $\Lambda^{*}$
则有 $\max_X L(X, \Lambda^{*}) \ge f(X^{*}) + \sum_{k=1}^m \lambda^{*}_k h_k(X) \ge f(X^{*})$
假设强对偶性满足, 上面的不等号都要变成等号
限制了 : $\lambda^{*}_k h_k(X) = 0$ 以及 $\nabla L(X^{*}, \Lambda^{*})=0$

结论好记: KTT条件只比拉格朗日乘数多了两个限制, $\lambda_k h_k(X) = 0, \lambda_k\ge 0$
在哪些问题上满足强对偶性, 详见wiki
自己姿势水平不够, 这个坑可能不那么快能填上了

另外, 考虑如果在原问题加上等式限制, 就再补上拉格朗日乘数即可, 不难发现, 不影响这里的证明