拉格朗日乘子法（Lagrange Multiplier）和KKT条件

拉格朗日乘子法：对于等式约束的优化问题，求取最优值。

KKT条件：对于含有不等式约束的优化问题，求取最优值。

最优化问题分类：

（1）无约束优化问题：

　　常常使用Fermat定理，即求取的导数，然后令其为零，可求得候选最优值。

（2）有等式约束的优化问题：，

　　使用拉格朗日乘子法，把等式约束用一个系数与写为一个式子，称为拉格朗日函数。再通过对各个参数求取导数，联立等式进行求取最优值。

　(3)有不等式约束的优化问题。，，.

　　把所有的不等式约束、等式约束和目标函数全部写为一个式子：。

　　KKT条件的最优值必须满足以下条件：

　　1、对求导为零；

　　2、

　　3、。