Coursera-吴恩达机器学习课程笔记-Week3

logistic regression

Binary classification problems

logistic regression 是一个分类算法

Hypothesis function

decision boundary 决策边界

与线性回归算法类似，先了解logistic回归算法的表达式

然后是它的cost function

代价函数本质上就是对每一个训练样本计算真实值和预测值的差距，差距大则代价函数的取值也大(这就是对算法的大惩罚)；反之，预测值接近真实值，代价函数也小。下面的函数满足这个条件：

整理得到：

最后用梯度下降min代价函数可以求参

其他最小化代价函数的方法(高级优化)

Conjugate gradient(共轭梯度法)、BFGS (变尺度法) 和L-BFGS (限制变尺度法) 等方法可以用来代替梯度下降法来最小化logistic回归的代价函数。

下面是这些高级方法的优点和缺点：

Multi-class classification problems

面对多分类问题， 同样用logistic回归算法。

有n个分类，就用n个logistic回归分类器，每一次把一个类和其他类看作二元分类，进行n次就可以解决多分类问题。

算法模型训练过后一般会有两种情况：

• 欠拟合 underfitting ——高偏差 high bias
• 过拟合 overfitting ——高方差 high variance -> 泛化能力差

正则化(Regularization)

如何解决过拟合问题：

1. 舍弃一些不能帮助我们正确预测的特征。可以是手工选择保留哪些特征，或者使用一些模型选择的算法来帮忙（例如PCA）
2. 正则化。 保留所有的特征，但是减少参数的大小（magnitude）。

正则化：在代价函数里加入正则化项。对部分特征参数加入惩罚，使他们参数值接近0。

正则化的线性回归

最小化线性回归的cost function有两种方式：梯度下降和正规方程。

下面是梯度下降的方式：

上面矩阵的尺寸是(n+1)*(n+1)

正则化的logistic回归

正则化后的函数：

正则化总结

无论是对线性回归还是logistic回归。正则化都是在原有的cost function里加入新的正则项来惩罚一些参数(降低参数大小)，然后在根据新的cost function利用梯度下降或其他优化方法来最小化代价函数。