coursera机器学习-logistic回归，正则化

#对coursera上Andrew Ng老师开的机器学习课程的笔记和心得；

#注:此笔记是我自己认为本节课里比较重要、难理解或容易忘记的内容并做了些补充，并非是课堂详细笔记和要点；

#标记为<补充>的是我自己加的内容而非课堂内容，参考文献列于文末。博主能力有限，若有错误，恳请指正；

#---------------------------------------------------------------------------------#

logistic function(sigmoid function):g(z) = 1/(1 + e^-z)，z是一个实数;

我们的预测函数是：；

logistic函数的图形：

, z>0时，g(z)>0.5;z<0时，g(z)<0.5;

#---------------------------------------------------------------------------------#

Cost function for logistic regression

;

线性回归的Cost function:

,

也可以写成:

;

如果我们使用这个函数作为逻辑回归的代价函数，那么它是非凸函数，不利于最优化；

逻辑回归代价函数的凸函数版本:

,

，，纵坐标为Cost function；

将上世合并得最终使用的代价函数: cost(h_θ, (x),y) = -ylog( h_θ(x) ) - (1-y)log( 1- h_θ(x) );

使逻辑回归代价函数最小化:

#---------------------------------------------------------------------------------#

Advanced optimization:conjugate gradient,BFGS,L-BFGS;

用这写方法的优点：

1,No need to manually pick alpha (learning rate);

2,Often faster than gradient descent;

3,Can be used successfully without understanding their complexity;

缺点:

1,Could make debugging more difficult;

2,Should not be implemented themselves;

3,Different libraries may use different implementations - may hit performance;

#---------------------------------------------------------------------------------#

多元分类问题

方法: 使用一对多的方法逐项分类，每次分出一个类;

;

还有一对一的方法，这两种方法的优缺点可见台湾大学机器学习第六周第十一讲的内容；

#---------------------------------------------------------------------------------#

过拟合问题：

underfit <=> higher bias;

overfit <=> higher variance, =>unable to generalize (apply to new examples)，即不能用来做预测;

;

如何处理过拟合?

1) 减少特征数量

可用人工选择要保留的特征;

也可用模型来选择特征;

减少特征会失去一些信息，即使特征选的很好;

2) 正则化(Regularization)

保留所有特征，但减少θ的大小;

当我们有很多特征时，这个方法非常有效;

<补充>模型选择的典型方法是正则化。正则化是结构风险最小化策略的实现，是在经验风险上加一个正则化项(regularizer)或惩罚项(penalty term)。正则化项一般是模型复杂度的单调递增函数，模型越复杂，正则化项就越大；

<补充>正则化的作用是选择经验风险最小和模型复杂度同时较小的模型；从贝叶斯估计的角度来看，正则化项对应于模型的先验概率；

#---------------------------------------------------------------------------------#

正则化的代价函数最优化

;

;

;

λ 是正则化参数;使得某几项θ变的很小；

如果λ很大，那么所有的θ参数都会变得很小，造成 underfitting,bias;

#---------------------------------------------------------------------------------#

线性回归的正则化

;

,

也即是

;

Regularization with the normal equation

；

逻辑回归的正则化

；

#---------------------------------------------------------------------------------#

Advanced optimization of regularized linear regression

；

#---------------------------------------------------------------------------------#

参考文献:

《统计学习方法》，李航著；

coursera: standford machine learning, by Andrew Ng；

coursera: 台湾大学機器學習基石，by 林軒田;