Coursera台大机器学习课程笔记9 -- Logistic Regression

如果只想得到某种概率，而不是简单的分类，那么该如何做呢？在误差衡量问题上，如何选取误差函数这段很有意思。

接下来是如何最小化Ein，由于Ein是可凸优化的，所以采用的是梯度下降法:只要达到谷底，就找到了最优解。与PLA对比发现，

logistic regression的梯度下降其实也是调整错分的w（错分有较大权重）.

当采用梯度下降法时，发现Ein是非线性，所以不能像linear regression那样，直接得到闭式解，于是采用了小技巧将其转为线性。于是可以得到最优的方向。

关于步长的选择，过大过小都不好，理想的方式是采用可变的步长：当梯度过大时，采用大步长；当梯度很小时，采用小步长。

参考：http://beader.me/mlnotebook/section3/logistic-regression.html

http://www.cnblogs.com/ymingjingr/p/4330304.html