logistic分类

对Logistic回归模型，个人做的一些总结：

公式就不套用了，教材上面基本都有而且详细。logistic回归用图形化形式描述如下：

logistic回归是一种简单高效的分类模型，它不仅可以通过学习来预测样本的类别，还可以得到样本属于各个类别的概率信息。因此在机器学习中得到了及其广泛的应用。

同时，它还有比较与其他模型的一些优点：

（1）logistic回归模型是线性模型，线性模型的优势是稳定性强，求解简单。但通常情况下，线性回归拟合得到的输出范围是不确定的，可以从负无穷至正无穷的区间范围内，输出的“不确定性”给分类问题提出了很大的挑战。logistic回归模型汲取了一般线性模型的优点，同时由于增加了Sigmoid函数，因此将输出范围限定在了0-1区间，而最终的输出可以看作是输入的条件概率分布。因此具有很好的实用性和可解释性。

（2）模型求导方便，使用简单的求导法则即可完成模型的求导，因此很多教材/教程都将该模型作为了入门学习的模型，受众广大/使用简单。相比于神经网络／SVM等模型，对于应用者来说是拿来就可以用的起的模型。

（3）模型是基于统计学的，在二分类情况下，假设样本服从伯努利分布后最大化极大似然函数进行推导的结果，这一部分可以参考斯坦福大学的资料，因此是具备足够理论支撑的模型。

（4）同样是计算过程简单，对于现在互联网行业中轻则百万千万的样本量的输入来说，使用起来是低成本的，同时迭代起来也快。

（5）对于小样本量来说，logistic模型训练参数的个数与输入维数是基本一致的，在前期进过降维和特征选择之后，输入的特征并不会太多，因此需要训练的参数个数相比其他模型来说相对较少，过拟合的程度相对还好。

（6）处理多分类问题，可以使用one to all的方法训练多个分类器，在神经网络处理多分类问题时，最终输出结果通常会使用softmax函数，可以看作是logistic模型的广义推广。

欢迎同行指正和补充。