机器学习基石笔记：11 Linear Models for Classification、LC vs LinReg vs LogReg、OVA、OVO

原文地址：https://www.jianshu.com/p/6f86290e70f9

一、二元分类的线性模型

线性回归后的参数值常用于PLA/PA/Logistic Regression的参数初始化。

二、随机梯度下降

两种迭代优化模式：

若利用全部样本 ------> 利用随机的单个样本，则梯度下降 ------> 随机梯度下降。

SGD与PLA的相似性：

当迭代次数足够多时，停止。步长常取0.1。

三、使用逻辑回归的多分类问题

是非题 ------> 选择题：

每次识别一类A，将其他类都视作非A类。

结果出现问题。

将是不是A类变为是A类的可能性。由硬分类变为了软分类。

分别计算属于某类的概率，取概率值最大的类为最后的分类结果。

OVA总结：
注意每次计算一类概率时都得利用全部样本。

四、使用二元分类的多分类问题

OVA经常不平衡，即属于某类的样本过多时，分类结果往往倾向于该类。
为更加平衡，使用OVO。
OVA保留一类，其他为非该类，每次利用全部样本；
OVO保留两类，每次只利用属于这两类的样本。

通过投票得出最终分类结果。

OVO总结：

OVA vs OVO：