SVM 与 LR的异同

LR & SVM 的区别

相同点

1. LR和SVM都是分类算法。
2. 如果不考虑核函数，LR和SVM都是线性分类算法，也就是说他们的分类决策面都是线性的。
3. LR和SVM都是监督学习算法。
4. LR和SVM都是判别模型。

不同点

1. 损失函数不一样
2. 支持向量机只考虑局部的边界线附近的点，而逻辑回归考虑全局（远离的点对边界线的确定也起作用）。
3. 在解决非线性问题时，支持向量机采用核函数的机制，而LR通常不采用核函数的方法在计算决策面时，SVM算法里只有少数几个代表支持向量的样本参与了计算，也就是只有少数几个样本需要参与核计算（即kernal machine解的系数是稀疏的）。然而，LR算法里，每个样本点都必须参与决策面的计算过程，也就是说，假设我们在LR里也运用核函数的原理，那么每个样本点都必须参与核计算，这带来的计算复杂度是相当高的。所以，在具体应用时，LR很少运用核函数机制。
4. 线性SVM依赖数据表达的距离测度，所以需要对数据先做normalization，LR不受其影响。
5. SVM的损失函数就自带正则