机器学习之感知器和线性回归、逻辑回归以及SVM的相互对比

线性回归是回归模型

感知器、逻辑回归以及SVM是分类模型

线性回归：f(x)=wx+b

感知器：f(x)=sign(wx+b)其中sign是个符号函数，若wx+b>=0取+1，若wx+b<0取-1

它的学习策略是最小化误分类点到超平面的距离，

逻辑回归：f(x)=sigmoid(wx+b)取值范围在0-1之间。

感知器和SVM的对比：

它俩都是用于分类的模型，且都以sign符号函数作为分类决策函数。但是感知器只适用于线性可分的数据，而SVM可以通过核函数处理非线性可分的数据。拿感知器和线性可分支持向量机对比，他们的目标都是希望找到一个超平面能把数据分开，同时分类决策函数使用的都是sign符号函数，不同之处在于优化目标不同，感知机是通过最小化误分类点到超平面的距离来对参数进行优化，从而确定这个超平面，而SVM是通过最大化支持向量距离超平面这个最小距离来对参数进行优化。

Logistic和SVM的区别：

SVM分为线性可分支持向量机，线性支持向量机以及非线性可分支持向量机，它还适用于对非线性可分的数据进行分类。Logistic回归一般用于处理线性可分的数据。这里进行线性可分支持向量机和Logistic回归的对比，SVM的目标是希望找到一个超平面能把数据分开，以sign符号函数作为分类决策函数，通过最大化支持向量距离超平面这个最小距离来对参数进行优化。逻辑回归假设数据服从伯努利分布,以最大化条件概率为学习策略（优化目标），以对数似然函数为损失函数，运用梯度下降法来优化参数，以sigmoid函数作为分类决策函数。