LR基础理论详解

本人参考了大神的博客(https://blog.csdn.net/cyh_24/article/details/50359055)，写的非常详细，在此整理一下要点

逻辑斯蒂分布

• 基础公式了解

  二项逻辑回归模型

• w为参数

• 了解几率、对数几率

  （输出Y=1的对数几率是由输入x的线性函数表示的模型，这就是 逻辑回归模型。当 w⋅x的值越接近正无穷，P(Y=1|x) 概率值也就越接近1。）

参数化的模型求解

• 似然函数、对数似然函数、单点对数似然损失

  （最大化似然函数和最小化对数似然损失函数实际上是的等价的）

• 梯度下降法求极值

  关于不同优化算法的比较可参考我的另一篇博客(https://www.cnblogs.com/wujingqiao/p/9559969.html)

LR正则化

• 详见大神博客：https://blog.csdn.net/jinping_shi/article/details/52433975

  • L0范数：向量中非零元素的个数

  • L1范数：向量中各个元素的绝对值之和

  • L2范数：向量各元素的平方和然后开方

• L1(稀疏规则算子Lasso regularization)：L1正则化是指权值向量w中各个元素的绝对值之和，通常表示为||w||1

  通过L1范数来近似L0范数，能够实现特征的自动选择：大部分特征输入和输出之间并没有多大关系。在最小化目标函数的时候考虑到这些额外的特征，虽然可以获得更小的训练误差，但在预测新的样本时，这些没用的信息反而会干扰了对正确的预测。稀疏规则化算子的引入就是为了完成特征的自动选择，它会学习地去掉这些没有信息的特征，也就是把这些特征对应的权重置为0。

• L2(岭回归Ridge Regression)(权值衰减weight decay)：L2正则化是指权值向量w中各个元素的平方和然后再求平方根（可以看到Ridge回归的L2正则化项有平方符号），通常表示为||w||2

  使得 w 的每个元素都很小，都接近于0，但与 L1 范数不同，它不会让它等于0，而是接近于0，而越小的参数说明模型越简单，越简单的模型则越不容易产生过拟合现象(奥卡姆剃刀Occam’s razor原理)。拟合过程中通常都倾向于让权值尽可能小，最后构造一个所有参数都比较小的模型。因为一般认为参数值小的模型比较简单，能适应不同的数据集，也在一定程度上避免了过拟合现象。可以设想一下对于一个线性回归方程，若参数很大，那么只要数据偏移一点点，就会对结果造成很大的影响；但如果参数足够小，数据偏移得多一点也不会对结果造成什么影响，专业一点的说法是『抗扰动能力强』。

• L1会趋向于产生少量的特征，而其他的特征都是0，而 L2 会选择更多的特征，这些特征都会接近于0。

  L2正则化可以防止模型过拟合（overfitting）；一定程度上，L1也可以防止过拟合

为什么逻辑回归比线性回归要好？

(ps：某大神言论：LR和线性回归不适用于一类问题，没有可比较性。初学者就当做比较二者的不同吧)

• 虽然逻辑回归能够用于分类，不过其本质还是线性回归。它仅在线性回归的基础上，在特征到结果的映射中加入了一层sigmoid函数（非线性）映射，即先把特征线性求和，然后使用sigmoid函数来预测。

• 线性回归在整个实数域内敏感度一致，而LR将输出规范到[0,1]之间，减小了预测范围。

逻辑回归与最大熵模型MaxEntropy的关系

• 逻辑回归是最大熵对应类别为二类时的特殊情况，也就是当逻辑回归类别扩展到多类别时，就是最大熵模型。

LR模型的数据缺失值填充问题

• 特征缺失(一般采用0填充)

  • 这样该特征的系数将不做更新，所以更新时不会影响系数的值

  • sigmoid(0)=0.5，即它对结果的预测不具有任何倾向性，因此不会对误差项造成任何影响。(所以LR实际数据的特征值一般不为0，0用来填充缺失值或无效数据)

• 类标签缺失

  • 类标签与特征不同，很难确定采用某个合适的值来替换，简单做法就是将其丢弃。(适用于LR，不适用与KNN)