【大数据技术能力提升_4】logistic学习

logistic学习

标签（空格分隔）： logistic sigmod函数 逻辑回归 分类

---

前言：
  整体逻辑回归比线性回归难理解点，其还需要《概率论与数理统计》中“二项分布”知识点的理解。
  二项分布的公式：\(P(X=k)=\left\lgroup\begin{matrix}n\cr p \end{matrix}\right\rgroup p^k (1-p)^{n-k},0<p<1,k=0,1,\cdots,n.\)
  表示在n重伯努利A实验中，发生K的概率为多少。跟n次硬币实验一致。
简介：
  logistic回归又称logistic回归分析，是一种广义的线性回归分析模型，常用于数据挖掘，疾病自动诊断，经济预测等领域。例如，探讨引发疾病的危险因素，并根据危险因素预测疾病发生的概率等。以胃癌病情分析为例，选择两组人群，一组是胃癌组，一组是非胃癌组，两组人群必定具有不同的体征与生活方式等。因此因变量就为是否胃癌，值为“是”或“否”，自变量就可以包括很多了，如年龄、性别、饮食习惯、幽门螺杆菌感染等。自变量既可以是连续的，也可以是分类的。然后通过logistic回归分析，可以得到自变量的权重，从而可以大致了解到底哪些因素是胃癌的危险因素。同时根据该权值可以根据危险因素预测一个人患癌症的可能性。
Regression 常规步骤

1. 寻找h函数（即预测函数）
2. 构造J函数（损失函数）
3. 想办法使得J函数最小并求得回归参数（θ）

公式：

1. Logistic函数（或称为Sigmoid函数），函数形式为：\(g(z)=\frac{1}{1+e^x}\)
2. 线性边界函数：z=\(\theta^Tx=\theta_0x_0+\theta_1x_1+\cdots+\theta_nx_n=\sum_{i=0}^{n}{\theta_ix_i}\)
3. 构造预测函数：\(h_\theta(x)=g(\theta^Tx)=\frac{1}{1+e^{\theta^Tx}}\)
   注：函数h(x)的值有特殊的含义，它表示结果取1的概率，因此对于输入x分类结果为类别1和类别0的概率分别为：
   P(y=1│x;θ)=h_θ (x)
   P(y=0│x;θ)=1-h_θ (x)
4. 构造损失函数：\(J(\theta)=-\frac{1}{m}\left[\begin{matrix}\sum_{i=1}^{m}{(y_ilogh_{\theta}(x_i)+(1-y_i)log(1-h_{\theta}(x_i)))}\end{matrix}\right]\)

如果 y = 0, 则最小似然函数为：\(-log(1-h_{\theta}(x))\)
如果 y = 1, 则最大似然函数为：\(-logh_{\theta}(x)\)

1. 求解逻辑归回的方法有很多种，比如常用的“梯度下降法”和“牛顿法”
   5.1 梯度下降法，是通过对\(J(\theta)\)进行一阶求导来寻找下降方法，并且用迭代的方法来更新参数，更新公式：
   \(\theta_j:=\theta_j-\alpha\frac{\delta}{\delta_{\theta_j}}J(\theta)=\theta_j-\frac{1}{m}\sum_{i=1}^{m}({h_{\theta}(x_i)-y_i)x^j_i}\)
   5.2 牛顿法，是在现有极小点估计值的附近对 f(x) 做二阶泰勒展开，进而找到极小点的下一个估计值。

PS：本篇只讲梯度下降法，牛顿法后面再加，另外具体函数推导方式会在后面以图片的形式加上来

参考文档：
机器学习算法--逻辑回归原理介绍：https://blog.csdn.net/chibangyuxun/article/details/53148005
【机器学习】逻辑回归（非常详细）：https://zhuanlan.zhihu.com/p/74874291