最近开始学习机器学习的相关理论知识,准备把自己的整个学习心得整理汇集成博客,一来可以督促自己,二来可以整理思路,对问题有一个更加透彻的理解,三来也可以放在网上和大家分享讨论,促进交流。

由于这次的学习过程主要是以数学理论以及对应的编程为主,因此,整个过程中,我将以Kaggle上的Titanic上的数据作为练习背景。

今天以logistic regression为主,主要包括理论部分以及对应的编程实验结果。

理论部分

logistic regression主要应用于二值分类问题,首先我们需要引入伯努利分布的概念。

  • 伯努利分布又称两点分布或者是0-1分布
  • 伯努利实验是只有两种可能结果的单次随机实验  
  • 进行一次伯努利实验,成功(y=1)的概率为p, 失败(y=0)的概率为1-p,则称随机变量y服从伯努利分布
  • 伯努利分布的离散概率分布函数可以表达为
  • 这里可以参考一下http://blog.csdn.net/michael_r_chang/article/details/39188321,有关于伯努利分布,二项分布,多项分布的基本介绍。

有了上述概念之后,我们可以引入logistic regression的基本概念。logistic regression认为,在我们对两类事物进行分类的时候(如y=1和y=0),若出现特征x,则

上式即所谓的logistic分布或者是sigmoid分布,其一般通式为

注意

logtistic回归的任务是给定一系列的训练样本集合,并假设y=1发生的概率可以由logistic分布来进行表达,求出模型系数以便进行将来的预测。

上述问题可以通过极大似然估计来进行求解,即

经过负对数变换之后,即可最小化如下公式

利用最速下降算法,在第k次迭代处的梯度可以表示为

因此系数可以进行如下更新:

实验部分:

  • 如果每次只随机选择其中的某一个样本计算梯度并进行模型更新,就是所谓的随机梯度下降算法(stochastic gradient descent)
  • 如果每次选择多个样本同时计算梯度并进行模型更新,就是所谓的mini-batch算法
  • 如果每次选择所有的样本计算梯度并进行模型更新,就是所谓的batch descent算法

实验中我们将研究batch数目(即将所有的样本均分成多少份进行梯度计算)以及迭代步长对速度的影响

如上图所示,迭代步长和batch数目对收敛速度都有很大的影响,一般来说,迭代步长越大,batch数目越多,速度就越快,但是当迭代步长和batch数目同时过大的时候,算法会出现不稳定的情况,如上图的蓝实线所示。

关于迭代步长的影响很好理解,因为最速下降中,每一次沿着梯度方向走的太短,则需要很多步才可以对模型产生足够的更新,反之,如果每一次沿着梯度方向走得太远,则可能超过了当前所能够走的最大距离,目标函数不一定变小。

关于batch数目的影响,总的来说,是希望利用每一个小样本子集所计算出来的梯度和利用全部样本的所计算出来的梯度方向近似,如此便可以利用相对小的计算量达到足够准确的梯度方向,从而减少计算时间。但是如果batch数目过多,则每个子集中的样本过少,无法进行有效近似,也就是近似梯度方向不够准确和稳定,从而出现上述的不稳定现象。

可以考虑在迭代过程中不断地减小迭代步长和batch数目来进行综合,确保开始的快速减小和后来的算法稳定性。

注意:在利用梯度方向进行更新的时候,最好对计算出来的梯度进行归一化,便于选择迭代步长。

logistic regression浅析的更多相关文章

  1. 逻辑回归 Logistic Regression

    逻辑回归(Logistic Regression)是广义线性回归的一种.逻辑回归是用来做分类任务的常用算法.分类任务的目标是找一个函数,把观测值匹配到相关的类和标签上.比如一个人有没有病,又因为噪声的 ...

  2. logistic regression与SVM

    Logistic模型和SVM都是用于二分类,现在大概说一下两者的区别 ① 寻找最优超平面的方法不同 形象点说,Logistic模型找的那个超平面,是尽量让所有点都远离它,而SVM寻找的那个超平面,是只 ...

  3. Logistic Regression - Formula Deduction

    Sigmoid Function \[ \sigma(z)=\frac{1}{1+e^{(-z)}} \] feature: axial symmetry: \[ \sigma(z)+ \sigma( ...

  4. SparkMLlib之 logistic regression源码分析

    最近在研究机器学习,使用的工具是spark,本文是针对spar最新的源码Spark1.6.0的MLlib中的logistic regression, linear regression进行源码分析,其 ...

  5. [OpenCV] Samples 06: [ML] logistic regression

    logistic regression,这个算法只能解决简单的线性二分类,在众多的机器学习分类算法中并不出众,但它能被改进为多分类,并换了另外一个名字softmax, 这可是深度学习中响当当的分类算法 ...

  6. Stanford机器学习笔记-2.Logistic Regression

    Content: 2 Logistic Regression. 2.1 Classification. 2.2 Hypothesis representation. 2.2.1 Interpretin ...

  7. Logistic Regression vs Decision Trees vs SVM: Part II

    This is the 2nd part of the series. Read the first part here: Logistic Regression Vs Decision Trees ...

  8. Logistic Regression Vs Decision Trees Vs SVM: Part I

    Classification is one of the major problems that we solve while working on standard business problem ...

  9. Logistic Regression逻辑回归

    参考自: http://blog.sina.com.cn/s/blog_74cf26810100ypzf.html http://blog.sina.com.cn/s/blog_64ecfc2f010 ...

随机推荐

  1. 个人博客作业Week2 是否需要有代码规范

    问题:是否需要有代码规范 对于是否需要有代码规范,请考虑下列论点并反驳/支持: 1.这些规范都是官僚制度下产生的浪费大家的编程时间.影响人们开发效率, 浪费时间的东西. 2.我是个艺术家,手艺人,我有 ...

  2. 语音笔记:CTC

    CTC全称,Connectionist temporal classification,可以理解为基于神经网络的时序类分类.语音识别中声学模型的训练属于监督学习,需要知道每一帧对应的label才能进行 ...

  3. Freemaker的了解

    freemarket 模板技术 与web容器没什么关系 可以用struct2作为视图组件   第一步导入jar包 项目目录下建立一个templates目录 在此目录下建立一个模板文件a.ftl文件   ...

  4. Vue中常用的三种传值方式

    父传子 父子组件的关系可以总结为prop向下传递,事件向上传递.父组件通过prop给子组件下发数据,子组件通过事件给父组件发送消息. 父组件: <template> <div> ...

  5. loadrunner基础学习笔记五-场景

    场景目标:模拟10家旅行社同时登录.搜索航班.购买机票.查看航班路线并退出 负载测试是指在典型工作条件下测试应用程序,例如:多家旅行社同时在同一个机票预订系统中预订机票 controller提供所有用 ...

  6. js 实现List

    js 实现List 列表是一组有序的数据.每个列表中的数据项称为元素.在 JavaScript 中,列表中的元素可以是任意数据类型. 我们可以根据数组的特性来实现List. List 抽象数据类型定义 ...

  7. Quartz.Net—MisFire

    什么是misfire misfire就是哑火,就是trigger没有得到正常的触发. 1.所有的threadpool都在工作,而且工作时间很长,导致trigger没有threadpool去执行. 2. ...

  8. codeforces146A

    Lucky Ticket CodeForces - 146A Petya loves lucky numbers very much. Everybody knows that lucky numbe ...

  9. c++ 可变参数模板

    可变参数模板,自己尝试了个例子,如下: // variadicTemplates.cpp : 定义控制台应用程序的入口点. // #include "stdafx.h" #incl ...

  10. Linux 文本处理工具grep,sed,awk

    grep.sed和awk都是文本处理工具,虽然都是文本处理工具单却都有各自的优缺点,一种文本处理命令是不能被另一个完全替换的,否则也不会出现三个文本处理命令了.只不过,相比较而言,sed和awk功能更 ...