既《Machine Learning》课程后,Andrew Ng又推出了新一系列的课程《DeepLearning.ai》,注册了一下可以试听7天。之后每个月要$49,想想还是有点贵,所以能听到哪儿算哪儿吧...

Week one主要讲了近年来为啥Deep learning火起来了,有时间另起一贴总结一下。

Week two回顾了Logistic Regression(逻辑回归)。虽然它听上去已经不是一个陌生的概念了,但是每次想起时还是会迟疑一下,所以干脆记录一发备忘。

1. 逻辑回归虽然名字起的是回归,实则是一个用于二分类的方法。

2. 逻辑回归和线性回归的区别与联系

  2.1 区别

  逻辑回归是分类方法,线性回归是回归方法。

  2.2 联系

  逻辑回归的函数包含了线性回归的形式。具体来说,逻辑回归的公式为:\(y=\sigma(w^{T}x+b)\),其中\(w^Tx+b\)就是线性回归的形式,而\(\sigma(z)\)是一个sigmoid函数,这个函数可以把\(z\)放缩到0~1的区间。

3. 逻辑回归为什么要有一个\(\sigma(z)\)

试想我们使用\(y=w^Tx+b\)来作为输出值,如果没有对输入的特征\(x\)包括参数\(w\)做任何的限制,那么\(y\)理论上是可以任意大或任意小的,这就使得在做判别的时候更困难了(因为不知道\(y\)的极限值在哪里)。如果用了\(\sigma(z)\)做一个放缩,把\(y\)放缩到0~1后,做判别的时候只需要简单地设置一个阈值0.5就可以了。

4. Loss function的形式

从这一页slide中可以看出,Loss function是如下定义的:

\[ L(\hat y, y) = -(y\log \hat y + (1-y)\log(1-\hat y))\]

为什么不定义成square error,\(\frac 1 2 (y-\hat y)^2\)? Andrew的解释是因为后者在最优化过程中是非凸的,用梯度下降求解参数时不能够保证找到全局最优。而前者是可以保证使用梯度下降是能找到全局最优解的。可以参见slide中右侧的那两个曲线图。

5. 术语定义Terminology

以前不太区分这两个概念。在Andrew的视频中,Loss function是针对某一个样本来说的;Cost function是针对所有样本来说的。后者是前者的一个平均。



(来源于课程讲义)

Coursera DeepLearning.ai Logistic Regression逻辑回归总结的更多相关文章

  1. 【原】Coursera—Andrew Ng机器学习—Week 3 习题—Logistic Regression 逻辑回归

    课上习题 [1]线性回归 Answer: D A 特征缩放不起作用,B for all 不对,C zero error不对 [2]概率 Answer:A [3]预测图形 Answer:A 5 - x1 ...

  2. Logistic Regression(逻辑回归)(二)—深入理解

    (整理自AndrewNG的课件,转载请注明.整理者:华科小涛@http://www.cnblogs.com/hust-ghtao/) 上一篇讲解了Logistic Regression的基础知识,感觉 ...

  3. Logistic Regression逻辑回归

    参考自: http://blog.sina.com.cn/s/blog_74cf26810100ypzf.html http://blog.sina.com.cn/s/blog_64ecfc2f010 ...

  4. Logistic Regression(逻辑回归)

    分类是机器学习的一个基本问题, 基本原则就是将某个待分类的事情根据其不同特征划分为两类. Email: 垃圾邮件/正常邮件 肿瘤: 良性/恶性 蔬菜: 有机/普通 对于分类问题, 其结果 y∈{0,1 ...

  5. 机器学习简要笔记(五)——Logistic Regression(逻辑回归)

    1.Logistic回归的本质 逻辑回归是假设数据服从伯努利分布,通过极大似然函数的方法,运用梯度上升/下降法来求解参数,从而实现数据的二分类. 1.1.逻辑回归的基本假设 ①伯努利分布:以抛硬币为例 ...

  6. Deep Learning 学习笔记(4):Logistic Regression 逻辑回归

    逻辑回归主要用于解决分类问题,在现实中有更多的运用, 正常邮件or垃圾邮件 车or行人 涨价or不涨价 用我们EE的例子就是: 高电平or低电平 同时逻辑回归也是后面神经网络到深度学习的基础. (原来 ...

  7. 【原】Coursera—Andrew Ng机器学习—课程笔记 Lecture 6_Logistic Regression 逻辑回归

    Lecture6 Logistic Regression 逻辑回归 6.1 分类问题 Classification6.2 假设表示 Hypothesis Representation6.3 决策边界 ...

  8. 机器学习之LinearRegression与Logistic Regression逻辑斯蒂回归(三)

    一 评价尺度 sklearn包含四种评价尺度 1 均方差(mean-squared-error) 2 平均绝对值误差(mean_absolute_error) 3 可释方差得分(explained_v ...

  9. 吴恩达深度学习:2.1Logistic Regression逻辑回归及其损失函数

    1.Logistic Regression是一个二元分类问题 (1)已知输入的特征向量x可能是一张图,你希望把它识别出来,这是不是猫图,你需要一个算法,可以给出预测值,更正式的y是一个概率,当输入特征 ...

随机推荐

  1. BZOJ 2083: [Poi2010]Intelligence test [vector+二分]

    2083: [Poi2010]Intelligence test Time Limit: 10 Sec  Memory Limit: 259 MBSubmit: 469  Solved: 227[Su ...

  2. Git点滴记录

    合并多个commit记录 假设我们当前有三个commit信息,现在要将commit hash为 23f92c 和 409978 合并 //git rebase -i HEAD~3 那么我们可以使用 r ...

  3. Windows Server 2016-图形化迁移FSMO角色

    上章节我们简单介绍了三种不同方式查看FSMO主机角色信息,在开篇之前我们简单回顾一下FSMO五种操作主机角色:林范围操作主机角色有两种,分别是 架构主机角色(Schema Master)和 域命名主机 ...

  4. Oracle-11g 中使用表空间透明数据加密(TDE)

    Oracle-11g 中使用表空间透明数据加密(TDE)的限制 TDE 表空间加密方式会在数据读写过程中加解密数据.与在 SQL 层面做加解密的 TDE 列加密方式相比,其限制要大幅减少.例如:数据类 ...

  5. PHP 批量获取指定目录下的文件列表(递归,穿透所有子目录)

    //调用 $dir = '/Users/xxx/www'; $exceptFolders = array('view','test'); $exceptFiles = array('BaseContr ...

  6. ★Linux桌面系统技巧(作为客户端)

    [安装chrome浏览器]* 下载(已下载完成):32位:wget https://dl.google.com/linux/direct/google-chrome-stable_current_i3 ...

  7. C#仪器数据文件解析-PDF文件

    不少仪器工作站输出的数据报告文件为PDF格式,PDF格式用于排版打印,但不易于数据解析,因此解析PDF数据需要首先读取到PDF文件中的文本内容,然后根据内容规则解析有意义的数据信息. C#解析PDF文 ...

  8. Vscode 插件

    HTML Snippets Markdown All in One Markdown PDF Markdown Priview Enhanced Markdown TOC Open HTML in D ...

  9. uva12325 暴力枚举

    这题刚开始我就贪心,直接wrong了,贪心适合可以取一个物体部分的题. 还是老实枚举吧,注意枚举要分类,不然可能会超时,还有注意答案是long long AC代码: #include<cstdi ...

  10. ThreadLoacl,InheritableThreadLocal,原理,以及配合线程池使用的一些坑

    虽然使用AOP可以获取方法签名,但是如果要获取方法中计算得出的数据,那么就得使用ThreadLocal,如果还涉及父线程,那么可以选择InheritableThreadLocal. 注意:理解一些原理 ...