Coursera DeepLearning.ai Logistic Regression逻辑回归总结
既《Machine Learning》课程后,Andrew Ng又推出了新一系列的课程《DeepLearning.ai》,注册了一下可以试听7天。之后每个月要$49,想想还是有点贵,所以能听到哪儿算哪儿吧...
Week one主要讲了近年来为啥Deep learning火起来了,有时间另起一贴总结一下。
Week two回顾了Logistic Regression(逻辑回归)。虽然它听上去已经不是一个陌生的概念了,但是每次想起时还是会迟疑一下,所以干脆记录一发备忘。
1. 逻辑回归虽然名字起的是回归,实则是一个用于二分类的方法。
2. 逻辑回归和线性回归的区别与联系
2.1 区别
逻辑回归是分类方法,线性回归是回归方法。
2.2 联系
逻辑回归的函数包含了线性回归的形式。具体来说,逻辑回归的公式为:\(y=\sigma(w^{T}x+b)\),其中\(w^Tx+b\)就是线性回归的形式,而\(\sigma(z)\)是一个sigmoid函数,这个函数可以把\(z\)放缩到0~1的区间。
3. 逻辑回归为什么要有一个\(\sigma(z)\)
试想我们使用\(y=w^Tx+b\)来作为输出值,如果没有对输入的特征\(x\)包括参数\(w\)做任何的限制,那么\(y\)理论上是可以任意大或任意小的,这就使得在做判别的时候更困难了(因为不知道\(y\)的极限值在哪里)。如果用了\(\sigma(z)\)做一个放缩,把\(y\)放缩到0~1后,做判别的时候只需要简单地设置一个阈值0.5就可以了。
4. Loss function的形式
从这一页slide中可以看出,Loss function是如下定义的:
\[ L(\hat y, y) = -(y\log \hat y + (1-y)\log(1-\hat y))\]
为什么不定义成square error,\(\frac 1 2 (y-\hat y)^2\)? Andrew的解释是因为后者在最优化过程中是非凸的,用梯度下降求解参数时不能够保证找到全局最优。而前者是可以保证使用梯度下降是能找到全局最优解的。可以参见slide中右侧的那两个曲线图。
5. 术语定义Terminology
以前不太区分这两个概念。在Andrew的视频中,Loss function是针对某一个样本来说的;Cost function是针对所有样本来说的。后者是前者的一个平均。

(来源于课程讲义)
Coursera DeepLearning.ai Logistic Regression逻辑回归总结的更多相关文章
- 【原】Coursera—Andrew Ng机器学习—Week 3 习题—Logistic Regression 逻辑回归
课上习题 [1]线性回归 Answer: D A 特征缩放不起作用,B for all 不对,C zero error不对 [2]概率 Answer:A [3]预测图形 Answer:A 5 - x1 ...
- Logistic Regression(逻辑回归)(二)—深入理解
(整理自AndrewNG的课件,转载请注明.整理者:华科小涛@http://www.cnblogs.com/hust-ghtao/) 上一篇讲解了Logistic Regression的基础知识,感觉 ...
- Logistic Regression逻辑回归
参考自: http://blog.sina.com.cn/s/blog_74cf26810100ypzf.html http://blog.sina.com.cn/s/blog_64ecfc2f010 ...
- Logistic Regression(逻辑回归)
分类是机器学习的一个基本问题, 基本原则就是将某个待分类的事情根据其不同特征划分为两类. Email: 垃圾邮件/正常邮件 肿瘤: 良性/恶性 蔬菜: 有机/普通 对于分类问题, 其结果 y∈{0,1 ...
- 机器学习简要笔记(五)——Logistic Regression(逻辑回归)
1.Logistic回归的本质 逻辑回归是假设数据服从伯努利分布,通过极大似然函数的方法,运用梯度上升/下降法来求解参数,从而实现数据的二分类. 1.1.逻辑回归的基本假设 ①伯努利分布:以抛硬币为例 ...
- Deep Learning 学习笔记(4):Logistic Regression 逻辑回归
逻辑回归主要用于解决分类问题,在现实中有更多的运用, 正常邮件or垃圾邮件 车or行人 涨价or不涨价 用我们EE的例子就是: 高电平or低电平 同时逻辑回归也是后面神经网络到深度学习的基础. (原来 ...
- 【原】Coursera—Andrew Ng机器学习—课程笔记 Lecture 6_Logistic Regression 逻辑回归
Lecture6 Logistic Regression 逻辑回归 6.1 分类问题 Classification6.2 假设表示 Hypothesis Representation6.3 决策边界 ...
- 机器学习之LinearRegression与Logistic Regression逻辑斯蒂回归(三)
一 评价尺度 sklearn包含四种评价尺度 1 均方差(mean-squared-error) 2 平均绝对值误差(mean_absolute_error) 3 可释方差得分(explained_v ...
- 吴恩达深度学习:2.1Logistic Regression逻辑回归及其损失函数
1.Logistic Regression是一个二元分类问题 (1)已知输入的特征向量x可能是一张图,你希望把它识别出来,这是不是猫图,你需要一个算法,可以给出预测值,更正式的y是一个概率,当输入特征 ...
随机推荐
- BZOJ 2083: [Poi2010]Intelligence test [vector+二分]
2083: [Poi2010]Intelligence test Time Limit: 10 Sec Memory Limit: 259 MBSubmit: 469 Solved: 227[Su ...
- Git点滴记录
合并多个commit记录 假设我们当前有三个commit信息,现在要将commit hash为 23f92c 和 409978 合并 //git rebase -i HEAD~3 那么我们可以使用 r ...
- Windows Server 2016-图形化迁移FSMO角色
上章节我们简单介绍了三种不同方式查看FSMO主机角色信息,在开篇之前我们简单回顾一下FSMO五种操作主机角色:林范围操作主机角色有两种,分别是 架构主机角色(Schema Master)和 域命名主机 ...
- Oracle-11g 中使用表空间透明数据加密(TDE)
Oracle-11g 中使用表空间透明数据加密(TDE)的限制 TDE 表空间加密方式会在数据读写过程中加解密数据.与在 SQL 层面做加解密的 TDE 列加密方式相比,其限制要大幅减少.例如:数据类 ...
- PHP 批量获取指定目录下的文件列表(递归,穿透所有子目录)
//调用 $dir = '/Users/xxx/www'; $exceptFolders = array('view','test'); $exceptFiles = array('BaseContr ...
- ★Linux桌面系统技巧(作为客户端)
[安装chrome浏览器]* 下载(已下载完成):32位:wget https://dl.google.com/linux/direct/google-chrome-stable_current_i3 ...
- C#仪器数据文件解析-PDF文件
不少仪器工作站输出的数据报告文件为PDF格式,PDF格式用于排版打印,但不易于数据解析,因此解析PDF数据需要首先读取到PDF文件中的文本内容,然后根据内容规则解析有意义的数据信息. C#解析PDF文 ...
- Vscode 插件
HTML Snippets Markdown All in One Markdown PDF Markdown Priview Enhanced Markdown TOC Open HTML in D ...
- uva12325 暴力枚举
这题刚开始我就贪心,直接wrong了,贪心适合可以取一个物体部分的题. 还是老实枚举吧,注意枚举要分类,不然可能会超时,还有注意答案是long long AC代码: #include<cstdi ...
- ThreadLoacl,InheritableThreadLocal,原理,以及配合线程池使用的一些坑
虽然使用AOP可以获取方法签名,但是如果要获取方法中计算得出的数据,那么就得使用ThreadLocal,如果还涉及父线程,那么可以选择InheritableThreadLocal. 注意:理解一些原理 ...