斯坦福CS229机器学习课程笔记 part3：广义线性模型 Greneralized Linear Models (GLMs)

【斯坦福CS229机器学习课程笔记 part3：广义线性模型 Greneralized Linear Models (GLMs)】的更多相关文章

斯坦福CS229机器学习课程笔记 part3：广义线性模型 Greneralized Linear Models (GLMs)

指数分布族 The exponential family 因为广义线性模型是围绕指数分布族的.大多数常用分布都属于指数分布族,服从指数分布族的条件是概率分布可以写成如下形式:η 被称作自然参数(natural parameter),或正则参数canonical parameter),它是指数分布族唯一的参数T(y) 被称作充分统计量(sufficient statistic),很多情况下T(y)=y loga(η) 是log partition functione-a(η)是一个规范化常数,使得…

斯坦福CS229机器学习课程笔记 Part1：线性回归 Linear Regression

机器学习三要素机器学习的三要素为:模型.策略.算法. 模型:就是所要学习的条件概率分布或决策函数.线性回归模型策略:按照什么样的准则学习或选择最优的模型.最小化均方误差,即所谓的 least-squares(在spss里线性回归对应的模块就叫OLS即Ordinary Least Squares): 算法:基于训练数据集,根据学习策略,选择最优模型的计算方法.确定模型中每个θi取值的计算方法,往往归结为最优化问题.对于线性回归,我们知道它是有解析解的,即正规方程 The normal equa…

斯坦福CS229机器学习课程笔记 part2：分类和逻辑回归 Classificatiion and logistic regression

Logistic Regression 逻辑回归 1.模型逻辑回归解决的是分类问题,并且是二元分类问题(binary classification),y只有0,1两个取值.对于分类问题使用线性回归不行,因为直线无法将样本正确分类. 1.1 Sigmoid Function 因为 y∈{0,1},我们也希望 hθ(x)∈{0,1}.第一种选择是 logistic函数或S型函数(logistic function/sigmoid function).g(z)值的范围在0-1之间,在z=0时为0.5…

广义线性模型(Generalized Linear Models)

在线性回归问题中,我们假设,而在分类问题中,我们假设,它们都是广义线性模型的例子,而广义线性模型就是把自变量的线性预测函数当作因变量的估计值.很多模型都是基于广义线性模型的,例如,传统的线性回归模型,最大熵模型,Logistic回归,softmax回归. 指数分布族在了解广义线性模型之前,先了解一下指数分布族(the exponential family) 指数分布族原型如下如果一个分布可以用上面形式在表示,那么这个分布就属于指数分布族,首先来定义一下上面形式的符号: η:分布的自然参数(n…

Andrew 机器学习课程笔记

Andrew 机器学习课程笔记完成 Andrew 的课程结束至今已有一段时间,课程介绍深入浅出,很好的解释了模型的基本原理以及应用.在我看来这是个很好的入门视频,他老人家现在又出了一门 deep learning 的教程,虽然介绍的内容很浅,毕竟针对大部分初学者.不管学习到什么程度,能将课程跟一遍,或多或少会对知识体系的全貌有一个大致的理解.如果有时间的话,强烈建议跟完课程的同时完成各项作业.但值得注意的是,机器学习除了需要适当的数理基础之外,还是一门实践科学,只有通过不断的深入积累才能有更好…

【读书笔记与思考】Andrew 机器学习课程笔记

Andrew 机器学习课程笔记完成 Andrew 的课程结束至今已有一段时间,课程介绍深入浅出,很好的解释了模型的基本原理以及应用.在我看来这是个很好的入门视频,他老人家现在又出了一门 deep learning 的教程,虽然介绍的内容很浅,毕竟针对大部分初学者.不管学习到什么程度,能将课程跟一遍,或多或少会对知识体系的全貌有一个大致的理解.如果有时间的话,强烈建议跟完课程的同时完成各项作业.但值得注意的是,机器学习除了需要适当的数理基础之外,还是一门实践科学,只有通过不断的深入积累才能有更好…

CS229 机器学习课程复习材料-线性代数

本文是斯坦福大学CS 229机器学习课程的基础材料,原始文件下载原文作者:Zico Kolter,修改:Chuong Do, Tengyu Ma 翻译:黄海广备注:请关注github的更新,线性代数和概率论已经更新完毕. CS229 机器学习课程复习材料-线性代数目录 CS229 机器学习课程复习材料-线性代数线性代数复习和参考 1. 基础概念和符号 1.1 基本符号 2.矩阵乘法 2.1 向量-向量乘法 2.2 矩阵-向量乘法 2.3 矩阵-矩阵乘法 3 运算和属性 3.1 单位矩阵和…

CS229 机器学习课程复习材料-概率论

本文是斯坦福大学CS229机器学习课程的基础材料,原始文件下载原文作者:Arian Maleki , Tom Do 翻译:石振宇审核和修改制作:黄海广备注:请关注github的更新. CS229 机器学习课程复习材料-概率论目录 CS229 机器学习课程复习材料-概率论概率论复习和参考 1. 概率的基本要素 1.1 条件概率和独立性 2. 随机变量 2.1 累积分布函数 2.2 概率质量函数 2.3 概率密度函数 2.4 期望 2.5 方差 2.6 一些常见的随机变量 3. 两个随机变…

Andrew Ng机器学习课程笔记（三）之正则化

Andrew Ng机器学习课程笔记(三)之正则化版权声明:本文为博主原创文章,转载请指明转载地址 http://www.cnblogs.com/fydeblog/p/7365475.html 前言学习了Andrew Ng课程,开始写了一些笔记,现在写完第5章了,先把这5章的内容放在博客中,后面的内容会陆续更新! 这篇博客主要记录Andrew Ng课程第三章正则化,主要介绍了线性回归和逻辑回归中,怎样去解决欠拟合和过拟合的问题简要介绍:在进行线性回归或逻辑回归时,常常会出现以下三种情况回归…

Andrew Ng机器学习课程笔记（五）之应用机器学习的建议

Andrew Ng机器学习课程笔记(五)之应用机器学习的建议版权声明:本文为博主原创文章,转载请指明转载地址 http://www.cnblogs.com/fydeblog/p/7368472.html 前言学习了Andrew Ng课程,开始写了一些笔记,现在写完第5章了,先把这5章的内容放在博客中,后面的内容会陆续更新! 这篇博客主要记录了Andrew Ng课程第五章应用机器学习的建议,主要介绍了在测试新数据出现较大误差该怎么处理,这期间讲到了数据集的分类,偏差,方差,学习曲线等概念,帮…

Andrew Ng机器学习课程笔记--week1（机器学习介绍及线性回归）

title: Andrew Ng机器学习课程笔记--week1(机器学习介绍及线性回归) tags: 机器学习, 学习笔记 grammar_cjkRuby: true --- 之前看过一遍,但是总是模模糊糊的感觉,也刚入门,虽然现在也是入门,但是对于一些概念已经有了比较深的认识(相对于最开始学习机器学习的时候).所以为了打好基础,决定再次学习一下Andrew Ng的课程,并记录笔记以供以后复习参考. 1. 内容概要 Introduction 什么是机器学习监督学习非监督学习 Linear R…

Andrew Ng机器学习课程笔记--汇总

笔记总结,各章节主要内容已总结在标题之中 Andrew Ng机器学习课程笔记–week1(机器学习简介&线性回归模型) Andrew Ng机器学习课程笔记--week2(多元线性回归&正规公式) Andrew Ng机器学习课程笔记--week3(逻辑回归&正则化参数) Andrew Ng机器学习课程笔记--week4(神经网络) Andrew Ng机器学习课程笔记--week5(上)(神经网络损失函数&反向传播算法) Andrew Ng机器学习课程笔记--week5(下)(…

Andrew Ng机器学习课程笔记（六）之机器学习系统的设计

Andrew Ng机器学习课程笔记(六)之机器学习系统的设计版权声明:本文为博主原创文章,转载请指明转载地址 http://www.cnblogs.com/fydeblog/p/7392408.html 前言这篇博客主要记录了Andrew Ng课程第6章机器学习系统的设计,Andrew用他的丰富经验讲述了如何有效.耗时少地实现一个机器学习系统,内容包括误差分析,误差度量,查准率和查全率等等 I 首先要做什么以一个垃圾邮件分类器算法为例,为了解决这样一个问题,我们首先要做的决定是如何选择并…

Andrew Ng机器学习课程笔记（四）之神经网络

Andrew Ng机器学习课程笔记(四)之神经网络版权声明:本文为博主原创文章,转载请指明转载地址 http://www.cnblogs.com/fydeblog/p/7365730.html 前言学习了Andrew Ng课程,开始写了一些笔记,现在写完第5章了,先把这5章的内容放在博客中,后面的内容会陆续更新! 这篇博客主要记录Andrew Ng课程第四章和第五章的神经网络,主要介绍前向传播算法,反向传播算法,神经网络的多类分类,梯度校验,参数随机初始化,参数的更新等等 1.神经网络概述…

Andrew Ng机器学习课程笔记（二）之逻辑回归

Andrew Ng机器学习课程笔记(二)之逻辑回归版权声明:本文为博主原创文章,转载请指明转载地址 http://www.cnblogs.com/fydeblog/p/7364636.html 前言学习了Andrew Ng课程,开始写了一些笔记,现在写完第5章了,先把这5章的内容放在博客中,后面的内容会陆续更新! 这篇博客主要记录了Andrew Ng课程第二章逻辑回归,主要介绍了梯度下降法,逻辑回归的损失函数,多类别分类等等简要介绍:逻辑回归算法是分类算法,我们将它作为分类算法使用.有时候…

Andrew Ng机器学习课程笔记（一）之线性回归

Andrew Ng机器学习课程笔记(一)之线性回归版权声明:本文为博主原创文章,转载请指明转载地址 http://www.cnblogs.com/fydeblog/p/7364598.html 前言学习了Andrew Ng课程,开始写了一些笔记,现在写完第5章了,先把这5章的内容放在博客中,后面的内容会陆续更新! 这篇博客主要记录了Andrew Ng课程第一章线性回归,主要介绍了梯度下降法,正规方程,损失函数,特征缩放,学习率的选择等等 1.梯度下降法原理图解: (1) 目标:最小化建立…

Andrew Ng机器学习课程笔记--week6(精度&召回率)

Advice for applying machine learning 本周主要学习如何提升算法效率,以及如何判断学习算法在什么时候表现的很糟糕和如何debug我们的学习算法.为了让学习算法表现更好,我们还会学习如何解决处理偏态数据(skewed data). 以下内容部分参考我爱公开课-Advice for applying machine learning 一.内容概要 Evaluating a learning algorithm Deciding what to try next(决定…

ML:吴恩达机器学习课程笔记(Week1~2)

吴恩达(Andrew Ng)机器学习课程:课程主页由于博客编辑器有些不顺手,所有的课程笔记将全部以手写照片形式上传.有机会将在之后上传课程中各个ML算法实现的Octave版本. Linear Regression with One Variable Linear Algebra Review Linear Regression with Multiple Variables Octave/Matlab Tutorial…

Coursera-吴恩达机器学习课程笔记-Week2

参考资料: 吴恩达教授机器学习课程机器学习课程中文笔记 Week2 一. 多变量线性回归(Linear Regression with Multiple Variables) 多变量就时当一个example里有n个特征的情况,将n个特征统一到一个matrix里去看作整体. 多变量线性回归还是先出cost function,然后用梯度下降算法/正规方程法使cost function最小化特征的选择多变量线性回归中有很多特征,选择合适的特征很重要,下面是常见的可用特征: training se…

Coursera-吴恩达机器学习课程笔记-Week1

参考资料: 吴恩达教授机器学习课程机器学习课程中文笔记 Week 1 一. 引言机器学习模型可分为监督学习Superviese learning(每个数据集给出了正确的值)和无监督学习Unsupervised learning(数据集只有特征,没有对应正确的值) 机器学习处理的问题可以分为Regression回归问题(结果是real-valued output连续的值)和Classification问题 (结果是discrete-valued离散的值) 二. 单变量线性回归(Linear R…

李宏毅老师机器学习课程笔记_ML Lecture 3-1: Gradient Descent

引言: 这个系列的笔记是台大李宏毅老师机器学习的课程笔记视频链接(bilibili):李宏毅机器学习(2017) 另外已经有有心的同学做了速记并更新在github上:李宏毅机器学习笔记(LeeML-Notes) 很久都没有用高数及线性代数的知识,很多都生疏了,这节课有很多的数学公式及概念,建议先看一下简书上的这篇介绍梯度及梯度下降法的文章深入浅出--梯度下降法及其实现,真的是深入浅出,好评如潮. 这里需要知道的是: 什么是梯度? 为什么要用梯度下降法? 一.什么是梯度梯度是微积分中一个很重要…

Machine Learning 学习笔记 (4) —— 广义线性模型

本系列文章允许转载,转载请保留全文! [请先阅读][说明&总目录]http://www.cnblogs.com/tbcaaa8/p/4415055.html 1. 指数分布族简介之前的文章分别介绍了因变量服从高斯分布.伯努利分布.泊松分布.多项分布时,与之对应的回归模型,本文章将阐释这些模型的共同点,并加以推广. 首先非正式地给出指数分布族的定义: 定义如果变量y的分布可以被表示为p(y;η)=b(y)exp(ηTT(y)-a(η))的形式(η为分布的参数),则称y服从指数分布族萌萌哒博主…

CS299笔记：广义线性模型

指数分布族我们称一类分布属于指数分布族(exponential family distribution),如果它的分布函数可以写成以下的形式: \[ \begin{equation} p(y;\eta) = b(y) \exp(\eta^{T}T(y) - a(\eta)) \tag{*} \end{equation} \] 其中,\(\eta\)被称为自然参数(natural parameter),\(T(y)\)被称为充分统计量(sufficient statistic),\(a(\eta…

李宏毅机器学习课程笔记-2.5线性回归Python实战

本文为作者学习李宏毅机器学习课程时参照样例完成homework1的记录. 任务描述(Task Description) 现在有某地空气质量的观测数据,请使用线性回归拟合数据,预测PM2.5. 数据集描述(Dataset Description) train.csv 该文件中是2014年每月前20天每小时的观察数据,每小时的数据是18个维度的(其中之一是PM2.5). test.csv 该文件中包含240组数据,每组数据是连续9个小时的所有观测数据(同样是18个维度). 请预测每组数据对应的第10…