监督学习：

  • 线性回归，逻辑回归，神经网络，支持向量机。

非监督学习：

  • K-means，PCA，异常检测

应用：

  • 推荐系统，大规模机器学习

机器学习系统优化：

  • 偏差/方差，正则化，下一步要进行的工作：评估学习算法（精确率，召回率），学习曲线，错误分析，上限分析

1. 监督学习

1.1 线性回归

假设函数

代价函数

梯度

正则化线性回归代价函数

正则化线性回归梯度

特征缩放

正规方程法

1.2 逻辑回归

假设函数

g为sigmod函数定义为

代价函数

梯度

正则化的逻辑回归代价函数

正则化的逻辑回归梯度

1.3 神经网络

代价函数

正则化的代价函数

simoid函数与其偏导数

随机初始化

应对参数Theta进行随机初始化。不能全设为0.

反向传播算法

通过后一层神经元的偏导数计算当前层神经元的偏导数。

梯度检测

正则化神经网络

1.4 支持向量机

训练

MATLAB的svmTrain函数

参数C

与正则化的1/λ类似

高斯核

将数据从低维空间映射到高维空间

2. 监督学习

2.1 K-means聚类

步骤

1. 把每个样本点指定给离它最近的聚类中心

2.使用分配给聚类中心的点计算这些点的平均值，并指定为新的聚类中心

随机初始化聚类中心

不同的聚类中心会生成不同的聚类效果，应多次随机初始化聚类中心，找到最合适的聚类。

优化目标

2.2 主成分分析

步骤

1.计算特征协方差矩阵

2.通过协方差矩阵进行奇异值分解

3.数据集映射到主成分

协方差矩阵

奇异值分解

2.3 异常检测

高斯分布

其中μ是均值是方差。

高斯分布参数

平均值

方差

阈值

用于预测样本是否异常

通过计算不同阈值的F1 score来选择。

多元高斯分布参数

平均值 μ

协方差矩阵 Σ

3. 应用

3.1 推荐系统

协同过滤算法代价函数

协同过滤算法梯度

正则化协同过滤算法代价函数

正则化协同过滤算法梯度

3.2 大规模机器学习

数据

高方差：正大数据量

随机梯度下降

批量梯度下降

在线学习

减少映射

4. 机器学习系统优化

4.1 偏差和方差

训练误差

高偏差

欠拟合，增加特征，减少正则化lambda值

高方差

过拟合，减少特征，增大正则化lambda值

4.2 正则化

解决过拟合问题，为每个参数加上惩罚

选择lambda

使用交叉验证机选择lambda

4.3 精确率，召回率

F1 score

精确率和召回率

精确率是针对我们预测结果而言的，它表示的是预测为正的样本中有多少是真正的正样本。那么预测为正就有两种可能了，一种就是把正类预测为正类(TP)，另一种就是把负类预测为正类(FP)

召回率是针对我们原来的样本而言的，它表示的是样本中的正例有多少被预测正确了。那也有两种可能，一种是把原来的正类预测成正类(TP)，另一种就是把原来的正类预测为负类

4.4 学习曲线

高方差

高偏差

4.5 上限分析

Andrew Ng机器学习总结（自用）的更多相关文章

  1. Andrew Ng机器学习课程笔记（五）之应用机器学习的建议

    Andrew Ng机器学习课程笔记(五)之 应用机器学习的建议 版权声明:本文为博主原创文章,转载请指明转载地址 http://www.cnblogs.com/fydeblog/p/7368472.h ...

  2. Andrew Ng机器学习课程笔记--week1（机器学习介绍及线性回归）

    title: Andrew Ng机器学习课程笔记--week1(机器学习介绍及线性回归) tags: 机器学习, 学习笔记 grammar_cjkRuby: true --- 之前看过一遍,但是总是模 ...

  3. Andrew Ng机器学习课程笔记--汇总

    笔记总结,各章节主要内容已总结在标题之中 Andrew Ng机器学习课程笔记–week1(机器学习简介&线性回归模型) Andrew Ng机器学习课程笔记--week2(多元线性回归& ...

  4. Andrew Ng机器学习课程笔记（六）之 机器学习系统的设计

    Andrew Ng机器学习课程笔记(六)之 机器学习系统的设计 版权声明:本文为博主原创文章,转载请指明转载地址 http://www.cnblogs.com/fydeblog/p/7392408.h ...

  5. Andrew Ng机器学习课程笔记（四）之神经网络

    Andrew Ng机器学习课程笔记(四)之神经网络 版权声明:本文为博主原创文章,转载请指明转载地址 http://www.cnblogs.com/fydeblog/p/7365730.html 前言 ...

  6. Andrew Ng机器学习课程笔记（三）之正则化

    Andrew Ng机器学习课程笔记(三)之正则化 版权声明:本文为博主原创文章,转载请指明转载地址 http://www.cnblogs.com/fydeblog/p/7365475.html 前言 ...

  7. Andrew Ng机器学习课程笔记（二）之逻辑回归

    Andrew Ng机器学习课程笔记(二)之逻辑回归 版权声明:本文为博主原创文章,转载请指明转载地址 http://www.cnblogs.com/fydeblog/p/7364636.html 前言 ...

  8. Andrew Ng机器学习课程笔记（一）之线性回归

    Andrew Ng机器学习课程笔记(一)之线性回归 版权声明:本文为博主原创文章,转载请指明转载地址 http://www.cnblogs.com/fydeblog/p/7364598.html 前言 ...

  9. 【原】Coursera—Andrew Ng机器学习—编程作业 Programming Exercise 4—反向传播神经网络

    课程笔记 Coursera—Andrew Ng机器学习—课程笔记 Lecture 9_Neural Networks learning 作业说明 Exercise 4,Week 5,实现反向传播 ba ...

  10. Andrew Ng机器学习课程6

    Andrew Ng机器学习课程6 说明 在前面尾随者台大机器学习基石课程和机器学习技法课程的设置,对机器学习所涉及到的大部分的知识有了一个较为全面的了解,可是对于没有动手敲代码并加以使用的情况,基本上 ...

随机推荐

  1. python学习之assert语句

    assert语句用于代码检测并报警. 语法 assert code... 例子 # -*- coding: utf-8 -*- # assert语句说明 a,b= 1,23 a == 2 assert ...

  2. linux 文件夹的颜色代表什么意思

    linux 文件夹的颜色代表什么意思 绿色 蓝色 黑色代表什么意思 蓝色表示目录: 绿色表示可执行文件: 红色表示压缩文件: 浅蓝色表示链接文件: 灰色表示其它文件: 红色闪烁表示链接的文件有问题了: ...

  3. pl/sql 实例精解 03

    1. 在Pl/sql 中使用 sql 1: /* 2: * 一个 pl/sql 语句块, 只是一个容器, 是表明一个整体的容器, 容器里可以放置多个sql语句 3: */ 4:   5: declar ...

  4. 判断下列语句是否正确，如果有错误，请指出错误所在？interface A{

    判断下列语句是否正确,如果有错误,请指出错误所在? interface A{ int add(final A a); } class B implements A{ long add(final A ...

  5. CentOS 7如何设置Linux开机自动获取IP地址

    centos7 minimal版默认安装好后没有获取ip地址,需要手动配置.方法如下: 1.输入“ip addr”并按回车键确定,发现无法获取IP(CentOS 7默认没有ifconfig命令),记录 ...

  6. js转译html标签

    api返回的接口数据是这样的"<div>测试数据</div>" js拼接html时会过滤掉<div></div> 所以需要对< ...

  7. AutoMapper整理收集

    http://www.cnblogs.com/jobs2/p/3503990.html http://www.cnblogs.com/1-2-3/p/AutoMapper-Best-Practice. ...

  8. python入门（四）：标准输出和文件读写

    Python输出 1.表达式语句 str(): 函数返回一个用户易读的表达形式,可以使用 str.format() 函数来格式化输出值. repr(): 产生一个解释器易读的表达形式. 2.print ...

  9. 一起talk C栗子吧（第二十五回：C语言实例--二分查找）

    各位看官们,大家好,上一回中咱们说的是顺序查找的样例,这一回咱们说的样例是:二分查找.闲话休 提,言归正转. 让我们一起talk C栗子吧. 看官们,我们在上一回中说了查找的相关内容,而且介绍了一种查 ...

  10. iOS-本地沙盒路径

    沙盒几个路径: 沙盒里的文件夹包括Documents.Library.tmp.这三个文件夹的作用请点击这里.接下来我们来讲解如何获取Documents.Library.tmp的路径. 获取沙盒根目录 ...