Andrew Ng机器学习总结（自用）
监督学习：
- 线性回归，逻辑回归，神经网络，支持向量机。
非监督学习：
- K-means，PCA，异常检测
应用：
- 推荐系统，大规模机器学习
机器学习系统优化：
- 偏差/方差，正则化，下一步要进行的工作：评估学习算法（精确率，召回率），学习曲线，错误分析，上限分析
1. 监督学习
1.1 线性回归
假设函数
代价函数
梯度
正则化线性回归代价函数
正则化线性回归梯度
特征缩放
正规方程法
1.2 逻辑回归
假设函数
g为sigmod函数定义为
代价函数
梯度
正则化的逻辑回归代价函数
正则化的逻辑回归梯度
1.3 神经网络
代价函数
正则化的代价函数
simoid函数与其偏导数
随机初始化
应对参数Theta进行随机初始化。不能全设为0.
反向传播算法
通过后一层神经元的偏导数计算当前层神经元的偏导数。
梯度检测
正则化神经网络
1.4 支持向量机
训练
MATLAB的svmTrain函数
参数C
与正则化的1/λ类似
高斯核
将数据从低维空间映射到高维空间
2. 监督学习
2.1 K-means聚类
步骤
1. 把每个样本点指定给离它最近的聚类中心
2.使用分配给聚类中心的点计算这些点的平均值，并指定为新的聚类中心
随机初始化聚类中心
不同的聚类中心会生成不同的聚类效果，应多次随机初始化聚类中心，找到最合适的聚类。
优化目标
2.2 主成分分析
步骤
1.计算特征协方差矩阵
2.通过协方差矩阵进行奇异值分解
3.数据集映射到主成分
协方差矩阵
奇异值分解
2.3 异常检测
高斯分布
其中μ是均值
是方差。
高斯分布参数
平均值
方差
阈值
用于预测样本是否异常
通过计算不同阈值的F1 score来选择。
多元高斯分布参数
平均值 μ
协方差矩阵 Σ
3. 应用
3.1 推荐系统
协同过滤算法代价函数
协同过滤算法梯度
正则化协同过滤算法代价函数
正则化协同过滤算法梯度
3.2 大规模机器学习
数据
高方差：正大数据量
随机梯度下降
批量梯度下降
在线学习
减少映射
4. 机器学习系统优化
4.1 偏差和方差
训练误差
高偏差
欠拟合，增加特征，减少正则化lambda值
高方差
过拟合，减少特征，增大正则化lambda值
4.2 正则化
解决过拟合问题，为每个参数加上惩罚
选择lambda
使用交叉验证机选择lambda
4.3 精确率，召回率
F1 score
精确率和召回率
精确率是针对我们预测结果而言的，它表示的是预测为正的样本中有多少是真正的正样本。那么预测为正就有两种可能了，一种就是把正类预测为正类(TP)，另一种就是把负类预测为正类(FP)
召回率是针对我们原来的样本而言的，它表示的是样本中的正例有多少被预测正确了。那也有两种可能，一种是把原来的正类预测成正类(TP)，另一种就是把原来的正类预测为负类
4.4 学习曲线
高方差
高偏差
4.5 上限分析
Andrew Ng机器学习总结（自用）的更多相关文章
- Andrew Ng机器学习课程笔记（五）之应用机器学习的建议
Andrew Ng机器学习课程笔记(五)之 应用机器学习的建议 版权声明:本文为博主原创文章,转载请指明转载地址 http://www.cnblogs.com/fydeblog/p/7368472.h ...
- Andrew Ng机器学习课程笔记--week1（机器学习介绍及线性回归）
title: Andrew Ng机器学习课程笔记--week1(机器学习介绍及线性回归) tags: 机器学习, 学习笔记 grammar_cjkRuby: true --- 之前看过一遍,但是总是模 ...
- Andrew Ng机器学习课程笔记--汇总
笔记总结,各章节主要内容已总结在标题之中 Andrew Ng机器学习课程笔记–week1(机器学习简介&线性回归模型) Andrew Ng机器学习课程笔记--week2(多元线性回归& ...
- Andrew Ng机器学习课程笔记（六）之 机器学习系统的设计
Andrew Ng机器学习课程笔记(六)之 机器学习系统的设计 版权声明:本文为博主原创文章,转载请指明转载地址 http://www.cnblogs.com/fydeblog/p/7392408.h ...
- Andrew Ng机器学习课程笔记（四）之神经网络
Andrew Ng机器学习课程笔记(四)之神经网络 版权声明:本文为博主原创文章,转载请指明转载地址 http://www.cnblogs.com/fydeblog/p/7365730.html 前言 ...
- Andrew Ng机器学习课程笔记（三）之正则化
Andrew Ng机器学习课程笔记(三)之正则化 版权声明:本文为博主原创文章,转载请指明转载地址 http://www.cnblogs.com/fydeblog/p/7365475.html 前言 ...
- Andrew Ng机器学习课程笔记（二）之逻辑回归
Andrew Ng机器学习课程笔记(二)之逻辑回归 版权声明:本文为博主原创文章,转载请指明转载地址 http://www.cnblogs.com/fydeblog/p/7364636.html 前言 ...
- Andrew Ng机器学习课程笔记（一）之线性回归
Andrew Ng机器学习课程笔记(一)之线性回归 版权声明:本文为博主原创文章,转载请指明转载地址 http://www.cnblogs.com/fydeblog/p/7364598.html 前言 ...
- 【原】Coursera—Andrew Ng机器学习—编程作业 Programming Exercise 4—反向传播神经网络
课程笔记 Coursera—Andrew Ng机器学习—课程笔记 Lecture 9_Neural Networks learning 作业说明 Exercise 4,Week 5,实现反向传播 ba ...
- Andrew Ng机器学习课程6
Andrew Ng机器学习课程6 说明 在前面尾随者台大机器学习基石课程和机器学习技法课程的设置,对机器学习所涉及到的大部分的知识有了一个较为全面的了解,可是对于没有动手敲代码并加以使用的情况,基本上 ...
随机推荐
- python学习之locals()
locals() 返回一个字典对象.收集并返回局部变量.可以用在函数中,用来收集局部变量. >>> def f(): ... a = 'tom' ... print(locals() ...
- unittest最详细的解说
转自:http://www.imooc.com/article/257230 一.什么是unittest unittest是Python单元测试框架,类似于JUnit框架. unittest中有4个重 ...
- 基于C#和Asp.NET MVC开发GPS部标视频监控平台
基于C#和Asp.NET MVC开发GPS部标监控平台 目前整理了基于.NET技术的部标平台开发文章,可以参考: 1.部标Jt808协议模拟终端的设计和开发 2.C#版的808GPS服务器开发-> ...
- Android之2D图形(圆、直线、点)工具类 （持续更新）
public class Circle { private PointF centerPoint; private float radius; public PointF getCenterPoint ...
- hadoop 调试mapperduce
问题描述 运行hadoop的MapReduce示例,在running job卡住 在页面中显示一直处于 ACCEPTED Applications 状态 修改日志级别export HADOOP_ROO ...
- 【BZOJ】3391: [Usaco2004 Dec]Tree Cutting网络破坏（dfs）
http://www.lydsy.com/JudgeOnline/problem.php?id=3391 显然判断每个点只需要判断子树是否小于等于n/2即可 那么我们虚拟一个根,然后计算每个子树的si ...
- Linux IO操作——RIO包
1.linux基本I/O接口介绍 ssize_t read(int fd, void *buf, size_t count); ssize_t write(int fd, void *buf, siz ...
- VC++Debug查看堆对象内容，即使符号已经超出作用范围
Sometimes you'd like to watch the value of an object (on the heap) even after the symbol goes of sco ...
- android 性能測试CTS篇
CTS介绍 一.CTS简单介绍 CTS 全称Compatibility Test Suite兼容性測试工具. 当电子产品开发出来.并定制了自己的Android系统后,必需要通过最新的CTS检測.以保证 ...
- JMETER 不同线程组 变量值 的参数传递（转）
线程组 1 在线程组1中使用__setProperty函数设置jmeter属性值(此值为全局变量值),将所需变量值如${token}设置为jmeter属性值,即newtoken,示例: 1.添加- ...