适用情况: 1 exists some 'underlying pattern' to be learned --so 'performance measure' can be imporoved 例:小孩哭泣,没有内在模式 2 but no programmable(easy) definition --so 'ML' is needed 例:识别图片中是否有圆圈,可用编程方法 3 somehow there is data about the pattern --so ML has some…

[机器学习] Coursera ML笔记 - 监督学习(Supervised Learning) - Representation http://blog.csdn.net/walilk/article/details/50922854…

Basic notations input:     x∈χ  (customer application) output:   y∈y  (good/bad after approving credit card) target function (unknown pattern to be learned) : f: x→y  (ideal credit approval formula) data (training examples): D = {(x1,y1),(x2,y2),...,…

1  定义 机器学习 (Machine Learning):improving some performance measure with experience computed from data 2  应用举例 ML:an alternative route to build complicated systems 2.1  股票预测   2.2  图像识别 2.3  衣食住行    2.4  关键要素 在决定某些应用场景,是否适合使用机器学习时,常考虑以下三个要素: 1) exists s…

第八部分内容:  1.正则化Regularization 2.在线学习(Online Learning) 3.ML 经验 1.正则化Regularization 1.1通俗解释 引用知乎作者:刑无刀 解释之前,先说明这样做的目的:如果一个模型我们只打算对现有数据用一次就不再用了,那么正则化没必要了,因为我们没打算在将来他还有用,正则化的目的是为了让模型的生命更长久,把它扔到现实的数据海洋中活得好,活得久. 俗气的解释1: 让模型参数不要在优化的方向上纵欲过度.<红楼梦>里,贾瑞喜欢王熙凤得了相…

前言 机器学习栏目记录我在学习Machine Learning过程的一些心得笔记,涵盖线性回归.逻辑回归.Softmax回归.神经网络和SVM等等,主要学习资料来自Standford Andrew Ng老师在Coursera的教程,同时也参考了大量网上的相关资料(在后面列出). 本文主要记录我在学习神经网络过程中的心得笔记,共分为三个部分: Neural network - Representation:神经网络的模型描述: Neural network - Learning:神经网络的模型训练…

1.朴素贝叶斯的多项式事件模型: 趁热打铁,直接看图理解模型的意思:具体求解可见下面大神给的例子,我这个是流程图. 在上篇笔记中,那个最基本的NB模型被称为多元伯努利事件模型(Multivariate Bernoulli Event Model,以下简称 NB-MBEM).该模型有多种扩展,一种是在上一篇笔记中已经提到的每个分量的多值化,即将p(xi|y)由伯努利分布扩展到多项式分布:还有一种在上一篇笔记中也已经提到,即将连续变量值离散化.本文将要介绍一种与多元伯努利事件模型有较大区别的NB模型…

第三部分: 1.指数分布族 2.高斯分布--->>>最小二乘法 3.泊松分布--->>>线性回归 4.Softmax回归 指数分布族: 结合Ng的课程,在看这篇博文:http://blog.csdn.net/acdreamers/article/details/44663091 泊松分布: 这里是一个扩展,看不看都可以:http://www.ruanyifeng.com/blog/2015/06/poisson-distribution.html Softmax回归:…

引言 机器学习栏目记录我在学习Machine Learning过程的一些心得笔记,涵盖线性回归.逻辑回归.Softmax回归.神经网络和SVM等等.主要学习资料来自Standford Andrew Ng老师在Coursera的教程以及UFLDL Tutorial,Stanford CS231n等在线课程和Tutorial,同一时候也參考了大量网上的相关资料(在后面列出). 前言 本文主要介绍逻辑回归的基础知识.文章小节安排例如以下: 1)逻辑回归定义 2)如果函数(Hypothesis func…

kmeans算法的python实现: 参考与样本来源<Machine Learning in Action> #-*-coding:UTF-8-*- ''' Created on 2015年8月19日 @author: Ayumi Phoenix ''' import numpy as np def distL2(a,b): """ 计算两个向量之间的L2距离 """ return np.sqrt(np.sum((a-b)**2))…

error来自哪? 来自于偏差Bias和方差Variance. 就如打靶时瞄准一个点f平均,打出的点f星分布在该点周围. 该点与实际靶心f帽的距离就是偏差Bias, 打出的点与该点的分布距离就是方差Variance. 可将偏差理解为没瞄准,方差理解为瞄准了但是打得太散. 简单模型的方差小于复杂模型的方差. 因为简单模型比较集中,其权重W不太会受到data变化的影响, 可考虑极端例子f(x)=c,该模型方差为0. 简单模型的偏差大于复杂模型的偏差. 因为模型是个函数/假设集,定好模型后,funct…

Review: Gradient Descent Tip 1: Tuning your learning rates eta恰好,可以走到局部最小值点; eta太小,走得太慢,也可以走到局部最小值点; eta太大,很可能走不到局部最小值点,卡在某处上; eta太太大,很可能走出去. 可以自动调节eta, 大原则是eta随更新次数的增长而减小,---time dependent 同时也要针对不同的参数设置不同的eta.---parameter dependent 有很多这样的自动调节eta的梯度下…

非DL:要找好的特征 DL:无需找好的特征,但新问题:要设计好的网络架构…

…

用回归来做分类: 远大于1的点对于回归来说就是个error, 为了让这些点更接近1,会得到紫色线. 可见,回归中定义模型好坏的方式不适用于分类中.---回归会惩罚那些太过正确的点 如何计算未出现在训练数据中的点属于某类的概率? 假设该类对应的训练数据采样于一个高斯分布. 可以用该训练数据来估计该高斯分布的参数. 基本思路: 很多不同参数的高斯分布都可以采样出训练数据,但是可能性不同, 选出其中可能性最大的那个高斯分布对应的参数.---最大似然估计 假设sigma相同时,可以得到线性函数. 该生成…

主要用于显示主要分类指标的文本报告,在报告中显示每个类的精确度.召回率.F1等信息 首先数据测试结果分为以下4种情况: TP:预测为正,实现为正 FP:预测为正,实现为负 FN:预测为负,实现为正 TN:预测为负,实现为负 准确率:所有识别为“1”的数据中,正确的比率是多少. eg.有100个样本被识别为“1”,但是其实只有80个结果是正确的,20个实际上是非“1”-->准确率=80% TP/(TP+FP) 召回率:所有样本为“1“的数据中,最后真正识别出为”1“的比率是多少. eg.有100个…

第十部分: 1.PCA降维 2.LDA 注释:一直看理论感觉坚持不了,现在进行<机器学习实战>的边写代码边看理论…

第九部分: 1.高斯混合模型 2.EM算法的认知 1.高斯混合模型 之前博文已经说明:http://www.cnblogs.com/wjy-lulu/p/7009038.html 2.EM算法的认知 2.1理论知识之前已经说明:http://www.cnblogs.com/wjy-lulu/p/7010258.html 2.2公式的推导 2.2.1. Jensen不等式 回顾优化理论中的一些概念.设f是定义域为实数的函数,如果对于所有的实数x,,那么f是凸函数.当x是向量时,如果其hessian…

第六部分内容: 1.偏差/方差(Bias/variance) 2.经验风险最小化(Empirical Risk Minization,ERM) 3.联合界(Union bound) 4.一致收敛(Uniform Convergence) 第七部分内容: 1. VC 维 2.模型选择(Model Selection) 2017.11.3注释:这两个部分都是讲述理论过程的,第一方面太难了,第二方面现在只想快速理解Ng的20节课程.所以这部分以后回头再看!  2017.11.4注释:这理论还是得掌握,…

第四部分: 1.生成学习法 generate learning algorithm 2.高斯判别分析 Gaussian Discriminant Analysis 3.朴素贝叶斯 Navie Bayes 4.拉普拉斯平滑 Navie Bayes 一.生成学习法generate learning algorithm: 二类分类问题,不管是感知器算法还是逻辑斯蒂回归算法,都是在解空间中寻找一条直线从而把两种类别的样例分开,对于新的样例只要判断在直线的哪一侧即可:这种直接对问题求解的方法可以成为判别学…

本章内容: 1.逻辑分类与回归 sigmoid函数概率证明---->>>回归 2.感知机的学习策略 3.牛顿法优化 4.Hessian矩阵 牛顿法优化求解: 这个我就不记录了,看到一个非常完美的说明+演示+实际操作:http://www.matongxue.com/madocs/205.html#/madoc Hessian矩阵: 先看其定义: 就是对参数求各个方向的偏导数,我们以以下的2个特征值为例子也就是2X2矩阵,里面的参数是二阶偏导数,那就可以表示图形或者图像的凹凸性或者拐点之类…

本章节内容: 1.学习的种类及举例 2.线性回归,拟合一次函数 3.线性回归的方法: A.梯度下降法--->>>批量梯度下降.随机梯度下降 B.局部线性回归 C.用概率证明损失函数(极大似然函数) 监督学习:有实际的输入和输出,给出标准答案做参照.比如:回归的运算,下面有例子. 非监督学习:内有标准答案,靠自己去计算.比如:聚类. 梯度下降法: 注释:以下直接复制Stanford课程的一位同学评论:super萝卜 [网易北京市海淀区网友]. m代表训练样本的数量,number of tr…

目录 一.线性回归 1,假设函数.代价函数,梯度下降 2,特征处理 3,代价函数和学习速率 4,特征和多项式回归 5,正规方程 二.逻辑回归(Logistic Regression,LR) 1,假设函数 2,代价函数 3,梯度下降算法 4,高级算法 三.正则化 1,过拟合 2,正则化 3,正则化线性回归 4,正则化逻辑回归 四.神经网络 1,正向传播算法 2,反向传播算法 3,梯度检验.随机初始化 五.应用机器学习的建议 六.支持向量机SVM 1,代价函数 2,核函数 3,参数的影响,其他核函数…

一.安装机器学习的包 1.conda create -n ml python=3.6 2.source activate ml 3.升级pip :pip install --upgrade pip 4.安装scikit-learn:conda install scikit-learn (机器学习的框架:scikit-learn) 5.安装pandas:conda install pandas (数据处理工具:pandas)(科学计算包:numpy) 6.返回yixia目录:cd 7.创建一个文件…

机器学习&数据挖掘笔记_16(常见面试之机器学习算法思想简单梳理) 作者:tornadomeet 出处:http://www.cnblogs.com/tornadomeet 前言: 找工作时(IT行业),除了常见的软件开发以外,机器学习岗位也可以当作是一个选择,不少计算机方向的研究生都会接触这个,如果你的研究方向是 机器学习/数据挖掘之类,且又对其非常感兴趣的话,可以考虑考虑该岗位,毕竟在机器智能没达到人类水平之前,机器学习可以作为一种重要手段,而随着科技的 不断发展,相信这方面的人才需求也会越…

机器学习&数据挖掘笔记_16(常见面试之机器学习算法思想简单梳理) 转自http://www.cnblogs.com/tornadomeet/p/3395593.html 前言: 找工作时(IT行业),除了常见的软件开发以外,机器学习岗位也可以当作是一个选择,不少计算机方向的研究生都会接触这个,如果你的研究方向是机器学习/数据挖掘之类,且又对其非常感兴趣的话,可以考虑考虑该岗位,毕竟在机器智能没达到人类水平之前,机器学习可以作为一种重要手段,而随着科技的不断发展,相信这方面的人才需求也会越来越大…

programming-languages学习笔记–第7部分 */--> pre.src {background-color: #292b2e; color: #b2b2b2;} pre.src {background-color: #292b2e; color: #b2b2b2;} pre.src {background-color: #292b2e; color: #b2b2b2;} pre.src {background-color: #292b2e; color: #b2b2b2;} p…

机器学习系统或者SysML&DL笔记(一)  Oldpan  2019年5月12日  0条评论  971次阅读  1人点赞 在使用过TVM.TensorRT等优秀的机器学习编译优化系统以及Pytorch.Keras等深度学习框架后,总觉得有必要从理论上对这些系统进行一些分析,虽然说在实践中学习是最快最直接的(指哪儿打哪儿.不会哪儿查哪儿),但恶补一些关于系统设计的一些知识还是非常有用了,权当是巩固一些基础了. 前言 在使用过TVM.TensorRT等优秀的机器学习编译优化系统以及Pytorch.…

前言 在使用过TVM.TensorRT等优秀的机器学习编译优化系统以及Pytorch.Keras等深度学习框架后,总觉得有必要从理论上对这些系统进行一些分析,虽然说在实践中学习是最快最直接的(指哪儿打哪儿.不会哪儿查哪儿),但恶补一些关于系统设计的一些知识还是非常有用了,权当是巩固一些基础了. 因此,有必要学习了解一下机器学习系统的设计和思想.如果不是很了解机器学习系统的设计,可以看下知乎上关于这个问题的回答:相比AI算法研究,计算机系统研究没落了吗? 以下是本系列文章的笔记来源: CSE 59…

前言: 找工作时(IT行业),除了常见的软件开发以外,机器学习岗位也可以当作是一个选择,不少计算机方向的研究生都会接触这个,如果你的研究方向是机器学习/数据挖掘之类,且又对其非常感兴趣的话,可以考虑考虑该岗位,毕竟在机器智能没达到人类水平之前,机器学习可以作为一种重要手段,而随着科技的不断发展,相信这方面的人才需求也会越来越大. 纵观IT行业的招聘岗位,机器学习之类的岗位还是挺少的,国内大点的公司里百度,阿里,腾讯,网易,搜狐,华为(华为的岗位基本都是随机分配,机器学习等岗位基本面向的是博士)等…