转自:http://www.cnblogs.com/leoo2sk/archive/2010/09/17/naive-bayesian-classifier.html 1.1.摘要 贝叶斯分类是一类分类算法的总称,这类算法均以贝叶斯定理为基础,故统称为贝叶斯分类.本文作为分类算法的第一篇,将首先介绍分类问题,对分类问题进行一个正式的定义.然后,介绍贝叶斯分类算法的基础——贝叶斯定理.最后,通过实例讨论贝叶斯分类中最简单的一种:朴素贝叶斯分类. 1.2.分类问题综述 对于分类问题,其实谁都不会陌生…
landen@landen-Lenovo:~/文档/20news$ mahout trainclassifier --helpMAHOUT_LOCAL is not set; adding HADOOP_CONF_DIR to classpath.Running on hadoop, using HADOOP_HOME=/home/landen/UntarFile/hadoop-1.0.4No HADOOP_CONF_DIR set, using /home/landen/UntarFile/h…
Bayesian在识别领域的贡献,着实吸引人 阅读笔记 Gabor特征 (简介,另单独详述) 通过上面的分析,我们知道了,一个Gabor核能获取到图像某个频率邻域的响应情况,这个响应结果可以看做是图像的一个特征. 那么,我们如果用多个不同频率的Gabor核去获取图像在不同频率邻域的响应情况,最后就能形成图像在各个频率段的特征,这个特征就可以描述图像的频率信息了.上图展示了一系列具有不同频率的 Gabor 核,用这些核与图像卷积,我们就能得到图像上每个点和其附近区域的频率分布情况. 由于纹理特征通…
本博客是基于对周志华教授所著的<机器学习>的"第7章 贝叶斯分类器"部分内容的学习笔记. 朴素贝叶斯分类器,顾名思义,是一种分类算法,且借助了贝叶斯定理.另外,它是一种生成模型(generative model),采用直接对联合概率P(x,c)建模,以获得目标概率值的方法. 目录 预备知识 先验概率与后验概率 贝叶斯定理(Bayesian Theorem) 朴素贝叶斯分类器 何为"朴素":属性条件独立性假设 分类准则 离散属性与连续属性值的分别处理 例子…
朴素贝叶斯模型 1) X:一条未被标记的数据 2) H:一个假设,如H=X属于Ci类 根据贝叶斯公式 把X表示为(x1,x2,....xn) x1,x2,....xn表示X在各个特征上的值. 假设有c1,c2,c3...cm个类别. 那么这个对X的分类问题就可以转化为找出使P(ci|X)最大的类别ci作为分类结果 由于我们只需要找出P(ci|X)的相对最大值,那么即找出P(X|ci)P(ci)的最大值即可 N为整个训练集的个数 P(ci)=count(ci)/N 假设X的各个属性是相互独立的:…
听同事讲 Bayesian statistics: Part 1 - Bayesian vs. Frequentist   摘要:某一天与同事下班一同做地铁,刚到地铁站,同事遇到一熟人正从地铁站出来.俩人见面都特别高兴,聊了许久.过后我问她这人是谁,她说是她的朋友,伯克利的教授Michael Jordan.啊!原来他就是鼎鼎大名的Michael Jordan啊! 同事中牛人众多,姑且先称这位同事为M吧.M美国博士毕业后到英国剑桥又深造了几年,研究方向一直是 Bayesian statistics…
贝叶斯学习方法中有用性非常高的一种为朴素贝叶斯学习期,常被称为朴素贝叶斯分类器. 在某些领域中与神经网络和决策树学习相当.尽管朴素贝叶斯分类器忽略单词间的依赖关系.即如果全部单词是条件独立的,但朴素贝叶斯分类在实际应用中有非常出色的表现. 朴素贝叶斯文本分类算法伪代码: watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Cen…
从决策树学习谈到贝叶斯分类算法.EM.HMM     引言 最近在面试中,除了基础 &  算法 & 项目之外,经常被问到或被要求介绍和描述下自己所知道的几种分类或聚类算法(当然,这完全不代表你将来的面试中会遇到此类问题,只是因为我的简历上写了句:熟悉常见的聚类 & 分类算法而已),而我向来恨对一个东西只知其皮毛而不得深入,故写一个有关数据挖掘十大算法的系列文章以作为自己备试之用,甚至以备将来常常回顾思考.行文杂乱,但侥幸若能对读者起到一点帮助,则幸甚至哉. 本文借鉴和参考了两本书,…
从决策树学习谈到贝叶斯分类算法.EM.HMM                (Machine Learning & Recommend Search交流新群:172114338) 引言 log0为0). 如果写代码实现熵的计算,则例如以下所看到的: //依据详细属性和值来计算熵 double ComputeEntropy(vector <vector <string> > remain_state, string attribute, string value,bool i…
2 Numpy快速上手 2.1. 什么是Numpy Numpy是Python的一个科学计算的库 主要提供矩阵运算的功能,而矩阵运算在机器学习领域应用非常广泛 Numpy一般与Scipy.matplotlib一起使用. 虽然python中的list已经提供了类似于矩阵的表示形式,不过numpy为我们提供了更多的函数. 2.1.2 安装导入了Numpy (通用做法import numpy as np 简单输入) >>> import numpy as np >>> prin…