<统计学习方法>极简笔记P2:感知机数学推导 <统计学习方法>极简笔记P3:k-NN数学推导 <统计学习方法>极简笔记P4:朴素贝叶斯公式推导…

<统计学习方法>极简笔记P4:朴素贝叶斯公式推导 朴素贝叶斯基本方法 通过训练数据集 T={(x_1,y_1),(x_2,y_2),(x_N,y_N)...,(x_1,y_1)} 学习联合概率分布P(X,Y),即学习先验概率分布 P(Y=c_k) 条件概率分布$P(X=x|Y=c_k)$ $k=1,2,...,K$ 假设条件独立 $P(X=x|Y=c_k)=\prod_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)$ 然后根据学习到的模型计算后验概率分布,根据贝叶斯定理 $…

感知机模型 输入空间是$\chi\subseteq\mathbb{R}^n$,输出空间是$y={+1,-1}$ 感知机定义为:$f(x)=sign(wx+b)$ 感知机学习策略 输入空间任一点$x_0$到超平面S的距离: $\frac{1}{||w||}|wx_0+b|$ 误分类数据$(x_i,y_i)$,有$-y_i(wx_i+b)>0$ 误分类点$x_i$到超平面S的距离$-\frac{1}{||w||}y_i(wx_i+b)$ 误分类点集合M,所有误分类点到超平面S的距离 $-\frac{…

K近邻法(K-nearest neighbor,k-NN),这里只讨论基于knn的分类问题,1968年由Cover和Hart提出,属于判别模型 K近邻法不具有显式的学习过程,算法比较简单,每次分类都是根据训练集中k个最近邻,通过多数表决的方式进行预测.所以模型需要保留所有训练集数据,而象感知机这样的模型只需要保存训练后的参数即可,训练集不需要保留 K近邻算法 K近邻法三要素 和其他统计学习方法不同的,K近邻法的三要素是,k值的选择,距离度量和分类决策规则 距离度量 首先如何定义"近"?…

出于公司开发需求,这个暑假我開始搞Ruby on Rails.在业余时间捣鼓了一个在线笔记应用:http://raysnote.com.这是一个极简而优雅的笔记站点(至少我个人这么觉得的). 笔记支持所见即所得的编辑器.markdown语法,时时预览,代码高亮.表格.数学公式等. 除此之外,还具有保存网络文章的功能(类似read it later).对于一个对于书写和阅读有强迫症的人来说,我在Raysnote的中文排版设计.易用性设计上花了非常大的功夫.使得Raysnote具有简洁优雅的风格.阅…

本系列笔记内容参考来源为李航<统计学习方法> EM算法是一种迭代算法,用于含有隐变量的概率模型参数的极大似然估计或极大后验概率估计.迭代由 (1)E步:求期望 (2)M步:求极大 组成,称为期望极大算法. EM算法引入 EM算法是通过不断求解下界的极大化逼近求解对数似然函数极大化的算法. EM在监督学习中的应用 收敛性 EM算法在高斯混合模型学习中的应用 高斯混合模型 高斯混合模型参数估计的EM算法 EM算法的推广 EM算法还可解释为F函数的极大-极大算法,基于这个解释有若干变形与推广. 首先…

本系列笔记内容参考来源为李航<统计学习方法> k近邻是一种基本分类与回归方法,书中只讨论分类情况.输入为实例的特征向量,输出为实例的类别.k值的选择.距离度量及分类决策规则是k近邻法的三个基本要素. k近邻算法 给定一个训练数据集,对新的输入实例,在训练数据集中找到与该实例最邻近的k个实例,这k个实例的多数属于某个类,就把该输入实例分为这个类. k近邻法没有显示的学习过程. k近邻模型 距离度量 一般为欧式距离,Lp距离.Minkowski距离等 由不同的距离度量所确定的最近邻点是不同的. 式…

本文,意在说明<统计学习方法>第九章EM算法的三硬币例子,公式(9.5-9.6如何而来) 下面是(公式9.5-9.8)的说明, 本人水平有限,怀着分享学习的态度发表此文,欢迎大家批评,交流.感谢您的阅读.欢迎转载本文,转载时请附上本文地址:http://www.cnblogs.com/Dzhouqi/p/3203776.html另外:欢迎访问我的博客 http://www.cnblogs.com/Dzhouqi/…

Git 极简入门教程  http://rogerdudler.github.io/git-guide/index.zh.html 测试用 https://github.com/xxx/BrnShop.git 1.检出仓库,创建本地git 仓库 这里我已经知道了GitHub的代码仓库,可以省掉在本地创建新仓库(git init)命令, 直接实践了clone命令 直接clone Github上的仓库到本地 : $ git clone https://github.com/xxx/BrnShop.gi…

MongoDB 极简实践入门 1. 为什么用MongoDB? 传统的计算机应用大多使用关系型数据库来存储数据,比如大家可能熟悉的MySql, Sqlite等等,它的特点是数据以表格(table)的形式储存起来的.数据库由一张张排列整齐的表格构成,就好像一个Excel表单一样,每个表格会有若干列,比如一个学生信息表,可能包含学号.姓名.性别.入学年份.高考成绩.籍贯等等.而表格的每一排,则是一个个学生的具体信息.在企业级应用和前互联网时代,关系型数据库几乎是不二选择.关系型数据库的特点是有整齐划一…