…

…

虽然学过Machine Learning和Probability今天看着一part的时候还是感觉挺有趣,听惊呆的,尤其是Bayesian Approach.奇怪发中文的笔记就很多人看,英文就没有了,其实我觉得英文的写得更好呀...囧...一边看一边写一边实现,好慢,求同道中人啊...…

最近还没更完OpenCV又开了新坑,谁教machine learning处在紧急又重要的地位呢.更新的内容总结自Pattern Recognition and Machine Learning by Christopher M. Bishop,英文书哪里都好,不过有时候表达一个意思要写好大一段啊,所以内容上只保留了精华部分.考虑应该做ML通用英文,所以没有翻译,文章中一些重要的“请读者证明”和练习用的Matlab代码也会一并更新. Training phase (learning phase)…

这两部分内容比较少,都是直觉上的例子和非正式的定义,当然这本书中绝大多数定义都是非正式的,但方便理解.后面深入之后会对这两个章节有详细的阐述.…

啊啊啊,竟然不支持latex,竟然HTML代码不能包含javascript,代码编辑器也不支持Matlab!!!我要吐槽博客的编辑器...T_T只能贴图凑合看了,代码不是图,但这次为了省脑细胞,写的不简洁,凑合看吧... numPoints = ; lnlambda = [-Inf - ]; M = ; % [, , , ]; x = linspace(,); % gt data for plotting t = sin(*pi*x); ttest = t + normrnd(,0.2, siz…

参考: 模式识别与机器学习(一):概率论.决策论.信息论 Decision Theory - Principles and Approaches 英文图书 What are the best beginners books about decision theory? - Quora Statistical Decision Theory 了解一些AI方面的前沿知识!!! 待续~…

初体验: 概率论为我们提供了一个衡量和控制不确定性的统一的框架,也就是说计算出了一大堆的概率.那么,如何根据这些计算出的概率得到较好的结果,就是决策论要做的事情. 一个例子: 文中举了一个例子: 给定一个X射线图x,目标是如何判断这个病人是否得癌症(C1或C2).我们把它看作是一个二分类问题,根据bayes的概率理论模型,我们可以得到: 因此,就是的先验概率:(假设Ck表示患病,那么就表示普通人患病的概率) 则作为是后验概率. 假设,我们的目标是:在给定一个x的情况下,我们希望最小化误分类的概率…

在讲完最小二乘(linear regression)和K近邻后,进入本节. 引入符号: $X\in R^p$ X为维度为p的输入向量 $Y\in R$ Y为输出,实数 $P(X,Y)$ 为两者的联合概率分布 $f(X)$ 为预测函数,给定X,输出Y a.使用squared error loss(L2)作为损失函数 $L(Y,f(X))={(Y-f(X))}^2$ EPE(excepted prediction error)为 $EPE(f)=E({(Y-f(X))}^2) \\ \ \ =\in…

(本文为原创学习笔记,主要参考<模式识别(第三版)>(张学工著,清华大学出版社出版)) 1.概念 将分类看做决策,进行贝叶斯决策时考虑各类的先验概率和类条件概率,也即后验概率.考虑先验概率意味着对样本总体的认识,考虑类条件概率是对每一类中某个特征出现频率的认识.由此不难发现,贝叶斯决策的理论依据就是贝叶斯公式. 2.理论依据 2.1 最小错误率贝叶斯决策 贝叶斯决策的基本理论依据就是贝叶斯公式(式1),由总体密度P(E).先验概率P(H)和类条件概率P(E|H)计算出后验概率P(H|E),判决…