https://www.cs.utah.edu/~jeffp/teaching/cs5955/L3-Chern-Hoeff.pdf [大数据-通过随机过程降维 ] When dealing with modern big data sets, a very common theme is reducing the set through a random process. These generally work by making “many simple estimates” of the…

Hoeffding公式为 \epsilon]\leq{2e^{-2\epsilon^2N}}"> 如果把Training error和Test error分别看成和的话，Hoeffding告诉我们，取样出来的v和总的u大部分是比较接近的，很小的概率是差很远的，即Ein和Eout差很远，这种情况称为Bad sample. 本来只有一个coin，丢5次，5次head的概率就是1/32。现在有150个coin，可以选择出现5次的那个coin，这时概率会大大增加，变成了1-(31/32)^150…

问题 假设空间的样本复杂度(sample complexity):随着问题规模的增长导致所需训练样本的增长称为sample complexity. 实际情况中,最有可能限制学习器成功的因素是训练数据的有限性. 在使用学习器的过程中,我们希望得到与训练数据拟合程度高的假设(hypothesis).(在前面文章中提到,这样的假设我们称之为g). 这就要求训练错误率为0.而实际上,大部分情况下,我们找不到这样的hypothesis(通过学习机得到的hypothesis)在训练集上有错误率为0. 所以退…

网易公开课,第9,10课 notes,http://cs229.stanford.edu/notes/cs229-notes4.pdf 这章要讨论的问题是,如何去评价和选择学习算法   Bias/variance tradeoff 还是用这组图,学习算法追求的是generalization error(对未知数据的预测误差),而不是training error(只是对训练集) 最左边,underfit,我们说这种学习算法有较大的bias Informally, we define the bia…

Basic Mathematics You Should Mastered 2017-08-17  21:22:40  1. Statistical distance  In statistics, probability theory, and information theory, a statistical distance quantifies the distance between two statistical objects, which can be two random va…

[1] ML Introduction a. supervised learning & unsupervised learning 监督学习:从给定的训练数据集中学习出一个函数(模型参数),当新的数据到来时,可以根据这个函数预测结果.监督学习的训练集要求包括输入输出,也可以说是特征和目标.训练集中的目标是由人标注的.常用于:训练神经网络.决策树.回归分析.统计分类 无监督学习:输入数据没有被标记,也没有确定的结果.样本数据类别未知,需要根据样本间的相似性对样本集进行分类,试图使类内差距最小化,…

0 - 思想 如下图所示,Bagging(Bootstrap Aggregating)的基本思想是,从训练数据集中有返回的抽象m次形成m个子数据集(bootstrapping),对于每一个子数据集训练一个基础分类器,最后将它们的结果综合起来获得最终输出. 1 - 特点 Bagging需要不同的/独立的(diverse/independent)基础模型,因此太过稳定的模型不适合这种集成方法,例如: KNN是稳定的 决策树是不稳定的,特别是未剪枝的决策树(因为对于每一份数据的拟合可能很不一样) 此外…

CS229 Machine Learning Stanford Course by Andrew Ng Course material, problem set Matlab code written by me, my notes about video course: https://github.com/Yao-Yao/CS229-Machine-Learning Contents: supervised learning Lecture 1 application field, pre-…

高维空间中的正方体和Chernoff Bounds 本文将介绍高维空间中正方体的一些性质,以及一个非常常见也是非常有用的概率不等式——Chernoff Bounds. 考虑$d$维单位正方体$C=\{x|0\leq x_i\leq 1,i=1,\cdots,d\}$,其中心点为$(\frac{1}{2},\cdots,\frac{1}{2})$,体积为1.现在我们将其半径收缩到$1-\frac{c}{d}$,其体积为$(1-\frac{c}{d})^d\leq e^{-c}$,所以当$d$很大时…

…