Hoeffding公式为 \epsilon]\leq{2e^{-2\epsilon^2N}}"> 如果把Training error和Test error分别看成和的话，Hoeffding告诉我们，取样出来的v和总的u大部分是比较接近的，很小的概率是差很远的，即Ein和Eout差很远，这种情况称为Bad sample. 本来只有一个coin，丢5次，5次head的概率就是1/32。现在有150个coin，可以选择出现5次的那个coin，这时概率会大大增加，变成了1-(31/32)^150…

问题 假设空间的样本复杂度(sample complexity):随着问题规模的增长导致所需训练样本的增长称为sample complexity. 实际情况中,最有可能限制学习器成功的因素是训练数据的有限性. 在使用学习器的过程中,我们希望得到与训练数据拟合程度高的假设(hypothesis).(在前面文章中提到,这样的假设我们称之为g). 这就要求训练错误率为0.而实际上,大部分情况下,我们找不到这样的hypothesis(通过学习机得到的hypothesis)在训练集上有错误率为0. 所以退…

网易公开课,第9,10课 notes,http://cs229.stanford.edu/notes/cs229-notes4.pdf 这章要讨论的问题是,如何去评价和选择学习算法   Bias/variance tradeoff 还是用这组图,学习算法追求的是generalization error(对未知数据的预测误差),而不是training error(只是对训练集) 最左边,underfit,我们说这种学习算法有较大的bias Informally, we define the bia…

[1] ML Introduction a. supervised learning & unsupervised learning 监督学习:从给定的训练数据集中学习出一个函数(模型参数),当新的数据到来时,可以根据这个函数预测结果.监督学习的训练集要求包括输入输出,也可以说是特征和目标.训练集中的目标是由人标注的.常用于:训练神经网络.决策树.回归分析.统计分类 无监督学习:输入数据没有被标记,也没有确定的结果.样本数据类别未知,需要根据样本间的相似性对样本集进行分类,试图使类内差距最小化,…

0 - 思想 如下图所示,Bagging(Bootstrap Aggregating)的基本思想是,从训练数据集中有返回的抽象m次形成m个子数据集(bootstrapping),对于每一个子数据集训练一个基础分类器,最后将它们的结果综合起来获得最终输出. 1 - 特点 Bagging需要不同的/独立的(diverse/independent)基础模型,因此太过稳定的模型不适合这种集成方法,例如: KNN是稳定的 决策树是不稳定的,特别是未剪枝的决策树(因为对于每一份数据的拟合可能很不一样) 此外…

CS229 Machine Learning Stanford Course by Andrew Ng Course material, problem set Matlab code written by me, my notes about video course: https://github.com/Yao-Yao/CS229-Machine-Learning Contents: supervised learning Lecture 1 application field, pre-…

https://www.cs.utah.edu/~jeffp/teaching/cs5955/L3-Chern-Hoeff.pdf [大数据-通过随机过程降维 ] When dealing with modern big data sets, a very common theme is reducing the set through a random process. These generally work by making “many simple estimates” of the…

统计学场景: 一个罐子中有红球和绿球,红球比例$v$未知,数量未知,如何得到红球比例?方法---随机抽样N个球,在其中红球占比为$u$ 由hoeffding可以知道:$P(|u-v|>\epsilon)\leq 2e^{-2\epsilon^2N}$ 对应到机器学习分类问题:目标函数为$f(x)$,现要估计$h(x)$的错误率假设在罐子中,将$[f(x_i)\neq h(x_i)]$的x标成红色将$[f(x_i)= h(x_i)]$的x标成绿色此时红色比例$v$即为$E_{out}$ 此时数据集…

MM bound 与 Jensen's inequality 简森不等式 在使用最大似然估计方法求解模型最优解的时候,如果使用梯度下降(GD or SGD)或者梯度上升(GA or SGA),可能收敛的很慢. 这时,可以使用 MM bound + Jensen's inequality 相结合的方法,先用MM,然后用 Jensen's inequality,可能能得到一个最大值解.使用这个最大值解来更新参数就好了. 1.先使用 MM bound, 2.使用两个 Jensen 不等式:…

摘抄自:  https://en.wikipedia.org/wiki/Rearrangement_inequality#Proof In mathematics, the rearrangement inequality[1] states that {\displaystyle x_{n}y_{1}+\cdots +x_{1}y_{n}\leq x_{\sigma (1)}y_{1}+\cdots +x_{\sigma (n)}y_{n}\leq x_{1}y_{1}+\cdots +x_{…