极限学习机（Extreme Learning Machine）学习笔记

最近研究上了这个一个东西--极限学习机。

　　在很多问题中，我大多会碰到两个问题，一个是分类，另一个就是回归。简单来说，分类是给一串数打个标签，回归是把一串数变为一个数。

在这里我们需要处理的数据一般维度都比较高，在处理这两类问题时最简单的方法就是加权。使那些对最终结果影响大的维度的数据的权设大点，影响小的权设小点。其实，影响小的这些维度的数据对于我们整个建立的模型也不是完全没有用的。至少它们保证了我们整个模型的稳定和鲁棒性。

直到现在我都没有说什么是ELM(极限学习机)，因为，它本身还存在很大的争议。就我到现在的研究，从实验结果来说，所有变种的ELM，没有最原始的ELM的结果好，而这最好的结果也没有SVR(支持向量回归)好。

ELM的网络结构和单隐层的BP网络是一样的，只是他们内部神经元之间连接的权值的计算方法不一样的。

网络结构图如下:

研究到后来发现了很多的问题。特别是其中的求伪逆的那个部分，当H的维数很高的时候，这样求出来的伪逆的误差是非常大的。