cross validation笔记

preface：做实验少不了交叉验证，平时常用from sklearn.cross_validation import train_test_split，用train_test_split()函数将数据集分为训练集和测试集，但这样还不够。当需要调试参数的时候便要用到K-fold。scikit给我们提供了函数，我们只需要调用即可。

sklearn包中cross validation的介绍：在这里。其中卤煮对3.1.2. cross validation iterators这一小节比较注意。先做这一小节的笔记，后续再添加。cross_validation函数下的函数如下图所示。

Figure 1: cross validation下的函数

3.1.2.1. k-fold

将样例划分为K份，若K=len(样例)，即为留一交叉验证，K-1份作为训练。从sklearn中自带的KFold函数说明中也可以看到其用法。其中n_folds默认为3折交叉验证，2/3作为训练集，1/3作为测试集。

Figure 3-1-2-1-1:KFold用法

Figure 3-1-2-1-2: KFold使用例子

3.1.2.2. Stratified k-fold

StratifiedKFold()这个函数较常用，比KFold的优势在于将k折数据按照百分比划分数据集，每个类别百分比在训练集和测试集中都是一样，这样能保证不会有某个类别的数据在训练集中而测试集中没有这种情况，同样不会在训练集中没有全在测试集中，这样会导致结果糟糕透顶。

Figure 3-1-2-2-1：StratifiedKFold函数使用

3.1.2.3. Label k-fold

LabelKFold()函数则是根据样例label来交叉验证，某个样例的数据必须是属于训练集或者测试集时，可用这个函数。奇怪的是卤煮在sklearn中使用异常，没有这个函数。。。

Figure 3-1-2-3：LabelKFold()函数使用