Python如何进行cross validation training

以4-fold validation training为例

(1) 给定数据集data和标签集label

样本个数为

sampNum = len(data)

(2) 将给定的所有examples分为10组

每个fold个数为

foldNum = sampNum/10

(3) 将给定的所有examples分为10组

参考scikit-learn的3.1节：Cross-validation

 import np
 from sklearn import cross_validation
 # dataset

 data = np.array([[1,3],[2,4],[3.1,3],[4,5],[5.0,0.3],[4.1,3.1]])
 label = np.array([0,1,1,1,0,0])
 sampNum= len(data)

 # 10-fold （9份为training，1份为validation）
 kf = KFold(len(data), n_folds=4)
 iFold = 0
 for train_index, val_index in kf:
     iFold = iFold+1
     X_train, X_val, y_train, y_val = data[train_index], data[val_index], label[train_index], label[val_index] # 这里的X_train，y_train为第iFold个fold的训练集，X_val，y_val为validation set

　　

给定的数据集如下：

  

所有样本的指标集为：

0

1

2

3

4

5

6

7

每个iFold(共4个)的训练集和validation set的index分别为：

iFold = 0 （训练集中包含6个examples，validation set 中包含3个examples）

iFold = 1

iFold = 2

iFold = 3

每个iFold的训练集和validation set分别为：

X_train, X_val, y_train, y_val = data[train_index], data[val_index], label[train_index], label[val_index]