csv数据集按比例分割训练集、验证集和测试集，即分层抽样的方法

一、一种比较通俗理解的分割方法

1.先读取总的csv文件数据：

import pandas as pd
data = pd.read_csv('D:\BaiduNetdiskDownload\weibo_senti_100k\weibo_senti_100k\weibo_senti_100k.csv')
data.head(10)#输出前十行

data.label.value_counts()#查看标签类别及数目

2.按照标签将总的dataframe分割为两份，一份为标签为1，一份为标签为0

groups = data.groupby(data.label)
data_true = groups.get_group(1)
data_false = groups.get_group(0)
data_true.head(10),data_false.head(10)

3.

data_true = data_true.sample(frac=1.0)  # 全部打乱
data_false = data_false.sample(frac=1.0)  # 全部打乱
#给测试集两种标签各600个，按照大概8：1：1的比例取
test_true = data_true.iloc[:600, :]
test_false = data_false.iloc[:600, :]
test_data = pd.concat([test_true, test_false], axis = 0, ignore_index=True).sample(frac=1)
#验证集
valid_true = data_true.iloc[600:1200, :]
valid_false = data_false.iloc[600:1200, :]
valid_data = pd.concat([valid_true, valid_false], axis = 0, ignore_index=True).sample(frac=1)
#训练集
train_true = data_true.iloc[1200:, :]
train_false = data_false.iloc[1200:, :]
train_data = pd.concat([train_true, train_false], axis = 0, ignore_index=True).sample(frac=1)

4.生成csv文件

test_data.to_csv('test.csv')
valid_data.to_csv('val.csv')
train_data.to_csv('train.csv')

二、不通俗方法

可以看出上面的方法不断地生成新的dataframe太麻烦了些，虽然直观醒目，但在代码编写上很是繁冗，于是可以使用apply方法避免这种问题

1.为便于讲解，先生成一个简单的dataframe：

df = pd.DataFrame({'label':[0,0,0,0,1,1,1,1], 'review':['aa', 'bb', 'cc', 'dd', 'ee', 'ff', 'gg', 'hh']})

2.首先定义一个简单的分层取样函数，frac为取样概率，group为一个单独的dataframe

def simpleSampling(group, frac):
    return group.sample(frac=frac)

3.接下来使用apply函数对分组后的每一个组（即一个dataframe）进行函数操作

train_df = df.groupby(df.label).apply(simpleSampling, 0.5)



可以看到多了一列label标签，可以使用sample(frac=1, ignore_index = True)消除它

4.在生成了train数据集后，我们需要把train从原df中删除掉，但是dataframe没有直接删除的方法，我们迂回的使用删除重复行的方法：

df = df.append(train_df.sample(frac=1, ignore_index=True)).drop_duplicates(keep = False)



可以看到df只剩上图的几行了，接下来生成测试集和验证集

5.我们如果要生成原数据集0.25比例的验证集，那么需要注意的是，在将train删除后，在新的数据集中我们的比例就变成了p(val) = p(test) = 0.25 / 0.5 = 0.5

val_df = df.groupby(df.label).apply(simpleSampling, 0.5).sample(frac=1, ignore_index = True)
test_df = df.append(val_df).drop_duplicates(keep=False)
train_df.to_csv('train_csv')
val_df.to_csv('val_csv')
test_df.to_csv('test_csv')

至此我们的数据集就已经成功分割了，以上两种方法原理相同，只是第二种方法巧妙地应用了apply函数，避免了一个接一个的新的dataframe的生成。