keras训练大量数据的办法

最近在做一个鉴黄的项目，数据量比较大，有几百个G，一次性加入内存再去训练模青型是不现实的。

查阅资料发现keras中可以用两种方法解决，一是将数据转为tfrecord，但转换后数据大小会方法不好；另外一种就是利用generator，先一次加入所有数据的路径，然后每个batch的读入

# 读取图片函数
def get_im_cv2(paths, img_rows, img_cols, color_type=1, normalize=True):
    '''
    参数：
        paths：要读取的图片路径列表
        img_rows:图片行
        img_cols:图片列
        color_type:图片颜色通道
    返回:
        imgs: 图片数组
    '''
    # Load as grayscale
    imgs = []
    for path in paths:
        if color_type == 1:
            img = cv2.imread(path, 0)
        elif color_type == 3:
            img = cv2.imread(path)
        # Reduce size
        resized = cv2.resize(img, (img_cols, img_rows))
        if normalize:
            resized = resized.astype('float32')
            resized /= 127.5
            resized -= 1. 

        imgs.append(resized)

    return np.array(imgs).reshape(len(paths), img_rows, img_cols, color_type)

def get_train_batch(X_train, y_train, batch_size, img_w, img_h, color_type, is_argumentation):
    '''
    参数：
        X_train：所有图片路径列表
        y_train: 所有图片对应的标签列表
        batch_size:批次
        img_w:图片宽
        img_h:图片高
        color_type:图片类型
        is_argumentation:是否需要数据增强
    返回:
        一个generator，x: 获取的批次图片 y: 获取的图片对应的标签
    '''
    while 1:
        for i in range(0, len(X_train), batch_size):
            x = get_im_cv2(X_train[i:i+batch_size], img_w, img_h, color_type)
            y = y_train[i:i+batch_size]
            if is_argumentation:
                # 数据增强
                x, y = img_augmentation(x, y)
            # 最重要的就是这个yield，它代表返回，返回以后循环还是会继续，然后再返回。就比如有一个机器一直在作累加运算，但是会把每次累加中间结果告诉你一样，直到把所有数加完
            yield(np.array(x}, np.array(y))

result = model.fit_generator(generator=get_train_batch(X_train, y_train, train_batch_size, img_w, img_h, color_type, True),
          steps_per_epoch=1351,
          epochs=50, verbose=1,
          validation_data=get_train_batch(X_valid, y_valid, valid_batch_size,img_w, img_h, color_type, False),
          validation_steps=52,
          callbacks=[ckpt, early_stop],
          max_queue_size=capacity,
          workers=1)

参考：https://www.jianshu.com/p/5bdae9dcfc9c

https://keras.io/zh/models/model/