这是早前BigQuant专题研究:基于卷积神经网络CNN的深度学习因子选股模型。卷积神经网络(Convolutional Neural Network, CNN),是计算机视觉研究和应用领域中最具影响力的模型之一。同样,如果将时间看作一个空间维度,类似于二维图像的高度或宽度,CNN也可以对时间序列处理产生令人惊喜的效果。本文首先大致介绍了CNN的原理,然后详细解释了一维CNN模型如何进行应用于时间序列并进行特征选取,最后以一个实例展示一维CNN模型在因子选股方面的应用。


目录

1.CNN原理介绍

1.1 反向传播算法

1.2 CNN图像识别原理

2.一维CNN在时间序列中的应用

2.1 一维卷积

2.2 一维池化

3.实例:CNN模型选股


1.CNN原理介绍

1.1 反向传播算法

反向传播(Backpropagation,缩写为BP)是“误差反向传播”的简称,是一种与最优化方法(如梯度下降法)结合使用的,用来训练人工神经网络的常见方法。该方法对网络中所有权重计算损失函数的梯度,这个梯度会反馈给最优化方法,用来更新权值以最小化损失函数。 一句话解释:前向传递输入信号直至输出产生误差,反向传播误差信息更新权重矩阵。 以没有隐层的神经网络为例,如逻辑回归,其中小黄帽代表输出层节点,左侧接受输入信号,右侧产生输出结果,小蓝猫则代表了误差,指导参数往更优的方向调整。由于小蓝猫可以直接将误差反馈给小黄帽,同时只有一个参数矩阵和小黄帽直接相连,所以可以直接通过误差进行参数优化(实线),迭代几轮,误差会降低到最小。

图1:无隐层反向传播算法示意 图1:无隐层反向传播算法示意

1.2 CNN图像识别原理

卷积神经网络的结构模仿了眼睛的视觉神经的工作原理。对于眼睛来说,大量的视觉神经分工协作,各自负责一小部分区域的视觉图像,再将图像的各种局部特征抽象组合到高层的视觉概念,传送到大脑使人类产生视觉。卷积神经网络也是类似,它包含了至少一层卷积层,由多个卷积核对图像的局部区域进行特征提取,最后进行合成。 以经典的LeNet-5模型为例:

图2:LeNet−5卷积神经网络模型 原始输入数据(图1中的input)为二维图像,横轴和纵轴分别是图像的高度和宽度的像素点,为了识别该图像,模型依次完成以下步骤: 第一层卷积层(图1中的conv1)进行卷积运算。该层由若干卷积核组成,每个卷积核的参数都是通过反向传播算法优化得到的。卷积核的目的是通过扫描整张图片提取不同特征,第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级。在卷积层之后都会使用非线性激活函数(如RELU,tanh 等)对特征进行非线性变换。第一层池化层(图1中的pool1)进行池化运算。通常在卷积层之后会得到维度很大的特征,池化层可以非常有效地缩小参数矩阵的尺寸,从而减少最后全连层中的参数数量。使用池化层既可以加快计算速度也有防止过拟合的作用。一般池化层将特征切成几个区域,取其最大值或平均值,得到新的、维度较小的特征。池化层其实是在对具有高维特征的图片进行特征降维(subsample)第二层卷积层和第二层池化层(图1中的conv2 和pool2) 进行进一步的特征提取和特征降维,得到更加高层和抽象的特征。全连接层(图1中的hidden4 和full connection) 把卷积核池化得到的特征展平为一维特征,用来进行最后的训练和预测。 总结而言,卷积层进行特征提取,池化层进行特征降维以防止过拟合。CNN通过上述过程实现了图像识别:

图3:CNN图像识别

通过第一层卷积识别边缘等低级特征,池化后通过第二层卷积识别眼睛、鼻子等小区域器官这样的中级特征,池化,最后通过第三层卷积识别整个面容这样的高级特征,最后通过全连接层整合,识别出最终的图像。

2.一维CNN在时间序列中的应用

CNN最主要应用于计算机视觉领域,通过卷积运算,从二维图像中提取特征,最终实现优秀的图像识别功能。对于这样一种优秀的算法,我们自然会思考如何将其运用到时间序列分析中。很容易想到,有两种思路: 将一维的时间序列二维化。考虑历史截面期,将每个样本的特征数据组织成二维形式,尝试构建“特征图片”。如总共有3000个样本,每个样本有10个特征,那就考虑5个截面期,每个样本整合5个截面得到一张“特征图片”,用时间数据作为图片标签。如此,可以得到3000个带时间特征的图片,然后运用二维CNN处理。这种方法的具体实现可参见华泰证券的研报《人工智能选股之卷积神经网络》探索一维CNN在时间序列上的运用。本篇研究就是基于这个思路。如果将时间理解为图像的长或者宽,其他特征理解为一个维度,那么就可以用一维CNN进行处理。

2.1 一维卷积

一维卷积,也就是从序列中按照一定大小的窗口提取局部一维序列段(即子序列),然后与一个权重做点积,然后输出为新序列上的一个部分。以大小为5的时间窗口为例:

图4:一维CNN的一层卷积示意

2.2 一维池化

同二维池化一样,一维池化的目的也是为了对卷积的结果“模糊化”,归纳局部区域内的统计特征,并且通过降维避免过拟合。一维池化是从输入中提取一维序列段(即子序列), 然后输出其最大值(最大池化)或平均值(平均池化),降低一维输入的长度(子采样)。

3.实例:CNN模型选股

图5:CNN智能选股策略 如图5所示,一维CNN选股策略构建包含下列步骤:

获取数据 :A股所有股票。

特征和标签提取 :计算7个因子作为样本特征;计算第2日的个股收益,极值处理后分成20类作为标签。

特征预处理 :进行缺失值处理;去掉特征异常的股票,比如某个特征值高于99.5%或低于0.5%的;标准化处理,去除特征量纲/数量级差异的影响。

序列窗口滚动 :窗口大小设置为5,滚动切割。

搭建CNN模型 :构建一个简单的两层一维卷积神经网络预测股票价格。

模型训练与预测 :使用CNN模型进行训练和预测;可以尝试多种激活函数,策略默认为relu。

策略回测 :利用2010到2014年数据进行训练,预测2015到2017年的股票表现。每日买入预测排名最靠前的20只股票,至少持有2日,同时淘汰排名靠后的股票。具体而言,预测排名越靠前,分配到的资金越多且最大资金占用比例不超过20%;初始5日平均分配资金,之后,尽量使用剩余资金(这里设置最多用等量的1.5倍)。

模型评价 :查看模型回测结果。 一维CNN模型的参数如下:

输入数据:输入是形状为 (samples, time, features)的三维张量,并返回类似形状的三维张量。卷积窗口是时间轴上的一维窗口(时间轴是输入张量的第二个轴)。7个因子,时间窗口为5,因此输入7*5的一个矩阵。

卷积层:2层一维卷积层(Conv1D层),每层包含20 个卷积核。激活函数采用relu。同时选择“valid”参数,只进行有效卷积,对边界数据不处理。卷积核权重使用glorot_uniform初始化方法,偏置向量使用Zeros初始化方法。

池化层:2层池化层。

全连接层:激活函数linear。权重使用glorot_uniform初始化方法,偏置向量使用Zeros初始化方法。

训练次数率:epochs值为5,共训练5轮,以mae作为评估指标。

优化器和:RMSProp。损失函数:均方误差MSE。 预测结果如下:

图6:CNN模型预测结果

回测结果如下:

图7:CNN模型回测结果

可以看到,CNN的回测结果还是非常惊喜的,相比于基准收益有着非常突出的表现。所以,我们认为将CNN卷积神经网络应用于资本市场因子选股是很有前景的。在本次的策略中,我们运用了两层的一维CNN模型,具体的卷积层数、模型参数有非常大的调整空间,欢迎大家尝试。 策略克隆:

【专题研究】基于一维CNN模型的智能选股策略 - 策略&研究 - AI量化投资社区 - BigQuant

基于一维卷积神经网络模型的AI量化智能选股策略的更多相关文章

  1. 手写数字识别 ----卷积神经网络模型官方案例注释(基于Tensorflow,Python)

    # 手写数字识别 ----卷积神经网络模型 import os import tensorflow as tf #部分注释来源于 # http://www.cnblogs.com/rgvb178/p/ ...

  2. 使用PyTorch简单实现卷积神经网络模型

    这里我们会用 Python 实现三个简单的卷积神经网络模型:LeNet .AlexNet .VGGNet,首先我们需要了解三大基础数据集:MNIST 数据集.Cifar 数据集和 ImageNet 数 ...

  3. CNN-1: LeNet-5 卷积神经网络模型

    1.LeNet-5模型简介 LeNet-5 模型是 Yann LeCun 教授于 1998 年在论文 Gradient-based learning applied to document      ...

  4. 利用Tensorflow实现卷积神经网络模型

    首先看一下卷积神经网络模型,如下图: 卷积神经网络(CNN)由输入层.卷积层.激活函数.池化层.全连接层组成,即INPUT-CONV-RELU-POOL-FC池化层:为了减少运算量和数据维度而设置的一 ...

  5. 【TensorFlow/简单网络】MNIST数据集-softmax、全连接神经网络,卷积神经网络模型

    初学tensorflow,参考了以下几篇博客: soft模型 tensorflow构建全连接神经网络 tensorflow构建卷积神经网络 tensorflow构建卷积神经网络 tensorflow构 ...

  6. CNN-3: VGGNet 卷积神经网络模型

    1.VGGNet 模型简介 VGG Net由牛津大学的视觉几何组(Visual Geometry Group)和 Google DeepMind公司的研究员一起研发的的深度卷积神经网络,在 ILSVR ...

  7. CNN-2: AlexNet 卷积神经网络模型

    1.AlexNet 模型简介 由于受到计算机性能的影响,虽然LeNet在图像分类中取得了较好的成绩,但是并没有引起很多的关注. 知道2012年,Alex等人提出的AlexNet网络在ImageNet大 ...

  8. CNN-4: GoogLeNet 卷积神经网络模型

    1.GoogLeNet 模型简介 GoogLeNet 是2014年Christian Szegedy提出的一种全新的深度学习结构,该模型获得了ImageNet挑战赛的冠军. 2.GoogLeNet 模 ...

  9. caffe中LetNet-5卷积神经网络模型文件lenet.prototxt理解

    caffe在 .\examples\mnist文件夹下有一个 lenet.prototxt文件,这个文件定义了一个广义的LetNet-5模型,对这个模型文件逐段分解一下. name: "Le ...

  10. 吴裕雄--天生自然python Google深度学习框架:经典卷积神经网络模型

    import tensorflow as tf INPUT_NODE = 784 OUTPUT_NODE = 10 IMAGE_SIZE = 28 NUM_CHANNELS = 1 NUM_LABEL ...

随机推荐

  1. 使用API调用获取商品数据的完整方案

    ​ 在电子商务应用程序中,商品详情接口是不可或缺的一部分.它用于从电商平台或自己的数据库中获取商品数据,并将其提供给应用程序的其他部分使用.本文将详细介绍如何设计一个完整的商品详情接口方案,其中包括使 ...

  2. docker搭建dvwa靶场

    查看有哪些DVWA镜像 docker search dvwa 这里选择拉取第一个镜像 docker pull citizenstig/dvwa 访问 https://hub.docker.com/ 搜 ...

  3. 面试题:Mybatis中的#{}和${}有什么区别?这是我见过最好的回答

    面试题:Mybatis中的#{}和${}有什么区别? 前言 今天来分享一道比较好的面试题,"Mybatis中的#{}和${}有什么区别?". 对于这个问题,我们一起看看考察点和比较 ...

  4. MySQL 高级(进阶) SQL 语句

    MySQL 高级(进阶) SQL 语句 use gy; create table location (Region char(20),Store_Name char(20)); insert into ...

  5. HBuilderX内置终端无法使用不能输入

    找到HBuilderX的目录打开plugins\builtincef3terminal\script找到main.js用记事本或其他什么打开他 把这部分代码替换成这个再重启hbuilderX就可以了 ...

  6. Rust学习 | Rustlings通关记录与题解

    2023年6月19日决定对rust做一个重新的梳理,整理今年4月份做完的rustlings,根据自己的理解来写一份题解,记录在此. 周折很久,因为中途经历了推免的各种麻烦事,以及选择数据库作为未来研究 ...

  7. Codeforces Round 905 Div 1 (CF1887)

    A1. Dances (Easy version) 把 \(a,b\) 序列都从小到大排序,\(a\) 贪心删大的,\(b\) 贪心删小的,二分答案并 \(O(n)\) \(\text{check}\ ...

  8. YXの每日挂分记录

    7.11 T1 不开两倍数组 100->60. 7.18 T2 dp+矩乘 转移不判边界 100->10. 7.20 T2 人类智慧 1e6 n log n 100->10,求前 5 ...

  9. QT中级(2)QTableView自定义委托(二)实现QProgressBar委托

    同系列文章 QT中级(1)QTableView自定义委托(一)实现QSpinBox.QDoubleSpinBox委托 QT中级(2)QTableView自定义委托(二)实现QProgressBar委托 ...

  10. dotnet 探究 SemanticKernel 的 planner 的原理

    在使用 SemanticKernel 时,我着迷于 SemanticKernel 强大的 plan 能力,通过 plan 功能可以让 AI 自动调度拼装多个模块实现复杂的功能.我特别好奇 Semant ...