一周总结：AutoEncoder、Inception 、模型搭建及下周计划

一周总结：AutoEncoder、Inception 、模型搭建及下周计划

 

1.AutoEncoder:

AutoEncoder:

自动编码器就是一种尽可能复现输入信号的神经网络；自动编码器必须捕捉可以代表输入数据的最重要的因素；类似PCA，找到可以代表原信息的主要成分。

作用：降维表示。也相当于一个神经网络。

 

2.六种方法解决LSTM循环神经网络中的超长序列问题

http://www.ednchina.com/news/article/20170627LSTM

其中文中最后提到（加粗地方与现在的想实现的方法有些类似）：

这里还有一些未被充分验证过的想法可供参考。

将输入序列拆分为多个固定长度的子序列，并构建一种模型，将每个子序列作为单独的特征（例如并行输入序列）进行训练。

双向 LSTM，其中每个 LSTM 单元对的一部分处理输入序列的一半，在输出至层外时组合。这种方法可以将序列分为两块或多块处理。

我们还可以探索序列感知编码方法、投影法甚至哈希算法来将时间步的数量减少到指定长度。

 

 

3.Inception

GoogLeNet 网络优异的性能主要源于大量使用降维处理。这种降维处理可以看做通过分解卷积来加快计算速度的手段。在一个计算机视觉网络中，相邻激活响应的输出是高度相关的，所以在聚合前降低这些激活影响数目不会降低局部表示能力。

Inception总结：

Paper列表：

• [v1] Going Deeper with Convolutions, 6.67% test error, http://arxiv.org/abs/1409.4842
• [v2] Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift, 4.8% test error, http://arxiv.org/abs/1502.03167
• [v3] Rethinking the Inception Architecture for Computer Vision, 3.5% test error,  http://arxiv.org/abs/1512.00567
• [v4] Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning, 3.08% test error, http://arxiv.org/abs/1602.07261

大体思路：

• Inception v1的网络，将1x1，3x3，5x5的conv和3x3的pooling，stack在一起，一方面增加了网络的width，另一方面增加了网络对尺度的适应性；
• v2的网络在v1的基础上，进行了改进，一方面了加入了BN层，减少了Internal Covariate Shift（内部neuron的数据分布发生变化），使每一层的输出都规范化到一个N(0, 1)的高斯，另外一方面学习VGG用2个3x3的conv替代inception模块中的5x5，既降低了参数数量，也加速计算；
• v3一个最重要的改进是分解（Factorization），将7x7分解成两个一维的卷积（1x7,7x1），3x3也是一样（1x3,3x1），这样的好处，既可以加速计算（多余的计算能力可以用来加深网络），又可以将1个conv拆成2个conv，使得网络深度进一步增加，增加了网络的非线性，还有值得注意的地方是网络输入从224x224变为了299x299，更加精细设计了35x35/17x17/8x8的模块；
• v4研究了Inception模块结合Residual Connection能不能有改进？发现ResNet的结构可以极大地加速训练，同时性能也有提升，得到一个Inception-ResNet v2网络，同时还设计了一个更深更优化的Inception v4模型，能达到与Inception-ResNet v2相媲美的性能。

 更多的细节可以参考论文中的描述。

 

 

4.模型搭建，开始搭了一个网络雏形，参数量230万左右，还未优化，

其中有些维数还是需要改的

 

 

后来改了一下，结构不知道是否正确，其中的操作可能还需要修改。参数量260万左右

 

 

5.下周计划

1.再看看Inception有没有什么地方可以借鉴的

2.在上面两个结构上进行修改

3.看看roadmap上有关lstm的论文