论文笔记：ReNet: A Recurrent Neural Network Based Alternative to Convolutional Networks

ReNet: A Recurrent Neural Network Based Alternative to Convolutional Networks
2018-03-05  11:13:05  

1. 引言：

　　本文尝试用 基于四个方向的 RNN 来替换掉 CNN中的 convolutional layer（即：卷积+Pooling 的组合）。通过在前一层的 feature 上进行四个方向的扫描，完成特征学习的过程。

　　The recurrent layer ensures that each feature activation，in its outputs is an activation at the speficific location with respect to the whole image, in contrast to the usual convolution+pooling layer which only has a local context window. （每一个特征激活的输出是 特定位置考虑到全图的激活，而不是局部内容窗口的激活）

　　

　　本文所采用的方法不同于 多维的 RNN（Multidimensional RNN），即：每一层的 RNN 的个数 与输入图像的维度是线性的关系。而一个多维的 RNN，每一层则需要指数级的 RNNs。此外，本文方法更容易进行并行，每一个 RNN 仅仅依赖于水平或者竖直的 patches。作者在三个数据集上进行了测试（MNIST, CIFAT10，SVHN）。

　　

2. 模型描述：

　　

　　对图像的处理，要现将划分为多个不重叠的  patch。

　　首先，我们用两个 RNNs 水平的扫描图像，一个从上倒下，一个从下往上。每一个 RNN 将一个 patch 拉直以后的向量作为输入，然后更新其 hidden state，沿着输入图像 X 的每一个 column 进行。

　　

　　在水平、竖直的扫描完成后，我们将这个 hidden state 在每一个位置组合起来，得到一个混合的特征图 V。每一个 $v_{i, j}$ 是在位置 ij 处的特征检测算法的激活。

　　下一步，我们在得到的 feature map V 上进行水平的扫描。

　　

3. Model：

　　 为了验证本文对特定的记忆模型没有要求，对不同的数据集用了不同的模型（GRU, LSTM 等）。

4. 应用：

　　用 Re-Net 进行语义分割，见参考文献2.

　　

 Reference：

1. ReNet: A Recurrent Neural Network Based Alternative to Convolutional Networks

2. ReSeg: A Recurrent Neural Network-based Model for Semantic Segmentation