rnn-手写数字识别-网络结构-shape

手写数字识别经典案例，目标是：

1. 掌握tf编写RNN的方法

2. 剖析RNN网络结构

tensorflow编程

#coding:utf-8
import  tensorflow as tf
from  tensorflow.examples.tutorials.mnist import  input_data

### 注意
# init_state = tf.zeros(shape=[batch_size,rnn_cell.state_size])
# init_state = lstm_cell.zero_state(batch_size, dtype=tf.float32)

mnist=input_data.read_data_sets("./data",one_hot=True)

# 常规参数
train_rate=0.001
train_step=10000
batch_size=1280
display_step=100

# rnn参数
frame_size=28           # 输入特征数
sequence_length=28      # 输入个数, 时序
hidden_num=100          # 隐层神经元个数
n_classes=10

# 定义输入,输出
# 此处输入格式是样本数*特征数，特征是把图片拉成一维的，当然一维还是二维自己定，改成相应的代码就行了
x=tf.placeholder(dtype=tf.float32,shape=[None,sequence_length*frame_size],name="inputx")
y=tf.placeholder(dtype=tf.float32,shape=[None,n_classes],name="expected_y")

# 定义权值
# 注意权值设定只设定v， u和w无需设定
weights=tf.Variable(tf.truncated_normal(shape=[hidden_num,n_classes]))      # 全连接层权重
bias=tf.Variable(tf.zeros(shape=[n_classes]))

def RNN(x,weights,bias):
    x=tf.reshape(x,shape=[-1,sequence_length,frame_size])   # 3维
    rnn_cell=tf.nn.rnn_cell.BasicRNNCell(hidden_num)

    ### 注意
    # init_state=tf.zeros(shape=[batch_size,rnn_cell.state_size])         # rnn_cell.state_size 100
    init_state=rnn_cell.zero_state(batch_size, dtype=tf.float32)

    output,states=tf.nn.dynamic_rnn(rnn_cell,x,initial_state=init_state,dtype=tf.float32)
    return tf.nn.softmax(tf.matmul(output[:,-1,:],weights)+bias,1)  # y=softmax(vh+c)

predy=RNN(x,weights,bias)

# 以下所有神经网络大同小异
cost=tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=predy,labels=y))
train=tf.train.AdamOptimizer(train_rate).minimize(cost)

correct_pred=tf.equal(tf.argmax(predy,1),tf.argmax(y,1))
accuracy=tf.reduce_mean(tf.to_float(correct_pred))

sess=tf.Session()
sess.run(tf.global_variables_initializer())
step=1
testx,testy=mnist.test.next_batch(batch_size)
while step<train_step:
    batch_x,batch_y=mnist.train.next_batch(batch_size)
    _loss,__=sess.run([cost,train],feed_dict={x:batch_x,y:batch_y})
    if step % display_step ==0:
        print()
        acc,loss=sess.run([accuracy,cost],feed_dict={x:testx,y:testy})
        print(step,acc,loss)

    step+=1

如果你非常熟悉rnn，代码整体上还是比较好理解的，但是里面涉及许多次的shape设置，比较让人头大，特别是后期写各种rnn时，很容易迷糊，所以每个模型都要理解透彻。

以上代码涉及到shape的变量有

x y w b x变形 init_state

其中比较难理解的是 x x变形 init_state

网络结构

首先回顾一下RNN网络，以便对上个问题进行深入分析。

公式简写如下：

h1 = f(x1w1 + h0w2)

o1 = h1w3　　输出层就是简单的全连接，这里不做讨论

shape分析

我们把每个时刻的输入看做向量或者矩阵，因为如果只是一个数，没有shape可言，而且也很简单，没有讨论的必要。

首先有如下思考：

1.  h是隐层的输出，也就是x传进去得到的输出，因此传一个x就有一个h（但这并不足以说明什么）

其次从公式层面考虑

从公式可以看出，x和h的行必须相同，列不必相同

图形表示

这是单节点隐层，那么多节点呢？

首先一个神经元节点对应一组weight，多个神经元就是多组weight

其次从公式层面考虑

从公式看出，h和x行相同，h列和神经元个数相同。

图形表示

综上所述，h0的shape是行为 x的行，即batch，列为神经元个数

也就是说一个神经元对应一个h0

对应到上述代码

init_state=tf.zeros(shape=[batch_size,rnn_cell.state_size])         # rnn_cell.state_size 100，100为节点数
init_state=rnn_cell.zero_state(batch_size, dtype=tf.float32)

对于输入x的shape，把代码转化成图

根据图来理解：

每次输入n张图片，也就是一次性输入所有时序的x，所有x的shape 为 [None,sequence_length*frame_size]

在rnn模型中因为要与权重相乘，所以需要转化为 [-1,sequence_length,frame_size]    [ 样本数，时序数，特征数 ]，把特征划分出来，

然后特征乘以权重，然后按时序向上传递，得到输出

结合其他代码分析，对应图片而言，rnn包括LSTM的输入必须是 一次性输入所有时序的x，即 [ 样本数，时序数，特征数 ]

其实这个网络应该是这样

我的理解：像图像这种所有时序的特征结合起来才能确定y的模型用多对一RNN，且每次输入所有时序的特征，而词语预测不然。