tensorflow实现lstm中遇到的函数记录

函数一：initializer=tf.random_uniform_initializer(-0.1, 0.1, seed=123)

tf.random_uniform_initializer

参数：

• minval：一个 python 标量或一个标量张量。要生成的随机值范围的下限。
• maxval：一个 python 标量或一个标量张量。要生成的随机值范围的上限。对于浮点类型默认为1。
• seed：一个 Python 整数。用于创建随机种子。查看 tf.set_random_seed 的行为。
• dtype：数据类型。

函数二：lstm = tf.contrib.rnn.LSTMCell(rnn_size, initializer=tf.random_uniform_initializer(-0.1, 0.1, seed=123))

　　定义基本的lstm单元，rnn_size是lstm cell中的单元数，与输入向量的维度是一致的。根据输入的词向量，来定义维度。

函数三：lstms = tf.contrib.rnn.MultiRNNCell([get_lstm(rnn_size) for _ in range(rnn_num_layers)])

　　用于实例化递归神经网络，rnncell由多个simple cell组成，返回值为输入张量或者张量列表

函数四：encoder_outputs, encoder_states = tf.nn.dynamic_rnn(lstms, encoder_embed, source_sequence_len, dtype=tf.float32)

　　encoder_embed代表输入，[x,y,z]x代表batch的大小，y文本长度，z是embedding编码的长度。　　

　　source-sequence_len代表输入的文本长度，可以设置为[x,y],x代表最大长度，y是此次长度，我也没看太懂，之后继续补充：https://blog.csdn.net/u010223750/article/details/71079036

　　encoder_outputs,每一个迭代隐状态的输出

　　encode_states，代表最后的编码的码字context Vector（其长度有什么确定？后面再补充）

　　补充：官方文档：

　　'outputs' is a tensor of shape [batch_size, max_time, cell_state_size]

　　'state' is a tensor of shape [batch_size, cell_state_size]

　　我们用一个小例子来说明其用法，假设你的RNN的输入input是[2,20,128]，其中2是batch_size,20是文本最大长度，128是embedding_size，可以看出，有两个example，我们假设第二个文本长度只有13，剩下的7个是使用0-padding方法填充的。dynamic返回的是两个参数：outputs,last_states，其中outputs是[2,20,128]，也就是每一个迭代隐状态的输出,last_states是由(c,h)组成的tuple，均为[batch,128]

　　因此context vector的输出的长度为embedding编码的长度。

函数五：tf.identity

　　看例子：https://blog.csdn.net/hu_guan_jie/article/details/78495297

　　自己理解作用，通过tf.identity，在图中只有operation才会执行，因此通过简单的y=x赋值，在图中并不会执行，因此需要定义一个operation，在图中形成一个节点，tf.identity是返回一个一 　　模一样新的tensor的op，这会增加一个新节点到gragh中。

函数六：masks = tf.sequence_mask(target_sequence_len, max_target_sequence_len, dtype=tf.float32, name="masks")

　　返回一个表示每个单元的前N个位置的mask张量。

　　示例：

　　tf.sequence_mask([1, 3, 2], 5) # [[True, False, False, False, False],

　　　　　　　　　　　　　　　　 # [True, True, True, False, False],

　　　　　　　　　　　　　　　　 # [True, True, False, False, False]]

　　tf.sequence_mask([[1, 3],[2,0]]) # [[[True, False, False],

　　　　　　　　　　　　　　　　　 # [True, True, True]],

　　　　　　　　　　　　　　　　　# [[True, True, False],

　　　　　　　　　　　　　　　　　　 # [False, False, False]]]

函数七：encoder_embed = tf.contrib.layers.embed_sequence(rnn_inputs, source_vocab_size, encoder_embedding_size)

　　tf.contrib.layers.embed_sequence(ids, vocab_size,  embed_dim)

　　ids: 形状为[batch_size, doc_length]的int32或int64张量，也就是经过预处理的输入数据。

　　vocab_size: 输入数据的总词汇量，指的是总共有多少类词汇，不是总个数

　　embed_dim：想要得到的嵌入矩阵的维度

　　返回值：Tensor of [batch_size, doc_length, embed_dim] with embedded sequences.