seq2seq attention

1.seq2seq：分为encoder和decoder

　　a.在decoder中，第一时刻输入的是上encoder最后一时刻的状态，如果用了双向的rnn，那么一般使用逆序的最后一个时刻的输出（网上说实验结果比较好）　

　　b.每一时刻都有一个输出，即：[batch_size,  decoder_output_size]，经过一个MLP后，都跟词汇表中的每一个词都对应了一个概率，即: [batch_size, vocab_size]。

　　c.将每一个时刻的输出拼接起来，那么就是[batch_size, decoder_timestep, vocab_size]，然后用beam search去寻找最优的解。

2.seq2seq attention: 在decoder的时候加入了attention机制

　　a.在decoder中，第一时刻输入的是上encoder最后一时刻的状态，如果用了双向的rnn，那么一般使用逆序的最后一个时刻的输出c₀（网上说实验结果比较好），以后每一个时刻的输入则是上一时刻的输出与encoder的隐状态计算attention加权的结果。

　　b.attention:

　　　　1).用c₀去跟encoder的所有时间步骤中的输出，进行match，即：用c₀去和所有的输入求一个相似度，那么这个就是一个权值（attention的权值），含义就是当前时刻的输入是有encoder中的哪几个时刻来决定的，就是神经网络翻译中的那张经典的图。

　　　　2).decoder第一个时间步骤c₁，会输出一个向量，那么再重复1)中的步骤用c₁替换c₀

　　c.将每一个时刻的输出拼接起来，那么就是[batch_size, decoder_timestep, vocab_size]，然后用beam search去寻找最优的解。

attention decoder tensorflow api

https://tensorflow.google.cn/api_docs/python/tf/contrib/legacy_seq2seq/attention_decoder

在输入decoder的时候，输入的是

　　a.decoder input: 正确的输出序列，为什么要输入正确的序列，用正确的每个时刻的输入来替换上一时刻的输出，例如：t₀时刻的输出应该输入到t₁时刻，但是这里直接输入decoder inputs t₁时刻的序列，把decoder input t₁时刻的输入与decoder t₀的输出拿来计算Loss，相当于引导的作用；而在测试的时候，直接用上一时刻的输出，不用decoder input。

　　b.init state: 初始化状态。

　　c.attention state: 注意力状态

　　d.cell: rnn cell

　　e.num_threads: 相当于计算出来的attention的倍数

　　f.loop_function: 如果为空，则不使用，如果不为空，则对上一时刻的输出做一些处理，用返回值替换上一时刻的输出

　　g.init_state_attention: 如果为true，则用c中的attention state来计算attention，如果为false，则全部为0；在训练时，置为0，因为下一时刻的输入是由decoder input来决定的，不关attention的事，所有用不到，所有为0.

在计算loss的时候，有一个weight，因为输出的序列长度不固定（开始我们固定了输出序列长度，不足则pad），为了方便计算loss，有词的地方（时间序列）*1，没有词的地方* 0，表示不计算loss。

在训练的时候：

　　输入到模型中有两个decoder inputs，一个是输入到decoder里面的，一个是输入到loss里面的，输入到decoder里面的需要再前面加一个开始符，因为是要训练的，第一个时刻的输出是词，所以是[start_token,word_embed,word_embed,....]；输入到loss里面的是[word_embed,word_embed,....,end_token]

上面的输入是loss输入，下面的输入是decoder的输入，每个时刻拿来计算loss，最后对loss求和。