动手实现Transformer,所有代码基于tensorflow2.0,配合illustrated-transformer更香. 模型架构 Encoder+Decoder Encoder Decoder Attention Add&Norm FeedForward Embedding Position Encoding 模型架构 transformer使用经典的编码器-解码器框架,编码器接受一个输入序列 \((x_1,-,x_n)\),经过Embedding转化为词向量,和位置编码相加作为Enc…