attention机制、LSTM二者之间，是否存在attention一定优于LSTM的关系呢？

这里没有严格的论证，只是自己的一些理解。

attention机制下的Transformer确实是当前AI技术中最为火热的，基于其构建的大语言模型可以说是AI技术至今最强的技术之一了，但是attention是否真的的一定优于LSTM呢？

其实，attention的效果或者说Transformer的效果是和数据量的多少有关系的，如果是常见的数据量（传统文本任务、几万或者几十万数据量）那么attention的效果不会比LSTM强，甚至可能不如LSTM，但是如果数据量是大语言模型那种的用亿为单位的话，那么attention是一定优于LSTM的，这是有大量实验结果验证的。

其实，这里面是有一个很大问题的，那就是多大的数据量算大呢，或者说如何判断何时使用LSTM，何时使用Transformer呢，这个其实不是学术问题，而是技术问题，或者跑的实验多了自然也就有个大概的感觉了，不过可能的情况下，如果实在掂量不准那就两个都实现一下做做对比。

个人的经验：

其实是听实验室师弟说的，自己并未验证，师弟说他在做神经网络架构搜索的时候加进去attention，然后效果就有了明显的提升，因为这个神经网络架构搜索其实是计算量很大的实验，因此这里也是一种佐证。还有，就是Matching Network，《Matching Networks for One Shot Learning》论文中也有提到使用attention的神经网络结构只在大数据量的miniImagenet实验上有效果，而在Omniglot实验上并没有明显效果，这算是第二个间接佐证了。总之，attention机制、LSTM如何选择是要看具体的情况的，并不存在哪个一定优于哪个，不过在现在大数据量的研究背景下倒是确实是attention机制要更适合。