首先是整体认知，Attention的位置：

传送门1：Attention 机制

传送门2：Attention用于NLP的一些小结

一句话概括：Attention就是从关注全局到关注重点。

借鉴了人类视觉的选择性注意力机制，核心目标也是从众多信息中选择出更关键的信息。

Attention的思路就是：带权求和。

Attention机制本身并不依赖于特定的框架。

具体的介绍看这篇文章，写的很详细，传送门3：深度学习中的注意力机制

在关于使用Encoder-Decoder框架中，进行机器翻译的Attention机制，这篇文章有句话：

“目标句子生成的每个单词对应输入句子单词的概率分布可以理解为输入句子单词和这个目标生成单词的对齐概率，这在机器翻译语境下是非常直观的：传统的统计机器翻译一般在做的过程中会专门有一个短语对齐的步骤，而注意力模型其实起的是相同的作用。

就是生成的概率分布就是作为实际应用中由输入得到结果的概率分布。

参考上面链接的文章，Attention机制就是：

将Source中的构成元素想象成是由一系列的<Key,Value>数据对构成，此时给定Target中的某个元素Query，通过计算Query和各个Key的相似性或者相关性，得到每个Key对应Value的权重系数，然后对Value进行加权求和，即得到了最终的Attention数值。所以本质上Attention机制是对Source中元素的Value值进行加权求和，而Query和Key用来计算对应Value的权重系数。

个人理解：Attention就是从关注全局到关注重点。体现在权重系数的分配上，分配的值越大，说明关注度越高，也就是越重要。

链接文章的作者说，Attention机制算是一种寻址操作，个人理解感觉有点像遍历一个存了<key,value>的数组，通过条件查询key值，然后对对应的value值进行加权求和，最后得到结果。

传送门4：动画图解Attention机制，让你一看就明白

Attention注意力机制

用图片很详细的介绍了机器翻译中，Attention的机制，主要介绍了以下内容：

  • seq2seq + attention

  • seq2seq with bidirectional encoder + attention

  • seq2seq with 2-stacked encoder + attention

  • GNMT — seq2seq with 8-stacked encoder (+bidirection+residual connections) + attention

传送门5：入门 | 什么是自注意力机制？

传动门6：Attention机制简单总结

传送门7：自然语言处理中的Attention机制总结  这篇写的很有逻辑

深度学习/NLP中的Attention注意力机制的更多相关文章

  1. AAAI2018中的自注意力机制(Self-attention Mechanism)

    近年来,注意力(Attention)机制被广泛应用到基于深度学习的自然语言处理(NLP)各个任务中.随着注意力机制的深入研究,各式各样的attention被研究者们提出,如单个.多个.交互式等等.去年 ...

  2. [转] 用深度学习（CNN RNN Attention）解决大规模文本分类问题 - 综述和实践

    转自知乎上看到的一篇很棒的文章:用深度学习(CNN RNN Attention)解决大规模文本分类问题 - 综述和实践 近来在同时做一个应用深度学习解决淘宝商品的类目预测问题的项目,恰好硕士毕业时论文 ...

  3. 深度剖析java中JDK动态代理机制

    https://www.jb51.net/article/110342.htm 本篇文章主要介绍了深度剖析java中JDK动态代理机制 ,动态代理避免了开发人员编写各个繁锁的静态代理类,只需简单地指定 ...

  4. 如何可视化深度学习网络中Attention层

    前言 在训练深度学习模型时,常想一窥网络结构中的attention层权重分布,观察序列输入的哪些词或者词组合是网络比较care的.在小论文中主要研究了关于词性POS对输入序列的注意力机制.同时对比实验 ...

  5. 用深度学习（CNN RNN Attention）解决大规模文本分类问题 - 综述和实践

    https://zhuanlan.zhihu.com/p/25928551 近来在同时做一个应用深度学习解决淘宝商品的类目预测问题的项目,恰好硕士毕业时论文题目便是文本分类问题,趁此机会总结下文本分类 ...

  6. 寻找下一款Prisma APP：深度学习在图像处理中的应用探讨（阅读小结）

    原文链接:https://yq.aliyun.com/articles/61941?spm=5176.100239.bloglist.64.UPL8ec 某会议中的一篇演讲,主要讲述深度学习在图像领域 ...

  7. Attention注意力机制介绍

    什么是Attention机制 Attention机制通俗的讲就是把注意力集中放在重要的点上,而忽略其他不重要的因素.其中重要程度的判断取决于应用场景,拿个现实生活中的例子,比如1000个人眼中有100 ...

  8. 深度学习网络中numpy多维数组的说明

    目前在计算机视觉中应用的数组维度最多有四维,可以表示为 (Batch_size, Row, Column, Channel) 以下将要从二维数组到四维数组进行代码的简单说明: Tips: 1) 在nu ...

  9. 深度学习-Caffe中启用MatlabSupport编译出错的解决方案

    一.如果编译前打算生成支持Matlab的库,则设置MatlabSupport为true之后. 二.记得添加Matlab的安装路径.我的是:D:\Application\DevTools\Matlab ...

  10. 如何使用网格搜索来优化深度学习模型中的超参数(Keras)

    https://machinelearningmastery.com/grid-search-hyperparameters-deep-learning-models-python-keras/ Ov ...

随机推荐

  1. 洛谷P2845

    蓝题搜索,模拟上的细节稍微有点麻烦 #include<iostream> #include<utility> #include<vector> #include&l ...

  2. django 信号 新增和删除信的合用

    from django.db.models.signals import post_save, post_delete from django.dispatch import receiver fro ...

  3. [oeasy]python0110 屏幕点阵字体_3x5_5x7_雅达利字库

    动视 桥牌 想用 7 x 5 描述黑红梅方 还是比较难的     ​   添加图片注释,不超过 140 字(可选)   而且最下面的动视logo是 修改后的字体 还挺有动感   这个时代 图像库 和 ...

  4. 开源新纪元：Llama 3.1超大杯405B跑分惊艳，首次超越GPT-4o，下载链接曝光！

    开源巨擘Llama 3.1崭露头角,性能卓越引发热议 在科技界的瞩目下,Llama 3.1系列模型以其卓越的性能脱颖而出,尤其是其405B超大杯版本,在微软Azure-ML GitHub平台的多项评测 ...

  5. 带你学习通过GitHub Actions如何快速构建和部署你自己的项目，打造一条属于自己的流水线

    本文主要讲解通过github的actions来对我们项目进行ci/cd 一.actions简介 GitHub Actions 是一种持续集成和持续交付 (CI/CD) 平台,可用于自动执行生成.测试和 ...

  6. ELK多租户方案

    一.前言 日志分析是目前重要的系统调试和问题排查的重要手段之一,而目前分布式系统由于实例和机器众多,所以构建一套统一日志系统是非常必要的:ELK提供了一整套解决方案,并且都是开源软件,之间互相配合使用 ...

  7. Java--匿名类（学习笔记）

    匿名类的特点:(1) 匿名类是final类:(3) 在匿名类中可以定义实例变量和若干个实例初始化代码块和新的实例方法.Java虚拟机首先调用父类的构造方法,然后按照实例变量的和实例初始化代码块定义的先 ...

  8. 【SpringCloud】Re04 Gateway

    微服务网关: 1.身份认证 和 权限校验 2.服务路由.负载均衡 3.请求限流 搭建服务网关: 网关是一个独立的服务,同样需要被注册中心注册到,这里依然使用的是Nacos <?xml versi ...

  9. 【OracleDB】 10 数据处理 DML

    DML(Data Manipulation Language – 数据操纵语言) - 向表中插入数据 - 修改现存数据 - 删除现存数据 [事务是由完成若干项工作的DML语句组成的] INSERT 语 ...

  10. 小程序报错 .wxss 无法找到

    转子:http://blog.csdn.net/u012329294/article/details/78610593