[ Continuously Update ] The Paper List of Seq2Seq Tasks ( including Attention Mechanism )

Papers Published in 2017 Convolutional Sequence to Sequence Learning - Jonas Gehring et al., CoRR 2017 - [ Paper Reading ] ★ Attention Is All You Need - Ashish Vaswani et al., NIPS 2017 - [ Paper Reading ] ★ Papers Published in 2014 Sequence to Seque…

[ Continuously Update ] The Paper List of Image / Video Captioning

Papers Published in 2018 Convolutional Image Captioning - Jyoti Aneja et al., CVPR 2018 - [ Paper Reading ] Learning to Evaluate Image Captioning - Yin Cui et al., CVPR 2018 - [ Paper Reading ] CNN+CNN: Convolutional Decoders for Image Captioning - Q…

[ Continuously Update ] This is an Index Page.

The links below present papers in certain fields. Despite overlaps exist, their emphasis is markedly different. Each paper shows its Content and Comprehension, which is almost extracted from the paper while key points are clear. Generally, each paper…

深度学习之seq2seq模型以及Attention机制

RNN,LSTM,seq2seq等模型广泛用于自然语言处理以及回归预测,本期详解seq2seq模型以及attention机制的原理以及在回归预测方向的运用. 1. seq2seq模型介绍 seq2seq模型是以编码(Encode)和解码(Decode)为代表的架构方式,seq2seq模型是根据输入序列X来生成输出序列Y,在翻译,文本自动摘要和机器人自动问答以及一些回归预测任务上有着广泛的运用.以encode和decode为代表的seq2seq模型,encode意思是将输入序列转化成一个固定长度的…

深度学习之注意力机制（Attention Mechanism）和Seq2Seq

这篇文章整理有关注意力机制(Attention Mechanism )的知识,主要涉及以下几点内容: 1.注意力机制是为了解决什么问题而提出来的? 2.软性注意力机制的数学原理: 3.软性注意力机制.Encoder-Decoder框架与Seq2Seq 4.自注意力模型的原理. 一.注意力机制可以解决什么问题? 神经网络中的注意力机制(Attention Mechanism)是在计算能力有限的情况下,将计算资源分配给更重要的任务,同时解决信息超载问题的一种资源分配方案.在神经网络学习中,一般而言模…

Seq2Seq模型与 Attention 策略

Seq2Seq模型传统的机器翻译的方法往往是基于单词与短语的统计,以及复杂的语法结构来完成的.基于序列的方式,可以看成两步,分别是 Encoder 与 Decoder,Encoder 阶段就是将输入的单词序列(单词向量)变成上下文向量,然后 decoder根据这个向量来预测翻译的结果. encoder 阶段 encoder 阶段面临的一个问题是,对于输入语句,语句的长度往往是不固定的,但是我们训练神经网络往往都是要固定长度的向量.所以如何解决这个问题是 encoder阶段的关键.我们通常使用多…

读a paper of ICCV 2017 : Areas of Attention for Image Captioning

前言废话,作者说把代码公布在gitub上,但是迟迟没有公布,我发邮件询问代码情况,邮件也迟迟不回,表示很尴尬..虽然种种这些,但是工作还是好工作,这个没的黑,那我们今天就来详细的介绍这篇文章. 导论:不了解caption的童鞋可以去看下这两篇知乎专栏: 看图说话的AI小朋友--图像标注趣谈(上) 看图说话的AI小朋友--图像标注趣谈(下) 一:摘要作者提出了一个新的attention模型,这个模型与以往的区别在于,不仅考虑了状态与预测单词之间的关系,同时也考虑了图像区域…

人工智能头条（公开课笔记）+AI科技大本营——一拨微信公众号文章

不错的 Tutorial: 从零到一学习计算机视觉:朋友圈爆款背后的计算机视觉技术与应用 | 公开课笔记分享人 | 叶聪(腾讯云 AI 和大数据中心高级研发工程师) 整理 | Leo 出品 | 人工智能头条(公众号ID:AI_Thinker) 刚刚过去的五四青年节,你的朋友圈是否被这样的民国风照片刷屏?用户只需要在 H5 页面上提交自己的头像照片,就可以自动生成诸如此类风格的人脸比对照片,简洁操作的背后离不开计算机视觉技术和腾讯云技术的支持. 那么这个爆款应用的背后用到了哪些计…

【CV】ICCV2015_Describing Videos by Exploiting Temporal Structure

Describing Videos by Exploiting Temporal Structure Note here: it's a learning note on the topic of video representations. Link: http://120.52.73.75/arxiv.org/pdf/1502.08029.pdf Motivation: They argue that there are two categories of temporal structur…

How to implement an algorithm from a scientific paper

Author: Emmanuel Goossaert 翻译 This article is a short guide to implementing an algorithm from a scientific paper. I have implemented many complex algorithms from books and scientific publications, and this article sums up what I have learned while se…

Paper Reading - Convolutional Sequence to Sequence Learning ( CoRR 2017 ) ★

Link of the Paper: https://arxiv.org/abs/1705.03122 Motivation: Compared to recurrent layers, convolutions create representations for fixed size contexts, however, the effective context size of the network can easily be made larger by stacking severa…

Paper | Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising

目录故事背景网络结构 BN和残差学习拓展到其他任务发表在2017 TIP. 摘要 Discriminative model learning for image denoising has been recently attracting considerable attentions due to its favorable denoising performance. In this paper, we take one step forward by investigating t…

DL4NLP —— seq2seq+attention机制的应用：文档自动摘要（Automatic Text Summarization）

两周以前读了些文档自动摘要的论文,并针对其中两篇( [2] 和 [3] )做了presentation.下面把相关内容简单整理一下. 文本自动摘要(Automatic Text Summarization)就是说在不改变文档原意的情况下,利用计算机程序自动地总结出文档的主要内容.自动摘要的应用场景非常多,例如新闻标题生成.科技文献摘要生成.搜索结果片段(snippets)生成.商品评论摘要等.在信息爆炸的互联网大数据时代,如果能用简短的文本来表达信息的主要内涵,无疑将有利于缓解信息过载问题. 一…

阿里深度兴趣网络模型paper学习

论文地址:Deep Interest Network for Click-Through Rate ... 这篇论文来自阿里妈妈的精准定向检索及基础算法团队.文章提出的Deep Interest Network (DIN),实现了推荐系统CTR预估模型中,对用户历史行为数据的进一步挖掘.同时,文章中提出的Dice激活函数和自适应正则方法也优化了模型的训练过程. Motivation CTR预估任务是,根据给定广告.用户和上下文情况等信息,对每次广告的点击情况做出预测.其中,对于用户历史行为数据的…

Open-Domain QA -paper

Open-domain QA Overview The whole system is consisted with Document Retriever and Document Reader. The Document Retriever returns top five Wikipedia articles given any question, then the Document Reader will process these articles. Document Retriever…

pytorch做seq2seq注意力模型的翻译

以下是对pytorch 1.0版本的seq2seq+注意力模型做法语--英语翻译的理解(这个代码在pytorch0.4上也可以正常跑): # -*- coding: utf-8 -*- """ Translation with a Sequence to Sequence Network and Attention ************************************************************* **Author**: `Sean…

seq2seq和attention应用到文档自动摘要

一.摘要种类抽取式摘要直接从原文中抽取一些句子组成摘要.本质上就是个排序问题,给每个句子打分,将高分句子摘出来,再做一些去冗余(方法是MMR)等.这种方式应用最广泛,因为比较简单.经典方法有LexRank和整数线性规划(ILP). LexRank是将文档中的每个句子都看作节点,句子之间的相似度看作节点之间的边的权重,构建一个graph:然后再计算每个节点的分数,这个打分的计算方式可以是度中心度(Degree centrality).PageRank中心度等(论文里说这两种计算方式其实效果没有…

完全图解RNN、RNN变体、Seq2Seq、Attention机制

完全图解RNN.RNN变体.Seq2Seq.Attention机制本文主要是利用图片的形式,详细地介绍了经典的RNN.RNN几个重要变体,以及Seq2Seq模型.Attention机制.希望这篇文章能够提供一个全新的视角,帮助初学者更好地入门. 一.从单层网络谈起在学习RNN之前,首先要了解一下最基本的单层网络,它的结构如图: 输入是x,经过变换Wx+b和激活函数f得到输出y.相信大家对这个已经非常熟悉了. 二.经典的RNN结构(N vs N) 在实际应用中,我们还会遇到很多序列形的数据:…

Paper Reading - CNN+CNN: Convolutional Decoders for Image Captioning

Link of the Paper: https://arxiv.org/abs/1805.09019 Innovations: The authors propose a CNN + CNN framework for image captioning. There are four modules in the framework: vision module ( VGG-16 ), which is adopted to "watch" images; language modu…

Paper Reading - Convolutional Image Captioning ( CVPR 2018 )

Link of the Paper: https://arxiv.org/abs/1711.09151 Motivation: LSTM units are complex and inherently sequential across time. Convolutional networks have shown advantages on machine translation and conditional image generation. Innovation: The author…

Paper Reading - Show, Attend and Tell: Neural Image Caption Generation with Visual Attention ( ICML 2015 )

Link of the Paper: https://arxiv.org/pdf/1502.03044.pdf Main Points: Encoder-Decoder Framework: Encoder uses a convolutional neural network to extract a set of feature vectors which the authors refer to as annotation vectors. The extractor produces L…

seq2seq（1）- EncoderDecoder架构

零 seq2seq是从序列到序列的学习过程,最重要的是输入序列和输出序列是可变长的,这种方式就非常灵活了,典型的机器翻译就是这样一个过程. 一最基本的seq2seq网络架构如下所示: 可以看到,encoder构成一个RNN的网络,decoder也是一个RNN的网络.训练过程和推断过程有一些不太一样的地方,介绍如下. 训练过程: encoder构成一个RNN网络,输入为源语言的文本,输出最后一个timestep的hidden state,同时不需要output,将最后一个hidden state…

2011:Audio Classification (Train/Test) Tasks - MIREX Wiki

Contents [hide] 1 Audio Classification (Test/Train) tasks 1.1 Description 1.1.1 Task specific mailing list 1.2 Data 1.2.1 Audio Classical Composer Identification 1.2.2 Audio US Pop Music Genre Classification 1.2.3 Audio Latin Music Genre Classificati…