Graph Attention Networks 2018-02-06  16:52:49 Abstract: 本文提出一种新颖的 graph attention networks (GATs), 可以处理 graph 结构的数据,利用 masked self-attentional layers 来解决基于 graph convolutions 以及他们的预测 的前人方法(prior methods)的不足. 对象:graph-structured data. 方法:masked self-a…

论文信息 论文标题:How Attentive are Graph Attention Networks?论文作者:Shaked Brody, Uri Alon, Eran Yahav论文来源:2022,ICLR论文地址:download 论文代码:download 1 Abstract 在 GAT中,每个节点都为它的邻居给出自己的查询表示.然而,在本文中证明了 GAT 计算的是一种非常有限的注意类型:注意力分数在查询节点上是无条件的.本文将其定义为静态注意力,并提出了相应的动态注意力 GATv…

论文信息 论文标题:Rumor Detection on Twitter with Claim-Guided Hierarchical Graph Attention Networks论文作者:Erxue Min, Yu Rong, Yatao Bian, Tingyang Xu, Peilin Zhao, Junzhou Huang,Sophia Ananiadou论文来源:2021,EMNLP 论文地址:download 论文代码:download Background 传播结构为谣言的真假…

论文笔记之:Action-Decision Networks for Visual Tracking with Deep Reinforcement Learning  2017-06-06  21:43:53  这篇文章的 Motivation 来自于 MDNet: 本文所提出的 framework 为:…

基本就是第一层concatenate,第二层不concatenate. 相关论文: Semi-Supervised Classification with Graph Convolutional Networks Geometric deep learning on graphs and manifolds using mixture model CNNs Convolutional Neural Networks on Graphs with Fast Localized Spectral F…

3 Streaming Graph Neural Networks link:https://dl.acm.org/doi/10.1145/3397271.3401092 Abstract 本文提出了一种新的动态图神经网络模型DGNN,它可以随着图的演化对动态信息进行建模.特别是,该框架可以通过捕获: 1.边的序列信息, 2.边之间的时间间隔, 3.信息传播耦合性 来不断更新节点信息. Conclusion 在本文中,提出了一种用于动态图的新图神经网络架构DGNN.该架构有两个组件构成:更新组件…

Diffusion-Convolutional Neural Networks (传播-卷积神经网络)2018-04-09 21:59:02 1. Abstract: 我们提出传播-卷积神经网络(DCNNs),一种处理 graph-structured data 的新模型.随着 DCNNs 的介绍,我们展示如何从 graph structured data 中学习基于传播的表示(diffusion-based representations),然后作为节点分类的有效基础.DCNNs 拥有多个有趣…

Improving neural networks by preventing co-adaptation of feature detectors 是Hinton在2012年6月份发表的,从这篇文章开始提出dropout的相关理论.该文章中没有详细的理论说明,只是通过实验说明了dropout在大数据量的情况下是有效的.以下记录论文的重要部分 1.为了防止overfitting,使用dropout的方式,在数据量较大的情况下比较有效果. 2.hidden unit采用0.5的比例,随机被忽略.…

Attention For Fine-Grained Categorization Google ICLR 2015 本文说是将Ba et al. 的基于RNN 的attention model 拓展为受限更少,或者说是非受限的视觉场景.这个工作和前者很大程度上的不同在于,用一个更加有效的视觉网络,并且在attention RNN之外进行视觉网络的预训练. 前人的工作在学习 visual attention model 时已经解决了一些计算机视觉问题,并且表明加上不同的attention mec…

Progressive NN Progressive NN是第一篇我看到的deepmind做这个问题的.思路就是说我不能忘记第一个任务的网络,同时又能使用第一个任务的网络来做第二个任务. 为了不忘记之前的任务,他们的方法简单暴力:对所有的之前任务的网络,保留并且fix,每次有一个新任务就新建一个网络(一列). 而为了能使用过去的经验,他们同样也会将这个任务的输入输入进所有之前的网络,并且将之前网络的每一层的输出,与当前任务的网络每一层的输出一起输入下一层. 每次有一个新的任务,就重新添加一列,然…