Graph Attention Networks 2018-02-06  16:52:49 Abstract: 本文提出一种新颖的 graph attention networks (GATs), 可以处理 graph 结构的数据,利用 masked self-attentional layers 来解决基于 graph convolutions 以及他们的预测 的前人方法(prior methods)的不足. 对象:graph-structured data. 方法:masked self-a

论文信息 论文标题:How Attentive are Graph Attention Networks?论文作者:Shaked Brody, Uri Alon, Eran Yahav论文来源:2022,ICLR论文地址:download 论文代码:download 1 Abstract 在 GAT中,每个节点都为它的邻居给出自己的查询表示.然而,在本文中证明了 GAT 计算的是一种非常有限的注意类型:注意力分数在查询节点上是无条件的.本文将其定义为静态注意力,并提出了相应的动态注意力 GATv

论文信息 论文标题:Rumor Detection on Twitter with Claim-Guided Hierarchical Graph Attention Networks论文作者:Erxue Min, Yu Rong, Yatao Bian, Tingyang Xu, Peilin Zhao, Junzhou Huang,Sophia Ananiadou论文来源:2021,EMNLP 论文地址:download 论文代码:download Background 传播结构为谣言的真假

基本就是第一层concatenate,第二层不concatenate. 相关论文: Semi-Supervised Classification with Graph Convolutional Networks Geometric deep learning on graphs and manifolds using mixture model CNNs Convolutional Neural Networks on Graphs with Fast Localized Spectral F

论文地址:https://arxiv.org/abs/1911.06455 实现代码地址:https://github.com/ seongjunyun/Graph_Transformer_Networks 看分享之前可以把论文读一遍,代码看一看,这样必定会事半功倍! ### 论文目的是通过构造GTN(Graph Transformer Networks),来学习到异构网络中有效的节点表示. ### 其他现有方法(GNNs)的缺点: 1. 对于异构图,由于GNN只用于处理同构图,因此效果不好.

p.p1 { margin: 0.0px 0.0px 0.0px 0.0px; font: 13.0px "Helvetica Neue"; color: #323333 } p.p2 { margin: 0.0px 0.0px 0.0px 0.0px; font: 13.0px "Helvetica Neue"; color: #042eee } p.p3 { margin: 0.0px 0.0px 0.0px 0.0px; font: 13.0px "

这篇文章主要处理了在问题生成(Question Generation,QG)中,长文本(多为段落)在seq2seq模型中表现不佳的问题.长文本在生成高质量问题方面不可或缺. 1. Introduction QG可以让对话系统更积极主动,也可以生成更多的问题来丰富QA(Question Answering)系统,同时在教育领域的阅读理解方面也有应用. QG主要分为rule-based和neural approach: rule-based:可以看作是一个fill-and-rank模型,提取目的句子

前言 这篇论文主要讲的是知识图谱正确率的评估,将知识图谱的正确率定义为知识图谱中三元组表述正确的比例.如果要计算知识图谱的正确率,可以用人力一一标注是否正确,计算比例.但是实际上,知识图谱往往很大,不可能耗费这么多的人力去标注,所以一般使用抽样检测的方法.这就好像调查一批商品合格率一样,不可能将所有的商品都检查一遍,采用抽样的方法可以估计出合格率. 抽样产生的样本,我们利用中心极限定理,可以推导出样本均值服从正态分布.根据正态分布的概率形式,可以推导置信区间,并且可以要求误差界限(margin

StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks  本文将利用 GANs 进行高质量图像生成,分为两个阶段进行,coarse to fine 的过程.据说可以生成 256*256 的高清图像. 基于文本生成对应图像的工作已经有了,比如说 Attribute2Image,以及 最开始的基于文本生成图像的文章等等. Stacked Generated Adver

p.p1 { margin: 0.0px 0.0px 0.0px 0.0px; font: 13.0px "Helvetica Neue"; color: #323333 } p.p2 { margin: 0.0px 0.0px 0.0px 0.0px; font: 13.0px "Helvetica Neue"; color: #042eee } span.s1 { } span.s2 { text-decoration: underline } Is objec

p.p1 { margin: 0.0px 0.0px 0.0px 0.0px; font: 14.0px "Helvetica Neue"; color: #042eee } p.p2 { margin: 0.0px 0.0px 0.0px 0.0px; font: 14.0px "Helvetica Neue"; color: #323333 } p.p3 { margin: 0.0px 0.0px 0.0px 0.0px; font: 16.0px "

一.高效的训练     1.Large-batch training 使用大的batch size可能会减小训练过程(收敛的慢?我之前训练的时候挺喜欢用较大的batch size),即在相同的迭代次数下, 相较于使用小的batch size,使用较大的batch size会导致在验证集上精度下降.文中介绍了四种方法. Linear scaling learning rate 梯度下降是一个随机过程,增大batch size不会改变随机梯度的期望,但是减小了方差(variance).换句话说,增大

论文信息 论文标题:Understanding Attention and Generalization in Graph Neural Networks论文作者:Boris Knyazev, Graham W. Taylor, Mohamed R. Amer论文来源:2019,NeurIPS论文地址:download 论文代码:download 1 Introduction 本文关注将注意力 GNNs 推广到更大.更复杂或有噪声的图.作者发现在某些情况下,注意力机制的影响可以忽略不计,甚至有害

基本信息 论文题目:GRAPH ATTENTION NETWORKS 时间:2018 期刊:ICLR 主要动机 探讨图谱(Graph)作为输入的情况下如何用深度学习完成分类.预测等问题:通过堆叠这种层(层中的顶点会注意邻居的特征),我们可以给邻居中的顶点指定不同的权重,不需要任何一种耗时的矩阵操作(比如求逆)或依赖图结构的先验知识. CNN 结构可以有效用于解决网格状的结构数据,例如图像分类等.但是现有的许多任务的数据并不能表示为网格状的结构,而是分布在不规则的区域,如社交网络.生物网络等.这样

目录 摘要 一.引言 二.相关工作 三.我们的方法 3.1 边缘卷积Edge Convolution 3.2动态图更新 3.3 性质 3.4 与现有方法比较 四.评估 4.1 分类 4.2 模型复杂度 4.3 在ModelNet40上的更多实验 4.4 部件分割 4.5 室内场景分割 五.讨论 Dynamic Graph CNN for Learning on Point Clouds 论文地址:https://arxiv.org/abs/1801.07829 代码:https://github

论文信息 论文标题:Towards Deeper Graph Neural Networks论文作者:Meng Liu, Hongyang Gao, Shuiwang Ji论文来源:2020, KDD论文地址:download 论文代码:download 1 Introduction 问题引入: 图卷积是领域聚合的代表,这些邻域聚合方法中的一层只考虑近邻,当进一步深入以实现更大的接受域时,性能会下降,这种性能恶化归因于过平滑问题( over-smoothing),即当感受域增大时,在传播和更新过

论文信息 论文标题:Local Augmentation for Graph Neural Networks论文作者:Songtao Liu, Hanze Dong, Lanqing Li, Tingyang Xu, Yu Rong, Peilin Zhao, Junzhou Huang, Dinghao Wu论文来源:2021, arXiv论文地址:download 论文代码:download 1 Introduction 现有的方法侧重于从全局的角度来增强图形数据,主要分为两种类型: str

论文信息 论文标题:GraphSMOTE: Imbalanced Node Classification on Graphs with Graph Neural Networks论文作者:Tianxiang Zhao, Xiang Zhang, Suhang Wang论文来源:2021, WSDM论文地址:download 论文代码:download 1 Introduction 节点分类受限与不同类的节点数量不平衡,本文提出过采样方法解决这个问题. 图中类不平衡的例子:   图中:每个蓝色节点

论文信息 论文标题:How Powerful are K-hop Message Passing Graph Neural Networks论文作者:Jiarui Feng, Yixin Chen, Fuhai Li, Anindya Sarkar, Muhan Zhang论文来源:2022,arXiv论文地址:download 论文代码:download 1 Introduction 本文工作: 1)正式区分了 K-hop 邻居的两个不同的内核,它们在以前的工作中经常被滥用.一种是基于图扩散(

论文信息 论文标题:Soft-mask: Adaptive Substructure Extractions for Graph Neural Networks论文作者:Mingqi Yang, Yanming Shen, Heng Qi, Baocai Yin论文来源:2021, WWW论文地址:download 论文代码:download 1 Abstract GNN 应该能够有效地提取与任务相关的结构,并且对无关的部分保持不变. 本文提出的解决方法:从原始图的子图序列中学习图的表示,以更好