[论文阅读笔记] Unsupervised Attributed Network Embedding via Cross Fusion
[论文阅读笔记] Unsupervised Attributed Network Embedding via Cross Fusion
本文结构
- 解决问题
- 主要贡献
- 算法原理
- 实验结果
- 参考文献
(1) 解决问题
现在常常用来处理属性网络表征的方式有两种:(1)在网络结构上传播属性(2)通过自编码器架构。
这两种常用的属性网络表征方法有各自的局限性和优点:(1)基于传播的方法依赖于网络中现有的边来传播信息,因此往往偏向于建模网络结构信息而非节点属性信息,从而更加擅长于处理结构信息(可以通过多层叠加考虑距离更远的邻居信息,但是因此也存在过平滑问题)。(2)基于自编码器的方法比较擅长于处理属性信息,但是在网络结构上往往忽略了除了直接邻居之外更远的邻居(即存在欠平滑问题)。
本篇论文设计了交叉融合层,在结合双方优点的同时来解决这些局限性。
(2) 主要贡献
Contribution:提出了一个带有交叉融合层的多视图框架来学习属性网络嵌入(融合了基于传播的方法和基于自编码器的方法各自的优点,并且解决各自的局限性)
(3) 算法原理
模型的主要思路: 下图为论文所提出的 CFANE 模型的总体框架。首先,节点属性和结构被分为两个视图分别处理(避免了结构信息覆盖了属性信息)。其次,通过堆叠多个交叉融合层(CFANE的核心)有效地融合和交换两个视图信息以结合两种主流方法的优点。然后,通过添加一个视图加权层计算每个节点之于两个视图的权重,从而整合结构表示向量和属性表示向量生成最终节点表示向量。最后,通过优化一个多目标重构函数使得节点表示向量同时保留网络结构和节点属性信息。
交叉融合层: 交叉融合层以网络结构和属性作为输入,总体框架和步骤如下图所示。
每个节点在每个交叉融合层都有两个表示向量(结构表示向量和属性表示向量),下标1和下标2分别表示结构向量和属性向量,上标表示第几层(交叉融合层)。
交叉融合层在做什么事呢?
第一步(即 Figure 3 中的 Ego-network Partition & Aggregation 蓝框),为网络中的每个节点生成其对应的自我中心网络(ego-network:由该节点以及其邻居还有邻居之间的边构造的子图),并且进行子网络的社区划分和近邻向量的聚合生成中心节点向量。那么如何进行子图的社区划分呢?由于节点对应的 ego-network 一般比较小,本文直接将子图中不同的连通分支(除去中心节点本身)作为一个社区。得到子图社区划分结果之后,如何进行节点近邻聚合呢?首先,对于中心节点的每个社区(假设有 tu 个),采用平均聚合的方式(如GCN)聚合其中的节点得到中心节点的 tu 个表示向量,如下公式(3)所示(计算给定节点u的第j个社区的平均聚合结果)。其次,对节点u的 tu 个表示向量在进行一次加权聚合得到节点u表示向量,如下公式(4)所示,各个社区的权重系数采用注意力机制确定,如下公式(5)所示。(GCN的聚合相当于把所有邻居节点看成是一个社区,而GAT的聚合相当于把每个邻居节点都看成是一个社区了,而本文所采用的聚合方法可以看成是GAT和GCN聚合方式的一种平衡)
第二步(即 Figure 3 中的 Feature Exchange 蓝框),进行结构视图和属性视图之间的信息交换。除了编码邻居的异质性之外(第一步的近邻聚合所做的事),CFANE 还要解决在沿着网络结构传播关键信息的同时维持节点属性的可区分特征,不至于使得节点属性被网络结构信息覆盖这个关键问题。为了达到以上的目标,CFANE 给属性和结构各自分配一个视图,两个视图是互补而非对应,因此还要考虑如何交换两个视图的信息(使用自注意力机制)。自注意机制有两个优点(1)自注意可以学习两个视图的重要性,不会使得一个视图覆盖另一个视图。(2)自注意力可以为每个视图都输出一个向量,以便于交叉融合层可以自然的堆叠。交叉融合层第二步的具体做法如下:(1)首先,通过映射矩阵分别变换两个视图的特征,作用是逐层减少嵌入向量的维度,如公式(6)所示,f即为对应降维后的中间向量。(2)其次,与标准的自注意力机制一致,为每个节点向量(结构和属性)计算对应的查询向量q和关键向量k,如公式(7)所示。(3)接着,通过公式(8)融合结构视图向量和属性视图向量(各视图对应信息的权重由自注意力机制计算得到),分别计算下一交叉融合层的节点结构表示向量和属性表示向量(u为激活函数,采用LeakyReLU作为激活函数,添加层间的非线性关系)。
第三步(即 Figure 3 中的 View Weightingu部分),在所有交叉融合层结束之后,结合两个视图的输出向量(结构和属性)成一个统一的表示向量。考虑到对于某些节点来说,网络结构视图可能是更重要的,而对于某些其他节点来说属性视图可能是更重要的,因此有必要对各个结构向量和属性向量进行加权(视图权重层所做的事),如公式(9)所示,权重系数由公式(10)确定。
多目标重构函数的设计: 设计多目标重构函数在表示向量学习过程中保存网络结构和属性。对于网络结构,采用Skip-Gram模型的目标函数,如公式(11)所示。对于节点属性,直接采用重构函数,如公式(12)所示。最终,总的目标函数如公式(13)所示。
(4) 实验结果
- 节点分类
- 节点聚类
- 参数实验
- BlogCatalog 数据集的可视化结果
(5) 参考文献
Pan G, Yao Y, Tong H, et al. Unsupervised Attributed Network Embedding via Cross Fusion[C]//Proceedings of the 14th ACM International Conference on Web Search and Data Mining. 2021: 797-805.
[论文阅读笔记] Unsupervised Attributed Network Embedding via Cross Fusion的更多相关文章
- [论文阅读笔记] Structural Deep Network Embedding
[论文阅读笔记] Structural Deep Network Embedding 本文结构 解决问题 主要贡献 算法原理 参考文献 (1) 解决问题 现有的表示学习方法大多采用浅层模型,这可能不能 ...
- [论文阅读笔记] GEMSEC,Graph Embedding with Self Clustering
[论文阅读笔记] GEMSEC: Graph Embedding with Self Clustering 本文结构 解决问题 主要贡献 算法原理 参考文献 (1) 解决问题 已经有一些工作在使用学习 ...
- Nature/Science 论文阅读笔记
Nature/Science 论文阅读笔记 Unsupervised word embeddings capture latent knowledge from materials science l ...
- [论文阅读笔记] Fast Network Embedding Enhancement via High Order Proximity Approximati
[论文阅读笔记] Fast Network Embedding Enhancement via High Order Proximity Approximation 本文结构 解决问题 主要贡献 主要 ...
- [论文阅读笔记] Community aware random walk for network embedding
[论文阅读笔记] Community aware random walk for network embedding 本文结构 解决问题 主要贡献 算法原理 参考文献 (1) 解决问题 先前许多算法都 ...
- [论文阅读笔记] LouvainNE Hierarchical Louvain Method for High Quality and Scalable Network Embedding
[论文阅读笔记] LouvainNE: Hierarchical Louvain Method for High Quality and Scalable Network Embedding 本文结构 ...
- [论文阅读笔记] Adversarial Mutual Information Learning for Network Embedding
[论文阅读笔记] Adversarial Mutual Information Learning for Network Embedding 本文结构 解决问题 主要贡献 算法原理 实验结果 参考文献 ...
- 论文阅读笔记(二十一)【CVPR2017】:Deep Spatial-Temporal Fusion Network for Video-Based Person Re-Identification
Introduction (1)Motivation: 当前CNN无法提取图像序列的关系特征:RNN较为忽视视频序列前期的帧信息,也缺乏对于步态等具体信息的提取:Siamese损失和Triplet损失 ...
- 论文阅读笔记(十八)【ITIP2019】:Dynamic Graph Co-Matching for Unsupervised Video-Based Person Re-Identification
论文阅读笔记(十七)ICCV2017的扩刊(会议论文[传送门]) 改进部分: (1)惩罚函数:原本由两部分组成的惩罚函数,改为只包含 Sequence Cost 函数: (2)对重新权重改进: ① P ...
随机推荐
- Day17_104_IO_BufferReader接收用户输入
BufferReader接收用户输入 **标准输入\输出流 java.lang.System** - static InputStream in - static PrintStream out im ...
- mongodb数据修复宝典
mongodb数据修复宝典 1. 版本信息 mongodb版本: 3.6.14 2.mongodb日志内容: 2019-10-04T10:41:38.558+0000 E STORAGE [inita ...
- 怎样用SQL修改某个字段的部分内容
方法:update dede_addonarticle set body = replace(body,'#p#分页标题#e#',' ') where body like '%#p#分页标题#e#%'
- CTF常见的加密和编码方法
目录 哈希摘要算法 对称加密算法 其他加密算法 编码 哈希摘要算法 以 root 加密为例. MD4:32位的摘要算法.2add09183d0b1dc0428701df9838fba MD5:32位 ...
- 初探SQL注入需要知道的5个问题
SQL注入产生原理 可控变量(注入点,就是传参) 带入数据库查询 变量未存在过滤或过滤不严谨 例子: 获取admin表的pass里面的数据 select * from users where id=1 ...
- scrapy爬虫案例--爬取阳关热线问政平台
阳光热线问政平台:http://wz.sun0769.com/political/index/politicsNewest?id=1&page=1 爬取最新问政帖子的编号.投诉标题.投诉内容以 ...
- 【JavaScript】Leetcode每日一题-青蛙过河
[JavaScript]Leetcode每日一题-青蛙过河 [题目描述] 一只青蛙想要过河. 假定河流被等分为若干个单元格,并且在每一个单元格内都有可能放有一块石子(也有可能没有). 青蛙可以跳上石子 ...
- unity怎么把工程打包成unitypackage文件
unity怎么把工程打包成unitypackage文件 想探讨问题的原因 上课的时候,看到老师的磁盘都要爆满了,主要的原因是同学们提交的2DGameKit,工程文件太大了. 文件没有压缩,占用空间是2 ...
- 解决docker镜像无法删除的问题
发现问题 来自守护进程的错误响应:冲突:无法删除050f26b6caca(必须强制) - 映像在多个存储库中被引用 Error response from daemon: conflict: unab ...
- SQL必学必会笔记 —— 基础篇
基础篇 SQL语言按照功能划分 DDL(DataDefinitionLanguage),也就是数据定义语言,它用来定义我们的数据库对象,包括 数据库.数据表和列.通过使用DDL,可以创建,删除和修改数 ...