[论文阅读笔记] metapath2vec: Scalable Representation Learning for Heterogeneous Networks


本文结构

  1. 解决问题
  2. 主要贡献
  3. 算法原理
  4. 参考文献

(1) 解决问题

解决异构网络上的节点嵌入问题。 论文中指出了异构网络嵌入的两个关键问题:

  • 在异构网络中,如何定义和建模节点邻域的概念?
  • 如何优化嵌入模型,使得其能够有效的保留多种类型的节点和边的结构和语义信息。

(2) 主要贡献

Contribution 1: 定义了异构网络表示学习的问题,总结了异构网络嵌入所带来的挑战。

Contribution 2: 提出两个快速且有效的框架,metapath2vec和metapath2vec++,能够保留异构网络中的结构和语义联系。

Contribution 3:

证明了所提的两个模型能够挖掘到异构网络中不同类型节点的语义联系(现有方法无法识别的)。


(3) 算法原理

以下以一个学术网络为例:

1. metapath2vec 模型

主要框架(类似于DeepWalk):基于元路径的随机游走 + 异构Skip-Gram

  • 异构 Skip-Gram

    和一般的Skip-Gram模型类似,,异构Skip-Gram的网络结构如上图所示,其目标是最大化节点和其异构上下文邻居的共现概率。目标函数如下,和一般的Skip-Gram模型的主要区别在于中间那个求和符号,分别对节点与其异构邻居的关系进行建模。

    细节不再过多介绍,可以参考DeepWalk

  • 基于元路径的随机游走

    元路径简单来说是节点类型的序列,用于表达不同节点类型之间或者相同节点类型之间的某种联系,比如 “APVPA”就是一个元路径,表达的是两个作者在某个期刊或者会议上都发表了论文,(A是作者节点类型,P是论文节点类型,V是期刊或者会议节点类型)。一般来说,元路径是事先由先验知识给定的。而基于元路径的随机游走指的是 “下一跳节点的节点类型由当前节点类型和元路径模式确定,按照元路径的指导选择相应的节点类型进行跳转,如果有多个相同节点类型的邻居,则随机选择一个。” 元路径通常设计成一种对称的方式,即他的第一个节点类型和最后一个节点类型要一致,如“APVPA”,这可以重复循环使用指导随机游走。基于元路径的随机游走策略能够捕获不同节点类型之间的联系,并且确保不同类型节点的语义联系可以合理的融合到skip-gram模型中

2. metapath2vec++ 模型

metapath2vec的异构Skip-Gram根据节点类型区分了节点的不同上下文节点,从而再嵌入过程中重构他的邻域,然而,他在softmax层中忽略了节点的类型信息。换句话说,给定节点v,为了推断其邻域中特定类型的上下文节点,metapath2vec实际上允许所有类型的节点作为其负样本。基于上述问题,作者进一步提出metapath2vec++框架,metapath2vec++框架与metapath2vec框架基本一致,只是softmax函数不再由网络中所有节点来做归一化,而只是取与中心节点同类型的网络中所有节点的来做归一化。用了这个策略之后,skip-gram的输出从一个多项式分布变成了同类型概率的多个多项式分布了,其网络结构如下图所示。


(4) 参考文献

Dong Y, Chawla N V, Swami A. metapath2vec: Scalable representation learning for heterogeneous networks[A]. Proceedings of the 23rd ACM SIGKDD international conference on knowledge discovery and data mining[C]. 2017: 135–144.


[论文阅读笔记] metapath2vec: Scalable Representation Learning for Heterogeneous Networks的更多相关文章

  1. 论文阅读笔记 Improved Word Representation Learning with Sememes

    论文阅读笔记 Improved Word Representation Learning with Sememes 一句话概括本文工作 使用词汇资源--知网--来提升词嵌入的表征能力,并提出了三种基于 ...

  2. [论文阅读笔记] node2vec Scalable Feature Learning for Networks

    [论文阅读笔记] node2vec:Scalable Feature Learning for Networks 本文结构 解决问题 主要贡献 算法原理 参考文献 (1) 解决问题 由于DeepWal ...

  3. [论文阅读笔记] Adversarial Mutual Information Learning for Network Embedding

    [论文阅读笔记] Adversarial Mutual Information Learning for Network Embedding 本文结构 解决问题 主要贡献 算法原理 实验结果 参考文献 ...

  4. 论文阅读笔记六:FCN:Fully Convolutional Networks for Semantic Segmentation(CVPR2015)

    今天来看一看一个比较经典的语义分割网络,那就是FCN,全称如题,原英文论文网址:https://people.eecs.berkeley.edu/~jonlong/long_shelhamer_fcn ...

  5. 论文阅读笔记二十三:Learning to Segment Instances in Videos with Spatial Propagation Network(CVPR2017)

    论文源址:https://arxiv.org/abs/1709.04609 摘要 该文提出了基于深度学习的实例分割框架,主要分为三步,(1)训练一个基于ResNet-101的通用模型,用于分割图像中的 ...

  6. 论文阅读笔记四十一:Very Deep Convolutional Networks For Large-Scale Image Recongnition(VGG ICLR2015)

    论文原址:https://arxiv.org/abs/1409.1556 代码原址:https://github.com/machrisaa/tensorflow-vgg 摘要 本文主要分析卷积网络的 ...

  7. 论文阅读笔记三十八:Deformable Convolutional Networks(ECCV2017)

    论文源址:https://arxiv.org/abs/1703.06211 开源项目:https://github.com/msracver/Deformable-ConvNets 摘要 卷积神经网络 ...

  8. 论文阅读笔记六十五:Enhanced Deep Residual Networks for Single Image Super-Resolution(CVPR2017)

    论文原址:https://arxiv.org/abs/1707.02921 代码: https://github.com/LimBee/NTIRE2017 摘要 以DNN进行超分辨的研究比较流行,其中 ...

  9. [论文阅读笔记] LouvainNE Hierarchical Louvain Method for High Quality and Scalable Network Embedding

    [论文阅读笔记] LouvainNE: Hierarchical Louvain Method for High Quality and Scalable Network Embedding 本文结构 ...

随机推荐

  1. 如何解决vue2.0 打包之后 打开index.html出现空白页

    如何解决vue2.0 打包之后 打开index.html出现空白页 1.打包之前修改三个文件       1.1.第一步,找到build文件,在webpack.prod.conf.js 第25行左右 ...

  2. linux设置共享文件夹 - samba

    安装samba sudo apt-get install samba 配置 /etc/samba/smb.conf 的global模块添加security = user 最下加入 [share] pa ...

  3. 教你C 语言简单编程速成

    我们将所有的 C 语言要素放置到一份易读的备忘录上. 1972 年,丹尼斯·里奇Dennis Ritchie任职于贝尔实验室Bell Labs,在几年前,他和他的团队成员发明了 Unix .在创建了一 ...

  4. 蒲公英 · JELLY技术周刊 Vol.32: 前端的自我进化之路

    蒲公英 · JELLY技术周刊 Vol.32 前端开发不过是切图仔在那儿瞎鼓捣,没啥门槛,不需要懂计算机原理,不需要懂算法,微服务.高并发这些都不需要懂,拖组件写个页面就好了,数据.逻辑.测试都可以交 ...

  5. 喜欢 Dapper 的朋友看过来,送一份厚礼

    写在开头 众所周知 Dapper 是 .NET 下最轻最快的 ORM,它是喜欢写 SQL 码农的福音,相对于 SqlHelper 它更加方便,据统计 10个 .NETer 有 9个 用过 Dapper ...

  6. Python学习随笔:PyCharm的错误检测使用及调整配置减少错误数量

    老猿使用PyCharm有将近一个月了,发现PyCharm并不能很好的完成语法检查,有时运行时突然终止,仔细核查却发现是基本的语法错误,不过有次无意中移动鼠标到代码最右边的边框时发现其实PyCharm有 ...

  7. RedHat操作指令第2篇

    六.RPM包管理命令 主要功能 查询RPM软件.包文件的相关信息 安装.升级.卸载RPM软件包 维护RPM数据库信息 查询RPM软件信息 查询已安装的RPM软件信息 格式:rpm -q[子选项] [软 ...

  8. Scrum 冲刺第一天

    一.团队信息 1.团队名称 挑战极限队 2.团队成员 张博愉(3118005074) 张润柏(3118005075) 郑堉涵(3118005077) 周伟建(3118005079) 林梓琦(31180 ...

  9. 百度前端技术学院-基础-day3

    2020.9.15 第三天的课程内容,复习了一些CSS的基础属性(果然不用就会忘). 学习了一些新的属性,比如text-shadow.text-indent(还不是很清楚).font-style等等. ...

  10. ELK-Kibana汉化

    https://github.com/anbai-inc/Kibana_Hanization  补丁包 教程:1:首先,我们先杀死了Kibana进程,其实,教程说不用重启或关闭Kibana,但是,我们 ...