Hierarchical Attention Based Semi-supervised Network Representation Learning

1. 任务

给定:节点信息网络
目标:为每个节点生成一个低维向量
 
基于半监督的分层关注网络嵌入方法

2. 创新点:

以半监督的方式结合外部信息
1. 提出SHANE 模型,集成节点结构,文本和标签信息,并以半监督的方式学习网络嵌入
2. 使用分层注意网络学习节点的文本特征, 两层双向GRU 提取单词和句子的潜在特征
 

3. 背景

1. 现有方法通常基于单词获取节点的文本特征矩阵,忽略分层结构(单词、句子)
2. 不同单词和句子包含不同数量信息,如何评估节点内容的差异性
3. 标签,也是重要的监督信息
4. 网络中存在大量未标记节点,如何合理利用
 

4. 模型

整合节点的结构,文本和标签信息
 
基于文本的表示学习
使用分层注意机制
 

4.1. 问题定义

G = (V, E, T, L)
( V: 节点集
E: 边集合
T: 节点的文本信息
L: 标签节点信息 )
 
节点u 的文本信息Du = (Su1, Su2,...,Suq)
句子信息 Sui = (Wui..)
 
给定信息网络,目标:为每个节点u 整合其结构和文本信息 学习一个低维向量 u,

4.2. 基于文本的表示

分层学习可获取不同粒度的文本信息
  • 词嵌入:捕获词汇特征
  • 句子嵌入: 捕获文本特征

4.2.1. word 编码器

  • 使用双向 GRU 编码单词序列
  • 使用注意力机制识别重要单词
  • 类似:使用双向GRU 编码句子
 
假设节点 u 包含 q 个句子, 每个句子包含 m 个单词,通过查询获取句子 Sui 的词语序列
 
 
使用双向 GRU 编码单词序列
 
 
( 通过连接以上两个方向的 h 可包含两个方向的信息,使用注意机制识别词语的重要性,如下)
 
( Sui 是节点 u 第 i 个句子的嵌入, Cw 是全局的词语向量,a 是用于句子表示,融合单词嵌入的权重)
 

4.2.2. 句子编码器

类似单词编码器,类似的双向GRU ,得到分层编码的文本嵌入 ut
为了避免新的表示与原始文本的偏差,获取分层关注网络的嵌入后,添加该节点词嵌入的平均值向量 Uta,得到节点 u 的文本表示 ut
 

4.3. 基于结构的表示

含有边的两个节点结构相似
CANE 中将每个部分的对数似然表示为
 
 
( u 与 v 相连接, Wu,v为权重,Us 是基于结构的嵌入)
u 生成 v 的条件概率为
 
 
节点 u 的基于结构的嵌入区别于所连接的节点,结构的最终嵌入为与不同节点连接所得的平均值
 
( E 为 u 的边)
 

4.4. 半监督的分层网络嵌入

未标记的节点:只考虑结构和文本特征
 
为了匹配标签丢失的节点,我们通过全连接层将节点的嵌入映射到标签空间,可预测节点的标签分布
 
 
( Ll 表示有标签的节点子集,有标签的节点的目标函数为:)
 
( lamda 是标签损失权重)
 
SHANE 的全局目标函数:
 
  

5. 实验

 
 

Hierarchical Attention Based Semi-supervised Network Representation Learning的更多相关文章

  1. 网络表示学习Network Representation Learning/Embedding

    网络表示学习相关资料 网络表示学习(network representation learning,NRL),也被称为图嵌入方法(graph embedding method,GEM)是这两年兴起的工 ...

  2. 论文笔记:(2019)GAPNet: Graph Attention based Point Neural Network for Exploiting Local Feature of Point Cloud

    目录 摘要 一.引言 二.相关工作 基于体素网格的特征学习 直接从非结构化点云中学习特征 从多视图模型中学习特征 几何深度学习的学习特征 三.GAPNet架构 3.1 GAPLayer 局部结构表示 ...

  3. 翻译 Improved Word Representation Learning with Sememes

    翻译 Improved Word Representation Learning with Sememes 题目 Improved Word Representation Learning with ...

  4. (zhuan) Notes on Representation Learning

    this blog from: https://opendatascience.com/blog/notes-on-representation-learning-1/   Notes on Repr ...

  5. Self-Supervised Representation Learning

    Self-Supervised Representation Learning 2019-11-11 21:12:14  This blog is copied from: https://lilia ...

  6. (转)Predictive learning vs. representation learning 预测学习 与 表示学习

    Predictive learning vs. representation learning  预测学习 与 表示学习 When you take a machine learning class, ...

  7. 注意力机制---Attention、local Attention、self Attention、Hierarchical attention

    一.编码-解码架构 目的:解决语音识别.机器翻译.知识问答等输出输入序列长度不相等的任务. C是输入的一个表达(representation),包含了输入序列的有效信息. 它可能是一个向量,也可能是一 ...

  8. 【PSMA】Progressive Sample Mining and Representation Learning for One-Shot Re-ID

    目录 主要挑战 主要的贡献和创新点 提出的方法 总体框架与算法 Vanilla pseudo label sampling (PLS) PLS with adversarial learning Tr ...

  9. 论文解读GALA《Symmetric Graph Convolutional Autoencoder for Unsupervised Graph Representation Learning》

    论文信息 Title:<Symmetric Graph Convolutional Autoencoder for Unsupervised Graph Representation Learn ...

随机推荐

  1. Object.defineProperty基本用法

    1. 基本形式 Object.defineProperty(obj,prop,descriptor) 参数说明: obj: 必需,目标对象prop: 必需,需定义或修改属性的名字descriptor: ...

  2. node egg.js使用superagent做文件转发

    使用 egg.js + superagent 进行文件上传转发 // app/controller/file.js const Controller = require('egg').Controll ...

  3. Uncaught (in promise) DOMException: The play() request was interrupted by a call to pause().

    解决方法: audio.load() let playPromise = audio.play() if (playPromise !== undefined) { playPromise.then( ...

  4. librdkafka 源码分析

    http://note.youdao.com/noteshare?id=c7ff510525b4dadaabb6f6a0a72040cc

  5. web开发中防止SQL注入

    一.SQL注入简介 SQL注入是比较常见的网络攻击方式之一,它不是利用操作系统的BUG来实现攻击,而是针对程序员编写时的疏忽,通过SQL语句,实现无账号登录,甚至篡改数据库. 二.SQL注入攻击的总体 ...

  6. Jmeter-7-在命令行中运行Jmeter.

    jmeter -n -t D:\Jmeter_result\Script_baidu.jmx -l D:\Jmeter_result\Script_baidu.txt jmeter -n -t D:\ ...

  7. Zabbix 通过 JMX 监控 java 进程

    参考: [ JMX monitoring ] [ Zabbix Java gateway ] [ JMX Monitoring (Java Gateway) not Working ] [ Monit ...

  8. zabbix的命令执行

    1.对于低版本的可用下列exp直接打到用户 http://119.29.48.232/zabbix/httpmon.php?applications=2 and (select 1 from (sel ...

  9. 基于springmvc静态文件资源配置问题

    1.在这里只教大家一种非常实用的 比较简单的一种: 如果两种都配置记得注释掉这种:

  10. js_判断当前url是否合法http(s)

    alert(checkURL('http:555')); //false function checkURL(URL) { var str = URL, Expression = /http(s)?: ...