论文题目:<Momentum Contrast for Unsupervised Visual Representation Learning> 论文作者: Kaiming He.Haoqi Fan. Yuxin Wu. Saining Xie. Ross Girshick 论文来源:arXiv 论文来源:https://github.com/facebookresearch/moco 1 主要思想 文章核心思想是使用基于 Contrastive learning 的方式自监督的训练一个图片表…

Momentum Contrast for Unsupervised Visual Representation Learning 一.Methods Previously Proposed 1. End-to-end Mechanisms 方法简介:对于每个mini-batch中的 image 进行增强,每一张图片经过增强处理都得到两张图片q 和 $ k_+ $, 这两张互为正样本.采用两个不同的 encoder 分别对 q和 dictionary中的keys(包含q对应的正样本 $ k_+…

Momentum Contrast for Unsupervised Visual Representation Learning 一.Methods Previously Proposed 1. End-to-end Mechanisms 方法简介:对于每个mini-batch中的 image 进行增强,每一张图片经过增强处理都得到两张图片q 和 $ k_+ $, 这两张互为正样本.采用两个不同的 encoder 分别对 q和 dictionary中的keys(包含q对应的正样本 $ k_+…

Paper Information 论文标题:Contrastive Multi-View Representation Learning on Graphs论文作者:Kaveh Hassani .Amir Hosein Khasahmadi论文来源:2020, ICML论文地址:download论文代码:download Abstract 介绍了一种自监督的方法,通过对比图的结构视图来学习节点和图级别的表示.与视觉表示学习不同,对于图上的对比学习,将视图的数量增加到两个以上或对比多尺度编码并不…

Paper Information 论文作者:Zhen Peng.Wenbing Huang.Minnan Luo.Q. Zheng.Yu Rong.Tingyang Xu.Junzhou Huang论文来源:WWW 2020论文地址:download代码地址:download 前言 1.自监督学习(Self-supervised):属于无监督学习,其核心是自动为数据打标签(伪标签或其他角度的可信标签,包括图像的旋转.分块等等),通过让网络按照既定的规则,对数据打出正确的标签来更好地进行特征表示…

Paper Information 论文作者:Zhen Peng.Wenbing Huang.Minnan Luo.Q. Zheng.Yu Rong.Tingyang Xu.Junzhou Huang论文来源:WWW 2020论文地址:download代码地址:download 前言 1.自监督学习(Self-supervised):属于无监督学习,其核心是自动为数据打标签(伪标签或其他角度的可信标签,包括图像的旋转.分块等等),通过让网络按照既定的规则,对数据打出正确的标签来更好地进行特征表示…

论文信息 论文标题:Node Representation Learning in Graph via Node-to-Neighbourhood Mutual Information Maximization论文作者:Wei Dong, Junsheng Wu, Yi Luo, Zongyuan Ge, Peng Wang论文来源:CVPR 2022论文地址:download论文代码:download 1 摘要 在本工作中,我们提出了一种简单而有效的自监督节点表示学习策略,通过直接最大化节点的…

论文信息 论文标题:Graph Representation Learning via Contrasting Cluster Assignments论文作者:Chun-Yang Zhang, Hong-Yu Yao, C. L. Philip Chen, Fellow, IEEE and Yue-…

论文信息 论文标题:Bootstrapped Representation Learning on Graphs论文作者:Shantanu Thakoor, Corentin Tallec, Mohammad Gheshlaghi Azar, Rémi Munos, Petar Veličković, Michal Valko论文来源:2021, ArXiv论文地址:download 论文代码:download 1 介绍 研究目的:对比学习中不适用负样本. 本文贡献: 对图比学习不使用负样本 2…

Unsupervised Visual Representation Learning by Context Prediction Note here: it's a learning note on unsupervised learning model from Prof. Gupta's group. Link: http://120.52.73.9/www.cv-foundation.org/openaccess/content_iccv_2015/papers/Doersch_Unsu…

论文信息 论文标题:Towards Explanation for Unsupervised Graph-Level Representation Learning论文作者:Qinghua Zheng, Jihong Wang, Minnan Luo, Yaoliang Yu, Jundong Li, Lina Yao, Xiaojun Chang论文来源:2022, arXiv论文地址:download论文代码:download 1 Introduction 使用信息瓶颈的图级表示可解释性.…

论文信息 Title:<Symmetric Graph Convolutional Autoencoder for Unsupervised Graph Representation Learning> Authors:Jiwoong Park.Minsik Lee.H. Chang.Kyuewang Lee.J. Choi Sources:2019 IEEE/CVF International Conference on Computer Vision (ICCV) Paper:Downlo…

Paper Information Title:Simple Unsupervised Graph Representation LearningAuthors: Yujie Mo.Liang Peng.Jie Xu, Xiaoshuang Shi.Xiaofeng ZhuSources:2022 AAAIPaper:downloadCode:download Abstract 作者提出了一种简单的无监督图表示学习方法来进行有效和高效的对比学习.具体而言,通过构造多重损失探索结构信息与邻域信息之…

论文标题:Prototypical Contrastive Learning of Unsupervised Representations 论文方向:图像领域,提出原型对比学习,效果远超MoCo和SimCLR 论文来源:ICLR2021 论文链接:https://arxiv.org/abs/2005.04966 论文代码:https://github.com/salesforce/PCL Part1 概述 本文提出了一个将对比学习与聚类联系起来的无监督表示学习方法:Prototypical C…

一.基本信息 论文题目:<DeepWalk: Online Learning of Social Representations>发表时间:  KDD 2014论文作者:  Bryan Perozzi.Rami Al-Rfou.Steven Skiena论文地址:  https://dl.acm.org/citation.cfm?id=2623732 二.前言 普通的邻接矩阵在存储的关系很多时,纬度将变得很高,而进行矩阵分解是一个相当费时复杂的过程,因此通过矩阵分解的方法进行网络的表示学习,目…

论文信息 论文标题:Automated Self-Supervised Learning for Graphs论文作者:Wei Jin, Xiaorui Liu, Xiangyu Zhao, Yao Ma, Neil Shah, Jiliang Tang论文来源:2022, ICLR论文地址:download论文代码:download Abstract 研究现状: 不同的代理任务对不同数据集的下游任务的影响不同,表明代理任务的使用对于图的自监督学习至关重要: 当前工作大多基于单一的代理任务: 本…

论文信息 论文标题:Graph Contrastive Learning with Adaptive Augmentation论文作者:Yanqiao Zhu.Yichen Xu3.Feng Yu4.Qiang Liu.Shu Wu.Liang Wang论文来源:2021, WWW论文地址:download论文代码:download 1 介绍 出发角度:倾向于保持重要的结构和属性不变,同时干扰可能不重要的边连接和特征. 自适应数据增强方面: 拓扑结构:基于节点中心性度量,突出重要连接: 语义信息…

论文信息 论文标题:Debiased Contrastive Learning论文作者:Ching-Yao Chuang, Joshua Robinson, Lin Yen-Chen, Antonio Torralba, Stefanie Jegelka论文来源:2020, NeurIPS论文地址:download论文代码:download 1 Introduction 观察的结果:将拥有不同标签的样本作为负样本能显著提高性能. 对比学习思想:鼓励相似对 $\left(x, x^{+}\righ…

自监督学习(Self-Supervised Learning)多篇论文解读(下) 之前的研究思路主要是设计各种各样的pretext任务,比如patch相对位置预测.旋转预测.灰度图片上色.视频帧排序等等.CVPR19和ICCV19上,Google Brain的几个研究员发表了两篇论文,从另外的视角分析和研究self-supervised learning问题.两篇paper名字分别是:Revisiting Self-Supervised Visual Representation Learnin…

自监督学习(Self-Supervised Learning)多篇论文解读(上) 前言 Supervised deep learning由于需要大量标注信息,同时之前大量的研究已经解决了许多问题.所以近期大家的研究关注点逐渐转向了Unsupervised learning,许多顶会包括ICML, NeurIPS, CVPR, ICCV相继出现一些不错的paper和研究工作. 这里主要关注Unsupervised learning一类特定的方法:Self-supervised learning(自…

Self-Supervised Representation Learning 2019-11-11 21:12:14  This blog is copied from: https://lilianweng.github.io/lil-log/2019/11/10/self-supervised-learning.html Self-Supervised Representation Learning Nov 10, 2019 by Lilian Weng representation-le…

Paper Information Title:<Improved Deep Embedded Clustering with Local Structure Preservation>Authors:Xifeng Guo, Long Gao, Xinwang Liu, Jianping YinSources:2017, IJCAIOther:69 Citations, 71 ReferencesPaper:DownloadCode:Download Abstract 本文解决的问题:先前根据…

论文信息 论文标题:Sub-graph Contrast for Scalable Self-Supervised Graph Representation Learning论文作者:Yizhu Jiao, Yun Xiong, Jiawei Zhang, Yao Zhang, Tianqi Zhang, Yangyong Zhu论文来源:2020 ICDM论文地址:download 论文代码:download 1 Introduction 创新点:提出一种新的子图对比度自监督表示学习方法,利用…

Paper Information 论文标题:Deep Graph Contrastive Representation Learning论文作者:Yanqiao Zhu, Yichen Xu, Feng Yu, Q. Liu, Shu Wu, Liang Wang论文来源:2020, ArXiv论文地址:download 代码地址:download Abstract 在本文中,作者提出了一个利用节点级对比目标的无监督图表示学习框架.具体来说,通过破坏原始图去生成两个视图,并通过最大化这两个视图…

Improving Deep Visual Representation for Person Re-identification by Global and Local Image-language Association2018-09-29 19:36:43 Paper:http://openaccess.thecvf.com/content_ECCV_2018/papers/Dapeng_Chen_Improving_Deep_Visual_ECCV_2018_paper.pdf 1. I…

UNSUPERVISED REPRESENTATION LEARNING WITH DEEP CONVOLUTIONAL GENERATIVE ADVERSARIAL NETWORKS  ICLR 2016  摘要:近年来 CNN 在监督学习领域的巨大成功 和 无监督学习领域的无人问津形成了鲜明的对比,本文旨在链接上这两者之间的缺口.提出了一种 deep convolutional generative adversarial networks (DCGANs),that have certai…

论文信息 论文标题:Structural and Semantic Contrastive Learning for Self-supervised Node Representation Learning论文作者: Kaize Ding .Yancheng Wang .Yingzhen Yang.…

论文信息 论文标题:Multi-Scale Contrastive Siamese Networks for Self-Supervised Graph Representation Learning论文作者:Ming Jin, Yizhen Zheng, Yuan-Fang Li, Chen Gong, Chuan Zhou, Shirui Pan论文来源:2021, IJCAI论文地址:download 论文代码:download 1 Introduction 创新:融合交叉视图对比和交叉网…

论文信息 论文标题:Representation Learning on Graphs with Jumping Knowledge Networks论文作者:Keyulu Xu, Chengtao Li, Yonglong Tian, Tomohiro Sonobe, Ken-ichi Kawarabayashi, Stefanie Jegelka论文来源:2018,ICML论文地址:download论文代码:download 1 Introduction 最近,图表示学习提出了基于 "邻域聚…

论文题目:<Structural Deep Network Embedding>发表时间:  KDD 2016 论文作者:  Aditya Grover;Aditya Grover; Jure Leskovec论文地址:  DownloadGithub:      Go1.Go2 ABSTRACT Motivation 由于底层网络结构复杂,Shallow model 无法捕捉高度非线性的网络结构,导致网络表示次优. 因此,如何找到一种能够有效捕捉高度非线性网络结构并保留全局和局部结构的方法是…