1 题目 <A Simple Framework for Contrastive Learning of Visual Representations> 作者: Ting Chen, Simon Kornblith, Mohammad Norouzi, Geoffrey Hinton 2 介绍 本文主要介绍 SimCLR框架. 定义: SimCLR:一个简单的视觉表示对比学习框架,不仅比以前的工作更出色,而且也更简单,既不需要专门的架构,也不需要储存库. 性能: 在 $ImageNet$ 上大…

目录 概 主要内容 流程 projection head g constractive loss augmentation other 代码 Chen T., Kornblith S., Norouzi M., Hinton G. A Simple Framework for Contrastive Learning of Visual Representations. arXiv: Learning, 2020. @article{chen2020a, title={A Simple Fram…

  Motivation 作者们构建了一种用于视觉表示的对比学习简单框架 SimCLR,它不仅优于此前的所有工作,也优于最新的对比自监督学习算法, 而且结构更加简单:这个结构既不需要专门的架构,也不需要特殊的存储库. ·         由于采用了对比学习,这个框架可以作为很多视觉相关的任务的预训练模型,可以在少量标注样本的情况下,拿到比较好的结果. Discovery 在这篇论文中,研究者发现: ·         多个数据增强方法组合对于对比预测任务产生有效表示非常重要. ·        …

论文标题:Prototypical Contrastive Learning of Unsupervised Representations 论文方向:图像领域,提出原型对比学习,效果远超MoCo和SimCLR 论文来源:ICLR2021 论文链接:https://arxiv.org/abs/2005.04966 论文代码:https://github.com/salesforce/PCL Part1 概述 本文提出了一个将对比学习与聚类联系起来的无监督表示学习方法:Prototypical C…

论文信息 论文标题:Graph Contrastive Learning with Adaptive Augmentation论文作者:Yanqiao Zhu.Yichen Xu3.Feng Yu4.Qiang Liu.Shu Wu.Liang Wang论文来源:2021, WWW论文地址:download论文代码:download 1 介绍 出发角度:倾向于保持重要的结构和属性不变,同时干扰可能不重要的边连接和特征. 自适应数据增强方面: 拓扑结构:基于节点中心性度量,突出重要连接: 语义信息…

论文信息 论文标题:Debiased Contrastive Learning论文作者:Ching-Yao Chuang, Joshua Robinson, Lin Yen-Chen, Antonio Torralba, Stefanie Jegelka论文来源:2020, NeurIPS论文地址:download论文代码:download 1 Introduction 观察的结果:将拥有不同标签的样本作为负样本能显著提高性能. 对比学习思想:鼓励相似对 $\left(x, x^{+}\righ…

一.基本信息 论文题目:<DeepWalk: Online Learning of Social Representations>发表时间:  KDD 2014论文作者:  Bryan Perozzi.Rami Al-Rfou.Steven Skiena论文地址:  https://dl.acm.org/citation.cfm?id=2623732 二.前言 普通的邻接矩阵在存储的关系很多时,纬度将变得很高,而进行矩阵分解是一个相当费时复杂的过程,因此通过矩阵分解的方法进行网络的表示学习,目…

论文信息 论文标题:Multi-view Contrastive Graph Clustering论文作者:Erlin Pan.Zhao Kang论文来源:2021, NeurIPS论文地址:download论文代码:download 1 介绍 本文贡献: 使用Graph Filter 过滤了高阶噪声数据: 提出 Graph Contrastive Regularizer 改善了视图的质量: 2 方法 2.1 定义 将多视图图数据定义为 $G=\left\{\mathcal{V}, E_{1},…

论文信息 论文标题:CGC: Contrastive Graph Clustering for Community Detection and Tracking论文作者:Namyong Park, Ryan Rossi, Eunyee Koh, Iftikhar Ahamath Burhanuddin, Sungchul Kim, Fan Du, Nesreen Ahmed, Christos Faloutsos论文来源:2022, AAAI论文地址:download 论文代码:download…

论文信息 论文标题:Multi-Scale Contrastive Siamese Networks for Self-Supervised Graph Representation Learning论文作者:Ming Jin, Yizhen Zheng, Yuan-Fang Li, Chen Gong, Chuan Zhou, Shirui Pan论文来源:2021, IJCAI论文地址:download 论文代码:download 1 Introduction 创新:融合交叉视图对比和交叉网…

论文信息 论文标题:Graph Contrastive Clustering论文作者:Huasong Zhong, Jianlong Wu, Chong Chen, Jianqiang Huang, Minghua Deng, Liqiang Nie, Zhouchen Lin, Xian-Sheng Hua论文来源:2021, ICCV论文地址:download论文代码:download 1 Introduction 研究方向:解决传统的 URL  没有考虑到类别信息和聚类目标的问题. 传统对…

Paper Information 论文作者:Zhen Peng.Wenbing Huang.Minnan Luo.Q. Zheng.Yu Rong.Tingyang Xu.Junzhou Huang论文来源:WWW 2020论文地址:download代码地址:download 前言 1.自监督学习(Self-supervised):属于无监督学习,其核心是自动为数据打标签(伪标签或其他角度的可信标签,包括图像的旋转.分块等等),通过让网络按照既定的规则,对数据打出正确的标签来更好地进行特征表示…

Paper Information 论文作者:Zhen Peng.Wenbing Huang.Minnan Luo.Q. Zheng.Yu Rong.Tingyang Xu.Junzhou Huang论文来源:WWW 2020论文地址:download代码地址:download 前言 1.自监督学习(Self-supervised):属于无监督学习,其核心是自动为数据打标签(伪标签或其他角度的可信标签,包括图像的旋转.分块等等),通过让网络按照既定的规则,对数据打出正确的标签来更好地进行特征表示…

论文信息 论文标题:Node Representation Learning in Graph via Node-to-Neighbourhood Mutual Information Maximization论文作者:Wei Dong, Junsheng Wu, Yi Luo, Zongyuan Ge, Peng Wang论文来源:CVPR 2022论文地址:download论文代码:download 1 摘要 在本工作中,我们提出了一种简单而有效的自监督节点表示学习策略,通过直接最大化节点的…

论文信息 论文标题:Graph Representation Learning via Contrasting Cluster Assignments论文作者:Chun-Yang Zhang, Hong-Yu Yao, C. L. Philip Chen, Fellow, IEEE and Yue-…

论文信息 论文标题:Automated Self-Supervised Learning for Graphs论文作者:Wei Jin, Xiaorui Liu, Xiangyu Zhao, Yao Ma, Neil Shah, Jiliang Tang论文来源:2022, ICLR论文地址:download论文代码:download Abstract 研究现状: 不同的代理任务对不同数据集的下游任务的影响不同,表明代理任务的使用对于图的自监督学习至关重要: 当前工作大多基于单一的代理任务: 本…

论文信息 论文标题:Bootstrapped Representation Learning on Graphs论文作者:Shantanu Thakoor, Corentin Tallec, Mohammad Gheshlaghi Azar, Rémi Munos, Petar Veličković, Michal Valko论文来源:2021, ArXiv论文地址:download 论文代码:download 1 介绍 研究目的:对比学习中不适用负样本. 本文贡献: 对图比学习不使用负样本 2…

自监督学习(Self-Supervised Learning)多篇论文解读(下) 之前的研究思路主要是设计各种各样的pretext任务,比如patch相对位置预测.旋转预测.灰度图片上色.视频帧排序等等.CVPR19和ICCV19上,Google Brain的几个研究员发表了两篇论文,从另外的视角分析和研究self-supervised learning问题.两篇paper名字分别是:Revisiting Self-Supervised Visual Representation Learnin…

Paper Information 论文标题:Deep Graph Contrastive Representation Learning论文作者:Yanqiao Zhu, Yichen Xu, Feng Yu, Q. Liu, Shu Wu, Liang Wang论文来源:2020, ArXiv论文地址:download 代码地址:download Abstract 在本文中,作者提出了一个利用节点级对比目标的无监督图表示学习框架.具体来说,通过破坏原始图去生成两个视图,并通过最大化这两个视图…

自监督学习(Self-Supervised Learning)多篇论文解读(上) 前言 Supervised deep learning由于需要大量标注信息,同时之前大量的研究已经解决了许多问题.所以近期大家的研究关注点逐渐转向了Unsupervised learning,许多顶会包括ICML, NeurIPS, CVPR, ICCV相继出现一些不错的paper和研究工作. 这里主要关注Unsupervised learning一类特定的方法:Self-supervised learning(自…

论文信息 论文标题:SimGRACE: A Simple Framework for Graph Contrastive Learning without Data Augmentation论文作者:Jun Xia, Lirong Wu, Jintao Chen, Bozhen Hu, Stan Z. Li论文来源:2022, WWW论文地址:download 论文代码:download 1 Introduction 对比学习种数据增强存在的三个问题: First, the augmentati…

Paper Information Title:Simple Unsupervised Graph Representation LearningAuthors: Yujie Mo.Liang Peng.Jie Xu, Xiaoshuang Shi.Xiaofeng ZhuSources:2022 AAAIPaper:downloadCode:download Abstract 作者提出了一种简单的无监督图表示学习方法来进行有效和高效的对比学习.具体而言,通过构造多重损失探索结构信息与邻域信息之…

论文信息 论文标题:Structural and Semantic Contrastive Learning for Self-supervised Node Representation Learning论文作者: Kaize Ding .Yancheng Wang .Yingzhen Yang.…

论文信息 论文标题:Structural and Semantic Contrastive Learning for Self-supervised Node Representation Learning论文作者: Kaize Ding .Yancheng Wang .Yingzhen Yang.…

论文信息 论文标题:Towards Robust Graph Contrastive Learning论文作者:Nikola Jovanović, Zhao Meng, Lukas Faber, Roger Wattenhofer论文来源:2021, arXiv论文地址:download 论文代码:download 1 Introduction 创新点:从对抗攻击和对抗防御考虑数据增强策略. 2 Graph robust contrastive learning 2.1 Background 目…

论文信息 论文标题:ClusterSCL: Cluster-Aware Supervised Contrastive Learning on Graphs论文作者:Yanling Wang, Jing Zhang, Haoyang Li, Yuxiao Dong, Hongzhi Yin, Cuiping Li论文来源:2020, ICML论文地址:download 论文代码:download 1 Introduction 图上的监督对比学习很难处理拥有较大的类内(intra-class)差异,…

论文信息 论文标题:Graph Communal Contrastive Learning论文作者:Bolian Li, Baoyu Jing, Hanghang Tong论文来源:2022, WWW论文地址:download 论文代码:download 1 Introduction 有相同兴趣的人往往通过他们的互动而紧密联系,而有不同兴趣的人则是松散的联系.因此,同一兴趣社区的人在图形上是相似的,将它们视为负对会给节点表示引入图形错误.为了解决这一问题,我们首先提出了一种基于图结构信息学习社区…

论文信息 论文标题:Rethinking and Scaling Up Graph Contrastive Learning: An Extremely Efficient Approach with Group Discrimination论文作者:Yizhen Zheng, Shirui Pan, Vincent Cs Lee, Yu Zheng, Philip S. Yu论文来源:2022,NeurIPS论文地址:download 论文代码:download 1 Introduction…

论文标题:Bootstrap Your Own Latent A New Approach to Self-Supervised Learning 论文方向:图像领域 论文来源:NIPS2020 论文链接:https://arxiv.org/abs/2006.07733 论文代码:https://github.com/deepmind/deepmind-research/tree/master/byol 1 介绍 BYOL,全称叫Bootstrap Your Own Latent,它在迭代的过程…

CVPR2020 论文解读:具有注意RPN和多关系检测器的少点目标检测 Few-Shot Object Detection with Attention-RPN and Multi-Relation Detector 具有注意RPN和多关系检测器的少点目标检测 目标检测的惯用方法需要大量的训练数据,准备这样高质量的训练数据很费精力的.本文中,提出一种新的少点目标检测网络,只用几个带注释的示例的看不见的类来检测目标.集中到新方法的核心是,注意力RPN,多相关检测器,以及对比训练策略,探索少点支持集…