本文首发于微信公众号「对白的算法屋」,来一起学AI叭 大家好,卷王们and懂王们好,我是对白. 本次我挑选了ICLR2021中NLP领域下的六篇文章进行解读,包含了文本生成.自然语言理解.预训练语言模型训练和去偏.以及文本匹配和文本检索.从这些论文的思想中借鉴了一些idea用于公司自身的业务中,最终起到了一个不错的效果. 1.Contrastive Learning with Adversarial Perturbations for Conditional Text Generation 任务…

论文信息 论文标题:ClusterSCL: Cluster-Aware Supervised Contrastive Learning on Graphs论文作者:Yanling Wang, Jing Zhang, Haoyang Li, Yuxiao Dong, Hongzhi Yin, Cuiping Li论文来源:2020, ICML论文地址:download 论文代码:download 1 Introduction 图上的监督对比学习很难处理拥有较大的类内(intra-class)差异,…

论文标题:Prototypical Contrastive Learning of Unsupervised Representations 论文方向:图像领域,提出原型对比学习,效果远超MoCo和SimCLR 论文来源:ICLR2021 论文链接:https://arxiv.org/abs/2005.04966 论文代码:https://github.com/salesforce/PCL Part1 概述 本文提出了一个将对比学习与聚类联系起来的无监督表示学习方法:Prototypical C…

论文信息 论文标题:SimGRACE: A Simple Framework for Graph Contrastive Learning without Data Augmentation论文作者:Jun Xia, Lirong Wu, Jintao Chen, Bozhen Hu, Stan Z. Li论文来源:2022, WWW论文地址:download 论文代码:download 1 Introduction 对比学习种数据增强存在的三个问题: First, the augmentati…

论文信息 论文标题:Structural and Semantic Contrastive Learning for Self-supervised Node Representation Learning论文作者: Kaize Ding .Yancheng Wang .Yingzhen Yang.…

论文信息 论文标题:Structural and Semantic Contrastive Learning for Self-supervised Node Representation Learning论文作者: Kaize Ding .Yancheng Wang .Yingzhen Yang.…

论文信息 论文标题:Graph Contrastive Learning with Adaptive Augmentation论文作者:Yanqiao Zhu.Yichen Xu3.Feng Yu4.Qiang Liu.Shu Wu.Liang Wang论文来源:2021, WWW论文地址:download论文代码:download 1 介绍 出发角度:倾向于保持重要的结构和属性不变,同时干扰可能不重要的边连接和特征. 自适应数据增强方面: 拓扑结构:基于节点中心性度量,突出重要连接: 语义信息…

论文信息 论文标题:Towards Robust Graph Contrastive Learning论文作者:Nikola Jovanović, Zhao Meng, Lukas Faber, Roger Wattenhofer论文来源:2021, arXiv论文地址:download 论文代码:download 1 Introduction 创新点:从对抗攻击和对抗防御考虑数据增强策略. 2 Graph robust contrastive learning 2.1 Background 目…

论文信息 论文标题:Debiased Contrastive Learning论文作者:Ching-Yao Chuang, Joshua Robinson, Lin Yen-Chen, Antonio Torralba, Stefanie Jegelka论文来源:2020, NeurIPS论文地址:download论文代码:download 1 Introduction 观察的结果:将拥有不同标签的样本作为负样本能显著提高性能. 对比学习思想:鼓励相似对 $\left(x, x^{+}\righ…

论文信息 论文标题:Graph Communal Contrastive Learning论文作者:Bolian Li, Baoyu Jing, Hanghang Tong论文来源:2022, WWW论文地址:download 论文代码:download 1 Introduction 有相同兴趣的人往往通过他们的互动而紧密联系,而有不同兴趣的人则是松散的联系.因此,同一兴趣社区的人在图形上是相似的,将它们视为负对会给节点表示引入图形错误.为了解决这一问题,我们首先提出了一种基于图结构信息学习社区…