What Makes for Good Views for Contrastive Learning

【What Makes for Good Views for Contrastive Learning】的更多相关文章

What Makes for Good Views for Contrastive Learning

目录概前 InfoMin Sweet Spot 空间距离 Color Spaces Frequency Separation 构建 novel views 无监督半监督 Tian Y., Sun C., Poole B., Krishnan D., Schmid C. & Isola P. What Makes for Good Views for Contrastive Learning? arXiv preprint arXiv 2005.10243, 2020. 概是什么使得对比学…

论文解读（gCooL）《Graph Communal Contrastive Learning》

论文信息论文标题:Graph Communal Contrastive Learning论文作者:Bolian Li, Baoyu Jing, Hanghang Tong论文来源:2022, WWW论文地址:download 论文代码:download 1 Introduction 有相同兴趣的人往往通过他们的互动而紧密联系,而有不同兴趣的人则是松散的联系.因此,同一兴趣社区的人在图形上是相似的,将它们视为负对会给节点表示引入图形错误.为了解决这一问题,我们首先提出了一种基于图结构信息学习社区…

论文解读（PCL）《Prototypical Contrastive Learning of Unsupervised Representations》

论文标题:Prototypical Contrastive Learning of Unsupervised Representations 论文方向:图像领域,提出原型对比学习,效果远超MoCo和SimCLR 论文来源:ICLR2021 论文链接:https://arxiv.org/abs/2005.04966 论文代码:https://github.com/salesforce/PCL Part1 概述本文提出了一个将对比学习与聚类联系起来的无监督表示学习方法:Prototypical C…

论文解读（SimCLR）《A Simple Framework for Contrastive Learning of Visual Representations》

1 题目 <A Simple Framework for Contrastive Learning of Visual Representations> 作者: Ting Chen, Simon Kornblith, Mohammad Norouzi, Geoffrey Hinton 2 介绍本文主要介绍 SimCLR框架. 定义: SimCLR:一个简单的视觉表示对比学习框架,不仅比以前的工作更出色,而且也更简单,既不需要专门的架构,也不需要储存库. 性能: 在 $ImageNet$ 上大…

Remote Sensing Images Semantic Segmentation with General Remote Sensing Vision Model via a Self-Supervised Contrastive Learning Method

论文阅读: Remote Sensing Images Semantic Segmentation with General Remote Sensing Vision Model via a Self-Supervised Contrastive Learning Method 作者声明版权声明:本文为博主原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接和本声明. 原文链接:https://www.cnblogs.com/phoenixash/p/15371354.ht…

Robust Pre-Training by Adversarial Contrastive Learning

目录概主要内容代码 Jiang Z., Chen T., Chen T. & Wang Z. Robust Pre-Training by Adversarial Contrastive Learning. NIPS, 2020. 概本文介绍了一种利用对比学习进行对抗预训练的方法. 主要内容思想是很简单的, 就是利用对比学习进行训练(样本的augumentation多一个$\delta$), 然后再通过此方法训练得到的参数进行finetune. 比较特别的是, 有三种预训练的方案:…

Adversarial Self-Supervised Contrastive Learning

目录概主要内容 Linear Part 代码 Kim M., Tack J. & Hwang S. Adversarial Self-Supervised Contrastive Learning. In Advances in Neural Information Processing Systems, 2020. 概这篇文章提出了对比学习结合adversarial training的一个思路. 主要内容对比学习的强大之处在于正负样本对的构造, 一个结合adversarial trai…

Feature Distillation With Guided Adversarial Contrastive Learning

目录概主要内容 reweight 拟合概率实验的细节疑问 Bai T., Chen J., Zhao J., Wen B., Jiang X., Kot A. Feature Distillation With Guided Adversarial Contrastive Learning. arXiv preprint arXiv 2009.09922, 2020. 概本文是通过固定教师网络(具有鲁棒性), 让学生网络去学习教师网络的鲁棒特征. 相较于一般的distillation…

A Simple Framework for Contrastive Learning of Visual Representations

目录概主要内容流程 projection head g constractive loss augmentation other 代码 Chen T., Kornblith S., Norouzi M., Hinton G. A Simple Framework for Contrastive Learning of Visual Representations. arXiv: Learning, 2020. @article{chen2020a, title={A Simple Fram…

ICLR2021对比学习（Contrastive Learning）NLP领域论文进展梳理

本文首发于微信公众号「对白的算法屋」,来一起学AI叭大家好,卷王们and懂王们好,我是对白. 本次我挑选了ICLR2021中NLP领域下的六篇文章进行解读,包含了文本生成.自然语言理解.预训练语言模型训练和去偏.以及文本匹配和文本检索.从这些论文的思想中借鉴了一些idea用于公司自身的业务中,最终起到了一个不错的效果. 1.Contrastive Learning with Adversarial Perturbations for Conditional Text Generation 任务…