KLMo:建模细粒度关系的知识图增强预训练语言模型 (KLMo: Knowledge Graph Enhanced Pretrained Language Model with Fine-Grained Relationships) 论文地址:https://aclanthology.org/2021.findings-emnlp.384.pdf 摘要 知识图谱(KG)中实体之间的交互作用为语言表征学习提供了丰富的知识.然而,现有的知识增强型预训练语言模型(PLMS)只关注实体信息,而忽略了实体…

自监督学习(Self-Supervised Learning)多篇论文解读(上) 前言 Supervised deep learning由于需要大量标注信息,同时之前大量的研究已经解决了许多问题.所以近期大家的研究关注点逐渐转向了Unsupervised learning,许多顶会包括ICML, NeurIPS, CVPR, ICCV相继出现一些不错的paper和研究工作. 这里主要关注Unsupervised learning一类特定的方法:Self-supervised learning(自…

摘要:本文提出一种基于局部特征保留的图卷积网络架构,与最新的对比算法相比,该方法在多个数据集上的图分类性能得到大幅度提升,泛化性能也得到了改善. 本文分享自华为云社区<论文解读:基于局部特征保留的图卷积神经网络架构(LPD-GCN)>,原文作者:PG13 . 近些年,很多研究者开发了许多基于图卷积网络的方法用于图级表示学习和分类应用.但是,当前的图卷积网络方法无法有效地保留图的局部信息,这对于图分类任务尤其严重,因为图分类目标是根据其学习的图级表示来区分不同的图结构.为了解决该问题,这篇文章提…

自监督学习(Self-Supervised Learning)多篇论文解读(下) 之前的研究思路主要是设计各种各样的pretext任务,比如patch相对位置预测.旋转预测.灰度图片上色.视频帧排序等等.CVPR19和ICCV19上,Google Brain的几个研究员发表了两篇论文,从另外的视角分析和研究self-supervised learning问题.两篇paper名字分别是:Revisiting Self-Supervised Visual Representation Learnin…

Paper Information Titlel:<Semi-Supervised Classification with Graph Convolutional Networks>Authors:Thomas Kipf, M. WellingSource:2016, ICLRPaper:Download Code:Download 致敬  Thomas Kipf 我原以为将  GCN 发扬光大的人应该是一位老先生,毕竟能将一个理论影响全世界的人必应该有很多的知识储备(主观直觉),然后我发现自…

Paper Information Title:<Improved Deep Embedded Clustering with Local Structure Preservation>Authors:Xifeng Guo, Long Gao, Xinwang Liu, Jianping YinSources:2017, IJCAIOther:69 Citations, 71 ReferencesPaper:DownloadCode:Download Abstract 本文解决的问题:先前根据…

论文信息 论文标题:How Powerful are K-hop Message Passing Graph Neural Networks论文作者:Jiarui Feng, Yixin Chen, Fuhai Li, Anindya Sarkar, Muhan Zhang论文来源:2022,arXiv论文地址:download 论文代码:download 1 Introduction 本文工作: 1)正式区分了 K-hop 邻居的两个不同的内核,它们在以前的工作中经常被滥用.一种是基于图扩散(…

itemKNN发展史----推荐系统的三篇重要的论文解读 本文用到的符号标识 1.Item-based CF 基本过程: 计算相似度矩阵 Cosine相似度 皮尔逊相似系数 参数聚合进行推荐 根据用户项目交互矩阵 \(A\) 计算相似度矩阵 \(W\): 这样,用户对整个项目列表的偏好值可以如下计算: \[{ {\tilde a_i}^T}={ a_i^T} \times W\] 例如,对于 j 号物品,用户的偏好值如此计算: \[{ {\tilde a_{(u,j)}}}=\sum_{i\in…

Mask Scoring R-CNN CVPR2019 | Mask Scoring R-CNN 论文解读 作者 | 文永亮 研究方向 | 目标检测.GAN 推荐理由: 本文解读的是一篇发表于CVPR2019的paper,来自华科和地平线,文章提出了Mask Scoring R-CNN的框架是对Mask R-CNN的改进,简单地来说就是给Mask R-CNN添加一个新的分支来给mask打分从而预测出更准确的分数. 源码地址:https://github.com/zjhuang22/masksco…

Object Detection based on Region Decomposition and Assembly AAAI2019 | 基于区域分解集成的目标检测 论文解读 作者 | 文永亮 学校 | 哈尔滨工业大学(深圳) 研究方向 | 目标检测.GAN 推荐理由: 这是一篇发表于AAAI2019的paper,文章提出了一种R-DAD的方法来对RCNN系列的目标检测方法进行改进. 研究动机: 目前主流的目标检测算法分为1 stage和2 stage的,而2 stage的目标检测方法以Fa…