论文分享NO.4（by_xiaojian）

论文分享第四期-2019.04.16 Residual Attention Network for Image Classification,CVPR 2017,RAN 核心:将注意力机制与ResNet结合,用于图像分类.论文设计了一个注意力模块(Attention Module),通过级联该模块(即增加模型深度),网络可以学到细粒度的特征图谱(fined-grained feature maps),因为随着层数的加深,来自不同模块的注意力感知特征可以自适应地改变. 除了注意机制带来的更具判别性…

论文分享NO.3（by_xiaojian）

论文分享第三期-2019.03.29 Fully convolutional networks for semantic segmentation,CVPR 2015,FCN 一.全连接层与全局平均池化在介绍FCN网络的全卷积连接之前,先介绍一下全连接层(fully connected layers)和全局平均池化(global average pooling) 全连接层可以将前面的多层卷积学到的“分布式特征表示”(或者说是高层的鲁棒特征)映射到样本类别空间,与softmax组合具有“分类器”…

论文分享NO.2（by_xiaojian）

论文分享第二期-2019.03.26 NIPS2015,Spatial Transformer Networks,STN,空间变换网络…

论文分享NO.1（by_xiaojian）

论文分享第一期-2019.03.14: 1. Non-local Neural Networks 2018 CVPR的论文 2. Self-Attention Generative Adversarial Networks abs/1805.08318 先将手写笔记上传,后续整理成文字一. 二.…

[论文分享] DHP: Differentiable Meta Pruning via HyperNetworks

[论文分享] DHP: Differentiable Meta Pruning via HyperNetworks authors: Yawei Li1, Shuhang Gu, etc. comments: ECCV2020 cite: [2003.13683] DHP: Differentiable Meta Pruning via HyperNetworks (arxiv.org) code: ofsoundof/dhp: This is the official implementati…

论文分享|《Universal Language Model Fine-tuning for Text Classificatio》

https://www.sohu.com/a/233269391_395209 本周我们要分享的论文是<Universal Language Model Fine-tuning for Text Classificatio> 迁移学习在计算机视觉方面取得了很多成功,但是同样的方法应用在NLP领域却行不通.文本分类还是需要从零开始训练模型.本文的作者提出了一种针对NLP的有效的迁移学习方法,通用语言模型微调(ULMFiT)并介绍了用于微调模型的关键技巧. 越底层的特征越通用,越顶层的特征越特殊…

Graph Transformer Networks 论文分享

论文地址:https://arxiv.org/abs/1911.06455 实现代码地址:https://github.com/ seongjunyun/Graph_Transformer_Networks 看分享之前可以把论文读一遍,代码看一看,这样必定会事半功倍! ### 论文目的是通过构造GTN(Graph Transformer Networks),来学习到异构网络中有效的节点表示. ### 其他现有方法(GNNs)的缺点: 1. 对于异构图,由于GNN只用于处理同构图,因此效果不好.…

AAAI 2020论文分享：通过识别和翻译交互打造更优的语音翻译模型

2月初,AAAI 2020在美国纽约拉开了帷幕.本届大会百度共有28篇论文被收录.本文将对其中的机器翻译领域入选论文<Synchronous Speech Recognition and Speech-to-Text Translation with Interactive Decoding>进行解读. https://mmbiz.qpic.cn/mmbiz_png/uYIC4meJTZ2icYYOpJicZ7qn53NJFPhvruP97grEpmCwA5Sms2kHtrFBcDK0lRcs…

[论文分享]Channel Pruning via Automatic Structure Search

authors: Mingbao Lin, Rongrong Ji, etc. comments: IJCAL2020 cite: [2001.08565v3] Channel Pruning via Automatic Structure Search (arxiv.org) code: https://github.com/lmbxmu/ABCPruner (official) 0.Abstract In this paper, we propose a new channel prunin…

DNN论文分享 - Item2vec: Neural Item Embedding for Collaborative Filtering

前置点评: 这篇文章比较朴素,创新性不高,基本是参照了google的word2vec方法,应用到推荐场景的i2i相似度计算中,但实际效果看还有有提升的.主要做法是把item视为word,用户的行为序列视为一个集合,item间的共现为正样本,并按照item的频率分布进行负样本采样,缺点是相似度的计算还只是利用到了item共现信息,1).忽略了user行为序列信息; 2).没有建模用户对不同item的喜欢程度高低. ------------------------------------------…

分享一个学习的网站：每天会有大量AI相关的干货（论文分享，行业动态，相关竞赛经验分享等）http://www.deepsmart.ai/

网址:http://www.deepsmart.ai/ 微信公众号如下:…

用深度学习（DNN）构建推荐系统 - Deep Neural Networks for YouTube Recommendations论文精读

虽然国内必须FQ才能登录YouTube,但想必大家都知道这个网站.基本上算是世界范围内视频领域的最大的网站了,坐拥10亿量级的用户,网站内的视频推荐自然是一个非常重要的功能.本文就focus在YouTube视频推荐的DNN算法,文中不但详细介绍了Youtube推荐算法和架构细节,还给了不少practical lessons and insights,很值得精读一番.下图便是YouTube APP视频推荐的一个例子. 在推荐系统领域,特别是YouTube的所在视频推荐领域,主要面临三个挑战: 规模…

经典论文系列| 实例分割中的新范式-SOLO

前言: 这是实例分割中的一篇经典论文,以往的实例分割模型都比较复杂,这篇论文提出了一个简单且直接的实例分割模型,如何设计这种简单直接的模型且要达到一定的精度往往会存在一些困难,论文中有很多思路或思想值得借鉴,因此十分值得一读. 在本文中,为让各个方向的读者都能看得懂并抓住重点,较为详细地介绍了本文的创新或改进思路,而对一些细节不予赘述. 论文:SOLO: Segmenting Objects by Locations* 代码:https://git.io/AdelaiDet Introducti…

经典论文系列 | 目标检测--CornerNet & 又名 anchor boxes的缺陷

前言: 目标检测的预测框经过了滑动窗口.selective search.RPN.anchor based等一系列生成方法的发展,到18年开始,开始流行anchor free系列,CornerNet算不上第一篇anchor free的论文,但anchor freee的流行却是从CornerNet开始的,其中体现的一些思想仍值得学习. 看过公众号以往论文解读文章的读者应该能感觉到,以往论文解读中会有不少我自己的话来表述,文章写得也很简练.但这篇论文的写作实在很好,以至于这篇解读文章几乎就是对论…

AAAI 2021 最佳论文公布

作者:Synced 翻译:仿佛若有光第三十五届 AAAI 人工智能会议 (AAAI-21) 以虚拟会议的形式拉开帷幕.组委会在开幕式上公布了最佳论文奖和亚军.三篇论文获得了最佳论文奖,三篇被评为亚军. AAAI 2021 共收到 9,034 篇论文,再创历史新高,超过了去年的 8800 篇.来自中国的论文(3,319 篇)几乎是美国论文数量(1,822 篇)的两倍.在 7,911 篇去评审的论文中,共有 1,692 篇论文通过.今年的录取率为21%,略高于去年的20.6%. 点个关注,专注…

Python量化投资知识总结贴

Ricequant 量化社区的初衷让各位爱好量化的人士可以碰撞思维,在分享和争辩中学习到有用且实战的量化知识.有赖于各位在社区中贡献满满的干货以及有质量的讨论,从编程入门教学到技术指标再到多因子选股.财务数据分析等,囊括了很多方面的知识. 我在此组织整理了下社区所发的内容.并分类出来,方便大家更容易找到相应的知识点.此贴会不断地更新在此感谢很多很多的大大贡献了很多有趣的讨论,由于篇幅原因就不一一列出了.它的成长,有赖于大家的贡献与努力! 下面开始放毒了: Python 入门- Python…

APM 原理与框架选型

发些存稿:) 0. APM简介随着微服务架构的流行,一次请求往往需要涉及到多个服务,因此服务性能监控和排查就变得更复杂: 不同的服务可能由不同的团队开发.甚至可能使用不同的编程语言来实现服务有可能布在了几千台服务器,横跨多个不同的数据中心因此,就需要一些可以帮助理解系统行为.用于分析性能问题的工具,以便发生故障的时候,能够快速定位和解决问题,这就是APM系统,全称是(Application Performance Monitor,当然也有叫 Application Performance…

Learning to rank相关的pointwise,pairwise,listwise

论文分享--- >Learning to Rank: From Pairwise Approach to Listwise Approach 学习排序 Learning to Rank 小结 [学习排序] Learning to Rank 中Listwise关于ListNet算法讲解及实现 LTR中单文档方法是将训练集里每一个文档当做一个训练实例,文档对方法是将同一个查询的搜索结果里任意两个文档对作为一个训练实例,文档列方法是将一个查询里的所有搜索结果列表作为一个训练实例.…

go http 下载视频（TS码流文件）（推荐一个网站学习 go example）

视频 http下载代码 dn.go(注意:代码很ugly,没怎么花时间) 总体感觉特别简单,网上看了下 net/http ,io这2个库的使用, 几分钟就写完了,感觉cpp 在做工具这块开发效率的确差太多(没有轮子的话). 再放一个 go example 网站,https://gobyexample.com/ package main import ( "fmt" "io" "net/http" "os" "st…

检索式chatbot：

小夕从7月份开始收到第一场面试邀请,到9月初基本结束了校招(面够了面够了T_T),深深的意识到今年的对话系统/chatbot方向是真的超级火呀.从微软主打情感计算的小冰,到百度主打智能家庭(与车联网?)的DuerOS和UNIT,到渗透在阿里许多产品的全能型智能客服小蜜,以及腾讯的小微和搜狗的汪仔,更不必说那些大佬坐镇的独角兽公司了,小夕深感以对话为主战场的NLP之风在工业界愈演愈烈,吓得小夕赶紧码了这篇文章. 1. 扫盲对话的概念很大,从输入形式上分为文本和语音,本文当然只考虑文本.从对话目的…

IGC（Interleaved Group Convolutions）

深度学习被引起关注是在2012年,用神经网络训练的一个分类模型在ImagNet上取得了第一名,而且其分类精度比第二名高出10多个点,当时所使用的模型为AlexNet,现在看来其为一个比较简单的网络,而且只有比较浅的八层网络,但是在当时来讲已经很了不起了.这也就引发了后面对神经网络研究的两个方向,以提高网络的分类精度:1.网络变得更深更宽(Going Deeper):2.减少网络中存在的冗余性(Eliminate the Redundancy). 研究增加网络的深度(Going Deeper).比…

CVPR2021| 行人搜索中的第一个anchor-free模型：AlignPS

论文地址:https://arxiv.org/abs/2103.11617 代码地址:https://github.com/daodaofr/AlignPS 前言: 本文针对anchor-free模型用于行人搜索中会出现三个不对齐问题:Scale misalignment,Region misalignment,Task misalignment提出了相应的解决方案,进一步提出了一个更简单更有效的anchor-free模型--AlignPS. Introduction 行人重识别的方法分为两个类…

CVPR2021| 继SE,CBAM后的一种新的注意力机制Coordinate Attention

前言: 最近几年,注意力机制用来提升模型性能有比较好的表现,大家都用得很舒服.本文将介绍一种新提出的坐标注意力机制,这种机制解决了SE,CBAM上存在的一些问题,产生了更好的效果,而使用与SE,CBAM同样简单. 论文地址: https://arxiv.org/pdf/2103.02907.pdf 代码地址: https://github.com/AndrewQibin/CoordAttention Introduction 大部分注意力机制用于深度神经网络可以带来很好的性能提升,但这些注意力机…

CVPR2021| TimeSformer-视频理解的时空注意模型

前言: transformer在视频理解方向的应用主要有如下几种实现方式:Joint Space-Time Attention,Sparse Local Global Attention 和Axial Attention.这几种方式的共同点是采用ViT中的方式将图像进行分块,而它们之间的区别在于如何用self attention来处理这些块. 在本文提出了一种新的处理方式--Divided Space-Time Attention,在大规模行为分类数据集上,通过对以上几种方式与Divided S…