1 所选论文 论文题目: <Unsupervised Domain Adaptation with Residual Transfer Networks> 论文信息: NIPS2016, Mingsheng Long, Han Zhu, Jianmin Wang, Tsinghua University 论文:http://papers.nips.cc/paper/6110-unsupervised-domain-adaptation-with-residual-transfer-networ…

今晚听了李文博士的报告"Domain Generalization and Adaptation using Low-Rank Examplar Classifiers",讲的很精彩.自己第一次听说domain generalization和domain adaptation,故此简单记录一下.很多机器学习的任务都假设样本是独立同分布的(i.i.d),但是真实世界的数据往往不一样都满足.训练样本和测试样本之间分布可能存在偏差.这是因为数据集本身可能是存在biased,比如:比较经典的几…

paper链接:https://arxiv.org/pdf/1812.09953.pdf code链接:https://github.com/YangZhang4065/AdaptationSeg 摘要: 在过去的5年里面,卷积神经网络在语义分割领域大获全胜,语义分割是许多其他应用的核心任务之一,这其中包括无人驾驶.增强现实.然而,训练一个卷积神经网络需要大量的数据,而对于这些数据的收集和标注是极其困难的.计算机图形学领域的最新研究进展使得利用计算机生成的注释在接近真实照片的合成图像上训练CNN…

Abstract The recent success of deep neural networks relies on massive amounts of labeled data. For a target task where labeled data is unavailable, domain adaptation can transfer a learner from a different source domain. In this paper, we propose a n…

论文题目:<Domain Adaptation via Transfer Component Analysis> 论文作者:Sinno Jialin Pan, Ivor W. Tsang, James T. Kwok and Qiang Yang 论文链接:https://www.cse.ust.hk/~qyang/Docs/2009/TCA.pdf 会议期刊:IJCAI 2009 / IEEE Transactions on Neural Networks 2010 简介 领域自适应(Dom…

定义 在迁移学习中, 当源域和目标的数据分布不同 ,但两个任务相同时,这种 特殊 的迁移学习 叫做域适应 (Domain Adaptation). Domain adaptation有哪些实现手段呢? 几乎所有的手段都尝试去学习一个特征转换,使得在转换过后的特征空间上,source dataset和target dataset分布的区分度达到最小.现实世界当中这个问题又分为不同的类型:1)边缘分布相同,条件分布不同且相关2)边缘分布不同且相关,条件分布相同3)边缘分布和条件分布都不同且相关. 下…

转自:http://blog.csdn.net/mao_xiao_feng/article/details/54426101 一.Domain adaptation 在开始介绍之前,首先我们需要知道Domain adaptation的概念.Domain adaptation,我在标题上把它称之为域适应,但是在文中我没有再翻译它,而是保持它的英文原意,这也有助于我们更好的理解它的概念. Domain adaptation的目标是在某一个训练集上训练的模型,可以应用到另一个相关但不相同的测试集上.…

领域自适应问题一般有两个域,一个是源域,一个是目标域,领域自适应可利用来自源域的带标签的数据(源域中有大量带标签的数据)来帮助学习目标域中的网络参数(目标域中很少甚至没有带标签的数据).领域自适应如今是迁移学习的一个火热分支. CVPR2018 Residual Parameter Transfer for Deep Domain Adaptation CVPR2018 Residual Parameter Transfer for Deep Domain Adaptation 这篇文章给出的是…

domain adaptation(域适配)是一个连接机器学习(machine learning)与迁移学习(transfer learning)的新领域.这一问题的提出在于从原始问题(对应一个 source data distribution)学习到的模型能够很好地适应一个与之相不同的目标问题(对应一个 target data distribution).比如垃圾邮件过滤问题(spam filtering problems). 1. 数学描述 X:input space(description…

目录 概 主要内容 代码 Ganin Y. and Lempitsky V. Unsupervised Domain Adaptation by Backpropagation. ICML 2015. 概 监督学习非常依赖标签数据, 但是获得大量的标签数据在现实中是代价昂贵的一件事情, 这也是为何半监督和无监督重要的原因. 本文提出一种利用GRL来进行domain adaptation的方法, 感觉本文的创新点还是更加偏重于结构一点. 主要内容 接下来的叙述的方式可能和原文的有一点点的出入. 首…

目录 概 主要内容 符号说明 Prior shift Covariate shift KMM Concept shift Subspace mapping Wasserstein distance 应用于 subspace mapping Prior shift 的EM解释 Pirmin Lemberger, Ivan Panico, A Primer on Domain Adaptation Theory and Applications, 2019. 概 机器学习分为训练和测试俩步骤, 且往…

14年9月份挂出来的文章,基本思想就是用对抗训练的方法来学习domain invariant的特征表示.方法也很只管,在网络的某一层特征之后接一个判别网络,负责预测特征所属的domain,而后特征提取器和判别器在域分类loss上对抗,同时特征提取器和lable分类器(也就是原任务中的分类器)共同优化lable分类loss.整个过程跟GAN是差不多的,一种个人的不严谨的说法,可以将GAN理解成像素空间上的Adaptation,而这篇文章是特征空间上的Adaptation. 文章的另一个贡献是提出了…

年域适应挑战(DAC)数据集的实验表明,所提出的方法不仅有效解决了数据集不匹配问题,而且还优于上述无监督域自适应方法.        …

论文及代码 论文地址:https://arxiv.org/abs/1904.04402 代码:http://www.svcl.ucsd.edu/projects/universal-detection/ 概述 文章提出了一个通用的目标检测系统,适用于不同的图像领域而不需要该领域的先验知识.通过引入一个新的适应层系列(基于SE和新的领域-关注机制).在所提出的通用检测器中,所有参数和计算都在领域之间共享,并且单个网络始终处理所有领域.作者在新的数据集上做实验(11个不同的目标检测数据集组成),检测…

论文从理论的角度出发,对目标检测的域自适应问题进行了深入的研究,基于H-divergence的对抗训练提出了DA Faster R-CNN,从图片级和实例级两种角度进行域对齐,并且加入一致性正则化来学习域不变的RPN.从实验来看,论文的方法十分有效,这是一个很符合实际需求的研究,能解决现实中场景多样,训练数据标注有限的情况.   来源:晓飞的算法工程笔记 公众号 论文: Domain Adaptive Faster R-CNN for Object Detection in the Wild 论…

前言 懒癌翻了,这篇不想写overview了,公式也比较多,今天有(zhao)点(jie)累(kou),不想一点点写latex啦,读论文的时候感觉文章不错,虽然看似很多数学公式,其实都是比较基础的公式,文章也比较细,从网上找了两篇较好的讲解,引用连接在每篇文章前面. 文章1 https://www.cnblogs.com/guoyaohua/p/8724433.html#undefined Batch Normalization作为最近一年来DL的重要成果,已经广泛被证明其有效性和重要性.虽然有…

不错的 Tutorial: 从零到一学习计算机视觉:朋友圈爆款背后的计算机视觉技术与应用 | 公开课笔记 分享人 | 叶聪(腾讯云 AI 和大数据中心高级研发工程师) 整    理 | Leo 出    品 | 人工智能头条(公众号ID:AI_Thinker) 刚刚过去的五四青年节,你的朋友圈是否被这样的民国风照片刷屏?用户只需要在 H5 页面上提交自己的头像照片,就可以自动生成诸如此类风格的人脸比对照片,简洁操作的背后离不开计算机视觉技术和腾讯云技术的支持. 那么这个爆款应用的背后用到了哪些计…

转自:http://blog.evjang.com/2017/01/nips2016.html           Eric Jang Technology, A.I., Careers               Monday, January 2, 2017 Summary of NIPS 2016   The 30th annual Neural Information Processing Systems (NIPS) conference took place in Barcelona…

Shogun网站上的关于主流机器学习工具包的比较: http://www.shogun-toolbox.org/page/features/   created last updated main language main focus shogun 1999 10-2013 C++ General Purpose ML Package with particular focus on large scale learning; Kernel Methods; Interfaces to var…

This article come from HEREARS-L1: Learning Tuesday 10:30–12:30; Oral Session; Room: Leonard de Vinci 10:30  ARS-L1.1—GROUP STRUCTURED DIRTY DICTIONARY LEARNING FOR CLASSIFICATION Yuanming Suo, Minh Dao, Trac Tran, Johns Hopkins University, USA; Hojj…

FastML Machine learning made easy RSS Home Contents Popular Links Backgrounds About Deep learning architecture diagrams 2016-09-30 Like a wild stream after a wet season in African savanna diverges into many smaller streams forming lakes and puddles,…

课程主页:http://cs231n.stanford.edu/   Introduction to neural networks -Training Neural Network ______________________________________________________________________________________________________________________________________________________________…

Paper about Event Detection. #@author: gr #@date: 2014-03-15 #@email: forgerui@gmail.com 看一些相关的论文. 1. <Efficient Visual Event Detection using Volumetric Features> ICCV 2005 扩展2D box 特征到3D时空特征. 构建一个实时的检测器基于容积特征. 采用传统的兴趣点方法检测事件. 2. <ARMA-HMM: A New…

Deep Learning论文笔记之(八)Deep Learning最新综述 zouxy09@qq.com http://blog.csdn.net/zouxy09 自己平时看了一些论文,但老感觉看完过后就会慢慢的淡忘,某一天重新拾起来的时候又好像没有看过一样.所以想习惯地把一些感觉有用的论文中的知识点总结整理一下,一方面在整理过程中,自己的理解也会更深,另一方面也方便未来自己的勘察.更好的还可以放到博客上面与大家交流.因为基础有限,所以对论文的一些理解可能不太正确,还望大家不吝指正交流,谢谢.…

从google历年所有论文的汇总来看,TOP5的分别是人工智能和机器学习.算法理论.人机交互与视觉.自然语言处理.机器感知,大家从一个侧面看出goolge research的重点了吧. Google所有论文汇总: http://research.google.com/pubs/papers.html 如下英文长贴是google在2012年发表的优秀论文汇总,Goole一直是IT领域的技术风向标,依托其大规模分布式系统以及搜索/广告等成功的业务,谷歌的论文更是具有相当的实践说服力.如下汇总的优秀论…

在前面的文章中,我们通常是拿到一个任务,譬如图像分类.识别等,搜集好数据后就开始直接用模型进行训练,但是现实情况中,由于设备的局限性.时间的紧迫性等导致我们无法从头开始训练,迭代一两百万次来收敛模型,所以这个时候迁移学习就派上用场了. 什么是迁移学习? 迁移学习通俗来讲,就是运用已有的知识来学习新的知识,核心是找到已有知识和新知识之间的相似性,用成语来说就是举一反三.由于直接对目标域从头开始学习成本太高,我们故而转向运用已有的相关知识来辅助尽快地学习新知识.比如,已经会下中国象棋,就可以类比着来…

什么是梯度爆炸/梯度消失? 深度神经网络训练的时候,采用的是反向传播方式,该方式使用链式求导,计算每层梯度的时候会涉及一些连乘操作,因此如果网络过深. 那么如果连乘的因子大部分小于1,最后乘积的结果可能趋于0,也就是梯度消失,后面的网络层的参数不发生变化. 那么如果连乘的因子大部分大于1,最后乘积可能趋于无穷,这就是梯度爆炸 如何防止梯度消失? sigmoid容易发生,更换激活函数为 ReLU即可. 权重初始化用高斯初始化 如何防止梯度爆炸? 1 设置梯度剪切阈值,如果超过了该阈值,直接将梯度置…

https://www.programmableweb.com/news/how-5-natural-language-processing-apis-stack/analysis/2014/07/28 The world is awash in digital data. The challenge: making sense of that data. To tackle that challenge, a growing number of companies are turning to…

p.p1 { margin: 0.0px 0.0px 0.0px 0.0px; font: 14.0px "Helvetica Neue"; color: #042eee } p.p2 { margin: 0.0px 0.0px 0.0px 0.0px; font: 14.0px "Helvetica Neue"; color: #323333 } p.p3 { margin: 0.0px 0.0px 0.0px 0.0px; font: 16.0px "…

在总结正则化(Regularization)之前,我们先谈一谈正则化是什么,为什么要正则化. 个人认为正则化这个字眼有点太过抽象和宽泛,其实正则化的本质很简单,就是对某一问题加以先验的限制或约束以达到某种特定目的的一种手段或操作.在算法中使用正则化的目的是防止模型出现过拟合.一提到正则化,很多同学可能马上会想到常用的L1范数和L2范数,在汇总之前,我们先看下LP范数是什么鬼. LP范数 范数简单可以理解为用来表征向量空间中的距离,而距离的定义很抽象,只要满足非负.自反.三角不等式就可以称之为距离…