Deep Boltzmann Machines是hinton的学生写的,是在RBM基础上新提出的模型,首先看一下RBM与BM的区别 很明显可以看出BM是在隐含层各个节点以及输入层各个节点都是相互关联的,但是RBM只是两层之间的节点互相关联. 而DBM其实就是多层的RBM,类似于DBN,RBM是拥有一个hidden层,而DBM拥有多个hidden层 如上图是一个三层的DBM,十分类似于DBN,但是他的隐层是互相可以传递的,而DBN的几个隐层是不能够互相传递的,是单向的. 关于DBM,使用最大似然估…

前言 论文“Deep Boltzmann Machines”是Geoffrey Hinton和他的大牛学生Ruslan Salakhutdinov在论文“Reducing the Dimensionality of Data with Neural Networks”合作后的又一次联合发表的一篇有深远影响的论文,这篇论文第一次提出了DBM及其学习方法,对DBM原理.来源都做了详细讲解. 论文内容 前面介绍的都是BM原理及其训练,可以不用管它,下面直接从第3节开始…… 3.DBM 一般情况下,我们…

论文<A Deep Neural Network Compression Pipeline: Pruning, Quantization, Huffman Encoding> Pruning by learning only the important connections. all connections with weights below a threshold are removed from the network. retrain the network to learn the…

这篇论文是要解决 person re-identification 的问题.所谓 person re-identification,指的是在不同的场景下识别同一个人(如下图所示).这里的难点是,由于不同场景下的角度.背景亮度等等因素的差异,同一个人的图像变化非常大,因而不能使用一般的图像分类的方法.论文采用了一种相似性度量的方法来促使神经网络学习出图像的特征,并根据特征向量的欧式距离来确定相似性.除此之外,论文通过对网络的训练过程进行分析,提出了一种计算效率更高的模型训练方法. 论文方法 相似性…

之前提到,深度神经网络在训练中容易遇到梯度消失/爆炸的问题,这个问题产生的根源详见之前的读书笔记.在 Batch Normalization 中,我们将输入数据由激活函数的收敛区调整到梯度较大的区域,在一定程度上缓解了这种问题.不过,当网络的层数急剧增加时,BP 算法中导数的累乘效应还是很容易让梯度慢慢减小直至消失.这篇文章中介绍的深度残差 (Deep Residual) 学习网络可以说根治了这种问题.下面我按照自己的理解浅浅地水一下 Deep Residual Learning 的基本思想,并…

Deep Attentive Tracking via Reciprocative Learning NIPS18_tracking Type:Tracking-By-Detection 本篇论文地主要创新是在将注意机制引入到目标跟踪 摘要:源自认知神经科学地视觉注意促进人类对相关的内容的感知.近些年大量工作将注意机制引入到计算机视觉系统中.对于视觉跟踪来说,面临的最大问题在于目标外表的大尺度变化.自注图通过选择性关注临时的鲁棒特征提升视觉跟踪的性能.当前的一些检测跟踪算法主要使用额外的自注模型…

1. 摘要 为解决姿态变化的问题,作者提出Pose-driven-deep convolutional model(PDC),结合了global feature跟local feature, 而local feature 还用一个feature weight network(FWN) 进行重要性程度度量,在常用reid数据集 CUHK03 .Market1501.viper 上面取到了非常好的效果. 2. 介绍 这个PDC模型有两个比较重要的子网络:FEN FWN:最后整合global feat…

这篇文章将深度学习算法应用于机械故障诊断,采用了“小波包分解+深度残差网络(ResNet)”的思路,将机械振动信号按照故障类型进行分类. 文章的核心创新点:复杂旋转机械系统的振动信号包含着很多不同频率的冲击和振荡成分,而且不同频带内的振动成分在故障诊断中的重要程度经常是不同的,因此可以按照如下步骤设计深度神经网络,实现对不同频带信息自适应加权的功能. 第一步:对振动信号进行离散小波包分解,构建小波包系数矩阵,作为深度学习算法的输入. 第二步:作者设计了一种动态加权层(dynamic weight…

论文: 本文主要贡献: 1.提出了一种新的采样策略,使网络在少数的epoch迭代中,接触百万量级的训练样本: 2.基于局部图像块匹配问题,强调度量描述子的相对距离: 3.在中间特征图上加入额外的监督: 4.描述符的紧实性. 基于CNN的局部图像块匹配方法可以分为两类:一是,作为二分类问题,不存在明确的特征描述子概念,好处是准确率相对第二类高很多,但可移植性能差:二是,CNN输出学习的图像块描述子,没有度量学习层,好处是可以作为以前的很多基于手工描述子方法应用的直接替代. A.网络框架: 左边是输…

一.概述 这个是最近的核心工作了,基本上都是靠着这篇paper的model过日子了啊.. 论文主要讲的是hand gesture recognition,实际上是用googlenet做的一个classification的工作,他的工作也就是在googlenet上做了fine-tuning,那么论文的关键是什么呢...当然就是标题啦..关键工作是CNN+EM,通过EM算法对隐变量参数进行预测,用CNN代替stepE的高斯模型的预测,这样迭代下来,最终训练了在这个值标记了3000张但是有1 Mill…