Batch normalization + ReLU 批归一化(BN)可以抑制梯度爆炸/消失并加快训练速度 原论文认为批归一化的原理是:通过归一化操作使网络的每层特征的分布尽可能的稳定,从而减少Internal Covariate Shift relu是目前应用最为广泛的激活函数, 由于其梯度要么是1,要么是0,可以有效抑制梯度爆炸/消失 通过BN和ReLU,目前的网络已经可以达到非常深 网络越深,提取的特征往往越抽象,越具有语义信息.过渡抽象的特征可能并不适合相对简单的任务.…

 上图为单个模型 VGGNet, GoogleNet 都说明了深度对于神经网络的重要性. 文中在开始提出: 堆叠越多的层, 网络真的能学习的越好吗? 然后通过神经网络到达足够深度后出现的退化(degradation problem)问题, 从而引出残差学习!  退化问题有何引起? 臭名昭著的梯度消失和梯度爆炸问题已经通过提出的标准初始化(如 Xavier)和中间层标准化(BN)解决. 退化问题也不是由于 overfitting 造成, 毕竟是由于 training error 在上升. 而不…

本文介绍一个基于pytorch的电影推荐系统. 代码移植自https://github.com/chengstone/movie_recommender. 原作者用了tf1.0实现了这个基于movielens的推荐系统,我这里用pytorch0.4做了个移植. 本文实现的模型Github仓库:https://github.com/Holy-Shine/movie_recommend_system 1. 总体框架 先来看下整个文件包下面的文件构成: 其中: Params: 保存模型的参数文件以及模…

ResNet网络 ResNet原理和实现 总结 一.ResNet原理和实现 神经网络第一次出现在1998年,当时用5层的全连接网络LetNet实现了手写数字识别,现在这个模型已经是神经网络界的“helloworld”,一些能够构建神经网络的库比如TensorFlow.keras等等会把这个模型当成第一个入门例程.后来卷积神经网络(Convolutional Neural Networks, CNN)一出现就秒杀了全连接神经网络,用卷积核代替全连接,大大降低了参数个数,网络因此也能延伸到十几层到二…

谷歌论文题目: MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications 其他参考: CNN模型之MobileNet Mobilenet网络的理解 轻量化网络:MobileNet-V2 Tensorflow实现参考: https://github.com/Zehaos/MobileNet 前言: 目前,CNN以及其他神经网络正在飞速发展与应用,为了追求高准确率,网络模型的深度和复杂度越来越…

1. GAN简介 最近几年,深度神经网络在图像识别.语音识别以及自然语言处理方面的应用有了爆炸式的增长,并且都达到了极高的准确率,某些方面甚至超过了人类的表现.然而人类的能力远超出图像识别和语音识别的任务,像很多需要创造力的任务却是机器很难做到的.但是GAN使得机器解决这些任务成为可能. 深度学习的领军人物Yann LeCun曾经说过: 生成对抗网络(GAN)及其变种已经成为最近10年以来机器学习领域最重要的思想. 为了能更好的了解GAN,做一个比喻,想象一下制作伪钞的犯罪嫌疑人和警察这个现实中…

论文地址:Generalized Intersection over Union 一.相关工作 目标检测精度标准 度量检测优劣基本基于 IOU,mAP 是典型的基于 IOU 的标准,但是 mAP 仅有一个 threshold,对于过了线的预测框一视同仁,不能进一步衡量其优劣,所以 MS COCO 挑战赛提出了多 IOU 阈值的综合 mAP 评价标准(就是同时采用几个阈值,计算出多个 mAP 综合打分). Bounding box 表示方法和损失函数 YOLO v1 直接回归 bbox 的位置参数…

Image-to-Image Translation with Conditional Adversarial Networks (基于条件gan的图像转图像) 作者:Phillip Isola, Jun-Yan Zhu, Tinghui Zhou, Alexei A. Efros 全文链接:https://arxiv.org/abs/1611.07004 GANs是一种生成模型,它学习从随机噪声向量z到输出图像y的映射.条件GAN学习从观测图像x和随机噪声向量z到y的映射.生成器G经过训练后产…

Learning to Promote Saliency Detectors 原本放在了思否上, 但是公式支持不好, csdn广告太多, 在博客园/掘金上发一下 https://github.com/lartpang/Machine-Deep-Learning 缩写标注: SD: Saliency Detection ZSL: Zero-Shot Learning 关键内容: 没有训练直接将图像映射到标签中的DNN.相反,将DNN拟合为一个嵌入函数,以将像素和显著/背景区域的属性映射到度量空间.…

符号编程 在之前的文章,我们介绍了NDArray模块,它是MXNet中处理数据的核心模块,我们可以使用NDArray完成非常丰富的数学运算.实际上,我们完全可以使用NDArray来定义神经网络,这种方式我们称它为命令式的编程风格,它的优点是编写简单直接,方便调试.像下面我们就定义了一个两层的神经网络,它包含了一个全连接层,和一个relu的激活层. import mxnet as mx import mxnet.ndarray as nd def net(X, w, b): z = nd.Full…