加速网络收敛——BN.LN.WN与selu 自Batch Norm出现之后,Layer Norm和Weight Norm作为Batch Norm的变体相继出现.最近又出来一个很”简单”的激活函数Selu,能够实现automatic rescale and shift.这些结构都是为了保证网络能够堆叠的更深的基本条件之一.除了这四种,还有highway network与resnet. Batch Norm BN对某一层激活值做batch维度的归一化,也就是对于每个batch,该层相应的output…

一.结论 Batch Norm一般用于CV领域,而Layer Norm一般用于NLP领域 Batch Norm需要计算全局平均,而Layer Norm不需要计算全局平均 二.Batch Norm Batch Norm原理: BatchNorm把一个batch中同一通道的所有特征(如上图红色区域)视为一个分布(有几个通道就有几个分布),并将其标准化.这意味着: 不同图片的的同一通道的相对关系是保留的,即不同图片的同一通达的特征是可以比较的 同一图片的不同通道的特征则是失去了可比性 用于CV领域的解…

bn一般就在conv之后并且后面再接relu 1.如果输入feature map channel是6,bn的gamma beta个数是多少个? 6个. 2.bn的缺点: BN会受到batchsize大小的影响.如果batchsize太小,算出的均值和方差就会不准确,如果太大,显存又可能不够用. 3.训练和测试时一般不一样,一般都是训练的时候在训练集上通过滑动平均预先计算好平均-mean,和方差-variance参数,在测试的时候,不再计算这些值,而是直接调用这些预计算好的来用,但是,当训练数据和…

深度神经网络难训练一个重要的原因就是深度神经网络涉及很多层的叠加,每一层的参数变化都会导致下一层输入数据分布的变化,随着层数的增加,高层输入数据分布变化会非常剧烈,这就使得高层需要不断适应低层的参数更新.为了训练好模型,我们需要谨慎初始化网络权重,调整学习率等. 本篇博客总结几种归一化办法,并给出相应计算公式和代码. 归一化层,目前主要有这几个方法,Batch Normalization(2015年).Layer Normalization(2016年).Instance Normalizati…

Batch Normalization:对一个mini batch的样本,经过一个nueron(或filter)后生成的feature map中的所有point进行归一化.(纵向归一化) Layer Normalization:对单个样本,经过一个卷积层的所有neuron(或filter)后生成的feature map中的所有point进行归一化.(横向归一化)…

目录: 1. 前提 2. attention (1)为什么使用attention (2)attention的定义以及四种相似度计算方式 (3)attention类型(scaled dot-product attention \ multi-head attention) 3. self-attention (1)self-attention的计算 (2) self-attention如何并行 (3) self-attention的计算总结 (4) self-attention的类型(multi-…

面试题 https://www.cnblogs.com/CheeseZH/p/11927577.html 其他 大数据相关面试题 https://www.cnblogs.com/CheeseZH/p/5283390.html 最大熵模型源码 # !/usr/bin/env python # encoding: utf-8 """ @Author : hezhang @Email : hezhang@mobvoi.com @Time : 2019/10/15 下午10:26 @…

1.Self-Attention 之前的RNN输入是难以并行化的,我们下一个输入可能依赖前一个输出,只有知道了前面的输出才能计算后面的输出. 于是提出了 self-attention ,但是这时候 $b^{i}$ 能够并行化计算 论文地址:https://arxiv.org/pdf/1706.03762.pdf 我们的输入 $x^{i}$,先经过一个Embedding,变成 $a^{i}$ ,然后丢进 self-attention 层中.如上图所示. 在self-attention中,我们的 $…

目录 Introduction BN LN IN GN SN Conclusion Introduction 输入图像shape记为[N, C, H, W] Batch Norm是在batch上,对NHW做归一化,就是对每个单一通道输入进行归一化,这样做对小batchsize效果不好: Layer Norm在通道方向上,对CHW归一化,就是对每个深度上的输入进行归一化,主要对RNN作用明显: Instance Norm在图像像素上,对HW做归一化,对一个图像的长宽即对一个像素进行归一化,用在风格…

格式:n=norm(A,p)功能:norm函数可计算几种不同类型的返回A中最大一列和,即max(sum(abs(A))) 2 返回A的最大奇异值,和n=norm(A)用法一样 inf 返回A中最大一行和,即max(sum(abs(A’))) ‘fro’ A和A‘的积的对角线和的平方根,即sqrt(sum(diag(A'*A))) 2.如果A为向量 norm(A,p) 返回向量A的p范数.即返回 sum(abs(A).^p)^(1/p),对任意 1<p<+∞. norm(A) 返回向量A的2范数…