归一化，正则化，标准化，dropout的联系与区别

1. 归一化（Normalization）是指将数据缩放到一定范围内，一般是将数据映射到[0,1]或[-1,1]之间。这样可以避免不同特征的数值差异过大而导致的训练困难，同时也有助于加快梯度下降的收敛速度。

2. 正则化（Regularization）是指在损失函数中加入一个正则化项，以惩罚模型复杂度。常用的正则化项有L1正则化和L2正则化，它们分别对应的正则化项是模型参数的绝对值和平方和。正则化有助于减少模型的过拟合现象，从而提高模型的泛化能力。

3. 标准化（Standardization）是指将数据按照一定的方式进行缩放，使得每个特征的均值为0，方差为1。这样可以使得不同特征之间的尺度相同，有利于模型的训练和预测。标准化通常使用z-score标准化方法。

4. Dropout是指在训练过程中随机关闭一部分神经元，以减少神经网络的复杂度，从而防止过拟合。具体地，每个神经元都有一定的概率被关闭，这个概率是一个超参数。在测试过程中，所有神经元都是保持激活状态的，但是需要将每个神经元的输出乘以保留概率来进行缩放。

   注意点：

   其中在Conv层之后的BN层叫做批归一化处理（Batch Normalization），通常用于较深层次的神经网络中，对网络中某层特征进行标准化处理，其目的是解决深层神经网络中的数值不稳定的问题，是的同批次的各个特征分不相近，网络更加容易训练。**

   Dropout和归一化是两种不同的正则化技术，但它们都可以用于防止过拟合

   归一化技术（如Batch Normalization）可以帮助调整输入的分布，使得每层神经网络的输入分布更加稳定，从而加速训练过程，减轻梯度消失和梯度爆炸等问题。归一化可以通过减去均值并除以方差的方式将输入数据标准化，从而使得输入数据的分布更加稳定。

   而Dropout则是通过随机将神经元的输出置为0的方式来减少神经元之间的依赖关系，从而减少过拟合。Dropout在训练期间随机地将一部分神经元的输出置为0，相当于随机从模型中删除一些神经元，使得模型的复杂度降低，从而更加鲁棒。