Tensorflow Batch normalization函数

Tensorflow Batch normalization函数

觉得有用的话,欢迎一起讨论相互学习~Follow Me

参考文献
stackoverflow上tensorflow实现BN的不同函数的解释

最近在运行程序时需要使用到Batch normalization方法，虽然网上有很多资料，但是说法各异而且没有完全准确的，很多使用了Tensorflow中TF.slim高层封装，自己不是很明白。现在我将自己搜集的资料进行整理，便于以后查阅。

关于Batch normalization

Tensorflow中实现BN算法的各种函数

• 在tensorflow中给出了几种实现batch-norm的方法:
• tf.nn.batch_normalization 是一个低级的操作函数，调用者需要自己处理张量的平均值和方差。
• tf.nn.fused_batch_norm 是另一个低级的操作函数，和前者十分相似。不同之处在于它针对四维输入张量进行了优化，这是卷积神经网络中的常见情况。而前者tf.nn.batch_normalization则接受任何等级大于1的张量。
• tf.layers.batch_normalization 是对先前操作的高级包装。最大的不同在于它负责创建和管理运行张量的均值和方差，并尽可能地调用快速融合运算。通常，这个函数应该是你的默认选择。
• tf.contrib.layers.batch_norm 是 batch norm 的早期实现，其升级的核心API版本为（tf.layers.batch_normalization）。不推荐使用它，因为它可能会在未来的版本中丢失。
• tf.nn.batch_norm_with_global_normalization 是另一个被弃用的操作，现在这个函数会委托给tf.nn.batch_normalization执行，在未来这个函数会被放弃。
• keras.layers.BatchNormalization 是BN算法的Keras实现，这个函数在后端会调用Tensorflow中的tf.nn.batch_normalization函数。