神经网络的另一种非线性阶跃函数---ReLU函数

import numpy as np
import matplotlib.pylab as plt
from matplotlib.font_manager import FontProperties

font_set = FontProperties(fname=r"c:\windows\fonts\simsun.ttc", size=16)

# 线性整流函数（Rectified Linear Unit, ReLU）,又称修正线性单元, 是一种人工神经网络中常用的激活函数（activation function）,
# 通常指代以斜坡函数及其变种为代表的非线性函数。
# 比较常用的线性整流函数有斜坡函数 f(x) = max(0, x)，以及带泄露整流函数 (Leaky ReLU)，
# 其中为x神经元(Neuron)的输入。
# 线性整流被认为有一定的生物学原理，
# 并且由于在实践中通常有着比其他常用激活函数（譬如逻辑函数）更好的效果，
# 而被如今的深度神经网络广泛使用于诸如图像识别等计算机视觉人工智能领域。
# ReLU函数在输入大于0时，直接输出该值；在输入小于等于0时，输出0。
def relu(x):
    return np.maximum(0, x)

x = np.arange(-5.0, 5.0, 0.1)
y = relu(x)
plt.plot(x, y)
plt.ylim(-0.1, 1.1)
plt.title(u'神经网络的阶跃函数ReLU', fontproperties=font_set)
plt.show()