tensorflow激励函数-【老鱼学tensorflow】

当我们回到家，如果家里有异样，我们能够很快就会发现家中的异样，那是因为这些异常的摆设在我们的大脑中会产生较强的脑电波。
当我们听到某个单词，我们大脑中跟这个单词相关的神经元会异常兴奋，而同这个单词无关的神经元就不会有很大的刺激。
这个就是大脑中的激励函数。
有了激励函数，我们才会对外部的刺激产生非线性的反应，有的神经元反应比较强烈，而有的神经元基本没有反应。

在神经网络中激励函数有很多，但作为初学的我们，只要了解其中常用的几个就可以了。

relu

这是一种使用比较广泛的并且计算量也很少的激励函数。
这个激励函数的意思是：如果值小于0就一直为0，大于0就是输出那个值。
从我们的大脑中神经元来类比为：我们大脑中某神经元对于某信号的刺激太小的话，就一直处于睡眠状态，而如果此输入的信号激起了此神经元，则刺激的强度就跟输入信息的强度成正比。

sigmoid

公式为：

图像为：

这里不用被这个公式吓到，不了解公式也没关系。
我们从其图像中看到，这个函数的值域为(0,1)内，并且是连续函数。
在机器学习中，我们一般会把数据映射到(0, 1)或者（-1, 1）这样的范围内。
它的特点是输入信号在模糊区0附近时很快就能得出哪些信号需要被加强，哪些信号需要被抑制，也符合我们大脑中神经元对于信息输入的应激反应特征。

tanh

反正切函数：

图像为：

这个函数的样子跟sigmoid类似，只是其值域位于(-1, 1)之间，输入信号值在0附近会有一个突变的模糊区。
tanh作为激励函数使用得也很广泛。
大家可以来进行尝试的。

softplus

softplus函数可以看作是relu函数的平滑版本，公式和函数图像如下：

图像为：

softplus主要用在最后一层分类中的输出元激励函数。
比如在手写识别0-9的数字中，最后一层的激励函数一般用softplus来实现。