Activation functions on the Keras

sigmoid

tanh

tanh函数定义如下：

激活函数形状：

ReLU 大家族

ReLU

softmax 函数

softmax是一个函数，其主要用于输出节点的分类，它有一个特点，所以的值相加会等于1。

具体例子，可以举图像识别，比如图像识别数字，0~9， 线设置图像识别的输出数字为10个输出节点，然后通过softmax算法，算出对于一张图像的输入，其经过神经网络的计算，会输出10个值，那当前输出的值就是0~9的可能性，但是总和是1.那个数字的输出的概率最大，则这次手写数字的识别结果就是那个数字。