激活函数sigmoid、tanh、relu、Swish

激活函数的作用主要是引入非线性因素，解决线性模型表达能力不足的缺陷

　　sigmoid函数可以从图像中看出，当x向两端走的时候，y值越来越接近1和-1，这种现象称为饱和，饱和意味着当x=100和x=1000的映射结果是一样的，这种转化相当于将1000大于100的信息丢失了很多，所以一般需要归一化数据。

softplus函数相比于relu函数更加平滑，会保存部分小于零的函数，但是计算量也更大了。

　　relu函数在信号响应上有很多优势，但是仅仅在正向传播中，由于其对负值全部舍去很容易使模型输出全零而无法训练。例如：随机初始化的w中存在负值，其对应的正值输入特征也就被全部屏蔽了，同理对应的负值输入反而被激活了。因此，一些relu变种被开发，此处不详细讲解。

Swish是谷歌公司发现一个效果更优于relu的激活函数：

神经网络激活函数总结：

　　tanh函数适用于特征相差明显时的效果会很好，在循环中会不断扩大特征效果并将其显示出来。但当特征之间相差比较复杂没有明显的区别，或者特征间的相差不是特别大需要细微的分类判断时，sigmoid函数的效果会更好。relu函数的优势在于经过处理后的数据具有很好的稀疏性。

keras中自定义激活函数：

from keras import backend as K
from keras.models import Sequential,Model
from keras.layers import Dense
import numpy as np

def Swish(x):
    return x*K.sigmoid(1.0*x)

model = Sequential()
model.add(Dense(32,activation="relu",input_dim=100))
model.add(Dense(16,activation="relu",name="Dense_1"))
model.add(Dense(1, activation=Swish,name="Dense_2"))
model.compile(optimizer='rmsprop',loss='binary_crossentropy',metrics=['accuracy'])

#假设训练和测试使用同一组数据
data = np.random.random((1000, 100))
labels = np.random.randint(2, size=(1000, 1))

model.fit(data,labels,epochs=10,batch_size=32)
model.predict(data)