Python实现——二层BP神经网络

2019/4/23更新

下文中的正确率极高是建立在仅有50组训练数据的基础上的，十分不可靠。建议使用提供的另一个生成训练集的generate_all函数，能产生所有可能结果，更加可靠。

2019/4/20

二层BP神经网络

但是仍有部分在公式上的不明了，但是其运作方式还是很简单的，先简单解析我的代码

from createData import generate_data

是本次所解题目的训练集生成软件，generate_data(N)会返回两个数组，一个为N乘100的训练集及其对应的N乘1的结果，十分方便

L0=2*np.random.random((100,5))-1
L1=2*np.random.random((5,1))-1

由于本次想构建的是二层神经网络，因此需要两层的计算层，其中我将中间的隐藏层设置为5个神经元，而输出层的表示方法为0.1~0.6的离散数，而不是6个0或1元素的数组，因此输出层为1个神经元(而不是6个)，这样经过矩阵运算后矩阵维度能够与结果相同。

def sigmoid(x):
    return 1/(1+np.exp(-x))

本次使用的激活函数:sigmoid函数，特点为非线性(并不是条直线)，区间在[0,1]上，且没有任何点导数为0(趋近于0的有)，同时他的导数也非常简洁:

def dsigmoid(x):
    return x*(1-x)

因此这一次选择使用这个激活函数。

生成数据:

X,Y=generate_data(50)
X=np.array(X)
Y=np.array(Y)
#shape of parameters
#X(50*100) Y(50*1)
#L0(100*5) L1(5*1)
L0=2*np.random.random((100,5))-1
L1=2*np.random.random((5,1))-1

要谨记转换两数据的形式(List/Array)

并且标记出来了X,Y,L0,L1,分别的维数方便查看，其中L0,L1的生成方式是产生了填满位于[-1,1]的元素的数组(应该是吧...)

主题训练过程:

for i in range(50000):
    #forward
    temp0=X
    temp1=sigmoid(np.dot(temp0,L0))
    temp2=sigmoid(np.dot(temp1,L1))
    error2=Y-temp2
    if (i%5000)==0:
        print(np.mean(error2))
    #backward
    d2=error2*dsigmoid(temp2)
    error1=d2.dot(L1.T)
    d1=error1*dsigmoid(temp1)
    L1+=temp1.T.dot(d2)
    L0+=temp0.T.dot(d1)

整体而言得益于矩阵使得过程十分流畅，内容主要涉及到了不断的求偏导并运用链式法则不断"接近"结果与目标变量的偏导，先不赘述算法了。

最后的检验部分...应该也不用再讲什么了吧...

同时由于开始的层元素为随机生成所以每次运行不一定相同，可以用seed()函数解决这个问题

Test1:

-0.19711045500123067
-5.796510982417874e-05
-2.6806406495373803e-05
-1.2019265739013352e-05
-5.227927664957222e-06
-2.2248997057949804e-06
-9.364114896748266e-07
-3.9213879621080584e-07
-1.6385924452994028e-07
-6.84074828341541e-08
[[0.40000002]
 [0.50000153]]
[[0.4]
 [0.5]]

Test2:

0.16291901475086618
-0.0035140803158310225
1.9674898472920034e-05
2.840084784809016e-05
1.790320520679012e-05
1.059859397264329e-05
5.907123617054088e-06
3.147002414242428e-06
1.6152543191538805e-06
3.5777556424282377e-07
[[0.40004171]
 [0.50000385]]
[[0.4]
 [0.5]]

不过倒是可以看出来挺准确的就是了...

更新一张学习时的正确率的图片：



可以看出在很早的时候就已经能接近100%了，十分惊人，相关代码如下：

y=[]

count=0
for i in range(Y.size):
        if(abs(temp2[i][0]-Y[i][0]))<=0.001:
           count +=1
    y.append(count/Y.size)

x=np.linspace(0,50000,50000)
plt.plot(x,y)
plt.show()

完整代码如下:

import numpy as np
import matplotlib.pyplot as plt
from createData import generate_data

def sigmoid(x):
    return 1/(1+np.exp(-x))

def dsigmoid(x):
    return x*(1-x)

X,Y=generate_data(50)
X=np.array(X)
Y=np.array(Y)

#shape of parameters
#X(50*100) Y(50*1)
#L0(100*5) L1(5*1)

L0=2*np.random.random((100,5))-1
L1=2*np.random.random((5,1))-1
y=[]
for i in range(50000):
    #forward
    count=0
    temp0=X
    temp1=sigmoid(np.dot(temp0,L0))
    temp2=sigmoid(np.dot(temp1,L1))

    error2=Y-temp2
    if (i%5000)==0:
        print(np.mean(error2))
    for i in range(Y.size):
        if(abs(temp2[i][0]-Y[i][0]))<=0.001:
           count +=1
    y.append(count/Y.size)
    #backward
    d2=error2*dsigmoid(temp2)
    error1=d2.dot(L1.T)
    d1=error1*dsigmoid(temp1)

    L1+=temp1.T.dot(d2)
    L0+=temp0.T.dot(d1)

X1,Y1=generate_data(2)
X1=np.array(X1)
Y1=np.array(Y1)
t1=sigmoid(np.dot(X1,L0))
t2=sigmoid(np.dot(t1,L1))
x=np.linspace(0,50000,50000)
plt.plot(x,y)
plt.show()
print(t2)
print(Y1)