TensorFlow基础（二）实现神经网络

（1）前向传播算法

神经网络的前向传播算法主要构成部分：

1.神经网络的输入；

2.神经网络的连接结构；神经网络是由神经元（节点）构成的

3.每个神经元中的参数。

（2）TensorFlow随机数生成函数

函数名称	随机数分布	主要参数
tf.random_normal	正态分布	平均值、标准差、取值类型
tf.truncated_normal	正态分布，如果随机出来的值偏离平均值超过2个标准差，那么这个数将被重新随机	平均值、标准差、取值类型
tf.random_uniform	均匀分布	最小、最大取值，取值类型
tf.random_gamma	Gamma分布	形状参数alpha、尺度参数beta、取值类型

（3）TensorFlow常数生成函数

函数名称	功能	样例
tf.zeros	产生全0的数组	tf.zeros([2,3],int32)-->[[0,0,0],[0,0,0]]
tf.ones	产生全1的数组	tf.ones([2,3],int32)-->[[1,1,1],[1,1,1]]
tf.fill	产生一个全部为给定数字的数组	tf.fill([2,3],9)-->[[9,9,9],[9,9,9]]
tf.constant	产生一个给定值的常量	tf.constant([1,2,3])-->[1,2,3]

（4）完整神经网络Python代码

 # -*- coding: utf-8 -*-

 import tensorflow as tf
 from numpy.random import RandomState

 #定义训练数据batch的大小
 batch_size = 8
 """
 #定义神经网络的参数
 random_normal：随机生成函数，
 随机数分布正太分布，2x3矩阵，标准差为1
 随机数种子序号1，种子序号相同，产生的随机数相同
 """
 w1=tf.Variable(tf.random_normal((2,3),stddev=1,seed=1))
 w2=tf.Variable(tf.random_normal((3,1),stddev=1,seed=1))

 """
 定义placeholder作为存放输入数据的地方
 参数：数据类型，数据维度
 """
 x=tf.placeholder(tf.float32, shape=(None,2), name="x-input")
 y_=tf.placeholder(tf.float32, shape=(None,1), name="y-input")

 """
 matmul():矩阵乘法函数
 """
 a=tf.matmul(x,w1)
 y=tf.matmul(a,w2)

 """
 使用sigmoid函数将y转换为0-1之间的数值，转换后的y代表预测是正样本的概率，1-y代表预测是负样本的概率。
 """
 y=tf.sigmoid(y)

 #定义损失函数来刻画预测值与真实值的差距
 cross_entropy=-tf.reduce_mean(y_*tf.log(tf.clip_by_value(y,1e-10,1.0))+(1-y)*tf.log(tf.clip_by_value(1-y,1e-10,1.0)))
 #定义学习率
 learning_rate=0.001
 #定义反向传播算法优化神经网络的参数
 train_step=tf.train.AdamOptimizer(learning_rate).minimize(cross_entropy)

 #通过随机数生成一个模拟数据集
 rdm=RandomState(1)
 dataset_size = 128
 X=rdm.rand(dataset_size,2)
 print(X)
 #0表示负样本，1表示正样本
 Y=[[int(x1+x2<1)] for (x1,x2) in X]
 print(Y)

 #创建一个会话来运行Tensorflow程序
 with tf.Session() as sess:
     init_op = tf.global_variables_initializer()
     sess.run(init_op)
     print(sess.run(w1))
     print(sess.run(w2))

     STEPS=5000
     for i in range(STEPS):
         #每次选取batch_size个样本进行训练
         #%取余
         #min（）函数取最小值
         start = (i*batch_size) % dataset_size
         end = min(start+batch_size,dataset_size)

         #通过选取的样本训练神经网络并更新参数
         sess.run(train_step, feed_dict={x: X[start:end],y_ :Y[start:end]})
         if i%1000 == 0:
             total_cross_entropy=sess.run(cross_entropy,feed_dict={x: X, y_: Y} )
             print("After %d training step(s), cross entropy on all data is %g" %(i, total_cross_entropy))
     print(sess.run(w1))
     print(sess.run(w2))