Softmax用于手写数字识别（Tensorflow实现）-个人理解

softmax函数的作用

对于分类方面，softmax函数的作用是从样本值计算得到该样本属于各个类别的概率大小。例如手写数字识别，softmax模型从给定的手写体图片像素值得出这张图片为数字0~9的概率值，这些概率值之和为1。预测的结果取最大的概率表示的数字作为这张图片的分类。

可以从下面这张图理解softmax

x1,x2,x3代表输入的值，b1,b2,b3代表类别1，2，3的偏置量，是因为输入的值可能存在无关的干扰量。
将上图写成等式
$$
\left[\begin{matrix}temp_1\\temp_2\\temp_3\end{matrix}\right]
=\left(\begin{matrix}W_{1,1}x_1+W_{1,2}x_2+W_{1,3}x_3+b_1\\
W_{2,1}x_1+W_{2,2}x_2+W_{2,3}x_3+b_2\\
W_{3,1}x_1+W_{3,2}x_2+W_{3,3}x_3+b_3\end{matrix}\right)\\
\left[\begin{matrix}y_1\\y_2\\y_3\end{matrix}\right]
=softmax\left(\begin{matrix}temp_1\\
temp_2\\
temp_3\end{matrix}\right)\\
其中y_i = softmax(temp_i) = \frac{exp(temp_i)}{\sum_{j=0}^{n}exp(temp_j)}\\
y_1,y_2,y_3分别表示该样本属于类别1，2，3的概率值。
$$
在神经网络中，通过训练集训练模型中的权重值W和偏置值b，来提高分类的准确性。
（训练方法是定义一个损失函数（代表预测值与真实值之间的差异），然后采用梯度下降法（通过对W,b求偏导）来最小化这个损失函数，具体过程有点复杂，下面只是直接拿tensorflow的函数来实现，后面有空的话再来补充原理）

用Tensorflow实现手写数字识别

首先从tensorflow导入mnist数据集，里面包含了手写数字图片的像素矩阵，以及这些图片所对应的数字类别：

import tensorflow as tf

from tensorflow.examples.tutorials.mnist import input_data

mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)

说明一下图片的像素矩阵是将28x28压平为[1x784]大小的向量；标签是[1x10]的向量，其中某一个数是1，其余全为0，比如说如果标签表示的是数字5，那么这个标签向量为[0,0,0,0,1,0,0,0,0,0]。

构建模型：

x = tf.placeholder("float",[None,784])

#一个二维向量的占位符，None表示第一位可以是任意长度，784表示一张图片压平后的长度

W = tf.Variable(tf.zeros([784,10]))

b = tf.Variable(tf.zeros([10]))

#temp = x*W + b

#softmax(temp)得到一个[None,10]的向量，表示None个图片可能代表0~9的概率。

y = tf.nn.softmax(tf.matmul(x,W)+b)

构建模型训练过程：定义损失函数，最小化这个损失函数，从而得到W，b

y_ = tf.placeholder("float",[None,10])

#这里用占位符来代表y_（每个图片的真实类别），后面运行时会将真实类别填给占位符。

cross_entropy = -tf.reduce_sum(y_*tf.log(y))

#y是模型的预测类别，y_是真实类别，用交叉熵来代表损失函数（说明预测值和真实值之间的差异）

train_step = tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy)

#用梯度下降法来最小化损失函数

运行之前构造的模型：

init = tf.initialize_all_variables()#init表示初始化所有变量

sess = tf.Session()#启动会话，用于运行模型

sess.run(init)#运行init才真正的使所有变量初始化

for i in range(1000):#训练模型1000遍

    batch_xs,batch_ys = mnist.train.next_batch(100)

    #从数据集中取出100个样本

    sess.run(train_step, feed_dict={x:batch_xs, y_:batch_ys})

    #将样本填入之前定义的占位符，然后运行刚才构建的训练过程

评估模型：

correct_prediction = tf.equal(tf.argmax(y,1),tf.argmax(y_,1))

#逐个判断预测值和真实值是否相等，返回一个矩阵。

accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))

#tf.cast将bool型转化为float型，reduce_mean计算平均值（即正确率）

print(sess.run(accuracy, feed_dict={x: mnist.test.images, y_: mnist.test.labels}))

#将测试集填入之前的占位符，运行之前的模型，得到正确率

输出结果为：

0.9181

总结

tensorflow让用户先从更大的层面上构建模型，其中需要的数据先由占位符代替，然后在运行模型时再填入对应的数据。用户不需要对具体运算过程一步步编程实现，使得神经网络的构建简便了许多。

正在学习tensorflows时写的笔记，欢迎评论探讨！

参考网址：tensorflow中文社区