手写数字识别 ----Softmax回归模型官方案例注释（基于Tensorflow,Python）

# 手写数字识别  ----Softmax回归模型
# regression
import os
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
data = input_data.read_data_sets("/tmp/data/", one_hot=True)  # 获取数据 mnist是一个轻量级的类，其中以Numpy数组的形式中存储着训练集、验证集、测试集。

# 一个对手写数字进行识别的模型。
# 思路：
# 1、将训练集中获取的手写数字图像进行某一统一方式（全部按行或全部按列）的展开，
# 得到一个长向量（这是为了利用softmax做一维的回归，不过损失了二维信息），
# 用一个二维张量来索引某一个样本中的某一像素。
# 2、softmax模型：用来给不同的对象分配概率（即使在更精细的模型中，最后一步，往往也需要用softmax来分配概率）
# 两步：
# ① 加权求和，并引入偏置
# 对于给定输入图片x，其代表图像为数字i的证据为
# evidencei =∑i(wi, jxj) + bi
# evidence_i =∑_i(w_{i, j}x_j)+b_ievidencei=∑i​(wi, jxj) + bi
# ② 用softmax函数将evidence转换成概率，即
# y = softmax(evidence)
# y = softmax(evidence)
# y = softmax(evidence)
# 将输入值当成幂指数求值，再正则化这些结果
# 更紧凑的写法为
# y = softmax(Wx + b)
# y = softmax(Wx + b)
# y = softmax(Wx + b)
# 3、为了节省在python外使用别的语言进行复杂矩阵运算带来的开销，TensorFlow做出的优化为，先用图描述一系列可交互的操作，最后统一放在python外执行。
# 用占位符placeholder来描述这些可交互的单元：
# ---------------------
# 作者：Crystal 
# 来源：CSDN
# 原文：https: // blog.csdn.net / weixin_43226400 / article / details / 82749769
# 版权声明：本文为博主原创文章，转载请附上博文链接！

#http://www.cnblogs.com/rgvb178/p/6052541.html 相关说明
# Softmax Regression Model        Softmax回归模型
def regression(x):
    W = tf.Variable(tf.zeros([784, 10]), name="W")
    b = tf.Variable(tf.zeros([10]), name="b")
    y = tf.nn.softmax(tf.matmul(x, W) + b)
    # print(y)
    return y, [W, b]

# model 声明占位符
with tf.variable_scope("regression"):
    x = tf.placeholder(tf.float32, [None, 784])
    y, variables = regression(x)

# 用交叉熵（cross - entropy）来评判模型的好坏，其表达式为
# Hy′(y) =−∑iy′ilog(yi)
# 其中y是预测的概率分布，y’是实际的概率分布（即训练集对应的真实标签，是一个one - hotvector）定义

# train  开始训练模型
y_ = tf.placeholder("float", [None, 10])
# 计算交叉熵
cross_entropy = -tf.reduce_sum(y_ * tf.log(y))
# tensorflow可以自动利用反向传播算法，根据选择的优化器来最小化你的目标函数
train_step = tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy)
# tf.argmax给出对象在某一维度上最大值所对应的索引值，可以用来判断预测是否准确，即
correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))
# equal函数返回布尔值，用cast函数转化为浮点数后求均值来计算正确率
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

saver = tf.train.Saver(variables)
with tf.Session() as sess:
    # 初始化操作
    sess.run(tf.global_variables_initializer())
    for _ in range(10000):
        batch_xs, batch_ys = data.train.next_batch(100)
        # 此为随机梯度下降训练，每次训练随机抓取训练集中的100个数据作为一个batch
        sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})

    # 计算学习到的模型在训练集上的准确率
    print(sess.run(accuracy, feed_dict={x: data.test.images, y_: data.test.labels}))

    # 保存训练结果
    # print(os.path.join(os.path.dirname(__file__), 'data', 'regression.ckpt'))
    # //绝对路径包含中文字符可能导致路径不可用  相对路径：'mnist/data/regression.ckpt'
    path = saver.save(
        sess, 'mnist/data/regression.ckpt',
        write_meta_graph=False, write_state=False)
    print("Saved:", path)

    # path = saver.save(
    #     sess, os.path.join(os.path.dirname(__file__), 'mnist\data', 'regression.ckpt'),write_meta_graph=False, write_state=False)
    # print("Saved:", path)        write_meta_graph=False, write_state=False)
    print("Saved:", path)

    # path = saver.save(
    #     sess, os.path.join(os.path.dirname(__file__), 'mnist\data', 'regression.ckpt'),write_meta_graph=False, write_state=False)
    # print("Saved:", path)