TensorFlow 之 手写数字识别MNIST

官方文档： 
MNIST For ML Beginners - https://www.tensorflow.org/get_started/mnist/beginners 
Deep MNIST for Experts - https://www.tensorflow.org/get_started/mnist/pros

版本： 
TensorFlow 1.2.0 + Flask 0.12 + Gunicorn 19.6

相关文章： 
TensorFlow 之 入门体验 
TensorFlow 之 手写数字识别MNIST 
TensorFlow 之 物体检测 
TensorFlow 之 构建人物识别系统

MNIST相当于机器学习界的Hello World。

这里在页面通过 Canvas 画一个数字，然后传给TensorFlow识别，分别给出Softmax回归模型、多层卷积网络的识别结果。

（1）文件结构

│  main.py 
│  requirements.txt 
│  runtime.txt 
├─mnist 
│  │  convolutional.py 
│  │  model.py 
│  │  regression.py 
│  │  __init__.py 
│  └─data 
│          convolutional.ckpt.data-00000-of-00001 
│          convolutional.ckpt.index 
│          regression.ckpt.data-00000-of-00001 
│          regression.ckpt.index 
├─src 
│  └─js 
│          main.js 
├─static 
│  ├─css 
│  │      bootstrap.min.css 
│  └─js 
│          jquery.min.js 
│          main.js 
└─templates 
        index.html

（2）训练数据

下载以下文件放入/tmp/data/，不用解压，训练代码会自动解压。

引用

http://yann.lecun.com/exdb/mnist/train-images-idx3-ubyte.gz 
http://yann.lecun.com/exdb/mnist/train-labels-idx1-ubyte.gz 
http://yann.lecun.com/exdb/mnist/t10k-images-idx3-ubyte.gz 
http://yann.lecun.com/exdb/mnist/t10k-labels-idx1-ubyte.gz

执行命令训练数据（Softmax回归模型、多层卷积网络）

1. # python regression.py
2. # python convolutional.py

执行完成后 在 mnist/data/ 里会生成以下几个文件，重新训练前需要把这几个文件先删掉。

引用

convolutional.ckpt.data-00000-of-00001 
convolutional.ckpt.index 
regression.ckpt.data-00000-of-00001 
regression.ckpt.index

（3）启动Web服务测试

1. # cd /usr/local/tensorflow2/tensorflow-models/tf-mnist
2. # pip install -r requirements.txt
3. # gunicorn main:app --log-file=- --bind=localhost:8000

浏览器中访问：http://localhost:8000 

*** 运行的TensorFlow版本、数据训练的模型、还有这里Canvas的转换都对识别率有一定的影响~！

（4）源代码

Web部分比较简单，页面上放置一个Canvas，鼠标抬起时将Canvas的图像通过Ajax传给后台API，然后显示API结果。

引用

src/js/main.js -> static/js/main.js 
templates/index.html

main.py

1. import numpy as np
2. import tensorflow as tf
3. from flask import Flask, jsonify, render_template, request
4. from mnist import model
5. x = tf.placeholder("float", [None, 784])
6. sess = tf.Session()
7. # restore trained data
8. with tf.variable_scope("regression"):
9. y1, variables = model.regression(x)
10. saver = tf.train.Saver(variables)
11. saver.restore(sess, "mnist/data/regression.ckpt")
12. with tf.variable_scope("convolutional"):
13. keep_prob = tf.placeholder("float")
14. y2, variables = model.convolutional(x, keep_prob)
15. saver = tf.train.Saver(variables)
16. saver.restore(sess, "mnist/data/convolutional.ckpt")
17. def regression(input):
18. return sess.run(y1, feed_dict={x: input}).flatten().tolist()
19. def convolutional(input):
20. return sess.run(y2, feed_dict={x: input, keep_prob: 1.0}).flatten().tolist()
21. # webapp
22. app = Flask(__name__)
23. @app.route('/api/mnist', methods=['POST'])
24. def mnist():
25. input = ((255 - np.array(request.json, dtype=np.uint8)) / 255.0).reshape(1, 784)
26. output1 = regression(input)
27. output2 = convolutional(input)
28. print(output1)
29. print(output2)
30. return jsonify(results=[output1, output2])
31. @app.route('/')
32. def main():
33. return render_template('index.html')
34. if __name__ == '__main__':
35. app.run()

mnist/model.py

1. import tensorflow as tf
2. # Softmax Regression Model
3. def regression(x):
4. W = tf.Variable(tf.zeros([784, 10]), name="W")
5. b = tf.Variable(tf.zeros([10]), name="b")
6. y = tf.nn.softmax(tf.matmul(x, W) + b)
7. return y, [W, b]
8. # Multilayer Convolutional Network
9. def convolutional(x, keep_prob):
10. def conv2d(x, W):
11. return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME')
12. def max_pool_2x2(x):
13. return tf.nn.max_pool(x, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME')
14. def weight_variable(shape):
15. initial = tf.truncated_normal(shape, stddev=0.1)
16. return tf.Variable(initial)
17. def bias_variable(shape):
18. initial = tf.constant(0.1, shape=shape)
19. return tf.Variable(initial)
20. # First Convolutional Layer
21. x_image = tf.reshape(x, [-1, 28, 28, 1])
22. W_conv1 = weight_variable([5, 5, 1, 32])
23. b_conv1 = bias_variable([32])
24. h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1) + b_conv1)
25. h_pool1 = max_pool_2x2(h_conv1)
26. # Second Convolutional Layer
27. W_conv2 = weight_variable([5, 5, 32, 64])
28. b_conv2 = bias_variable([64])
29. h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) + b_conv2)
30. h_pool2 = max_pool_2x2(h_conv2)
31. # Densely Connected Layer
32. W_fc1 = weight_variable([7 * 7 * 64, 1024])
33. b_fc1 = bias_variable([1024])
34. h_pool2_flat = tf.reshape(h_pool2, [-1, 7*7*64])
35. h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc1) + b_fc1)
36. # Dropout
37. h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob)
38. # Readout Layer
39. W_fc2 = weight_variable([1024, 10])
40. b_fc2 = bias_variable([10])
41. y = tf.nn.softmax(tf.matmul(h_fc1_drop, W_fc2) + b_fc2)
42. return y, [W_conv1, b_conv1, W_conv2, b_conv2, W_fc1, b_fc1, W_fc2, b_fc2]

mnist/convolutional.py

1. import os
2. import model
3. import tensorflow as tf
4. from tensorflow.examples.tutorials.mnist import input_data
5. data = input_data.read_data_sets("/tmp/data/", one_hot=True)
6. # model
7. with tf.variable_scope("convolutional"):
8. x = tf.placeholder(tf.float32, [None, 784])
9. keep_prob = tf.placeholder(tf.float32)
10. y, variables = model.convolutional(x, keep_prob)
11. # train
12. y_ = tf.placeholder(tf.float32, [None, 10])
13. cross_entropy = -tf.reduce_sum(y_ * tf.log(y))
14. train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)
15. correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))
16. accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
17. saver = tf.train.Saver(variables)
18. with tf.Session() as sess:
19. sess.run(tf.global_variables_initializer())
20. for i in range(20000):
21. batch = data.train.next_batch(50)
22. if i % 100 == 0:
23. train_accuracy = accuracy.eval(feed_dict={x: batch[0], y_: batch[1], keep_prob: 1.0})
24. print("step %d, training accuracy %g" % (i, train_accuracy))
25. sess.run(train_step, feed_dict={x: batch[0], y_: batch[1], keep_prob: 0.5})
26. print(sess.run(accuracy, feed_dict={x: data.test.images, y_: data.test.labels, keep_prob: 1.0}))
27. path = saver.save(
28. sess, os.path.join(os.path.dirname(__file__), 'data', 'convolutional.ckpt'),
29. write_meta_graph=False, write_state=False)
30. print("Saved:", path)

mnist/regression.py

1. import os
2. import model
3. import tensorflow as tf
4. from tensorflow.examples.tutorials.mnist import input_data
5. data = input_data.read_data_sets("/tmp/data/", one_hot=True)
6. # model
7. with tf.variable_scope("regression"):
8. x = tf.placeholder(tf.float32, [None, 784])
9. y, variables = model.regression(x)
10. # train
11. y_ = tf.placeholder("float", [None, 10])
12. cross_entropy = -tf.reduce_sum(y_ * tf.log(y))
13. train_step = tf.train.GradientDescentOptimizer(0.01).minimize(cross_entropy)
14. correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))
15. accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
16. saver = tf.train.Saver(variables)
17. with tf.Session() as sess:
18. sess.run(tf.global_variables_initializer())
19. for _ in range(1000):
20. batch_xs, batch_ys = data.train.next_batch(100)
21. sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})
22. print(sess.run(accuracy, feed_dict={x: data.test.images, y_: data.test.labels}))
23. path = saver.save(
24. sess, os.path.join(os.path.dirname(__file__), 'data', 'regression.ckpt'),
25. write_meta_graph=False, write_state=False)
26. print("Saved:", path)

参考： 
http://memo.sugyan.com/entry/20151124/1448292129

•