mnist识别优化——使用新的fashion mnist进行模型训练

今天通过论坛偶然知道，在mnist之后，还出现了一个旨在代替经典mnist数据集的Fashion MNIST，同mnist一样，它也是被用作深度学习程序的“hello world”，而且也是由70k张28*28的图片组成的，它们也被分为10类，有60k被用作训练，10k被用作测试。唯一的区别就是，fashion mnist的十种类别由手写数字换成了服装。这十种类别如下：

'T-shirt/top', 'Trouser', 'Pullover', 'Dress', 'Coat','Sandal', 'Shirt', 'Sneaker', 'Bag', 'Ankle boot'

设计流程如下：

　　· 首先获取数据集，tensorflow获取fashion mnist的方法和mnist类似，使用keras.datasets.fashion_mnist.load_data()即可

　　· 将数据集划分为训练集和测试集

　　· 由于图片像素值范围是0-255，将数据集进行预处理，把像素值缩放到0到1的范围（即除以255）

　　· 搭建网络模型 （784→128(relu)→10(softmax)），全连接

　　· 编译模型，设计损失函数（对数损失）、优化器(adam)以及训练指标（accuracy）

　　· 训练模型

　　· 评估准确性（测试数据使用matplotlib进行可视化）

关于Adam优化器的来源和特点请参考：https://www.jianshu.com/p/aebcaf8af76e

关于matplotlib数据可视化请参考：https://blog.csdn.net/xHibiki/article/details/84866887

训练集部分数据可视化如下：

一共做了50轮训练，训练开始时的损失和精度如下：

训练完成时的损失和精度如下：

模型在测试集上的表现如下：

选择测试集某张图片的预测可视化结果如下：

程序代码如下：

 import tensorflow as tf
 from tensorflow import keras
 import numpy as np
 import matplotlib.pyplot as plt

 # 导入fashion mnist数据集
 fashion_mnist = keras.datasets.fashion_mnist
 (train_images,train_labels),(test_images,test_labels) = fashion_mnist.load_data()

 # 衣服类别
 class_names = ['T-shirt/top','Trouser','Pullover','Dress','Coat','Sandal',
                'Shirt','Sneaker','Bag','Ankle boot']
 print(train_images.shape,len(train_labels))
 print(test_images.shape,len(test_labels))

 # 查看图片
 plt.figure()
 plt.imshow(train_images[0])
 plt.colorbar()
 plt.grid(False)
 plt.show()

 # 预处理数据，将像素值除以255，使其缩放到0到1的范围
 train_images = train_images / 255.0
 test_images = test_images / 255.0

 # 验证数据格式的正确性，显示训练集前25张图像并注明类别
 plt.figure(figsize=(10,10))
 for i in range(25):
     plt.subplot(5,5,i+1)
     plt.xticks([])
     plt.yticks([])
     plt.grid(False)
     plt.imshow(train_images[i],cmap=plt.cm.binary)
     plt.xlabel(class_names[train_labels[i]])
 plt.show()

 # 搭建网络结构
 model = keras.Sequential([
     keras.layers.Flatten(input_shape=(28,28)),
     keras.layers.Dense(128,activation='relu'),
     keras.layers.Dense(10,activation='softmax')
 ])

 # 设置损失函数、优化器及训练指标
 model.compile(
     optimizer='adam',
     loss='sparse_categorical_crossentropy',
     metrics=['accuracy']
 )

 # 训练模型
 model.fit(train_images,train_labels,epochs=50)

 # 模型评估
 test_loss,test_acc=model.evaluate(test_images,test_labels,verbose=2)
 print('/nTest accuracy:',test_acc)

 # 选择测试集中的图像进行预测
 predictions=model.predict(test_images)

 # 查看第一个预测
 print("预测结果：",np.argmax(predictions[0]))
 # 将正确标签打印出来和预测结果对比
 print("真实结果：",test_labels[0])

 # 以图形方式查看完整的十个类的预测
 def plot_image(i,predictions_array,true_label,img):
     predictions_array,true_label,img=predictions_array,true_label[i],img[i]
     plt.grid(False)
     plt.xticks([])
     plt.yticks([])

     plt.imshow(img,cmap=plt.cm.binary)

     predicted_label=np.argmax(predictions_array)
     if predicted_label==true_label:
         color='blue'
     else:
         color='red'

     plt.xlabel("{}{:2.0f}%({})".format(class_names[predicted_label],
                                        100*np.max(predictions_array),
                                        class_names[true_label]),
                                        color=color)

 def plot_value_array(i,predictions_array,true_label):
     predictions_array,true_label=predictions_array,true_label[i]
     plt.grid(False)
     plt.xticks(range(10))
     plt.yticks([])
     thisplot=plt.bar(range(10),predictions_array,color="#777777")
     plt.ylim([0,1])
     predicted_label=np.argmax(predictions_array)

     thisplot[predicted_label].set_color('red')
     thisplot[true_label].set_color('blue')

 i=10
 plt.figure(figsize=(6,3))
 plt.subplot(1,2,1)
 plot_image(i,predictions[i],test_labels,test_images)
 plt.subplot(1,2,2)
 plot_value_array(i,predictions[i],test_labels)
 plt.show()