keras入门--Mnist手写体识别

介绍如何使用keras搭建一个多层感知机实现手写体识别及搭建一个神经网络最小的必备知识

import keras # 导入keras
dir(keras) # 查看keras常用的模块
['Input',
 'Model',
 'Sequential',
 '__builtins__',
 '__cached__',
 '__doc__',
 '__file__',
 '__loader__',
 '__name__',
 '__package__',
 '__path__',
 '__spec__',
 '__version__',
 'absolute_import',
 'activations',
 'applications',
 'backend',
 'callbacks',
 'constraints',
 'datasets',
 'engine',
 'initializers',
 'layers',
 'legacy',
 'losses',
 'metrics',
 'models',
 'optimizers',
 'preprocessing',
 'regularizers',
 'utils',
 'wrappers']

keras常用模块的简单介绍

• 'Input','Model','Sequential',这三个模块是以前老的接口，新的版本已经将它们融合到后面的模块当中
• 以'__'开头的模块是一些内嵌的模块
• 'activations'是激活函数，包括像sigmoid,relu,softmax等
• 'applications'是应用,这里面提供了已经训练好的keras模型，像图像识别的VGG等
• 'backend'是后端函数，keras通过它来操作其他的后端执行代码，像tensorflow,theano等，在后面使用models时，models会自动地调用
• 'callbacks'是一个回调的抽象函数，在高级应用里面可以用来展示训练过程中网络内部的状态
• 'constraints'是一个约束项，主要是能够对神经网络进行约束，来防止神经网络的过拟合
• 'datasets'里面包含了很多神经网络常用的数据集
• 'engine'是引擎模块,是layers的核心代码，主要是用来实现神经网络的拓补结构，后面的层的构建都是从这里继承而来
• 'initializers'是初始化方法
• 'layers'里面包含了keras已经实现的一些网络层，像全连接层Dense,卷积神经网络中的Conv
• 'legacy'是遗留代码，旧版本的代码都放在里面
• 'losses'是目标函数，也就损失函数，代价函数等，包括像均方差误差，交叉熵等等，用来衡量神经网络训练过程中的训练的好坏，能够看在迭代的过程中神经网络的一个训练情况
• 'metrics'是评估函数，可以用来评估神经网络的性能，里面包括像准确度，召回率等
• 'models'是模型库,Keras有两种类型的模型，序贯模型（Sequential）和函数式模型（Model），函数式模型应用更为广泛，序贯模型是函数式模型的一种特殊情况。序贯模型：使用序贯模型可以像搭积木一样一层一层地网上叠加神经网络
• 'optimizers'是优化器，神经网络编译时必备的参数之一，可以用来在神经网络训练过程当中来更新权值的一个方法
• 'preprocessing'是预处理模块，包括对数据，序列，文本以及图像数据的预处理
• 'regularizers'是正则化方法，是用来防止神经网络在训练过程中出现过拟合
• 'utils'工具模块，本模块提供了一系列有用工具，用于提供像数据转换，数据规范化等功能
• 'wrappers'包装器(层封装器)，能够将普通层进行包装，比如将普通数据封装成时序数据

本次所用Keras基础模块

from keras.models import Sequential # 导入序贯模型，可以通过顺序的方式，叠加神经网络层
model = Sequential() # 构造一个模型对象model
model.add(Dense(8))
from keras.layers import Dense
Dense(units, activation=None, use_bias=True, kernel_initializer='glorot_uniform', bias_initializer='zeros', kernel_regularizer=None, bias_regularizer=None, activity_regularizer=None, kernel_constraint=None, bias_constraint=None, **kwargs)
from keras import optimizers
Init signature: optimizers.SGD(lr=0.01, momentum=0.0, decay=0.0, nesterov=False, **kwargs)
optimizers.SGD(lr=0.01, momentum=0.0, decay=0.0, nesterov=False)
<keras.optimizers.SGD at 0x54ef320>

手写体识别

import keras # 导入Keras
from keras.datasets import mnist # 从keras中导入mnist数据集
from keras.models import Sequential # 导入序贯模型
from keras.layers import Dense # 导入全连接层
from keras.optimizers import SGD # 导入优化函数
Using TensorFlow backend.
(x_train, y_train), (x_test, y_test) = mnist.load_data() # 下载mnist数据集
print(x_train.shape,y_train.shape) # 60000张28*28的单通道灰度图
print(x_test.shape,y_test.shape)
(60000, 28, 28) (60000,)
(10000, 28, 28) (10000,)
import matplotlib.pyplot as plt # 导入可视化的包
im = plt.imshow(x_train[0],cmap='gray')
plt.show()
y_train[0]

x_train = x_train.reshape(60000,784) # 将图片摊平，变成向量
x_test = x_test.reshape(10000,784) # 对测试集进行同样的处理
print(x_train.shape)
print(x_test.shape)
(60000, 784)
(10000, 784)
x_train[0]
array([  0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
         0,   0,   0,   0,   0,   0,   0,   0,   0,   3,  18,  18,  18,
       126, 136, 175,  26, 166, 255, 247, 127,   0,   0,   0,   0,   0,
         0,   0,   0,   0,   0,   0,   0,  30,  36,  94, 154, 170, 253,
       253, 253, 253, 253, 225, 172, 253, 242, 195,  64,   0,   0,   0,
         0,   0,   0,   0,   0,   0,   0,   0,  49, 238, 253, 253, 253,
       253, 253, 253, 253, 253, 251,  93,  82,  82,  56,  39,   0,   0,
         0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
       136, 253, 253, 253, 212, 135, 132,  16,   0,   0,   0,   0,   0,
         0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,
         0,   0,   0,   0], dtype=uint8)

对数据进行归一化处理

x_train = x_train / 255
x_test = x_test / 255
x_train[0]
array([0.        , 0.        , 0.        , 0.        , 0.        ,
       0.        , 0.        , 0.01176471, 0.07058824, 0.07058824,
       0.07058824, 0.49411765, 0.53333333, 0.68627451, 0.10196078,
       0.65098039, 1.        , 0.96862745, 0.49803922, 0.        ,
       0.        , 0.        , 0.        , 0.        , 0.        ,
       0.        , 0.        , 0.        , 0.        , 0.        ,
       0.        , 0.11764706, 0.14117647, 0.36862745, 0.60392157,
       0.66666667, 0.99215686, 0.99215686, 0.99215686, 0.99215686,
       0.99215686, 0.88235294, 0.6745098 , 0.99215686, 0.94901961,
       0.76470588, 0.25098039, 0.        , 0.        , 0.        ,
       0.        , 0.53333333, 0.99215686, 0.99215686, 0.99215686,
       0.83137255, 0.52941176, 0.51764706, 0.0627451 , 0.        ,
       0.        , 0.        , 0.        , 0.        ])

对y标签进行处理，5 --> [ 0, 0, 0, 0, 0,1, 0, 0, 0, 0] ,使用keras的utils工具集中的函数可以做到

y_train = keras.utils.to_categorical(y_train,10)
y_test = keras.utils.to_categorical(y_test,10)

构建模型

model = Sequential() # 构建一个空的序贯模型
# 添加神经网络层
model.add(Dense(512,activation='relu',input_shape=(784,)))
model.add(Dense(256,activation='relu'))
model.add(Dense(10,activation='softmax'))
model.summary()
_________________________________________________________________
Layer (type)                 Output Shape              Param #
=================================================================
dense_1 (Dense)              (None, 512)               401920
_________________________________________________________________
dense_2 (Dense)              (None, 256)               131328
_________________________________________________________________
dense_3 (Dense)              (None, 10)                2570
=================================================================
Total params: 535,818
Trainable params: 535,818
Non-trainable params: 0
_________________________________________________________________

将神经网络进行编译

model.compile(optimizer=SGD(),loss='categorical_crossentropy',metrics=['accuracy'])

模型的训练

model.fit(x_train,y_train,batch_size=64,epochs=5,validation_data=(x_test,y_test)) # 此处直接将测试集用作了验证集
Train on 60000 samples, validate on 10000 samples
Epoch 1/5
60000/60000 [==============================] - 8s 141us/step - loss: 0.7648 - acc: 0.8165 - val_loss: 0.3706 - val_acc: 0.9027
Epoch 2/5
60000/60000 [==============================] - 8s 138us/step - loss: 0.3383 - acc: 0.9069 - val_loss: 0.2891 - val_acc: 0.9190
Epoch 3/5
60000/60000 [==============================] - 8s 128us/step - loss: 0.2821 - acc: 0.9208 - val_loss: 0.2558 - val_acc: 0.9257
Epoch 4/5
60000/60000 [==============================] - 7s 111us/step - loss: 0.2496 - acc: 0.9296 - val_loss: 0.2281 - val_acc: 0.9350
Epoch 5/5
60000/60000 [==============================] - 8s 127us/step - loss: 0.2256 - acc: 0.9364 - val_loss: 0.2117 - val_acc: 0.9391

<keras.callbacks.History at 0x5359080>

模型的得分情况

score = model.evaluate(x_test,y_test)
print("loss:",score[0])
print("accu:",score[1])
10000/10000 [==============================] - 0s 47us/step
loss: 0.2117454363614321
accu: 0.9391