[纯C#实现]基于BP神经网络的中文手写识别算法

效果展示

这不是OCR,有些人可能会觉得这东西会和OCR一样,直接进行整个字的识别就行,然而并不是.
OCR是2维像素矩阵的像素数据.而手写识别不一样,手写可以把用户写字的笔画时间顺序,抽象成一个维度.这样识别的就是3维的数据了.识别起来简单很多.

最近需要做一个中文手写识别算法.搜索了网上的一些前人作品,发现都是只讲了理论,不讲实际开发.于是打算自己开发一个,并记录开发过程.

由于代码量比较多,这里不会全部贴上来讲解,代码已经放到了gitee,部分地方需对照代码进行观看,下面有URL.

思路

网上关于中文手写识别的文章不多,不过数字OCR方案确有很多.
虽然中文手写识别并不等于OCR,但总归有点关联性.
我发现数字的OCR大概是这么个套路:

神经网络的输出层每一个节点对应一个数字的相似度.而中文不能这么做.因为中文有上万字.
不过这是手写识别,我们有用户写字的时候每一笔的数据,可以先识别笔画.然后再根据笔画,去识别字.

资源获取与数据模型设定

首先我们需要一个字典,用于提供所有中文汉字的笔画顺序,这玩意在百度搜索"字典 mdb"能得到很多(我会放到源码里)

通过查看字典的"笔顺"字段,我们可以看到,字典中的字,笔顺分为了: 横,竖,撇,捺,其它 这5个类型

横竖撇捺好弄,不过这个"其它"有点特别,通过查询.中文的笔画有30多种.
我按照长相,将笔画大体分成了这7种:

ID	笔画	名称
0	㇐	横
1	㇑	竖
2	㇓	撇
3	㇏	捺
4	㇕㇖⺄	横折
5	㇗㇙㇞㇟ㄣ㇂ ㇛㇜	竖折
6	㇡ ㇌	横折折折

也就是说,我这里是分成7种来识别的,后续使用的时候,是再转换为5种笔画.

我们将用户输入的笔画顺序识别出来后,经过字符串相似度算法,识别出用户输入的笔画,与字典中每个字的笔画的相似度,然后进行排序.
关于字符串相似度,这里采用的是 levenshtein算法,相关代码可在我的源码中找到.

开发采集工具&采集一些数据

首先我需要采集一些笔画数据,然后交给神经网络,训练神经网络识别能力.

这里开发了一个采集工具,用来采集一些用于训练的数据:
Gitee查看源码>>
Github查看源码>>

使用方法如下:

保存后会得到一个json文件,里面是采集到的笔画数据:

每个笔画采集30次之后保存,在保存后,请将这个文件改名,然后再重新打开一次软件,采集下一个笔画

把上面表格中的7个笔画每一个采集30次左右(次数不需要完全一样)每个笔画单独采集到一个文件

再额外采集一个用于测试的数据:

训练过程

这里选择BP网络的原因是因为网络上有直接复制即可用的C#代码,毕竟我是用C#开发,基于C#的神经网络代码很少.大部分是基于C或者python的.
我对我找到的BP网络的部分代码进行了修改,训练完后可以把训练结果保存为单个json文件.也可以读取json文件接着训练,或着运用里面的训练结果进行识别.

把上面采集的7个笔画样本放入神经网络训练:

如你所见,我另外开发了一个训练工具,读取前面步骤采集到的笔画数据生成矩阵,给BP网络,进行训练.

矩阵的格式:
**注:我用来训练的矩阵的大小是固定的16*16,以下只是为了说明而做的一个缩小版:**

\	第0列	第1列	第2列	第3列	第4列	第5列	更多列
第0行	0.2	0.0	0.0	0.0	0.0	0.0	.
第1行	0.0	0.4	0.0	0.0	0.0	0.0	.
第2行	0.0	0.0	0.6	0.0	0.0	0.0	.
第3行	0.0	0.0	0.0	0.8	0.0	0.0	.
第4行	0.0	0.0	0.0	0.0	1.0	0.0	.
第5行	0.0	0.0	0.0	0.0	0.0	0.0	.
更多行	.	.	.	.	.	.	.

注意:我在矩阵中使用0~1之间的浮点数标识出了哪个像素是先画出来的,哪个像素是后画出来的.
不过神经网络输入的矩阵是1维的,所以在代码中可以看到,我写了个GetDim1Matrix方法,将这里面的数据,全部连接到了一起.
在代码中,有一个MatrixData类,这个类用于存放训练或者识别用的数据并进行矩阵的输出,可以在这里面找到生成矩阵的算法.

训练完成后,使用训练结果,对测试数据进行了测试.并生成了训练结果文件:

训练工具源码:
Gitee查看源码>>
Github查看源码>>

实际使用

识别功能和采集工具做在一起了,将神经网络训练出来的结果"GData.json"文件放进采集工具工程里.运行工程即可.

在实际使用中效果没有想象中的好,笔画相似度高的字比较多,得把字写得比较工整才能识别到,想要获取更好的结果,还需要对方案进行更多的优化才行.

改进计划

目前我比较倾向于这两个方案:

1. 在测试中有个现象,笔画识别错误率有点高,可能需要修改笔画识别的方式,尝试用别的方式去识别笔画
2. 我找到的字典有问题,字符虽然很全,但是笔画分类才5种,只分为"横,竖,撇,捺,其它",这个"其它"比较碍事,可以尝试找笔画分类更细的字典来解决这个问题.

如果对这个项目感兴趣或者有更好优化的思路,可以给我留言