使用Python基于HyperLPR/Mask-RCNN的中文车牌识别

基于HyperLPR的中文车牌识别

Bolg：https://blog.csdn.net/lsy17096535/article/details/78648170 https://www.jianshu.com/p/7ab673abeaae

GitHub：https://github.com/zeusees/HyperLPR

HyperLPR

简介

HyperLPR是开源的基于深度学习实现的高性能中文车牌识别库，由北京智云视图科技有限公司开发，与较为流行的开源的其他框架相比，它的检测速度、鲁棒性和多场景的适应性都要好于目前开源的框架，HyperLPR可以识别多种中文车牌，包括单行蓝牌/黄牌，白牌(白色警用车牌)，新能源车牌，使馆/港澳车牌，教练车牌，武警车牌等。HyperLRP支持PHP、C/C++、Python语言，Windows/Mac/Linux/Android/IOS平台。

特性

• 基于端到端Sequence模型，无需进行字符分割，识别速度更快
• 速度快720p，单核Intel 2.2G CPU(Macbook Pro 2015)平均识别时间<=90ms
• 识别率高，仅仅针对车牌ROI在EasyPR数据集上，0-error达到 95.2%，1-error识别率达到 97.4%(指在定位成功后的车牌识别率)
• 轻量总代码量不超1k行
• 带有Android实现，其Android Demo可解决一些在一些普通业务场景(如执法记录仪)下的车牌识别任务

注意事项

• Win工程中若需要使用静态库，需单独编译
• 本项目的C++实现和Python实现无任何关联，都为单独实现
• 在编译C++工程的时候必须要使用OpenCV 3.3(DNN库)，否则无法编译

Python依赖

• Keras (>2.0.0)
• Theano(>0.9) or Tensorflow(>1.1.x)
• Numpy (>1.10)
• Scipy (0.19.1)
• OpenCV(>3.0)
• Scikit-image (0.13.0)
• PIL

CPP依赖

• Opencv 3.3

设计流程

step1. 使用opencv 的 HAAR Cascade 检测车牌大致位置

step2. Extend 检测到的大致位置的矩形区域

step3. 使用类似于MSER的方式的 多级二值化 + RANSAC 拟合车牌的上下边界

step4. 使用CNN Regression回归车牌左右边界

step5. 使用基于纹理场的算法进行车牌校正倾斜

step6. 使用CNN滑动窗切割字符

step7. 使用CNN识别字符

使用

from hyperlpr import  pipline as  pp
import cv2
image = cv2.imread("filename")
image,res  = pp.SimpleRecognizePlate(image)
print(res)

Linux/Mac编译

• 仅需要的依赖OpenCV 3.3 (需要DNN框架)

cd cpp_implementation
mkdir build
cd build
cmake ../
sudo make -j 

识别测试APP

• 测试 Android APP：https://fir.im/HyperLPR

识别样例

基于Mask-RCNN及CNN的车牌字符定位、分割与识别

Blog：https://my.oschina.net/airxiechao/blog/2239875

Github：https://github.com/airxiechao/simple-car-plate-recognition（Simple-Car-Plate-Recognition）

数据准备

用于车牌定位的数据集

原始数据：250张车辆图片，200张用于训练，50张用于测试

标记数据：在图片上标注出车牌区域（https://gitee.com/easypr/EasyPR/tree/master/resources/image/general_test）- 标注工具使用VGG Image Annotator(VIA)，是一个网页程序，可以导入图片，使用多边形标注，标注好了以后可以导出json - 已标注好的数据集（下载：https://github.com/airxiechao/simple-car-plate-recognition/blob/master/dataset/carplate.zip）

用于字符识别的数据集

分隔好的单个车牌汉子、字母和数字 - https://gitee.com/easypr/EasyPR/blob/master/resources/train/ann.7z

训练Mask-RCNN定位车牌

参考：https://engineering.matterport.com/splash-of-color-instance-segmentation-with-mask-r-cnn-and-tensorflow-7c761e238b46 - 用Mask-RCNN识别图片中的气球

1）下载预训练模型：从https://github.com/matterport/Mask_RCNN/releases下载预先用COCO数据集训练好的模型mask_rcnn_coco.h5

2）载入车辆图片数据：carplate.py（浏览标注数据 - inspect_data.ipynb）

3）训练：mask_rcnn_carplate_0030.h5

python carplate.py train --dataset=../dataset/carplate --weights=coco

4）查看模型训练的效果：inspect_model.ipynd - https://github.com/airxiechao/simple-car-plate-recognition/tree/master/Mask_RCNN

训练CNN单个字符识别

参考：Keras的Mnist_CNN - https://github.com/keras-team/keras/blob/master/examples/mnist_cnn.py

训练：char_cnn.h5 - https://github.com/airxiechao/simple-car-plate-recognition/blob/master/char_cnn/char_cnn.ipynb

分割车牌字符

把车牌区域转换成灰度图像，利用边缘特征分割出区域，再筛选出字符区域 - https://github.com/airxiechao/simple-car-plate-recognition/blob/master/character_segmentation.ipynb

执行推理

https://github.com/airxiechao/simple-car-plate-recognition/blob/master/inference.ipynb