android 人脸检测你一定会遇到的坑
笔者今年做了一个和人脸有关的android产品,主要是获取摄像头返回的预览数据流,判断该数据流是否包含了人脸,有人脸时显示摄像头预览框,无人脸时摄像头预览框隐藏,看上去这个功能并不复杂,其实在开发过程中,遇到的问题也不多,全部都处理了,在正式推出前,这个产品在公司内部也测试了几个月,也没发现bug,但最近实施人员,在客户公司做实施时,反馈回来各种问题,这些问题有部分是程序bug,也有一部分是和硬件有关,因为测试环境有限,笔者无法对各种型号,各个厂家的硬件进行测试,这篇文章主要是记录,摄像头给我们带来的一些坑,分享给涉及到人脸开发的朋友,让大家少走弯路。
一:概述
android有原生的api做人脸检测,通过android.media.FaceDetector来检测bitmap是否包含人脸,android.media.FaceDetector.Face来检测人脸位置信息,我们需要在activity中实现Carema.PreviewCallBack接口,该接口有一个onPreviewFrame方法,这个方法返回摄像头实时图像的数据流,由于这个方法返回的数据流时nv21格式,我们需要转换bitmap才能进行人脸检测,转换过程如下:byte[] --> YuvImage --> ByteArrayOutputStream --> byte[] --> bitmap ,具体转换的代码如下:
Camera.Size size = mtCamera.getParameters().getPreviewSize();
YuvImage yuvImage = new YuvImage(mData, ImageFormat.NV21, size.width, size.height, null);
yuvImage.compressToJpeg(new Rect(0, 0, size.width, size.height), 100, mBitmapOutput);
options.inPreferredConfig = Bitmap.Config.RGB_565;
bitmap = BitmapFactory.decodeByteArray(mBitmapOutput.toByteArray(), 0, mBitmapOutput.toByteArray().length, options);
mBitmapOutput.reset();
bitmap = Bitmap.createBitmap(bitmap, 0, 0, bitmap.getWidth(), bitmap.getHeight(), mMatrix, false);
通过上面的转换,我们已经得到了人脸检测的bitmap,此时只需要进行人脸检测就ok了,代码如下:
detector = new FaceDetector(source.getWidth(),source.getHeight(), maxFaceNum);
Face[] faces = new Face[maxFaceNum];
detector.findFaces(source, faces);
代码基本上就哪么多,由于受到硬件的影响,上面的代码有很多地雷。
二:人脸检测常见问题
产品上线后,主要问题有,人站在摄像头面前,app无法识别人脸,软件运行性能也会下降,出现严重卡顿等问题,当前我比较郁闷,明明在测试环境都运行几个月了,都没有出现这些问题,正式实施的时候,问题不断,通过近两个月的整理,主要问题有以下几个。
2.1 无法识别人脸
1):相机角度问题
由于我在测试的时候,摄像头图像是垂直的,没有任何问题,但正式使用时,摄像头来自不同商家,导致摄像头图像是水平的了,如下图:
图像角度都不对了,当然无法识别人脸了,此时我们需要得到摄像头的默认旋转的角度,再作处理,特别声明:setDisplayOrientation() 这个方法是逆时针旋转,代码如下:
public void setCameraDisplayOrientation (Activity activity, int cameraId, android.hardware.Camera camera) {
android.hardware.Camera.CameraInfo info = new android.hardware.Camera.CameraInfo();
android.hardware.Camera.getCameraInfo (cameraId , info);
int rotation = activity.getWindowManager ().getDefaultDisplay ().getRotation ();
int degrees = 0;
switch (rotation) {
case Surface.ROTATION_0:
degrees = 0;
break;
case Surface.ROTATION_90:
degrees = 90;
break;
case Surface.ROTATION_180:
degrees = 180;
break;
case Surface.ROTATION_270:
degrees = 270;
break;
}
int result;
if (info.facing == Camera.CameraInfo.CAMERA_FACING_FRONT) {
result = (info.orientation + degrees) % 360;
result = (360 - result) % 360; // compensate the mirror
} else {
// back-facing
result = ( info.orientation - degrees + 360) % 360;
}
mOrienta = result;//该值有其它用途
camera.setDisplayOrientation (result);
}
2):相机设置旋转后,预览图片和相机返回实时流角度问题
这个坑太恶心了,当我把相机角度旋转后,把app打包发一个给同事,结果同事告诉我,还是不行,还好在公司借到一个锐士达1080p的摄像头,然后我把onPreviewFrame返回的流画到imageView,发现返回的图像,和预览的图像,根本不一样,我勒个去,虽然预览图像旋转了,我们还需要对onPreviewFrame返回的流进行处理,这个坑也让我比较无语,害我找了好久。虽然说解决的代码只有简短的几句,但找出原因过程只有自己能体会,然后我使用Matrix来旋转onPreviewFrame返回的流,关于Matrix,完全是参考android Matrix详细,这篇文章写得非常好,修改后的代码如下。
//mOrienta来源于setCameraDisplayOrientation
mMatrix = new Matrix();
switch (mOrienta){
case 90:
mMatrix.postRotate(270);
break;
case 270:
mMatrix.postRotate(90);
break;
default:
mMatrix.postRotate(mOrienta);
break;
}
2.2 720p摄像头和1080p摄像头涉及到的问题
1):获取摄像头支持预览尺寸遇到的问题
初始化相机时,我们需要设置摄像头支持的预览尺寸,如果不是相机支持的尺寸,会出现异常,根据项目需要,本地环境我直接指定一个下标,然后硬件变化后,这个值也跟着变了,如下图:
此处根据实际情况获取,可以计算每一个尺寸的面积,通过一个基础面积获取适应的预览尺寸。具体代码就不帖了,只需要清楚有这一个坑就ok了。
2):获取预览侦宽高大小带来的问题
如果程序的lock,和线程问题没处理好,性能问题显而易见。
如果只是简单的识别人脸,我们可以通过压缩图片的方法来解决这个问题。
BitmapFactory.Options options = new BitmapFactory.Options();
options.inSampleSize =2;
options.inPreferredConfig = Bitmap.Config.RGB_565;
bitmap = BitmapFactory.decodeByteArray(mBitmapOutput.toByteArray(), 0, mBitmapOutput.toByteArray().length, options);
3):摄像头返回的流频率过快,导致人脸识别处理速度根不上的解决办法
最初软件运行的时候,运行一段时间,app直接崩溃了,最后发现是,onPreviewFrame返回的流太快,网上说可以在启动相机时,设置流的频率,常见设置的代码
Camera.Parameters parameters = mCamera.getParameters();
parameters.setPreviewFrameRate(3);//设置每秒3帧,没有效果
然而这样设置后,完全没有用,如图:
处理这个问题并不是很复杂,只是判断一个两次处理流的时候,大于300毫秒(具体时间,根据需求变动)
public void onPreviewFrame(byte[] data, Camera camera) {
Logger.i(TAG+"收到相机回调:onpreviewframe()"+index);
if(data!=null&&data.length>0&&System.currentTimeMillis()-time>200){
time=System.currentTimeMillis();
mFaceHandle.post(new FaceThread(data,camera,(++index)));
}
}
2.3 刷脸的人员走开后,屏幕仍然显示和人脸相关信息
通过以上描述我们知道,相机预览图尺寸过大,导致刷脸人员走开几秒钟内,android设备屏,仍然显示和人脸有关的信息,因为onPreviewFrame频率较快,而处理人脸的时间过长,导致人脸对列越来越大,所以人走开后,屏才会显示相关信息,这里需要控制,onPreviewFrame处理人脸的频率大于,以及提升人脸识别的时间.
完整demo 下载地址:https://github.com/jlq023/democamera
android 人脸检测你一定会遇到的坑的更多相关文章
- Android人脸检测1(静态图片)
搭建Android人脸识别环境花了很长时间(可以查看之前的文章),解决Android开发中的杂七杂八小问题也耗时不少. 今天记录一下,点击选择照片或者拍照上传照片进行人脸检测的小demo. (andr ...
- 虹软 Android 人脸检测与人脸识别集成分享
目前我们的应用内使用了 ArcFace 的人脸检测功能,其他的我们并不了解,所以这里就和大家分享一下我们的集成过程和一些使用心得 集成ArcFace FD 的集成过程非常简单 在 ArcFace FD ...
- ArcFace Android 人脸检测与人脸识别集成分享
目前我们的应用内使用了 ArcFace 的人脸检测功能,其他的我们并不了解,所以这里就和大家分享一下我们的集成过程和一些使用心得集成ArcFace FD 的集成过程非常简单在 ArcFace FD 的 ...
- Android应用开发提高篇(6)-----FaceDetector(人脸检测)
链接地址:http://www.cnblogs.com/lknlfy/archive/2012/03/10/2388776.html 一.概述 初次看到FaceDetector这个类时,心里想:And ...
- Android 中使用 dlib+opencv 实现动态人脸检测
1 概述 完成 Android 相机预览功能以后,在此基础上我使用 dlib 与 opencv 库做了一个关于人脸检测的 demo.该 demo 在相机预览过程中对人脸进行实时检测,并将检测到的人脸用 ...
- Android+openCV 动态人脸检测
动态人脸检测前提是需要打开摄像头. 网上看了很多教程,我知道的有两种方式打开摄像头: JavaCameraView mCameraView = new JavaCameraView(this, -1) ...
- Android+openCV人脸检测2(静态图片)
前几篇文章中有提到对openCV环境配置,这里再重新梳理导入和使用openCV进行简单的人脸检测(包括使用级联分类器) 一 首先导入openCVLibrary320 二 设置gradle的sdk版本号 ...
- Android Camera2 预览,拍照,人脸检测并实时展现
https://www.jianshu.com/p/5414ba2b5508 背景 最近需要做一个人脸检测并实时预览的功能.就是边检测人脸,边在预览界面上框出来. 当然本人并不是专门做 ...
- Android—基于OpenCV+Android实现人脸检测
导读 OpenCV 是一个开源的跨平台计算机视觉库, 采C++语言编写,实现了图像处理和计算机视觉方面的很多通用算法,同时也提供对Python,Java,Android等的支持,这里利用Android ...
随机推荐
- cannot be cast to javax.servlet.Servlet
在第一次开发Maven项目时,maven环境和仓库以及eclipse都和讲师讲解的一样,可是却遇到下面这个问题: java.lang.ClassCastException: servlet.UserS ...
- 5分钟教你玩转 sklearn 机器学习(上)
假期结束,你的状态有没有回归?那么,放空脑袋后,先来学习学习,欢迎大家继续关注腾讯云技术社区. 作者:赵成龙 这是一篇很难写的文章,因为我希望这篇文章能对大家有所帮助.我不会给大家介绍机器学习,数据挖 ...
- 为什么ABAP开发者需要使用面向对象技术?
ABAP对面向对象的支持已有十多年的历史,然而在生产实践中,我们对这门技术的应用十分有限. 一方面,面向过程的惯性长期存在着:另一方面,对于大部分二次开发工作而言,似乎并没有足够的理由促使开发者使用面 ...
- Github Page--CSDN新人的第二选择
我也是个CSDN新人,使用的CSDN的初衷应该和众人类似,就是想总结下平时的学习成果,或者一些想法. CSDN好的地方: 书写界面简洁,支持markdown语法 人还算多,也比较年轻 相对较活跃 内容 ...
- 【学习】js学习笔记:数组(一)
1.创建数组并赋值 //对象方式 var arr=new Array(1,2,3,4); //隐形声明方式 var arr2=[5,6,7,8]; 2.数组可以存储任何类型的数据 3.访问数组,是用下 ...
- 【原创】自用css reset
自己工作中常用的reset,和一些设置,实际用时会根据网站页面进行增删. /* Common style */html{ overflow-y:scroll; overflow-x:auto;}bod ...
- Appium python自动化测试系列之Android知识讲解(三)
3.1 ADB工具讲解 3.1.1 什么是ADB呢? 我们不去解释官方语言的翻译,给大家说一个通熟易懂的说法,ADB我理解为他就是电脑和手机连接的桥梁.此连接不是充电的连接,大家不要混淆,说他是一个 ...
- JAVA编程入门
java最早是由Sun公司基于C++开发而成的新一代编程语言也是现行下的主流行编程语言,其原始的主要用于嵌入式开发.java的第一个版本为JDK1.0,到2017年已经升级到JAK1.9版本.java ...
- C# 根据路径删除文件或文件夹
如何根据路径删除文件或文件夹? 1.首先我们要判断路径是文件或者是文件夹 那么我们可以通过 FileAttributes attr = File.GetAttributes(path); 来得到路径的 ...
- Centos7安装后出现please make your choice from '1' to e 解决方式
[输入"1",按Enter键 输入"2",按Enter键 输入"q",按Enter键 输入"yes",按 ...