欢迎访问我的GitHub

这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos

关于《JavaCV的摄像头实战》系列

  • 《JavaCV的摄像头实战》顾名思义,是使用JavaCV框架对摄像头进行各种处理的实战集合,这是欣宸作为一名Java程序员,在计算机视觉(computer vision)领域的一个原创系列,通过连续的编码实战,与您一同学习掌握视频、音频、图片等资源的各种操作
  • 另外要说明的是,整个系列使用的摄像头是USB摄像图或者笔记本的内置摄像头,并非基于网络访问的智能摄像头

本篇概览

  • 作为整个系列的开篇,本文非常重要,从环境到代码的方方面面,都会为后续文章打好基础,简单来说本篇由以下内容构成:
  1. 环境和版本信息
  2. 基本套路分析
  3. 基本框架编码
  4. 部署媒体服务器
  • 接下来就从环境和版本信息开始吧

环境和版本信息

  • 现在就把实战涉及的软硬件环境交代清楚,您可以用来参考:
  1. 操作系统:win10
  2. JDK:1.8.0_291
  3. maven:3.8.1
  4. IDEA:2021.2.2(Ultimate Edition)
  5. JavaCV:1.5.6
  6. 媒体服务器:基于dockek部署的nginx-rtmp,镜像是:alfg/nginx-rtmp:v1.3.1

源码下载

名称 链接 备注
项目主页 https://github.com/zq2599/blog_demos 该项目在GitHub上的主页
git仓库地址(https) https://github.com/zq2599/blog_demos.git 该项目源码的仓库地址,https协议
git仓库地址(ssh) git@github.com:zq2599/blog_demos.git 该项目源码的仓库地址,ssh协议
  • 这个git项目中有多个文件夹,本篇的源码在javacv-tutorials文件夹下,如下图红框所示:

  • javacv-tutorials里面有多个子工程,《JavaCV的摄像头实战》系列的代码在simple-grab-push工程下:

基本套路分析

  • 全系列有多个基于摄像头的实战,例如窗口预览、把视频保存为文件、把视频推送到媒体服务器等,其基本套路是大致相同的,用最简单的流程图表示如下:

  • 从上图可见,整个流程就是不停的从摄像头取帧,然后处理和输出

基本框架编码

  • 看过了上面基本套路,聪明的您可能会有这样的想法:既然套路是固定的,那代码也可以按套路固定下来吧

  • 没错,接下来就考虑如何把代码按照套路固定下来,我的思路是开发名为AbstractCameraApplication的抽象类,作为《JavaCV的摄像头实战》系列每个应用的父类,它负责搭建整个初始化、取帧、处理、输出的流程,它的子类则专注帧数据的具体处理和输出,整个体系的UML图如下所示:

  • 接下来就该开发抽象类AbstractCameraApplication.java了,编码前先设计,下图是AbstractCameraApplication的主要方法和执行流程,粗体全部是方法名,红色块代表留给子类实现的抽象方法:

  • 接下来是创建工程,我这里创建的是maven工程,pom.xml如下:
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<parent>
<artifactId>javacv-tutorials</artifactId>
<groupId>com.bolingcavalry</groupId>
<version>1.0-SNAPSHOT</version>
</parent>
<modelVersion>4.0.0</modelVersion>
<groupId>com.bolingcavalry</groupId>
<version>1.0-SNAPSHOT</version>
<artifactId>simple-grab-push</artifactId>
<packaging>jar</packaging> <properties>
<!-- javacpp当前版本 -->
<javacpp.version>1.5.6</javacpp.version>
</properties> <dependencies>
<dependency>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
</dependency>
<dependency>
<groupId>ch.qos.logback</groupId>
<artifactId>logback-classic</artifactId>
<version>1.2.3</version>
</dependency>
<dependency>
<groupId>org.apache.logging.log4j</groupId>
<artifactId>log4j-to-slf4j</artifactId>
<version>2.13.3</version>
</dependency> <!-- javacv相关依赖,一个就够了 -->
<dependency>
<groupId>org.bytedeco</groupId>
<artifactId>javacv-platform</artifactId>
<version>${javacpp.version}</version>
</dependency>
</dependencies>
</project>
  • 接下来就是AbstractCameraApplication.java的完整代码,这些代码的流程和方法命名都与上图保持一致,并且添加了详细的注释,有几处要注意的地方稍后会提到:
package com.bolingcavalry.grabpush.camera;

import lombok.Getter;
import lombok.extern.slf4j.Slf4j;
import org.bytedeco.ffmpeg.global.avutil;
import org.bytedeco.javacv.*;
import org.bytedeco.opencv.global.opencv_imgproc;
import org.bytedeco.opencv.opencv_core.Mat;
import org.bytedeco.opencv.opencv_core.Scalar; import java.text.SimpleDateFormat;
import java.util.Date; /**
* @author will
* @email zq2599@gmail.com
* @date 2021/11/19 8:07 上午
* @description 摄像头应用的基础类,这里面定义了拉流和推流的基本流程,子类只需实现具体的业务方法即可
*/
@Slf4j
public abstract class AbstractCameraApplication { /**
* 摄像头序号,如果只有一个摄像头,那就是0
*/
protected static final int CAMERA_INDEX = 0; /**
* 帧抓取器
*/
protected FrameGrabber grabber; /**
* 输出帧率
*/
@Getter
private final double frameRate = 30; /**
* 摄像头视频的宽
*/
@Getter
private final int cameraImageWidth = 1280; /**
* 摄像头视频的高
*/
@Getter
private final int cameraImageHeight = 720; /**
* 转换器
*/
private final OpenCVFrameConverter.ToIplImage openCVConverter = new OpenCVFrameConverter.ToIplImage(); /**
* 实例化、初始化输出操作相关的资源
*/
protected abstract void initOutput() throws Exception; /**
* 输出
*/
protected abstract void output(Frame frame) throws Exception; /**
* 释放输出操作相关的资源
*/
protected abstract void releaseOutputResource() throws Exception; /**
* 两帧之间的间隔时间
* @return
*/
protected int getInterval() {
// 假设一秒钟15帧,那么两帧间隔就是(1000/15)毫秒
return (int)(1000/ frameRate);
} /**
* 实例化帧抓取器,默认OpenCVFrameGrabber对象,
* 子类可按需要自行覆盖
* @throws FFmpegFrameGrabber.Exception
*/
protected void instanceGrabber() throws FrameGrabber.Exception {
grabber = new OpenCVFrameGrabber(CAMERA_INDEX);
} /**
* 用帧抓取器抓取一帧,默认调用grab()方法,
* 子类可以按需求自行覆盖
* @return
*/
protected Frame grabFrame() throws FrameGrabber.Exception {
return grabber.grab();
} /**
* 初始化帧抓取器
* @throws Exception
*/
protected void initGrabber() throws Exception {
// 实例化帧抓取器
instanceGrabber(); // 摄像头有可能有多个分辨率,这里指定
// 可以指定宽高,也可以不指定反而调用grabber.getImageWidth去获取,
grabber.setImageWidth(cameraImageWidth);
grabber.setImageHeight(cameraImageHeight); // 开启抓取器
grabber.start();
} /**
* 预览和输出
* @param grabSeconds 持续时长
* @throws Exception
*/
private void grabAndOutput(int grabSeconds) throws Exception {
// 添加水印时用到的时间工具
SimpleDateFormat simpleDateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); long endTime = System.currentTimeMillis() + 1000L *grabSeconds; // 两帧输出之间的间隔时间,默认是1000除以帧率,子类可酌情修改
int interVal = getInterval(); // 水印在图片上的位置
org.bytedeco.opencv.opencv_core.Point point = new org.bytedeco.opencv.opencv_core.Point(15, 35); Frame captureFrame;
Mat mat; // 超过指定时间就结束循环
while (System.currentTimeMillis()<endTime) {
// 取一帧
captureFrame = grabFrame(); if (null==captureFrame) {
log.error("帧对象为空");
break;
} // 将帧对象转为mat对象
mat = openCVConverter.convertToMat(captureFrame); // 在图片上添加水印,水印内容是当前时间,位置是左上角
opencv_imgproc.putText(mat,
simpleDateFormat.format(new Date()),
point,
opencv_imgproc.CV_FONT_VECTOR0,
0.8,
new Scalar(0, 200, 255, 0),
1,
0,
false); // 子类输出
output(openCVConverter.convert(mat)); // 适当间隔,让肉感感受不到闪屏即可
if(interVal>0) {
Thread.sleep(interVal);
}
} log.info("输出结束");
} /**
* 释放所有资源
*/
private void safeRelease() {
try {
// 子类需要释放的资源
releaseOutputResource();
} catch (Exception exception) {
log.error("do releaseOutputResource error", exception);
} if (null!=grabber) {
try {
grabber.close();
} catch (Exception exception) {
log.error("close grabber error", exception);
}
}
} /**
* 整合了所有初始化操作
* @throws Exception
*/
private void init() throws Exception {
long startTime = System.currentTimeMillis(); // 设置ffmepg日志级别
avutil.av_log_set_level(avutil.AV_LOG_INFO);
FFmpegLogCallback.set(); // 实例化、初始化帧抓取器
initGrabber(); // 实例化、初始化输出操作相关的资源,
// 具体怎么输出由子类决定,例如窗口预览、存视频文件等
initOutput(); log.info("初始化完成,耗时[{}]毫秒,帧率[{}],图像宽度[{}],图像高度[{}]",
System.currentTimeMillis()-startTime,
frameRate,
cameraImageWidth,
cameraImageHeight);
} /**
* 执行抓取和输出的操作
*/
public void action(int grabSeconds) {
try {
// 初始化操作
init();
// 持续拉取和推送
grabAndOutput(grabSeconds);
} catch (Exception exception) {
log.error("execute action error", exception);
} finally {
// 无论如何都要释放资源
safeRelease();
}
}
}
  • 上述代码有以下几处要注意:
  1. 负责从摄像头取数据的是OpenCVFrameGrabber对象,即帧抓取器
  2. initGrabber方法中,通过setImageWidth和setImageHeight方法为帧抓取器设置图像的宽和高,其实也可以不用设置宽高,由帧抓取器自动适配,但是考虑到有些摄像头支持多种分辨率,所以还是按照自己的实际情况来主动设置
  3. grabAndOutput方法中,使用了while循环来不断地取帧、处理、输出,这个while循环的结束条件是指定时长,这样的结束条件可能满足不了您的需要,请按照您的实际情况自行调整(例如检测某个按键是否按下)
  4. grabAndOutput方法中,将取到的帧转为Mat对象,然后在Mat对象上添加文字,内容是当前时间,再将Mat对象转为帧对象,将此帧对象传给子类的output方法,如此一来,子类做处理和输出的时候,拿到的帧都有了时间水印
  • 至此,父类已经完成,接下来的实战,咱们只要专注用子类处理和输出帧数据即可

部署媒体服务器

  • 《JavaCV的摄像头实战》系列的一些实战涉及到推流和远程播放,这就要用到流媒体服务器了,流媒体服务器的作用如下图,咱们也在这一篇提前部署好:

  • 关于媒体服务器的类型,我选的是常用的nginx-rtmp,简单起见,找了一台linux电脑,在上面用docker来部署,也就是一行命令的事儿:
docker run -d --name nginx_rtmp -p 1935:1935 -p 18080:80 alfg/nginx-rtmp:v1.3.1
  • 另外还有个特殊情况,就是我这边有个闲置的树莓派3B,也可以用来做媒体服务器,也是用docker部署的,这里要注意镜像要选用shamelesscookie/nginx-rtmp-ffmpeg:latest,这个镜像有ARM64版本,适合在树莓派上使用:
docker run -d --name nginx_rtmp -p 1935:1935 -p 18080:80 shamelesscookie/nginx-rtmp-ffmpeg:latest
  • 至此,《JavaCV的摄像头实战》系列的准备工作已经完成,接下来的文章,开始精彩的体验之旅吧,欣宸原创,必不让您失望~

你不孤单,欣宸原创一路相伴

https://github.com/zq2599/blog_demos

JavaCV的摄像头实战之一:基础的更多相关文章

  1. JavaCV的摄像头实战之二:本地窗口预览

    欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,涉及Java.Docker.Kubernetes.DevOPS ...

  2. JavaCV的摄像头实战之四:抓图

    欢迎访问我的GitHub 这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos 本篇概览 本文是<JavaCV的摄像头实战> ...

  3. JavaCV的摄像头实战之五:推流

    欢迎访问我的GitHub 这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos 本篇概览 本文是<JavaCV的摄像头实战> ...

  4. JavaCV的摄像头实战之六:保存为mp4文件(有声音)

    欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,涉及Java.Docker.Kubernetes.DevOPS ...

  5. Docker虚拟化实战学习——基础篇(转)

    Docker虚拟化实战学习——基础篇 2018年05月26日 02:17:24 北纬34度停留 阅读数:773更多 个人分类: Docker   Docker虚拟化实战和企业案例演练 深入剖析虚拟化技 ...

  6. Java 入门课程视频实战-0基础 上线了,猜拳游戏,ATM实战,欢迎围观

    Java 入门课程视频实战-0基础 已经上传完了.欢迎小伙伴们过来围观 直接进入: http://edu.csdn.net/course/detail/196 课程文件夹例如以下: 1 初识Java  ...

  7. 06-Flutter移动电商实战-dio基础_Get_Post请求和动态组件协作

    上篇文章中,我们只看到了 dio 的使用方式,但并未跟应用关联起来,所以这一篇将 dio 网络请求与应用界面结合起来,当然这也是为以后的实战作基础准备,基础打牢,我们才能飞速前进. 1.案例说明 我们 ...

  8. JavaCV 采集摄像头和麦克风数据推送到流媒体服务器

    越来越觉得放弃JavaCV FFmpeg native API,直接使用JavaCV二次封装的API开发是很明智的选择,使用JavaCV二次封装的API开发避免了各种内存操作不当引起的crash. 上 ...

  9. java javacv调用摄像头并拍照

    调用摄像头并拍张照片,我一开始用的java的jmf媒体框架,但这个有很多的局限性不好使并且很有麻烦,兜了一圈发现javacv东西,研究之后这东西简单,方便:废话不多说了来重点. javacv官网:点击 ...

随机推荐

  1. .NetCore~Linux环境下部署

    NetCore正式版已经出现有段时候了,Windows下使用vs2015开发.netCore应用程序,然后通过dotnet程序开启WEB服务,用着很像node.js,当然我们不会于只局限于window ...

  2. PHP单一入口apache配置和去除index.php

    index : index在互联网上表示网站的默认主页. 一般为 index.html index.htm index.asp index.php: 另外的默认主页也多用default.html;de ...

  3. jdk与eclipse版本问题解决applet的启动

    今天在中韩,遇到一个保全项目,需要调用applet显示打印批单,结果IE一直显示安全设置问题,去java程序的安全里面想下调等级,不好调,所以想改个jdk_32试试. 版本环境 原先是eclipse_ ...

  4. The Blacksmith学习的相关资源

    1.Unity官网的Blacksmith主页 https://unity3d.com/pages/the-blacksmith 2.WRINKLE MAPS IN THE BLACKSMITH 褶皱贴 ...

  5. Oracle_事务

    Oracle_事务 -事物管理   create table account(        id number,        money number );     --实现转账操作 update ...

  6. python基础成长之路三

    1,基础数据类型 总览 int :数字  用于计数,计算,运算等...1 , 2 , 3  , 100 , ... str :字符串  用户少量的数据储存,便于操作   "这就是字符串&qu ...

  7. CMakeLists.txt使用

    背景:C++代码在编译的过程中需要进行文件的包含,该文主要介绍CMakeLists.txt相关语法 CMake之CMakeLists.txt编写入门

  8. bat如何提取文本指定行的内容

    背景:使用CTS框架运行完测试后,会在logs中生成devices_log和host_log,在results中生成相应的结果(报告).根据报告信息我们可以得知失败的用例,但是却不能知道为什么用例会失 ...

  9. vue国际化插件

    1.安装 $ npm install vue-i18n 2.引入 import VueI18n from 'vue-i18n' Vue.use(VueI18n) const i18n = new Vu ...

  10. C#如何判断线程池中所有的线程是否已经完成(转)

    其 实很简单用ThreadPool.RegisterWaitForSingleObject方法注册一个定时检查线程池的方法,在检查线程的方法内调用 ThreadPool.GetAvailableThr ...