探索 JavaCV：开启计算机视觉与多媒体处理新世界

JavaCV 是什么？
安装指南
有趣的 JavaCV 使用示例
引用

在当今的技术领域，计算机视觉和多媒体处理的应用愈发广泛。从视频监控到直播录制，再到美颜相机等有趣的功能，都离不开强大的处理库。JavaCV 作为基于 OpenCV 和 FFmpeg 的 Java 接口库，为 Java 开发者打开了一扇通往这些功能的大门。接下来，就让我们一起深入了解 JavaCV 的神奇之处吧！

JavaCV 是什么？

JavaCV 就像是一个超级桥梁，它将 OpenCV 和 FFmpeg 这两个在 C++ 世界中叱咤风云的库，引入到了 Java 的环境里。有了 JavaCV，开发者无需再纠结于 C++ 的复杂语法和编译环境，在 Java 里就能轻松实现视频处理、图像分析、特征提取等高端操作。

它的特性超厉害

OpenCV 功能封装：JavaCV 把 OpenCV 的 C++ API 进行了精心封装，提供了和原生 API 很相似的 Java 接口。不管是图像处理、特征检测，还是目标跟踪，都能信手拈来。
FFmpeg 集成：集成了 FFmpeg 库，意味着 JavaCV 支持多种音视频格式的编解码、转码以及流媒体处理。以后处理音视频，就像吃蛋糕一样简单。
GPU 加速支持：在这个追求速度的时代，JavaCV 支持利用 GPU 进行加速计算。对于那些计算密集型任务，速度提升可不是一星半点。
多平台兼容：无论是 Windows、Linux 还是 macOS，JavaCV 都能完美运行，跨平台性一流。

安装指南

如果你使用 Gradle，安装 JavaCV 就像下面这样简单：



dependencies {

    implementation 'org.springframework.boot:spring-boot-starter-web'

    // JavaCV 核心依赖

    implementation group: 'org.bytedeco', name: 'javacv-platform', version: '1.5.7'

    // Tesseract JavaCPP Presets

    implementation group: 'org.bytedeco', name: 'tesseract-platform', version:

'5.0.1-1.5.7'

    compileOnly 'org.projectlombok:lombok'

    annotationProcessor 'org.projectlombok:lombok'

    // Apache HttpClient 依赖

    implementation 'org.apache.httpcomponents:httpclient:4.5.14'

    // fastjson2 核心依赖

    implementation 'com.alibaba.fastjson2:fastjson2:2.0.36'

    implementation 'cn.hutool:hutool-all:5.8.1'

    implementation 'org.springdoc:springdoc-openapi-ui:1.7.0'

}

这里要注意啦，本文使用的 SpringBoot 版本为 2.7.6，JDK 版本为 11。而且在 Intellj IDEA 的“外部库”依赖关系中可以发现，javacv - platform 已经自带了很多依赖包，甚至连 ffmpeg 库都包含在内，所以使用时无需单独安装 ffmpeg 库。

有趣的 JavaCV 使用示例

录制 RTMP 直播流

想象一下，你正在观看一场精彩的直播，想要把它录制下来慢慢回味。JavaCV 就能帮你轻松实现这个需求。

核心对象揭秘

FFmpegFrameGrabber：它就像一个勤劳的小蜜蜂，从直播源中抓取帧数据。
FFmpegFrameRecorder：负责把抓取到的帧数据录制下来，保存成 MP4 文件。

下面是封装在 Spring Boot 中的示例代码：



@Slf4j

@RequiredArgsConstructor

@Component

public class RecordComponent {

    /**

     * 录制MP4

     *

     * @param deviceCode 设备编码

     * @param videoUrl  直播url

     * @param dpi 录制的视频质量（720p，1080p，2k）

     * @return

     */

    @Async("customThreadPool")

    public String record(String deviceCode, String videoUrl, DpiEnum dpi) {

        log.debug("video_record_param:deviceCode={},videoUrl={},dpi={}", deviceCode, videoUrl, dpi);

        try (FFmpegFrameGrabber grabber = new FFmpegFrameGrabber(videoUrl)) {

            if (videoUrl.startsWith("rtmp")) {

                //使用 TCP 避免丢包

                grabber.setOption("rtmp_transport", "tcp");

            }

            if (videoUrl.startsWith("rtsp")) {

                //使用 TCP 避免丢包

                grabber.setOption("rtsp_transport", "tcp");

            }

            //禁用数据缓冲区,直接从源读取，适用于实时流（如 RTSP/RTMP），减少从源到帧抓取的延迟

            grabber.setOption("fflags", "nobuffer");

            grabber.start();

            String videoSavePath="";

            try (FFmpegFrameRecorder recorder = new FFmpegFrameRecorder(videoSavePath, dpi.getWidth(), dpi.getHeight())) {

                // 禁用音频,若源中存在音频通道(即grabber.getAudioChannels()>0)，此配置无法生效

                recorder.setAudioChannels(0);

                //设置编码格式：h264

                recorder.setVideoCodec(avcodec.AV_CODEC_ID_H264);

                recorder.setFormat("mp4");

                //fps,帧率表示视频中每秒钟显示的静态画面数量

                recorder.setFrameRate(grabber.getFrameRate());

                //视频色彩相关配置

                recorder.setPixelFormat(avutil.AV_PIX_FMT_YUV420P);

                //降低视频编码延迟，适用于对实时性要求极高的场景

                recorder.setOption("tune", "zerolatency");

                //预设值影响编码速度和压缩效率的平衡

                recorder.setOption("preset", "veryfast");

                recorder.start();

                Frame frame;

                while ((frame = grabber.grab()) != null) {

                    recorder.record(frame);

                    log.debug("video_record_{}视频帧录制成功", deviceCode);

                }

            } catch (Exception e) {

                log.error("video_record_recorder_error,msg={},deviceCode={}", e.getMessage(), deviceCode);

                log.error("video_record_recorder_error", e);

            }

        } catch (Exception e) {

            log.error("video_record_grabber_error,msg={},deviceCode={}", e.getMessage(), deviceCode);

            log.error("video_record_grabber_error", e);

        }

    }

}

这里的 @Component 让这个类成为 Spring IOC 组件，方便在其他地方注入使用。@Async 开启了异步线程，因为录制直播可能需要很长时间，不能让请求方一直等待。

原理：通过 FFmpegFrameGrabber 从指定的直播地址抓取帧数据，然后通过 FFmpegFrameRecorder 将帧数据录制为 mp4 文件。这里面会通过调用自包含的ffmpeg库，实现录制功能。

捕获摄像头画面

想不想用 Java 打开笔记本的摄像头，看看自己帅气或美丽的脸庞？下面的代码就能帮你实现：



public class CameraComponent {

    /**

     * 打开摄像头并显示视频流，不可以以SpringBoot Web方式调用， 可以使用 main 调用。

     */

    public static void openCamera() {

        try (OpenCVFrameGrabber grabber = new OpenCVFrameGrabber(0)) {

            grabber.start();

            CanvasFrame frameViewer = new CanvasFrame("摄像头视频");

            frameViewer.setCanvasSize(grabber.getImageWidth(), grabber.getImageHeight());

            Frame frame;

            while ((frame = grabber.grab()) != null && frameViewer.isVisible()) {

                frameViewer.showImage(frame);

            }

            frameViewer.dispose();

        } catch (Exception e) {

            log.error("打开摄像头失败", e);

        }

    }

    public static void main(String[] args) {

        openCamera();

    }

}

OpenCVFrameGrabber 负责捕获摄像头的视频流，CanvasFrame 则用来显示视频流。不过要注意哦，这个方法只能在 main 方法里运行，Spring Boot Web 项目启动会报错。

美颜相机

有了摄像头，怎么能少了美颜功能呢？JavaCV 也能实现简单的美颜效果。



public class CameraComponent {

    /**

     * 美颜相机

     */

    public static void beautyFace() {

        try (OpenCVFrameGrabber grabber = new OpenCVFrameGrabber(0)) {

            CanvasFrame frameViewer = new CanvasFrame("美颜相机");

            grabber.start();

            frameViewer.setCanvasSize(grabber.getImageWidth(), grabber.getImageHeight());

            String cascadePath = "D:\\temp\\haarcascade_frontalface_default.xml";

            System.out.println("人脸检测器路径: " + cascadePath);

            CascadeClassifier faceDetector = new CascadeClassifier(cascadePath);

            OpenCVFrameConverter.ToMat converter = new OpenCVFrameConverter.ToMat();

            Frame frame;

            while ((frame = grabber.grab()) != null && frameViewer.isVisible()) {

                Mat mat = converter.convert(frame);

                if (mat == null) continue;

                Mat gray = new Mat();

                cvtColor(mat, gray, COLOR_BGR2GRAY);

                equalizeHist(gray, gray);

                RectVector faceDetections = new RectVector();

                faceDetector.detectMultiScale(gray, faceDetections);

                gray.release();

                for (int i = 0; i < faceDetections.size(); i++) {

                    Rect rect = faceDetections.get(i);

                    applyBeautyFilter(mat, rect);

                }

                frameViewer.showImage(converter.convert(mat));

            }

        } catch (Exception e) {

            e.printStackTrace();

        }

    }

    /**

     * 简化版美颜滤镜实现

     * @param frame

     * @param face

     */

    private static void applyBeautyFilter(Mat frame, Rect face) {

        int expand = face.width() / 4;

        Rect expandedFace = new Rect(

                Math.max(0, face.x() - expand),

                Math.max(0, face.y() - expand),

                Math.min(frame.cols() - face.x() - 1, face.width() + 2 * expand),

                Math.min(frame.rows() - face.y() - 1, face.height() + 2 * expand)

        );

        Mat faceROI = new Mat(frame, expandedFace);

        Mat smoothed = new Mat();

        bilateralFilter(faceROI, smoothed, 15, 80, 80);

        smoothed.copyTo(new Mat(frame, expandedFace));

        smoothed.release();

        faceROI.release();

    }

}

这个美颜功能主要是磨皮和虚化，让你的皮肤看起来更加光滑。不过它只对正脸有效哦，如果侧着脸或者没有检测到人脸，就不会有效果啦。

大致思路为，先捕捉摄像头的视频流，解析出帧数据，然后将帧数据转成图片给OpenCV库处理，处理完毕就是美颜之后的图片，再渲染到播放窗口上。

bilateralFilter：调用OpenCV的这个方法，实现磨皮效果。具体这个方法的作用可以参考：https://homepages.inf.ed.ac.uk/rbf/CVonline/LOCAL_COPIES/MANDUCHI1/Bilateral_Filtering.html

haarcascade_frontalface_default.xml：这是 OpenCV 提供的一个预训练模型文件，用于人脸检测。它基于 Haar 级联分类器（Haar Cascade Classifier）算法，包含了训练好的人脸特征数据，用于识别图像中的正面人脸区域。

faceDetections：这个对象的size 大于0 ，说明检测到了人脸。

JavaCV 的功能远不止这些，它就像一个宝藏库，等待着开发者们去挖掘更多有趣又实用的功能。赶紧动手试试吧！

引用

https://github.com/bytedeco/javacv

https://bytedeco.org/

https://gitee.com/naylor_personal/ramble-spring-boot/tree/master/java-cv