FFMPEG+SDL简单视频播放器—

前言

最近突发奇想，给播放器加上一个人脸检测的功能（事情似乎朝着奇怪的方向发展了，谁家的播放器会需要去检测人脸啊！），主要的目的是为了学习opencv，尝试将ffmpeg和opencv融合在一起使用。这里着重展示opencv用于人脸检测部分的代码，播放器其余部分可以参考《FFMPEG+SDL简单视频播放器——视频播放》和《FFMPEG+SDL简单视频播放器——视频快进》

实现

人脸检测

在之前写的播放器中，视频帧的格式为YUV420。在opencv处理图片前需要进行格式转化，将图片格式从YUV420转化成BGR。如果不进行格式转化，图片被opencv处理后的部分会出现颜色无法正常显示的问题

cv::cvtColor(yuvimg, img, COLOR_YUV2BGR_I420);

在检测到人脸后，用红框将人脸框起来

if (faces.size() > 0)

{

    for (size_t i = 0; i < faces.size(); i++)

    {

        rectangle(img, faces[i], Scalar(0, 0, 255), 3, 8, 0);

    }

}

在opencv对图片处理完成后，将处理后的图片进行返回。这里用到了haarcascade_frontalface_alt2.xml文件，需要提前下载，或者从opecv的编译目录下复制过来。

完整的人脸检测函数如下

cv::Mat detect_face(Mat yuvimg, int64_t times)

{

    cv::Mat img;

    // 转换YUV图像为BGR图像

    cv::cvtColor(yuvimg, img, COLOR_YUV2BGR_I420);

    CascadeClassifier cascade;

    const string path = "./haarcascade_frontalface_alt2.xml";

    // 尝试加载人脸检测器模型

    if (!cascade.load(path))

    {

        // 如果加载失败，返回原始YUV图像

        return yuvimg;

    }

    vector<cv::Rect> faces(0);

    // 使用人脸检测器检测人脸

    cascade.detectMultiScale(img, faces, 1.1, 2, 0, Size(30, 30));

    // 如果检测到人脸

    if (faces.size() > 0)

    {

        // 在图像上绘制检测到的人脸的红色框

        for (size_t i = 0; i < faces.size(); i++)

        {

            rectangle(img, faces[i], Scalar(0, 0, 255), 3, 8, 0);

        }

    }

    else

    {

        // 如果未检测到人脸，返回原始YUV图像

        return yuvimg;

    }

    // 返回处理后的YUV图像

    cv::cvtColor(img, yuvimg, COLOR_BGR2YUV_I420);

    return img;

}

视频播放

定义一个Mat，用于接收视频帧

cv::Mat frameMat;

在对AVFrame的格式进行转换后，将图像数据传递给Mat

sws_scale(img_convert_ctx, (const unsigned char *const *)pFrame->data, pFrame->linesize, 0, pCodecCtx->height, pFrameYUV->data, pFrameYUV->linesize);

int64_t pts = packet->pts;

frameMat = cv::Mat(pCodecCtx->height * 3 / 2, pCodecCtx->width, CV_8UC1, pFrameYUV->data[0]);

调用detect_face函数对视频帧进行人脸检测，得到经过处理后的视频帧

frameMat = detect_face(frameMat, pts);

将视频帧传递给SDL，通过SDL进行播放

SDL_UpdateTexture(sdlTexture, NULL, frameMat.data, frameMat.step);

SDL_RenderClear(sdlRenderer);

SDL_RenderCopy(sdlRenderer, sdlTexture, NULL, &sdlRect_1);

SDL_RenderPresent(sdlRenderer);

需要注意的地方是在ffmpeg，opencv和sdl之间进行图像数据的传递时，三者之间的图像数据格式。必要时需要进行图像格式转换，确保图像数据被正确的处理，否则会出现视频无法正常播放或者视频颜色无法正常显示的问题。

播放器的最新完整源码：https://github.com/canaconZion/streaming-practice/tree/main/opencv

在windows端编译opencv过程稍微有点繁琐，有空我会写一篇关于在windows端编译opencv源码的blog，帮大家避避坑

Makefile

INC_DIR = ./include

BIN_DIR = ./bin

SRC = face_detect_player.cpp

LIB = -lavutil -lavformat -lavcodec -lavutil -lswscale -lswresample \

    -lSDL2 -llibopencv_core480 -llibopencv_imgcodecs480 -lopencv_highgui480 \

    -lopencv_objdetect480 -lopencv_imgproc480

TARGET = detectPlayer

BIN_TARGET = $(BIN_DIR)/$(TARGET)

CC = g++

$(BIN_TARGET):$(SRC)

	$(CC) $(SRC) -o $(BIN_TARGET) \

		-I$(INC_DIR) \

		$(LIB)

clean:

	rm $(BIN_TARGET).exe

视频播放效果