Qt编写安防视频监控系统26-硬件加速

一、前言

硬件加速这个功能在一年多以前就已经具备，当时对两个内核一个是ffmpeg内核、一个是vlc内核都做了对应的接口函数，只是当时为了简单没有在系统设置中做出接口，vlc做硬件加速不用自己写代码实现，毕竟vlc是在ffmpeg基础上又增加了一层壳，硬件加速那块的功能都vlc自己内部实现了，只需要设置参数传进去即可，而ffmpeg需要自己根据对应的函数来实现解码，这个网上搜索能找到很多类似的答案的，推荐看雷神的博客，讲得非常详细，在国内ffmpeg的分析文章博客这块，神一般的存在。ffmpeg自带demo中有硬件加速的代码，根据他的代码直接抄过来就可以，ffmpeg支持qsv、vaapi、vdpau、dxva2、d3d11va几种，vlc支持auto、any、vdpau、dxva2、d3d11va这几种，推荐在windows上使用d3d11va。

对应硬件加速还有个叫硬件解码，一般都是专门的音视频硬件来处理，比如海思的芯片，这个在安防视频监控领域很常见，毕竟通过GPU也好硬件加速也好，要并发处理大量的视频流信息，大量占用系统资源不大好，还是直接专门的解码芯片处理更方便，速度也更快，而且丝毫不影响系统正常运行，这种专有的视频解码芯片都会提供对应的头文件给你调用，你只需要按照手册进行编写即可，这种不具有通用性，依赖具体的硬件芯片。

其实硬件加速也需要硬件支持，比如没有GPU的芯片，那就肯定没法搞硬件加速，一般现在的X86的芯片都会有GPU的，要支撑各种大型游戏的正常运行肯定要不错的GPU运算能力才行，所以后面才会出现独立显卡，专门用来显示加速，一套系统稳定性第一位，流畅性可能就是其次了，如果在使用软件系统的过程中一卡一卡的，相信没有几个用户心理舒服。

电脑硬件加速即是利用硬件模块来代替软件算法以补充利用硬件所固有的快速特性。简单的说就是利用显卡的GPU来代替CPU处理，显卡的GPU在处理速度上圆圆高于CPU，因此有很多人启用硬件加速来加速显卡的流畅度。由于中央处理器的结构使得它能够在短时间内完成各种各样不同的指令。它能够处理什么指令主要由软件限制。但是由于中央处理器的结构有些重复任务无法非常有效和迅速地被处理。通过使用专门为这样的重复任务设计的特殊硬件元件（芯片或者处理器，通常是用GPU完成）可以解决这个问题。这些特殊硬件元件不必像中央处理器那样灵活，因此它们的硬件设计就已经顾及了优化处理这些特殊问题的需要，这样一来中央处理器有时间去处理其它任务。

视频控件开源地址：https://gitee.com/feiyangqingyun/QWidgetDemo https://github.com/feiyangqingyun/QWidgetDemo

文件名称：videowidget

体验地址：https://gitee.com/feiyangqingyun/QWidgetExe https://github.com/feiyangqingyun/QWidgetExe

文件名称：bin_video_system.zip

二、功能特点

1. 支持16画面切换，全屏切换等，包括1+4+6+8+9+13+16画面切换。
2. 支持alt+enter全屏，esc退出全屏。
3. 自定义信息框+错误框+询问框+右下角提示框。
4. 17套皮肤样式随意更换，所有样式全部统一，包括菜单等。
5. 云台仪表盘鼠标移上去高亮，八个方位精准识别。
6. 底部画面工具栏（画面分割切换+截图声音等设置）移上去高亮。
7. 可在配置文件更改左上角logo+中文软件名称+英文软件名称。
8. 封装了百度地图，视图切换，设备点位，鼠标按下获取经纬度等。
9. 堆栈窗体，每个窗体都是个单独的qwidget，方便编写自己的代码。
10. 顶部鼠标右键菜单，可动态控制时间CPU+左上角面板+左下角面板+右上角面板+右下角面板的显示和隐藏，支持恢复默认布局。
11. 工具栏可以放置多个小图标和关闭图标。
12. 左侧右侧可拖动拉伸，并自动记忆宽高位置，重启后恢复。
13. 双击摄像机节点自动播放视频，双击节点自动依次添加视频，会自动跳到下一个，双击父节点自动添加该节点下的所有视频。
14. 摄像机节点拖曳到对应窗体播放视频，同时支持拖曳本地文件直接播放。
15. 视频画面窗体支持拖曳交换，瞬间响应。
16. 双击节点+拖曳节点+拖曳窗体交换位置，均自动更新url.txt。
17. 支持从url.txt中加载16通道视频播放，自动记忆最后通道对应的视频，软件启动后自动打开播放。
18. 右下角音量条控件，失去焦点自动隐藏，音量条带静音图标。
19. 集成百度在线地图和离线地图，可以添加设备对应位置，自动生成地图，支持缩放和添加覆盖物等。
20. 视频拖动到通道窗体外自动删除视频。
21. 鼠标右键可删除当前+所有视频，截图当前+所有视频。
22. 录像机管理、摄像机管理，可添加删除修改导入导出打印信息，立即应用新的设备信息生成树状列表，不需重启。
23. 在pro文件中可以自由开启是否加载地图。
24. 视频播放可选四种内核自由切换，vlc+ffmpeg+easyplayer+海康sdk，均可在pro中设置。
25. 可设置1+4+9+16画面轮询，可设置轮询间隔以及轮询码流类型等，直接在主界面底部工具栏右侧单击启动轮询按钮即可，再次单击停止轮询。
26. 默认超过10秒钟未操作自动隐藏鼠标指针。
27. 支持onvif搜素设备，支持任意onvif摄像机，包括但不限于海康大华宇视天地伟业华为等，支持onvif云台控制。
28. 高度可定制化，用户可以很方便的在此基础上衍生自己的功能，支持linux系统。

三、效果图

四、核心代码

int FFmpegThread::decode_packet(AVCodecContext *avctx, AVPacket *packet)
{
#ifndef gcc45
    int ret = 0;
    ret = avcodec_send_packet(avctx, packet);
    if (ret < 0) {
        qDebug() << TIMEMS << "Error during decoding";
        return ret;
    }

    while (ret >= 0) {
        ret = avcodec_receive_frame(avctx, avFrame);
        if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) {
            break;
        } else if (ret < 0) {
            qDebug() << TIMEMS << "Error during decoding";
            break;
        }

        ret = av_hwframe_transfer_data(avFrame2, avFrame, 0);
        if (ret < 0) {
            qDebug() << TIMEMS << "Error transferring the data to system memory";
            av_frame_unref(avFrame2);
            av_frame_unref(avFrame);
            return ret;
        }
    }
#endif

    return 1;
}

static AVPixelFormat get_qsv_format(AVCodecContext *avctx, const enum AVPixelFormat *pix_fmts)
{
#ifndef gcc45
    while (*pix_fmts != AV_PIX_FMT_NONE) {
        if (*pix_fmts == AV_PIX_FMT_QSV) {
            DecodeContext *decode = (DecodeContext *)avctx->opaque;
            avctx->hw_frames_ctx = av_hwframe_ctx_alloc(decode->hw_device_ref);
            if (!avctx->hw_frames_ctx) {
                return AV_PIX_FMT_NONE;
            }

            AVHWFramesContext *frames_ctx = (AVHWFramesContext *)avctx->hw_frames_ctx->data;
            AVQSVFramesContext *frames_hwctx = (AVQSVFramesContext *)frames_ctx->hwctx;

            frames_ctx->format = AV_PIX_FMT_QSV;
            frames_ctx->sw_format = avctx->sw_pix_fmt;
            frames_ctx->width = FFALIGN(avctx->coded_width, 32);
            frames_ctx->height = FFALIGN(avctx->coded_height, 32);
            frames_ctx->initial_pool_size = 32;
            frames_hwctx->frame_type = MFX_MEMTYPE_VIDEO_MEMORY_DECODER_TARGET;

            int ret = av_hwframe_ctx_init(avctx->hw_frames_ctx);
            if (ret < 0) {
                return AV_PIX_FMT_NONE;
            }

            return AV_PIX_FMT_QSV;
        }

        pix_fmts++;
    }
#endif

    qDebug() << TIMEMS << "The QSV pixel format not offered in get_format()";
    return AV_PIX_FMT_NONE;
}

enum AVPixelFormat hw_pix_fmt;
static enum AVPixelFormat get_hw_format(AVCodecContext *ctx, const enum AVPixelFormat *pix_fmts)
{
    const enum AVPixelFormat *p;
    for (p = pix_fmts; *p != -1; p++) {
        if (*p == hw_pix_fmt) {
            return *p;
        }
    }

    qDebug() << TIMEMS << "Failed to get HW surface format";
    return AV_PIX_FMT_NONE;
}