Qt音视频开发31-Onvif抓拍图片

一、前言

抓拍是个很重要的功能，比如在报警视频联动中需要一张实时的图片，很多SDK不提供抓拍功能，而通过预览抓图，得到的图片已不具有实时性，那如何得到实时的图片呢？现在的IPC基本上都支持ONVIF协议，ONVIF协议除了提供RTSP的URL外，其实也给出了抓拍的URL，从Media的GetSnapshotUri获取。

以前不知道onvif也可以做抓拍功能，直到近期重新用Onvif Device Test Tool工具测试的时候，发现还有抓图的接口，于是抓跑分析出要收发的数据，然后加入到自己封装的onvif操作类中，这个抓图有个应用场景就是报警以后，直接通过onvif抓图，而不需要打开实时视频流，基本上不占用什么资源。

还有一种应用场景是作为图像智能检测服务，采集监控摄像机的在线运行状况，抓拍监控图像定时上传至云服务平台，人工或者智能分析图片，检测监控图像的情况，比如是否位置不正确，是否黑画面，光照度够不够等，发现问题后及时派遣维修人员上门维修，同时监控信息丢失后，也能立即通知维修人员去查看现场等，这就需要用到onvif抓图，如何检测设备是否在运行呢，方法比较多，其实可以用onvif协议读取日期时间，正常的话都会返回一个时间，当然也可以定时搜索一遍所有设备，然后与之前存储的设备比较，连续多少次少了哪一个就认为掉线。

抓拍图片流程：

发送GetSnapshotUri获取到对应token的抓图路径。
通过get方式请求这个路径，注意这里建议带上用户信息。
返回的数据就是图片的数据，接收完成以后用QImage的loadFromData载入即可。

onvif主要的功能：

搜索设备，获取设备的信息比如厂家、型号等。
获取设备的多个配置文件信息profile。
获取对应配置文件的视频流地址rtsp，以及分辨率等参数。
云台控制，上下左右移动，焦距放大缩小，相对和绝对移动。
获取预置位信息，触发预置位。
订阅事件，接收设备的各种消息尤其是报警事件比如IO口的报警。
抓图，获取设备当前的图片。
获取、创建、删除用户信息。
获取和设备网络配置信息比如IP地址等。
获取和设置NTP时间同步以及设置设备时间。
获取和设置视频参数和图片参数（亮度、色彩、饱和度）。
重启设备。

onvif的处理流程：

绑定组播IP（239.255.255.250）和端口（3702），发送固定的xml格式的数据搜索设备。
接收到的xml格式的数据解析，得到设备的Onvif地址。
对Onvif地址发送对应的数据，收到数据取出对应的节点数据。
请求Onvif地址获取Media地址和Ptz地址，Media地址用来获取详细的配置文件，Ptz地址用来云台控制。
ptz控制是对Ptz地址发送对应的数据即可。
设置了用户认证的需要组织用户token信息一块发送，每次都需要作鉴权处理。
接收到的数据不是标准的xml数据，没法按照正常的节点解析来处理，只能用QXmlQuery来做。
每个厂家设备返回的数据未必完全一致，基本上都不一致，需要进行模糊查找节点值。
特意采用底层协议解析，因为soap太臃肿函数名称太另类，特意做的轻量级的。
两个必备工具，Onvif Device Manager 和 Onvif Device Test Tool。

二、功能特点

广播搜索设备，支持IPC和NVR，依次返回，可选择不同的网卡IP。
依次获取Onvif地址、Media地址、Profile文件、Rtsp地址。
可对指定的Profile获取视频流Rtsp地址，比如主码流子码流地址。
可对每个设备设置Onvif用户信息，用于认证获取详细信息。
可实时预览摄像机图像。
支持云台控制，可上下左右调节云台，支持绝对移动和相对移动，可放到和缩小图像远近。
支持Qt4和Qt5任意Qt版本，亲测Qt4.7.0到Qt5.14.2。
支持任意编译器，亲测mingw、msvc、gcc、clang。
支持任意操作系统，亲测xp、win7、win10、android、linux、嵌入式linux、树莓派全志H3等。
支持任意Onvif摄像机和NVR，亲测海康、大华、宇视、华为、海思芯片内核等，可定制开发。
支持对指定IP地址及onvif地址进行单播搜索，比如跨网段情况下非常有用。
支持指定过滤条件过滤搜索设备。
支持搜索间隔设置，保证所有设备搜索回来，在大量设备现场很有用。
可对图片参数（亮度、色彩度、饱和度）进行设置。
支持NTP校时和时间同步设置。
纯Qt编写，超级小巧轻量，总共约2000行代码，不依赖任何第三方的库和组件，跨平台。
封装好了通用的数据发送和接收解析的函数，可以非常方便的自行拓展其他Onvif处理。
工具上提供了收发数据文本框，显示收发的数据，方便查看和分析。
支持所有Onvif设备，代码工整，接口友好，直接引入pri即可使用。

三、效果图

四、相关站点

国内站点：https://gitee.com/feiyangqingyun/QWidgetDemo
国际站点：https://github.com/feiyangqingyun/QWidgetDemo
个人主页：https://blog.csdn.net/feiyangqingyun
知乎主页：https://www.zhihu.com/people/feiyangqingyun/
体验地址：https://blog.csdn.net/feiyangqingyun/article/details/97565652

五、核心代码

#include "onvifsnap.h"

#include "onvifhelper.h"

#include "onvifrequest.h"

#include "onvifquery.h"

OnvifSnap::OnvifSnap(QObject *parent) : QObject(parent)

{

    device = 0;

}

void OnvifSnap::setDevice(OnvifDevice *device)

{

    this->device = device;

}

QString OnvifSnap::getSnapshotUri(const QString &profileToken)

{

    if (device->mediaUrl.isEmpty()) {

        return QString();

    }

    QString file = OnvifHelper::getFile(":/send/getSnapshotUri.xml");

    file = file.arg(device->request->getUserToken()).arg(profileToken);

    QByteArray dataSend = file.toUtf8();

    QNetworkReply *reply = device->request->post(device->mediaUrl, dataSend);

    emit sendData(dataSend, device->mediaUrl);

    QByteArray dataReceive;

    bool ok = device->checkData(reply, dataReceive, "请求截图");

    if (ok) {

        OnvifQuery query;

        query.setData(dataReceive);

        device->snapUrl = query.getSnapUrl();

        if (!device->snapUrl.isEmpty()) {

            //重新加上用户认证,取图片也需要认证的

            emit receiveInfo(QString("抓图地址-> %1").arg(device->snapUrl));

            QString userInfo = QString("http://%1:%2@").arg(device->userName).arg(device->userPwd);

            device->snapUrl = device->snapUrl.replace("http://", userInfo);

        }

    }

    return device->snapUrl;

}

QImage OnvifSnap::snapImage(const QString &profileToken)

{

    //这里还可以考虑过滤,比如已经存在了 snapUrl 则不需要去获取地址

    getSnapshotUri(profileToken);

    QImage image;

    if (!device->snapUrl.isEmpty()) {

        //请求图片数据回复 1080P 大概需要 600ms

        //默认采用的是同步阻塞获取,并不会卡主界面

        QNetworkReply *reply = device->request->get(device->snapUrl);

        QByteArray dataReceive;

        bool ok = device->checkData(reply, dataReceive, "收到截图", false);

        if (ok) {

            //下面这行代码非常耗时 1080P 图片大概需要 80ms 如果需要频繁的截图建议放入线程处理

            image.loadFromData(dataReceive);

        }

    }

    return image;

}