Qt音视频开发2-vlc回调处理

一、前言

用句柄来显示视频，方便是很方便，但是有个缺点就是不能拿到实时视频的每张图片的数据，这个就比较讨厌，大部分的监控行业的应用，除了截图以外，很可能需要拿到图片自己做一些处理的，而且拿到图片自己绘制的话，这个灵活性就大大增强了，比如绘制各种OSD标签，想怎么绘制就怎么绘制，想在那里绘制就在那里绘制，句柄的话还得搞个标签没有父类自动跟随移动非常讨厌，一个通道就好几个标签，32个通道那就快上百个标签了，效率蛮低的，处理方式看起来傻傻的，每次移动这每个通道都要给标签自动计算位置并move过去。

于是回调就很有必要的，一个好处是可以拿到图片本身的数据用来额外的处理比如人工智能分析人脸分析等，还有一个好处是OSD标签等东西可以自己自由绘制，在vlc中回调的数据格式可以自行指定，比如RV32对应Qt中的Format_RGB32，RGBA对应Qt中的Format_RGBA8888，YUYV则可以直接用QOpenGlWidget来显示，通过GPU来显示还是很好地，大大降低CPU的占用。

二、功能特点

1. 多线程实时播放视频流和本地视频。
2. 支持windows+linux+mac，支持vlc2和vlc3。
3. 多线程显示图像，不卡主界面。
4. 自动重连网络摄像头。
5. 可设置边框大小即偏移量和边框颜色。
6. 可设置是否绘制OSD标签即标签文本或图片和标签位置。
7. 可设置两种OSD位置和风格。
8. 可设置是否保存到文件以及文件名。
9. 可直接拖曳文件到vlcwidget控件播放。
10. 支持h265视频流+rtmp等常见视频流。
11. 可暂停播放和继续播放。
12. 支持回调模式和句柄两种模式。
13. 支持线程读取进度等信息和事件回调两种处理模式。
14. 自动将当前播放位置和音量大小是否静音以信号发出去。
15. 提供接口设置播放位置和音量及设置静音。
16. 支持存储单个视频文件和定时存储视频文件。
17. 自定义顶部悬浮条，发送单击信号通知，可设置是否启用。

三、效果图

四、相关站点

1. 国内站点：https://gitee.com/feiyangqingyun/QWidgetDemo
2. 国际站点：https://github.com/feiyangqingyun/QWidgetDemo
3. 个人主页：https://blog.csdn.net/feiyangqingyun
4. 知乎主页：https://www.zhihu.com/people/feiyangqingyun/
5. 体验地址：https://blog.csdn.net/feiyangqingyun/article/details/97565652

五、核心代码

if (callback) {
    callbackData = new CallbackData;
    callbackData->thread = this;
    callbackData->pixels = new uchar[bufferWidth * bufferHeight * 4];
    memset(callbackData->pixels, 0, bufferWidth * bufferHeight * 4);

    int width = callbackData->thread->getBufferWidth();
    int height = callbackData->thread->getBufferHeight();

    //设置回调拿到每帧数据
    libvlc_video_set_callbacks(vlcPlayer, lock, unlock, display, callbackData);
    //设置每帧格式 RV32-Format_RGB32  RGBA-Format_RGBA8888 YUYV I420
    libvlc_video_set_format(vlcPlayer, "RV32", width, height, width * 4);
}

//#######拿到一帧数据回调
typedef struct CallbackData {
    QMutex mutex;
    VlcThread *thread;
    uchar *pixels;
} CallbackData;

static void *lock(void *op, void **plane)
{
    CallbackData *callbackData = (CallbackData *)op;
    callbackData->mutex.lock();
    *plane = callbackData->pixels;
    return NULL;
}

static void unlock(void *op, void *pic, void *const *plane)
{
    CallbackData *callbackData = (CallbackData *)op;
    uchar *data = (uchar *)*plane;
    int width = callbackData->thread->getBufferWidth();
    int height = callbackData->thread->getBufferHeight();
    QImage image(data, width, height, QImage::Format_RGB32);

    callbackData->thread->setImage(image);
    callbackData->mutex.unlock();
}

static void display(void *op, void *pic)
{
    (void)op;
}
//####################