VideoPipe可视化视频结构化框架更新总结（2022-12-9）

项目地址：https://github.com/sherlockchou86/video_pipe_c

往期文章：https://www.cnblogs.com/xiaozhi_5638/p/16857995.html

11月有3个更新，有兴趣的扫码加群交流。

支持推理结果序列化（vp_message_broker插件）

基于creal第三方库，对pipeline中的推理结果进行序列化输出。 序列化格式支持json和xml，输出位置支持Console、File、Socket（UDP）以及Kafka。

针对普通检测目标，序列化属性包括：

 1 通道号channel_index
 2 帧序列号frame_index
 3 原始帧宽度width
 4 原始帧高度height
 5 原始帧fps
 6 目标集合 [
 7 目标一级推理检测ID primary_class_id
 8 目标一级推理标签 primary_label
 9 目标一级推理置信度 primary_score
10 目标位置x
11 目标位置y
12 目标宽度width
13 目标高度height
14 目标二级推理分类ID集合 secondary_class_ids
15 目标二级推理分类标签集合 secondary_labels
16 目标二级推理分类置信度集合 secondary_scores
17 目标包含子目标 sub_targets集合 [
18          子目标位置x
19          子目标位置y
20          子目标宽度width
21          子目标高度height
22          子目标检测ID class_id
23          子目标检测标签 label
24          子目标检测置信度 score
25          子目标附加数据 attachments
26 ]
27 目标特征 embeddings
28 目标跟踪ID track_id
29 ]

适配jetson嵌入式设备（或其他arm64平台）

代码在jetson tx2上调通运行，推理后端支持opencv::dnn 和 tenssorrt（其他硬件平台使用对应的推理SDK），下面是代码运行在jetson tx2上的效果：

新增15个sample说明

1-1-1_sample ↓

1个视频源输入，1种推理任务，1个输出。

1-1-N_sample ↓

1个视频源输入，1种推理任务，2个输出。

1-N-N_sample ↓

1个视频源输入，然后拆分成2个分支、2种推理任务，最后各自1个输出。

N-1-N_sample ↓

2个视频源输入，然后合并成1个分支、1种推理任务，最后拆开各自有多个输出。

N_N_sample ↓

各个pipeline独立运行互不干扰，每个pipe都是1-1-1结构（也可以是其他结构）。

paddle_infer_sample ↓

基于paddle推理后端的ocr文字识别。

trt_infer_sample ↓

基于tenssorrt推理后端的车辆检测。

src_des_sample ↓

演示SRC节点和DES节点如何工作，3种SRC节点（FILE，RTSP，UDP）和3种DES节点（SCREEN，RTMP，FAKE）。

face_tracking_sample ↓

演示基于vp_tracker_node的人脸跟踪。

vehicle_tracking_sample ↓

演示基于vp_tracker_node的车辆跟踪。

message_broker_sample ↓

演示推理结果序列化（xml->socket）

message_broker_sample2 ↓

演示推理结果序列化（json->console）

interaction_with_pipe_sample ↓

演示如何控制pipelien，比如开始、暂停某个通道。

record_sample ↓

演示录像功能。

vp_logger_sample ↓

演示日志接口使用。