用于多视角人群计数的协同通信图卷积网络 Co-Communication Graph Convolutional Network for Multi-View Crowd Counting

Multi-Camara Methods

Co-Communication Graph Convolutional Network for Multi-View Crowd Counting

论文url https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9860092

针对问题

以往方法利用多视角图像特征像素级匹配，匹配关系估计亲和矩阵，错误匹配会导致估计结果不准确

方法

将每个摄像机试图投射到一个图中，节点为Vi，边为Ei，用于捕捉视图内的上下文依赖关系和视图间的互补关系

• 输入：

  • 多摄像头视角数据集，模型输入是一组来自多个摄像机视角的图像，记作{l1, l2, ..., ln}。

• 输出：

  • 场景级密度图，模型的输出是一个场景级密度图(D)，该密度图表示整个监控区域的估计人流量。该密度图是通过融合所有视角的信息得到的，并且可以从中计算出总人数。

• 单视角特征提取层:

  • 使用全卷积网络（例如截断的VGG网络）从每个输入图像中提取特征，得到一组初始单视角表示 {f1, f2, ..., fn}。

• 图构建层:

  • 对于每个特征图 fi，使用聚类方法将其投影到一个图 Gi = (Vi, Ei) 上，其中 Vi 是节点集合，Ei 是边集合，表示特征向量之间的相关性。

• 图通信层（GCL）:

  • 通过建立图之间的显式链接来编码跨视角的互补信息。这一层使用匹配函数（如余弦相似性）和消息传递函数来更新每个图的节点表示。

• 图卷积层（GCN）:

  • 对每个更新后的图表示进行图卷积操作，以捕获单视角内的上下文依赖性。这一层使用标准的图卷积网络来实现。

• 图重投影层:

  • 将图卷积层输出的节点表示重新投影回原始特征图的坐标空间，以增强特征表示。这通常通过注意力机制实现。

• 共记忆层（CoML）:

  • 这一层通过层次化图池化过程来学习每个单视角图的层次化表示。它使用共享的键值记忆机制来粗化图，并生成一系列层次化的图表示。

• 宽区域表示学习层:

  • 这一层将多视角特征映射到场景级坐标空间，并使用融合函数（例如连接层后跟1x1卷积层）来产生最终的场景级表示。

• 分类器:

  • 最后，使用一个可学习的分类器（通常是1x1卷积层）将场景级表示映射到相应的密度图 D，通过求和所有值来计算总人数。

效果图

后记

时隔一两年，重新启动这个blog，发现很多图片都挂掉了，实在影响阅览体验，抱歉。但是莫名有一种隔了多年返乡打扫自家已经长满杂草的院子的感觉。（图片全部都换新了，如果有什么觉得不太合适的地方可以留言我都会查看的）

今天开始打算在这个上面记录一些论文学习以及一些代码学习的内容，虽然这个模板页面不太利于浏览，浏览方式也不太完美，但是我毕竟不是搞前端的，并且平时也没有多余时间去弄前端了吧，所以就不打算修改了，能用就行。

最近因为工作要阅读大量的multi-camara learning相关的技术，故在此记录，但是这篇是基于图神经网络的网络模型，我不是很熟悉，并且暂不打算学习图神经网络，该篇浏览速度较快，对相应技术理解可能有一些不到位的地方，可能后续学习图神经网络的时候会回来纠正，也欢迎留言指正修改，谢谢。