Multi-Camera Coordination and Control in Surveillance Systems: A Survey 阅读笔记

原文：
Natarajan, Prabhu, Pradeep K. Atrey, and Mohan Kankanhalli. "Multi-camera coordination and control in surveillance systems: A survey." ACM Transactions on Multimedia Computing, Communications, and Applications (TOMM) 11.4 (2015): 57.

这篇论文主要调研了现有的监控系统中多摄像头协同控制(MC3)的一些技术，重点针对架构、方法策略和相关的监控任务进行介绍。

INTRODUCTION

监控系统中常用到的摄像头
- pan-tilt-zoom (PTZ), 2010 PTZ摄像头，高分辨率的宽景相机，* 支持全方位（左右/上下）移动及镜头变倍、变焦控制 *
- omni-directional, 2007 全方向摄像头
- smart cameras, 2008 智能摄像头
多摄像头协同控制(MC3)

一种可以让多个异构摄像头：

(1) 捕捉和分析视频

(2) 通过相邻的摄像机节点通信，收集和融合环境的信息

(3) 计算并执行最佳控制措施，以协作方式执行所需的监视任务

的机制。

EVOLUTION

物体识别 1985s
物体跟踪、宽景相机、遮挡处理 1990s
高分辨率、多智能体 2000s
协作传感、智能相机系统 2010s

ARCHITECTURES

分布型（Distributed）

通过与相邻的摄像机节点交换信息实现
集中型（Centralized）

主管节点（manager/supervisor node）负责管理下属摄像头节点，任意两个摄像头节点的信息交互都要经过管理员节点才能实现。
混合型（Hybrid)

集中型和分布型的组合，摄像机节点执行低级功能，如目标检测、跟踪和分类，并将结果报告给主管节点。
多层次型（Multi-tier）

混合型的一种变体，顶层中的摄影机节点以分层方式控制底层中的摄影机

STRATEGIES

多智能体系统（Multiagent System,MAS）

一个摄像头就是一个智能体（Agent）
- BDI(Belief, Desire, Intention) 知识模型
  
  有助于将高层次的应用目标整合到代理（即摄像机和传感器）中。
  
  Belief：信息，包括自己的和邻居智能体的
  
  Desire：监控目标
  
  Intention：为了目标采取的一系列行为动作
只是架构层面，协作算法还需要细化。
控制理论方法（Control-Theoretic Approach）

用来处理由系统环境、传感器测量和控制器组成的动态系统（dynamic systems）。

引入反馈控制机制（feedback control
mechanism），系统根据自身状态来进行控制，控制器计算被测输出和参考之间的误差，并选择最优控制信号以使误差最小化。

在监控系统中不常使用，因为迁移函数复杂，而且不稳定。
决策理论方法（Decision-Theoretic Approach）

监视环境充满了多种不确定因素，如目标的运动、位置、噪声摄像机观测等。基于效用理论(utility theory)和概率论的归纳应用(inductive use of probability theory)的概率模型可以说明这些不确定性

利用：
- 马尔科夫决策过程（Markov Decision Process, MDP）
- 部分可观测马尔科夫决策过程（Partially Observable Markov Decision Process ,POMDP）
来控制和协调多个代理。

适用于不确定性，但是大状态空间不易计算
博弈论方法（Game-Theoretic Approach）

是决策理论的一个分支，博弈论主要关注两个或两个以上的主体之间的相互作用，而决策论则是研究主体与环境之间的相互作用。

博弈论模型中的博弈是一个由一组博弈者、博弈者的移动和博弈者的移动组合的目标状态（Utility）构成的数学对象。

是集中式的，当系统复杂时，扩展性较差。
基于市场的方法（Market-Based Approach）

摄像头之间的相互作用采用招投标机制（auction and bidding mechanism）

为了最大限度地利用资源，如电源、处理单位、网络带宽、目标切换等，即这些资源以最佳方式分配给适当的传感器节点，以便利用率最大化。
启发式策略（Heuristic Strategies）
- 层级的方法（Multi-tier, Layered Approach）
  
  低层执行低层任务，如目标检测跟踪
  
  中间层执行流程管理
  
  顶层执行对监视环境进行高级推理。
- 特定优化技术（Ad-hoc Optimization Techniques）
  
  主要用于选择和切换摄像头，为行人分配摄像头（指定哪个摄像头追踪哪个行人）等等。
  
  适用于特定任务，不够泛化
- 主从式手动控制框架（Master-Slave, Manual Control Framework）
  
  静态相机负责监控整体的异常行为，PTZ相机负责以高分辨率对特定异常的人进行进一步监控。
- 状态机方法（State Machine Approach）
  
  每个摄像头都有不同的状态（搜索、跟踪、等待...），摄像头之间的协调是用一套状态转移规则来指定的，根据不同的摄像头的观察，他们通过有限的状态机来切换状态。

TASKS

Low-level

独立的，每个相机在本地做的任务：

背景扣除和前景检测

斑点检测和分析，特征提取以进行对象检测和分类

摄像头标定
Mid-level

融合多摄像头的数据：

目标检测

目标跟踪

识别/分类

相机选择和移交

视图通信
High-level

目标行为分析

入侵/异常检测

事件检测和分析

人类活动总结

DATASETS AND SIMULATORS

Surveillance Video Datasets

这些数据集的摄像头都是static的，没有PTZ摄像头那样的
Virtual World Simulators

通过电脑模拟出来了，一般不受CV界认可。

OTHERS

[1].Roy-Chowdhury, Amit K., and Bi Song. "Camera networks: The acquisition and analysis of videos over wide areas." Synthesis Lectures on Computer Vision 3.1 (2012): 1-133.

[2].曹凯悦, and 阮秋琦. "大型追踪系统的多摄像头协同." 信号处理 34.4 (2018): 494-502.

提到了Java Agent Development Framework 开源框架