Motivation：减少时空网络的计算量，保持视频分类精度的基础上，使速度尽可能接近对应网络的2D版本。

为此提出 Multi-Fiber 网络，将复杂网络拆分成轻量网络的集成，利用 fibers 间的信息流引入多路器模块。

Result：比I3D和R(2+1)D分别少9倍，13倍的计算量，但精度更高，UCF-101, HMDB-51 and Kinetics 上的 state of the art。

2D网络需要10s GFLOP来处理单帧，3D网络需要100s GFLOP处理一个clip，作者认为3D网络有能力进一步提高因为融入了时空信息。

3D卷积开销很大，与Du tran和Xie Saining提出的R(2+1)D和S3D用1x3x3, 3x1x1时空分解卷积替代3x3x3这种做法不同，因为相对其2D版本仍有数量级的复杂度，以上两种方法很难在实际应用，受low-power MobileNet-v2网络的启发以及通过分组卷积稀疏化做法的启发，作者提出稀疏连接结构，并在2D CNN图片分类上实验确认结构的有效性，后扩展为时空CNN。

(a) resnet block (b) resNeXt block (c) fibers(author) (d) 加入multiplexer 传递不同fiber间信息 (e) 两个线性层降维和升维

resNeXt的中间模块对通道分组后分别用3x3卷积，bottleneck结构+分组卷积会很大程度降低计算量。d中可以看出去除了对整个通道的1x1卷积(全连接)，引入了multiplexer层弥补信息损失，将主干feature的channel全部分组后，平行的残差计算，其中每一个分支称为(fiber)

resnet两个conv的简化连接数计算，其中Min表示输入channel，Mmid，Mout等同：

如果这个运算单元channel的维数增加k倍，那么运算量将增加K的平方倍。反之，减小也是2次的减小。

对channel切分为N个并行且独立的模块后，总的简化连接的数量，可见是直接resnet模块的1/N倍，实验中N=16。

Multi-Fiber Networks 

2D图片域的验证：

1. 基于ResNet-18和MobileNet-v2的baseline，将其中的模块替换为多纤维模块

2. 重新设计了一个2D MF-Net

可以看出，Multi-Fiber结构在ResNet-18和MobileNet-v2上可以在少量降低计算量和参数量的情况下，精度上有一定提高，表明模块的有效性。而MF-Net也在参数和计算量较低的情况下达到了不错的效果。最后一栏实验则表明了Multiplexer模块大概会占据30%的计算量，但对效果的提升也是比较明显的。

3D版本

为了降低计算量，两层卷积只有一层进行了时序上的卷积

UCF101和HMDB51上的结果

Kinetics分类结果分析

在400类中有190类准确率超过80%，349类超过50%。只有17类低于30%效果糟糕。

特别的是那些准确率高的类，其特点：

1. 相对别的类有特殊的物体/背景

2. 跨越较长时间所发生的特殊动作

识别不好的类，其特点：

通常没有可区分的物体或在长视频中目标动作持续很短

部分参考自：

知乎林天威

Multi-Fiber Networks for Video Recognition (MFNet)的更多相关文章

  1. 【ML】Two-Stream Convolutional Networks for Action Recognition in Videos

    Two-Stream Convolutional Networks for Action Recognition in Videos & Towards Good Practices for ...

  2. Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition

    Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition Kaiming He, Xiangyu Zh ...

  3. 目标检测--Spatial pyramid pooling in deep convolutional networks for visual recognition(PAMI, 2015)

    Spatial pyramid pooling in deep convolutional networks for visual recognition 作者: Kaiming He, Xiangy ...

  4. PredNet --- Deep Predictive coding networks for video prediction and unsupervised learning --- 论文笔记

    PredNet --- Deep Predictive coding networks for video prediction and unsupervised learning   ICLR 20 ...

  5. SPPNet论文翻译-空间金字塔池化Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition

    http://www.dengfanxin.cn/?p=403 原文地址 我对物体检测的一篇重要著作SPPNet的论文的主要部分进行了翻译工作.SPPNet的初衷非常明晰,就是希望网络对输入的尺寸更加 ...

  6. Multi-Agent Reinforcement Learning Based Frame Sampling for Effective Untrimmed Video Recognition

    Multi-Agent Reinforcement Learning Based Frame Sampling for Effective Untrimmed Video Recognition IC ...

  7. 深度学习论文翻译解析（九）：Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition

    论文标题:Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition 标题翻译:用于视觉识别的深度卷积神 ...

  8. Local Relation Networks for Image Recognition

    目录 概 主要内容 Hu H., Zhang Z., Xie Z., Lin S. Local relation networks for image recognition. In Internat ...

  9. 论文阅读笔记二十五：Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition（SPPNet CVPR2014）

    论文源址:https://arxiv.org/abs/1406.4729 tensorflow相关代码:https://github.com/peace195/sppnet 摘要 深度卷积网络需要输入 ...

随机推荐

  1. Python os.chdir() 方法

    概述 os.chdir() 方法用于改变当前工作目录到指定的路径. 语法 chdir()方法语法格式如下: os.chdir(path) 参数 path -- 要切换到的新路径. 返回值 如果允许访问 ...

  2. 【转】采用dlopen、dlsym、dlclose加载动态链接库

    1.前言 为了使程序方便扩展,具备通用性,可以采用插件形式.采用异步事件驱动模型,保证主控制逻辑不变,将各个业务以动态链接库的形式加载进来,这就是所谓的插件.linux提供了加载和处理动态链接库的系统 ...

  3. <图文教程>VMware 14上Ubuntu 16.04 desktop版的安装

    VMware14安装Ubuntu16.04教程 久闻Linux(这单词念做 林尼克斯??)大名,闲来无事就试着给自己笔记本装一个玩玩,从朋友口中得知可以在Vmware上装虚拟机,就自己试着尝试一下,顺 ...

  4. 010_mac常用docker维护命令

    一. ➜ ~ docker search rabbitmq #搜索 NAME DESCRIPTION STARS OFFICIAL AUTOMATED rabbitmq RabbitMQ is an ...

  5. python操作三大主流数据库(8)python操作mongodb数据库②python使用pymongo操作mongodb的增删改查

    python操作mongodb数据库②python使用pymongo操作mongodb的增删改查 文档http://api.mongodb.com/python/current/api/index.h ...

  6. 解决mysql 主从数据库同步不一致的方法

    接着上文 配置完Mysql 主从之后,在使用中可能会出现主从同步失败的情况. mysql> show slave status\G Slave_IO_Running: Yes Slave_SQL ...

  7. ASP.NET MVC5高级编程 之 模型

    1. 为MVC Music Store建模 Models文件夹(右击) --> 添加 --> 类 为类添加对应的属性: public class Album { public virtua ...

  8. 【原创】大数据基础之Airflow（2）生产环境部署airflow研究

    一 官方 airflow官方分布式部署结构图 airflow进程 webserver scheduler flower(非必须) worker airflow缺点 scheduler单点 通过在sch ...

  9. 业务侧有大量timeout请求超时日志

    故障背景:程序日志发现有程序请求数据库有大量的timeout请求故障时间:xxx~xxx 故障排查:排查应用服务器和数据库服务器网络和其它硬件监控没有断点,数据库监控请求数当时时间段几乎为0 故障分析 ...

  10. vscode开发c#

    转载自: http://www.cnblogs.com/lxhbky/p/6673230.html http://www.cnblogs.com/lxhbky/p/6692065.html 一.环境安 ...