0 引言

Marvin是普林斯顿视觉实验室(PrincetonVision)于2015年提出的轻量化GPU加速的多维深度学习网络框架。该框架采用纯c/c++编写,除了cuda和cudnn以外,不依赖其他库,编译非常简单,功能也相当强大,用于深度神经网络的快速原型开发非常好用。缺点在于没有提供API,所有的代码集中在marvin.hpp一个文件中,读起来非常困难。好在提供了视频格式的PPT,对框架和代码进行解读。下面将基于官网视频/ppt对该框架进行介绍。

1 相关链接

不想看我翻译的同学可以直接参考下面的链接,里边包含了我下面将要讲到的所有知识。

官网:                         http://marvin.is/
github: https://github.com/PrincetonVision/marvin
基于Marvin搭建的应用3DMatch: https://github.com/andyzeng/3dmatch-toolbox

2 为什么要用Marvin

深度学习的框架千千万,包括caffe,tensorflow,keras,pytorch等,为啥一定要试试Marvin呢?用过caffe的同学知道,caffe的配置分分钟让一个正常的少男少女抓狂;tensorflow则包含两个版本,而且不向下兼容,跑前一个版本的代码颇为费劲,还要去改源码;keras集成了tensorflow等框架,封装严密,这种框架上手一时爽,但出了bug调试起来就很难找到原因。其他的不一一分析了。相比而言,Marvin有一下几个优点。

(1)依赖项极少,就俩,CUDA 7.5 and cuDNN 5.1

(2)编译方便,./compile.sh就完事了

(3)模型框架描述清晰,模型采用.json文件描述,类似于caffe的.prototxt文件,搭建或者修改起来都极为方便

(4)运行速度快,在GPU计算方面进行了优化,可显著节省显存

(5)支持多种型号的GPU

(6)跨平台,支持Windows,Mac,Linux等

3 模型的训练过程介绍

(1)可以用下面这个公式简单解释一下,即训练的目的是通过迭代法不断调整权重(weights)参数使损失函数(loss)收敛/最小化

                           

(2)训练的基本原理是利用梯度下降法(gradient descent),不断更新权重参数, 通常采用直接梯度下降法随机梯度下降法来训练

                           

(3)训练的迭代步骤如下

  1 随机采样小样本批次

  2 前向传播 (forward) 计算响应

  3 反向传播 (backpropagation) 计算权重和响应梯度

  4 用梯度更新权重

(4)训练参数

  1 learning rate

  2 weight decay

  3 momentum

(5)正则化(regularization)与求解器(solver)可选

4 Marvin工程文件介绍

(1)源文件: marvin.hpp和 marvin.cu

(2)可执行文件:./marvin

(3)matlab脚本,python脚本等

(4).tensor后缀的文件是数据输入输出文件(估计是中间文件之类的)

(5).marvin是模型的权重参数文件,即训练的结果

(6).json文件是网络结构描述文件,marvin.hpp文件中存在类JSON可以对.json文件进行解析

5 数据格式操作及转换

(1)tensor file format

(2)张量数据类型转换: matlab与python工具箱中提供了相应的方法

6 JSON网络架构

(1)JSON文件格式介绍: http://www.json.org/

(2)在线查看器:http://jsonviewer.stack.hu  等

(3)网络可视化工具: tools/viewer_matlab

(4)层之间应当遵循拓扑顺序; 层的名称具有唯一性; 测试与训练的mini-batch size应当一致

7 layer介绍

(1)卷积层convolution

(2)内积层InnerProduct

(3)激活层activation

(4)LRN层

(5)Dropout层

(6)softmax层

(7)loss层

(8)池化pooling层

8 数据层: class DataLayer及其子类

(1)为了重用training 和 testing的显存,需要将training 和 testing的mini-batch size 设置成一样的

(2)DataLayer中的超参数的意义

  1 numofitems: 如果你在训练集中有64000张图片,那么  numofitems == 64000

  2 mini-batch size:深度学习每一次参数的更新所需要损失函数并不是由一个 {data: label} 获得的,而是由一组数据加权得到的,这一组数据的数量就是 [batch size]

https://blog.csdn.net/xys430381_1/article/details/80680167  # 关于使用batch size的利弊分析

  3 epoch: 当我们分批学习时,每次使用过全部训练数据(全部子集)完成一次Forword运算以及一次BP运算,成为完成了一次epoch

  4 iterations: 迭代。比如,我们有1000个样本,batch size是50,其将会有20个Iterations。这20个Iteration完成一个epoch

(3)MemoryData: 将所有数据&标签全部加载到cpu内存中,每次前向运算使用RAM中的部分数据和标签

  1 name

  2 phase: "Training", "Testing", "TrainingTesting"

  3 file_data: path to a tensor file for data    # 训练数据的路径信息

  4 file_lable: path to a tensor file for lable   # 训练标签的路径信息

  5 file_mean: path to a tensor file for the mean for subtraction, default empty "" to disable sutraction   # 一个张量文件的路径,用于求减法的平均值

  6 batch_size: 64, scale: 1.0, mean: 0.0

(4)DiskData: 将所有的数据&标签加载到CPU内存中,将所有数据放在开放文件夹里,每次前向运算,从CPU RAM中读入一部分标签, 移动硬盘指针将文件读取并传入GPU

当数据量比较大的时候用,但是不适用于CPU RAM, 比如ImageNet

  1 name: datalayer name

  2 phase: "Training", "Testing", "TrainingTesting"

  3 in: the mean used to subtract typically provide form the out of tensor constant data layer       # 用于相减的平均值,通常由张量常数数据层提供

  4 out: the first is the data, the second is the label

  5 file_data: path to a tensor file for data    # 训练数据的路径信息

  6 file_label: path to a tensor file for lable   # 训练标签的路径信息

  7 batch_size: 64

  8 mirror: true/false, horizontally flip the image randomly   # 是否随机水平翻转图像

  9 size_crop: if the size_crop is smaller than the size of items in file _data, Marvin will randomly crop

9 PPT版Marvin介绍下载链接

https://github.com/2017Greg/myVscodeProject

56 Marvin: 一个支持GPU加速、且不依赖其他库(除cuda和cudnn)的轻量化多维深度学习(deep learning)框架介绍的更多相关文章

  1. Windows 10下安装配置Caffe并支持GPU加速(修改版)

    基本环境 建议严格按照版本来 - Windows 10 - Visual Studio 2013 - Matlab R2016b - Anaconda - CUDA 8.0.44 - cuDNN v4 ...

  2. 想要使用GPU进行加速?那你必须事先了解CUDA和cuDNN

    这一期我们来介绍如何在Windows上安装CUDA,使得对图像数据处理的速度大大加快,在正式的下载与安装之前,首先一起学习一下预导知识,让大家知道为什么使用GPU可以加速对图像的处理和计算,以及自己的 ...

  3. gohook 一个支持运行时替换 golang 函数的库实现

    运行时替换函数对 golang 这类静态语言来说并不是件容易的事情,语言层面的不支持导致只能从机器码层面做些奇怪 hack,往往艰难,但如能成功,那挣脱牢笼带来的成就感,想想就让人兴奋. gohook ...

  4. 一个采用python获取股票数据的开源库,相当全,及一些量化投资策略库

    tushare: http://tushare.waditu.com/index.html 为什么是Python? 就跟javascript在web领域无可撼动的地位一样,Python也已经在金融量化 ...

  5. 深度学习“引擎”之争:GPU加速还是专属神经网络芯片?

    深度学习“引擎”之争:GPU加速还是专属神经网络芯片? 深度学习(Deep Learning)在这两年风靡全球,大数据和高性能计算平台的推动作用功不可没,可谓深度学习的“燃料”和“引擎”,GPU则是引 ...

  6. tensor搭建--windows 10 64bit下安装Tensorflow+Keras+VS2015+CUDA8.0 GPU加速

    windows 10 64bit下安装Tensorflow+Keras+VS2015+CUDA8.0 GPU加速 原文见于:http://www.jianshu.com/p/c245d46d43f0 ...

  7. supervessel-免费云镜像︱GPU加速的Caffe深度学习开发环境

    开发环境介绍 在SuperVessel云上,我们为大家免费提供当前火热的caffe深度学习开发环境.SuperVessel的Caffe有如下优点: 1) 免去了繁琐的Caffe环境的安装配置,即申请即 ...

  8. 关于Haclon使用GPU加速的代码实例

    关于Haclon使用GPU加速的代码实例 read_image(Image, 'T20170902014819_58_2_1.bmp') *没有加加速并行处理 count_seconds(T1) to ...

  9. windows 10 64bit下安装Tensorflow+Keras+VS2015+CUDA8.0 GPU加速

    原文地址:http://www.jianshu.com/p/c245d46d43f0 写在前面的话 2016年11月29日,Google Brain 工程师团队宣布在 TensorFlow 0.12 ...

随机推荐

  1. SDK打开模拟器遇到SDK包里缺少API组件,附上我的解决历程,心累

    背景描述:之前一直用真机做自动化,突然被要求用模拟器,就开始准备环境,发现模拟器里少很多配置,前提:配置了Android环境变量,且配置了代理如下:大连东软信息学院镜像服务器地址:http://mir ...

  2. loj2472[九省联考2018]IIIDX

    题意:要求构造一个d的排列使得满足d[i/k]<=d[u]且字典序最大. 标程(bzoj上并不能过): #include<bits/stdc++.h> #define mid ((l ...

  3. leetcode-13双周赛-1257-最小公共区域

    题目描述: 方法: class Solution(object): def findSmallestRegion(self, regions, region1, region2): parent = ...

  4. QT之QCustomPlot(一)

    QDetectPlot::QDetectPlot(QWidget *parent) : QCustomPlot(parent) { QVector<), y(); // initialize w ...

  5. apue第4章习题

    4.1 用 stat 函数替换图 4-3 程序中的 lstat函数,如若命令行残数之一是符号链接,会发生什么变化? stat不支持链接,如果有参数是链接符号,会显示链接后的文件属性. 4.2 如果文件 ...

  6. qt中使用sqlite存储数据

    一.sqilte的安装 在Windows上安装SQLite: 请访问 SQLite 下载页面,从 Windows 区下载预编译的二进制文件. 您需要下载 sqlite-tools-win32-*.zi ...

  7. shellcode加密与解密

    // Encoder.cpp : Defines the entry point for the console application.// #include "stdafx.h" ...

  8. Java习题10.24

    Java习题10.24 1. 1,3.connect()与accept():这两个系统调用用于完成一个完整相关的建立,其中connect()用于建立连接.accept()用于使服务器等待来自某客户进程 ...

  9. java发带图片正文和附件的邮件mail

    package com.mail; import java.io.UnsupportedEncodingException; import java.util.Date; import java.ut ...

  10. 3.3 理解 Redux 中间件(转)

    这一小节会讲解 redux 中间件的原理,为下一节讲解 redux 异步 action 做铺垫,主要内容为: Redux 中间件是什么 使用 Redux 中间件 logger 中间件结构分析 appl ...