1:训练的batch_size太小 1.       当数据量足够大的时候可以适当的减小batch_size,由于数据量太大,内存不够.但盲目减少会导致无法收敛,batch_size=1时为在线学习. 2.  batch的选择,首先决定的是下降方向,如果数据集比较小,则完全可以采用全数据集的形式.这样做的好处有两点, 1)全数据集的方向能够更好的代表样本总体,确定其极值所在. 2)由于不同权重的梯度值差别巨大,因此选取一个全局的学习率很困难. 3.  增大batchsize的好处有三点: 1)内

1. 首先是提取 训练日志文件; 2. 然后是matlab代码: clear all; close all; clc; log_file = '/home/wangxiao/Downloads/43_attribute_baseline.log'; fid = fopen(log_file, 'r'); fid_accuracy = fopen('/home/wangxiao/Downloads/output_accuracy.txt', 'w'); fid_loss = fopen('/hom

一.深度学习中常用的调节参数 本节为笔者上课笔记(CDA深度学习实战课程第一期) 1.学习率 步长的选择:你走的距离长短,越短当然不会错过,但是耗时间.步长的选择比较麻烦.步长越小,越容易得到局部最优化(到了比较大的山谷,就出不去了),而大了会全局最优 一般来说,前1000步,很大,0.1:到了后面,迭代次数增高,下降0.01,再多,然后再小一些. 2.权重 梯度消失的情况,就是当数值接近于正向∞,求导之后就更小的,约等于0,偏导为0 梯度爆炸,数值无限大 对于梯度消失现象:激活函数 Sigmo

I0415 15:03:37.603461 27311 solver.cpp:42] Solver scaffolding done.I0415 15:03:37.603549 27311 solver.cpp:247] Solving AlexNetI0415 15:03:37.603559 27311 solver.cpp:248] Learning Rate Policy: stepI0415 15:03:37.749981 27311 solver.cpp:214] Iteration

1.报错:“db_lmdb.hpp:14] Check failed:mdb_status ==0(112 vs.0)磁盘空间不足.” 这问题是由于lmdb在windows下无法使用lmdb的库,所以要改成leveldb. 但是要注意:由于backend默认的是lmdb,所以你每一次用到生成的图片leveldb数据的时候,都要把“--backend=leveldb”带上.如转换图片格式时: 又如计算图像的均值时: 还有在.prototxt中 data_param { source: "./mys

Tags: Caffe Categories: Tools/Wheels --- 1. 将caffe训练时将屏幕输出定向到文本文件 caffe中自带可以画图的工具,在caffe路径下: ./tools/extra/parse_log.sh ./tools/extra/extract_seconds.py ./tools/extra/plot_training_log.py.example 日志重定向:在训练命令中加入一行参数,实现log日志定向到文件: caffe train --sover=/

Linux下操作 1. 将loss值存储到lossInf.txt中 fName1='loss.txt' cat loss.log | grep "solver.cpp:218] Iteration" | awk '{print $9}' > $fName1 2. Python画出loss曲线 fName2=./loss.txt python show_loss_curve.py $fName2 || exit 1

keras训练cnn模型时loss为nan 1.首先记下来如何解决这个问题的:由于我代码中 model.compile(loss='categorical_crossentropy', optimizer='sgd', metrics=['accuracy']) 即损失函数用的是categorical_crossentropy所以,在pycharm中双击shift键,寻找该函数,会出现keras.loss模块中有该函数,进入该函数后, 原函数为: def categorical_crossent

第一步保存日志文件,用重定向即可: $TOOLS/caffe train --solver=$SOLVERFILE >& |tee out.log 第二步直接绘制: python plot_training_log.py testloss.png out.log 这个plot_training_log.py在这个目录下caffe-fast-rcnn/tools/extra 2是选择画哪种类型的图片,具体数字是代表哪个类型可以查看帮助信息看到: 0: Test accuracy vs. Ite

三:使用Caffe训练Caffemodel并进行图像分类 上一篇记录的是如何使用别人训练好的MNIST数据做训练测试.上手操作一边后大致了解了配置文件属性.这一篇记录如何使用自己准备的图片素材做图像分类.第一篇<实践详细篇-Windows下使用VS2015编译安装Caffe环境(CPU ONLY) >有讲过使用Caffe的背景.所以这篇记录使用的素材就是12306的验证码来进行图像识别分类. 1.准备素材 由于这里抓取到的验证码是整合后的大图.就是8张小图片合成的.由于12306的验证码大图并

首先得到了https://blog.csdn.net/gybheroin/article/details/72581318系列博客的帮助.表示感激. 关于安装caffe已在之前的博客介绍,自用可行,https://www.cnblogs.com/MY0213/p/9225310.html 1.数据源 首先使用的数据集为人脸数据集,可在百度云自行下载: 链接:https://pan.baidu.com/s/156DiOuB46wKrM0cEaAgfMw 密码:1ap0 将train.zip解压可得

论文笔记:Densely Connected Convolutional Networks(DenseNet模型详解) 2017年09月28日 11:58:49 阅读数:1814 [ 转载自http://www.yyliu.cn/post/7cabb4ff.html ] CVPR 2017上,清华大学的Zhuang Liu.康奈尔大学的Gao Huang和Kilian Q.Weinberger,以及Facebook研究员Laurens van der Maaten 所作论文Densely Con

不少同学抱怨,在集群的GPU节点上运行caffe程序时,经常出现"Out of Memory"的情况.实际上,如果我们在提交caffe程序到某个GPU节点的同时,指定该节点某个比较空闲的gpu id,便可以避免"Out of Memory"的情况.步骤如下: 1. 在提交任务前,制作一个带有“nvidia-smi”命令的run_gpu.sh文件 #!/bin/bash #$ -V #$ -cwd #$ -j y #$ -S /bin/bash nvidia-smi

个人认为学习一个陌生的框架,最好从例子开始,所以我们也从一个例子开始. 学习本教程之前,你需要首先对卷积神经网络算法原理有些了解,而且安装好了caffe 卷积神经网络原理参考:http://cs231n.stanford.edu/syllabus.html Ubuntu安装caffe教程参考:http://caffe.berkeleyvision.org/install_apt.html 先讲解一下caffe设计的架构吧: 训练mnist数据集使用 build/tools/caffe 训练步骤:

一个典型的SGD过程中,一个epoch内的一批样本的平均梯度与梯度方差,在下图中得到了展示. 无论什么样的网络结构,无论是哪一层网络的梯度,大体上都遵循下面这样的规律: 高信号/噪音比一段时间之后,信号/噪音比逐渐降低,收敛速度减缓,梯度的方差增大,梯度均值减小. 噪音增加的作用及其必要性会在另一篇文章中阐述,这里仅讨论噪音的产生对于模型收敛速度能够产生怎样的影响. 首先定义模型收敛速度:训练后期,噪音梯度导致权重更新时,导致系统新增的熵 H(混乱度)对于SGD迭代次数 t 的导数. 对于第k层

tensorflow中学习率.过拟合.滑动平均的学习 tensorflow中常用学习率更新策略 TensorFlow学习--学习率衰减/learning rate decay 分段常数衰减 分段常数衰减是在事先定义好的训练次数区间上,设置不同的学习率常数.刚开始学习率大一些,之后越来越小,区间的设置需要根据样本量调整,一般样本量越大区间间隔应该越小.tf中定义了tf.train.piecewise_constant 函数,实现了学习率的分段常数衰减功能. 指数衰减 指数衰减是比较常用的衰减方法,

当我们使用Caffe训练AlexNet网络时,会遇到精度一值在低精度(30%左右)升不上去,或者精度总是为0,如下图所示: 出现这种情况,可以尝试使用以下几个方法解决: 1.数据样本量是否太少,最起码要千张图片样本. 2.在制作训练样本标签时,是否打乱样本顺序,这样在训练时每取batch_size个样本就可以训练多个类别,以防止时出现常出现0精度或1精度的情况. 3.文件solver.prototxt和文件train_val.prototxt的配置问题,一般调节solver文件中的学习率base

Beholder is a TensorBoard plugin for viewing frames of a video while your model trains. It comes with tools to visualize the parameters of your network, visualize arbitrary arrays like gradients. Beholder是一个TensorBoard插件,用于在模型训练时查看视频帧. 它具有可视化网络参数的工具,

一.问题 使用deeplearning4j进行GPU训练时,可能会出现java.lang.UnsatisfiedLinkError: no jnicudnn in java.library.path错误. 二.错误 15:43:26.389 [main] INFO org.nd4j.linalg.api.ops.executioner.DefaultOpExecutioner - Backend used: [CUDA]; OS: [Windows 10] 15:43:26.390 [main]

本机使用的 GPU 是 GeForce 840M,2G 显存,本机内存 8G. 试验时,使用 vgg 网络,调整 vgg 网络中的参数,使得使用对应的 batch_size 时不会提示内存溢出.使用的是 mnist 数据集,图片尺寸是28×28.结果如下: # batch_size = 1 # 参数总数:5946134 # batch_size = 32 # 参数总数:5262436 # batch_size = 64 # 参数总数:4770788 # batch_size = 100 # 参数