【caffe-windows】 caffe-master 之 训练自己数据集(图片转换成lmdb or leveldb)
前期准备:
文件夹train:此文件夹中按类别分好子文件夹,各子文件夹里存放相应图片
文件夹test:同train,有多少类就有多少个子文件夹
trainlabels.txt : 存的是训练集的标签
testlables.txt: 存的是测试集的标签
(特别注意:文件的路径以及文件名要对应)
第一步
生成train文件夹和test文件夹以及标签文件。本文用的是matlab对数据集进行读取,然后输出图片到相应文件夹中,并且生成标签文件。此处给出matlab的代码,请自行分析。
%% 实现图片的输出,将图片输出到train和test两个文件夹下,并且对图片进行重命名
% 同时给所有图片打标签,存于test_labels.txt trainlabels.txt
%
% clear
rand('seed',1);
datadir = ('D:\matconvnet-beta23\data\chars74K\Fnt'); % 原数据集所在路径
catedir=dir(datadir); % 获取数据集下信息
trainratio = 0.8; % 百分之八十训练
train_labels= fopen('train_labels.txt','wt'); % 创建标签文件
test_labels = fopen('test_labels.txt','wt');
class_num = 0 ; % 记录类别
for i =3:length(catedir)
sampdir=dir(fullfile(datadir,catedir(i).name,'\*.png')); % 获取类文件夹下 png图片,
disp(['category ', num2str(i-2) , ' have ', num2str(length(sampdir)),'instance.']); new_folder_train = ['./train/',catedir(i).name]; % 创建各类文件夹,按第i类创建
new_folder_test = ['./test/',catedir(i).name];
mkdir(new_folder_train);
mkdir(new_folder_test);
class_num =class_num + 1;
for j = 1:length(sampdir)
if j==1
krand = randperm(length(sampdir)); % 随机选取图片,防止过拟合
end
kk = krand(j);
img = imread(fullfile(datadir,catedir(i).name,sampdir(j).name)); % 读取
name = [catedir(i).name,'\',sampdir(kk).name]; % 输出每张图片的名称 if j < length(sampdir) *trainratio % j是读取的第j个样本(子类中),j小于**时,设置为1,1是表示训练
imwrite(img,[new_folder_train,'/',sampdir(kk).name]); % 注 :‘.png’
fprintf(train_labels,'%s %s\n',name,num2str(class_num-1)); % 从0开始编号,写label的txt文件
else
imwrite(img,[new_folder_test,'/',sampdir(kk).name]);
fprintf(test_labels,'%s %s\n',name,num2str(class_num-1)); % 从0开始编号
end
disp(['category ', num2str(i-2) , ' have ', num2str(length(sampdir)-2),' sample. ' ...
'sample ', ' ------ ', num2str(j) ]);
end
end
fclose(train_labels);
fclose(test_labels);
来看看生成的文件,此处将数据存于caffe-master\data\Chars74k下,因此train和test文件夹是在caffe-master\data\Chars74k下。
如图所示,train文件夹里有62个子文件夹,分别代表62个类别,每个子文件夹里就是图片。Test文件夹同理。
如图所示,这训练集的标签文件,分两个部分。第一部分是路径,此处要注意, “Sample001\img001-00051.png ” 要与train文件夹里的图片的文件名一一对应,否则在用convert_imageset.exe进行转换格式时候会出现 找不到文件的提示。
(PS:我直接就是在matlab中输出图片时,多加了’.png’,导致图片的文件名是 Sample001\img001-00051.png.png 最终导致找不到文件)
第二部分就是标签了,这里的标签是从0开始表示第一个类别。特别注意,txt文件中,文件路径和标签中有一个空格。
- 第二步
有了train和test以及对应标签文件,就可以利用 convert_imageset.exe将图片转换成LMDB或者LEVELDB的格式,这里采用批处理的方式。首先在caffe-master\data\Chars74k 文件夹下创建txt文件重命名为:convert_chars74k_LMDB.bat
一定要把后缀改成 .bat ,然后将以下代码复制到文本中,保存。
D:\caffe-master\Build\x64\Release\convert_imageset.exe --resize_width= --resize_height= ./train/ train_labels.txt train_lmdb -backend=lmdb
D:\caffe-master\Build\x64\Release\convert_imageset.exe --resize_width= --resize_height= ./test/ test_labels.txt test_lmdb -backend=lmdb
Pause
这里的每行包含七个部分,第一个部分:D:\caffe-master\Build\x64\Release\convert_imageset.exe 表示 convert_imageset.exe所在路径(PS,若是用Debug生成的,则在将Release改成Debug即可)
第二、三部分,是对原始图片进行了resize,第四部分:
./train/ 是训练图片文件所在路径,此处用了相对路径的形式(不了解相对路径的同学,请度娘 ./ ../的作用) 第五部分,train_labels.txt是训练集的标签
第六部分:train_lmdb 是生成LMDB格式文件的文件名
第七部分:-backend=lmdb 是所要转成的格式(要转成 leveldb的则改成 -backend=leveldb)
然后双击运行convert_chars74k_LMDB.bat
运行正常的话,在文件夹caffe-master\data\Chars74k下会出现
test_lmdb 和train_lmdb 两个文件夹。至此,已经将自己的数据集转换成为LMDB格式的数据了,即caffe可读的数据格式。
- 第三步
训练
此处和训练Mnist和Cifar-10一样可参考(http://blog.csdn.net/u011995719/article/details/53998331)
训练需要写两个prototxt文件,一个是描述网络结构的,一个是超参数的设定。
如图所示,一个是网络模型描述,一个是超参数设置,特别注意路径。
写好这两个文件之后,就可以利用caffe.exe进行训练啦。
在文件夹caffe-master\data\Chars74k下,创建txt文件,重命名为caffe_train_Chars74k.bat(注意改后缀),然后复制以下代码:
..\..\Build\x64\Release\caffe.exe train --solver=./Chars74k_solver.prototxt
Pause
同样的,注意路径就好。保存之后,双击运行即可。
【caffe-windows】 caffe-master 之 训练自己数据集(图片转换成lmdb or leveldb)的更多相关文章
- caffe 图片数据的转换成lmdb和数据集均值(转)
转自网站: http://blog.csdn.net/muyiyushan/article/details/70578077 1.准备数据 使用dog/cat数据集,在训练项目根目录下分别建立trai ...
- Caffe:如何将图片数据转换成lmdb文件
1 图片信息的转换 在caffe中经常使用的数据类型是lmdb或leveldb;不是常见的jpg,jpeg,png,tif等格式;因此,需要进行格式转换,通过输入你自己的图片目录(下有的大量图片)转换 ...
- 7.caffe:create_lmdb.sh(数据预处理转换成lmdb格式)
个人实践代码如下: #!/usr/bin/env sh # Create the imagenet lmdb inputs # N.B. set the path to the imagenet tr ...
- 调用caffe脚本将图片转换为了lmdb格式
#!/usr/bin/env sh # Create the imagenet lmdb inputs # N.B. set the path to the imagenet train + val ...
- ubuntu16.04+caffe训练mnist数据集
1. caffe-master文件夹权限修改 下载的caffe源码编译的caffe-master文件夹貌似没有写入权限,输入以下命令修改: sudo chmod -R 777 ~/caffe-ma ...
- windows+caffe(三)——求取图片的均值
这个要在图片已经转化成lmdb格式下才能求均值... 1.查看caffe根目录下的bin是否存在compute_image_mean.exe(用的happey大神的) 如果没有存在,你需要打开Main ...
- caffe(9) caffe例子
为了程序的简洁,在caffe中是不带练习数据的,因此需要自己去下载.但在caffe根目录下的data文件夹里,作者已经为我们编写好了下载数据的脚本文件,我们只需要联网,运行这些脚本文件就行了. 注意: ...
- 实践详细篇-Windows下使用VS2015编译的Caffe训练mnist数据集
上一篇记录的是学习caffe前的环境准备以及如何创建好自己需要的caffe版本.这一篇记录的是如何使用编译好的caffe做训练mnist数据集,步骤编号延用上一篇 <实践详细篇-Windows下 ...
- Caffe初试(二)windows下的cafee训练和测试mnist数据集
一.mnist数据集 mnist是一个手写数字数据库,由Google实验室的Corinna Cortes和纽约大学柯朗研究院的Yann LeCun等人建立,它有60000个训练样本集和10000个测试 ...
随机推荐
- MegaCli 安装过程
首先说下自己遇到的坑: 百度搜索了一篇关于安装 MegaCli 的文章,于是乎就开始安装,装完之后获取不到 raid 的信息,后来发现是版本问题,就又搜索了一堆文章,最后搞定了 [root@web-0 ...
- 用json传值时,最后一个不加逗号
<javascript> $('.obj').css( 'position':'relative', 'top':'100px', 'left':'100px' ); </javas ...
- .NET获取客户端的操作系统、IP地址、浏览器版本
获取客户端的操作系统: #region 获取操作系统版本号 /// <summary> /// 获取操作系统版本号 /// </summary> /// <returns ...
- (十) Jquery的基本使用
一.引入 注意:如果在index.js中有使用到JQuery.js 那么JQuery.js文件必须比index.js文件先引入,否则index.js文件中不能使用JQuery.js. <scri ...
- 交互神器 Facebook Origami
最近用到了一个非常强大的工具,这是一款由 facebook 出品的原型设计软件,老规矩我们先来看一下效果.大家也可以先进去官网看看效果Origami 官网 scroll.gif swipe.gif O ...
- ACM 整数划分(四)
整数划分(四) 时间限制:1000 ms | 内存限制:65535 KB 难度:3 描述 暑假来了,hrdv 又要留学校在参加ACM集训了,集训的生活非常Happy(ps:你懂得),可是他最近 ...
- wemall app商城源码Android之支付宝通知处理类
wemall-mobile是基于WeMall的Android app商城,只需要在原商城目录下上传接口文件即可完成服务端的配置,客户端可定制修改.本文分享wemall app商城源码Android之处 ...
- 模拟一个shuffle
之所以会想到写这么一个shuffle的例子,是因为一个需求:我需要把一个有序数组中的数据随机的打散.java代码如下, public void shuffle() { int[] arr = {1,2 ...
- (8)集合之List,ArrayList,LinkedList
集合的体系结构 Collection 单列集合的接口 |----List 如果实现了List接口的集合类,具备的特点是有序,可重复 |----Set 如果实现了Set接口的集合类,集合特点无序不可重复 ...
- JAVA-Servlet-过滤器知识总结
JAVA Filter是什么呢? Servlet过滤器实际上就是一个标准的java类,这个类通过实现Filter接口获得过滤器的功能.它在jsp容器启动的时候通过web.xml配置文件被系统加载.Se ...