将自己数据转化为cifar10支持的lmdb

大家都知道，在caffe里面，要运行cifar10的例子就得先由cifar10的数据库。由于caffe为了提高运行效率，减少磁盘寻道时间等，统一了数据接口（lmdb，leveldb）。

首先，看一下cafferoot/data/cifar10（cafferoot指的是自己caffe安装的根目录）下面的get_cifar10.sh

可见其下载的是bin格式的图片，然后通过cafferoot/examples/cifar10/create_cifar10.sh将bin文件转化为lmdb格式。

那么这样的问题来了，由于，cifar10由官网提供了2进制的bin文件，如果我们想训练自己的模型呢？如果我们想加进自己的图片呢。所以，一个保持和官网cifar10同步的将传统的jpg、png等格式转为bin格式的程序应用而生。

进入正题

1，cifar10的bin数据格式

image 的大小为32*32，flag为0-9，共10类，使用的是cifar-10数据集

二进制数据格式为flag,R(1024),G(1024),B(1024),每个通道按行排列

2，读取cifar10的bin文件，将bin文件中数据转化为图片并显示

1. void read_cifar_bin(string file_address,vector<Mat>& image,vector<int>& flag)
2. {
3. int width = 32, height = 32;//注意这个数值，根据自己样本的大小进行修改，重要的事情说三遍
4. ifstream fin(file_address, ios::binary);
5. while (!fin.eof())
6. {
7. char flag_tmp;
8. unsigned char tmp;
9. Mat image_tmp(width, height, CV_8UC3);
10. fin.read((char *)&flag_tmp, sizeof(flag_tmp));
11. for (int j = 2; j >=0; j--)
12. {
13. for (int r = 0; r < image_tmp.rows; r++)
14. for (int c = 0; c < image_tmp.cols; c++)
15. {
16. fin.read((char *)&tmp, sizeof(tmp));
17. image_tmp.at<Vec3b>(r, c)[j] = tmp;
18. }
19. }
20. image.push_back(image_tmp);
21. flag.push_back(flag_tmp);
22. }
23. }

3，将自己的jpg，png等传统格式转化为cifar10支持的bin文件

1. void write_cifar_bin(string file_address, vector<string>& image_address, vector<int>& flag)
2. {
3. ofstream fout(file_address, ios::binary);
4. for (size_t i = 0; i < image_address.size(); i++)
5. {
6. Mat image_tmp = imread(image_address[i], 1);
7. resize(image_tmp, image_tmp, Size(32, 32));
8. int pix[1024];
9. char flag_tmp = flag[i];
10. fout.write((char *)&flag_tmp, sizeof(flag_tmp));
11. for (int j = 2; j >= 0; j--)
12. {
13. for (int r = 0; r < image_tmp.rows; r++)
14. for (int c = 0; c < image_tmp.cols; c++)
15. {
16. unsigned char tmp = image_tmp.at<Vec3b>(r, c)[j];
17. fout.write((char *)&tmp, sizeof(tmp));
18. }
19. }
20. }
21. }

4，将bin转为图片的测试，并用OpenCV显示

1. int main()
2. {
3. string file_address = "data_batch_1.bin";
4. vector<Mat> image;
5. vector<int>flag;
6. read_cifar_bin(file_address, image, flag);
7. imshow("test", image[5000]);//随便需要显示的图像。可以跟改[]中数据进行验证
8. waitKey();
9. return 0;
10. }

5，将bin转为图片的测试，并保存为jpg，并且保存相应的flag

1. int main()
2. {
3. string file_address = "data_batch_1.bin";
4. vector<Mat> image;
5. vector<int>flag;
6. read_cifar_bin(file_address, image, flag);
7. ofstream mydata_batch_1("mydata_batch_1.txt");
8. for (int i = 0; i < image.size(); i++)
9. {
10. char buffer[50];
11. char address[100] = ".\\data_batch_1\\";
12. _itoa(i, buffer, 10);
13. imwrite(strcat(address, strcat(buffer, ".jpg")), image[i]);
14. mydata_batch_1 << address << buffer <<".jpg"<< " " << flag[i] << endl;
15. cout << i << endl;
16. waitKey(1);
17. }
18. return 0;
19. }

6，将图像转为bin

1. int main()
2. {
3. string file_address = "mydata_batch_1.bin";
4. vector<string> image_address;
5. vector<int> flag;
6. ifstream finSample("mydata_batch_1.txt");
7. char buf[100], buftmp[50], flagtmp[10];
8. while (!finSample.eof())
9. {
10. finSample.getline(buf, sizeof(buf));
11. sscanf(buf, "%s %s", buftmp, flagtmp);
12. int tmp=atoi(flagtmp);
13. image_address.push_back(buftmp);
14. flag.push_back(tmp);
15. }
16. write_cifar_bin(file_address, image_address, flag);
17. return 0;
18. }

7，实验测试

(1)【步骤4】将cifar10的data_batch_1.bin转化为图像的测试，从左到右依次为image[0]，image[5000]，image[9999]（cifar10每个batch有10000个图像，所以是0-9999）

(2) 【步骤5】将cifar10的data_batch_1.bin转化为图像,并保存在jpg格式的测试。

(3)【步骤6】将第二步生成的jpg转化为bin文件， 程序运行后将生成mydata_batch_1.bin，可以看到和原始的data_batch_1.bin有着同样的大小。

那么到底这个和原始的一样不一样呢？我们还是使用步骤4的程序进行测试，同样的还是测试image[0]，image[5000]，image[9999]，从下图可以看出和原始的bin的数据是一样的。

有了上面的2个转化程序，就可以转化自己的图像了，then let's make some noise!