C语言fread/fwrite填坑记

坑的描述

用fwrite把数据写入文件，再用fread读取，发现后半部分的数据可能是错的。

原因:原本要写入文件的数据中，有0x0A，如果用的是文本模式打开的文件流，在windows下0x0A会被转换为0x0D和0x0A

其实windows下的git bash每次git add后都有类似的提示，只是一直没太注意：

先说结论

用fread或fwrite的时候，如果是要写入字符，那么打开的文件、读取的文件，用字符模式（w和r）

FILE* fin = fopen("filename", "w");
fread(buf, sizeof(char)*num_elem, 1, fin);
fclose(fin);

FILE *fout = fopen("filename", "r");
fwrite(buf, sizeof(char)*num_elem, 1, fout);
fclose(fout);

如果是要写入非字符的数据，例如float数组、int数组等，则一定要用二进制模式打开文件（wb和rb）（尽管在linux和mac下你的结果也许一直没问题，但是保不准到了windows下会出错）：

FILE* fin = fopen("filename", "wb");
fread(buf, sizeof(float)*num_elem, 1, fin);
fclose(fin);

FILE *fout = fopen("filename", "rb");
fwrite(buf, sizeof(float)*num_elem, 1, fout);
fclose(fout);

原因：字符模式打开的文件，在windows下，遇到0x0A进行写入（也就是\n)会替换为0x0D和0x0A（分别是\r和\n）。

The fwrite function writes up to count items, of size length each, from buffer to the output stream. The file pointer associated with stream (if there is one) is incremented by the number of bytes actually written. If stream is opened in text mode, each linefeed is replaced with a carriage-return - linefeed pair. The replacement has no effect on the return value.

ref:https://docs.microsoft.com/en-us/cpp/c-runtime-library/reference/fwrite?view=vs-2017

举例细说

读取图像，通常用opencv，但是考虑到arm上用opencv过于庞大，考虑在pc上把图像的数据读取出来，然后整理下顺序，再用fwrite保存。后面在arm上直接fread就行了，避开了opencv。

但在具体实现的时候发现，fwrite后再fread，只有前面一部分数据是正确的！原因如上面说的，保存到文件的是float数组，但是打开文件的模式错误的设定为了字符模式，而不是二进制模式。

#include <stdio.h>
#include <stdlib.h>

#include <iostream>
#include <string>

#include <vector>
#include <opencv2/opencv.hpp>

using namespace std;
using namespace cv;

int main() {
	string im_pth = "../cat_227.jpg";
	IplImage* img = cvLoadImage(im_pth.c_str(), CV_LOAD_IMAGE_COLOR);

	int iImgChnl = 3;
	int iImgHgt = 227;
	int iImgWth = 227;
	int num_elem = iImgChnl * iImgHgt * iImgWth;
	float* pfImgData;
	pfImgData = (float*)malloc(sizeof(float)*num_elem);

	float* f_input_data_b = (float*)malloc(sizeof(float)*iImgHgt*iImgWth);
	float* f_input_data_g = (float*)malloc(sizeof(float)*iImgHgt*iImgWth);
	float* f_input_data_r = (float*)malloc(sizeof(float)*iImgHgt*iImgWth);

	for (int i = 0; i < num_elem; i += 3) {
		f_input_data_b[i / 3] = (float)(unsigned char)(img->imageData[i]);
		f_input_data_g[i / 3] = (float)(unsigned char)(img->imageData[i + 1]);
		f_input_data_r[i / 3] = (float)(unsigned char)(img->imageData[i + 2]);
	}

	for (int i = 0; i < iImgHgt*iImgWth; i++) {
		pfImgData[i] = f_input_data_b[i];
	}
	for (int i = 0; i < iImgHgt*iImgWth; i++) {
		pfImgData[i + iImgHgt*iImgWth] = f_input_data_g[i];
	}
	for (int i = 0; i < iImgHgt*iImgWth; i++) {
		pfImgData[i + 2*iImgHgt*iImgWth] = f_input_data_r[i];
	}
	int ret;

	string save_pth = "../cat_227.fread_float.w";
	FILE* fout = fopen(save_pth.c_str(), "w");
	ret = fwrite((void*)pfImgData, sizeof(float), num_elem, fout);
	fclose(fout);

	printf("--- pfImgData[5847]=%f, pfImgData[5848]=%f\n", pfImgData[5847], pfImgData[5848]);

	//--------------------------------------------------
	float* tuopan = (float*)malloc(sizeof(float)*num_elem);
	FILE* fin = fopen(save_pth.c_str(), "rb");
	ret = fread((void*)tuopan, sizeof(float), num_elem, fin);
	fclose(fin);

	printf("--- tuopan[5847]=%f, tuopan[5848]=%f\n", tuopan[5847], tuopan[5848]);

	printf("--- check here---\n");

	return 0;
}

测试环境：VS2013 update5, win32/x64 debug/release模式

调试结果：

发现第5848个元素是错误的。

通过分别设定字符模式和二进制模式来写入文件，看到了差异：

第一次出现差异的地方是0x5B60后的一个元素，0x5B60恰好是十进制下的23392,23392=5848 x 4, 4表示sizeof(float)