爬虫存储介质之CSV文件存储

本文章来自度娘

CSV文件存储

CSV，全称为Comma-Separated Values，中文可以叫做逗号分隔值或字符分隔值，其文件以纯文本形式

存储表格数据。该文件是一个字符序列，可以由任意数目的记录组成，记录间以某种换行符分隔。每条记

录由字段组成，字段间的分隔符是其他字符或字符串，最常见的是逗号或者制表符。不过所有记录都有完

全相同的字段序列，相当于一个结构化表的纯文本形式。它比Excel文件更为简洁，XLS文本是电子表格，

它包含了文本、数值、公式和数据等内容，而CSV中不包含这些内容，就是特定字符分隔的纯文本，结构

简单清晰。所以，有时候用CSV来保存数据是比较方便的。本节中，我们来讲解Python读取和写入CSV文件

的过程。

写入这里首先来看一个最简单的例子：

首先，打开data.csv文件，然后指定打开的模式为w（即写入），获得文件句柄，随后调用csv库的writer( )

方法初始化写入对象，传入该句柄，然后再调用writerow( )方法传入每行的数据即可完成写入。

运行结束之后，会生成一个名为data.csv的文件，此时数据就成功写入了。直接以文本形式打开的话，

其内容如下：

可以看到，写入的文本默认以逗号分隔，调用一次writerow( )方法即可写入一行数据。用Excel打开的结果

如下所示：

如果想要修改列与列之间的分隔符，可以传入delimiter参数，其代码如下：

这里在初始化写入对象时传入delimiter为空格，此时输出结果的每一列就是以空格分隔了，内容如下：

另外，我们也可以调用writerows( )方法同时写入多行，此时参数就需要为二维列表，例如：

输出效果是相同的，内容如下：

但是一般情况下，爬虫爬取的都是结构化的数据，我们一般会用字典来表示。在csv库中也提供了字典

的写入方式，示例如下：

这里先定义3个字段，用fieldnames表示，然后将其传给DictWriter来初始化一个字典写入对象，接着可以

调用writeheader( )方法先写入头信息，然后再调用writerow( )方法传入相应的字典即可。最终写入的结果

是完全相同的，内容如下：

这样就可以完成字典到CSV文件的写入了。

另外，如果想追加写入的话，可以修改文件的打开模式，即将open( )函数的第二个参数改为a，代码如下：

这样在上面的基础上再执行这段代码，文件内容便会变成：

如果要写入中文内容的话，可能会遇到字符编码的问题，此时需要给open( )参数指定编码格式。比如，

这里写入一行包含中文的数据，代码需要改写如下：

如果想以Excel去读取存储的CSV文件，最好的将分隔符设置为英文逗号，编码设置为utf-8-sig，经验所得。

如希望了解utf8与utf-8-sig编码间的区别，右转百度，有比较好的解释

这里需要给open( )函数指定编码，否则可能会发生编码错误。

另外，如果接触过pandas等库的话，可以调用DataFrame对象的to_csv( )方法来将数据写入CSV文件中。

读取

我们同样可以使用csv库来读取CSV文件。例如，将刚才写入的文件内容读取出来。相关代码如下：

运行结果如下：

这里我们构造的是Reader对象，通过遍历输出了每行的内容，每一行都是一个列表形式。注意，如果

CSV文件中包含中文的话，还需要指定文件编码。