python中csv文件操作总结

1、csv文件简介

CSV文件是一种常见的文本文件格式，全称为Comma-Separated Values（逗号分隔值）。
它被广泛用于存储表格数据，如电子表格和数据库中的数据。

CSV文件的结构非常简单，每行表示数据中的一行，每个字段之间使用特定的分隔符（通常是逗号）进行分隔。

每行的字段数量应相同，以便正确解析数据。通常，第一行是字段名，用于标识每个字段的含义。

以下是一个示例CSV文件(data.csv，下文会用到)的内容：

1 Name,Age,Email
2 John,25,john@example.com
3 Emma,32,emma@example.com

在上面的示例中，第一行指定了三个字段的名称：Name、Age和Email。接下来的两行分别是具体的数据行，每个字段由逗号进行分隔。

CSV文件的优点是它的简单性和易读性。它可以被多个应用程序和编程语言轻松解析和处理。Python提供了许多库（如csv模块）来读取和写入CSV文件，能够轻松地处理和操作其中的数据。

2、读取CSV文件

 1 import csv
 2
 3 with open('data.csv', 'r') as file:
 4     reader = csv.reader(file)
 5     for row in reader:
 6         print(row)
 7
 8 """终端输出结果：
 9 ['Name', 'Age', 'Email']
10 ['John', '25', 'john@example.com']
11 ['Emma', '32', 'emma@example.com']
12 """

上述代码将打开名为"data.csv"的CSV文件，并使用csv.reader函数创建一个阅读器对象。然后，通过循环迭代阅读器对象，逐行读取CSV文件的内容并进行处理。

如果CSV文件的第一行是标题行，可以使用next()函数跳过标题行，然后处理数据行：

 1 import csv
 2
 3 with open('data.csv', 'r') as file:
 4     reader = csv.reader(file)
 5     headers = next(reader)  # 跳过标题行
 6     print(f"headers:{headers}\n--------------------------------")
 7     for row in reader:
 8         print(row)
 9
10 """终端输出结果：
11 headers:['Name', 'Age', 'Email']
12 --------------------------------
13 ['John', '25', 'john@example.com']
14 ['Emma', '32', 'emma@example.com']
15 """

3、写入CSV文件

 1 import csv
 2
 3 data2 = [
 4     ['Name', 'Age', 'Email'],
 5     ['Jobs', '20', 'jobs@example.com'],
 6     ['cook', '35', 'cook@example.com']
 7 ]
 8
 9 with open('data2.csv', 'w', newline='') as file:
10     writer = csv.writer(file)
11     writer.writerows(data2)

上述代码将创建一个名为"data2.csv"的CSV文件，并使用csv.writer函数创建一个写入器对象。

然后，使用writerows()方法将数据写入CSV文件。

注意，在打开文件时，我们将newline=''传递给open()函数，这是为了避免在Windows系统上出现额外的空行。

4、使用pandas读入csv文件

import pandas as pd

读取csv文件数据

读取train.csv数据：

train_df = pd.read_csv(r'C:\Users\86177\Desktop\experiment\train.csv')

查看数据信息

 print(train_df)

查看前五个数据

print(train_df.head())

查看是否有空值

train_df.isnull( ).any( 

5、处理csv文件中的缺失值和特殊字符

当读取csv文件时，我们有时会遇到一些缺失值或者特殊字符。为了防止出现数据错误，我们需要对这些问题进行处理。

1、处理缺失值：

在csv文件中，缺失值通常用NaN或者空格表示。在Python中，我们可以使用Pandas库的read_csv()函数读取csv文件，并使用dropna()函数删除含有缺失值的行：

1 import pandas as pd
2
3 df = pd.read_csv('example.csv')
4 df.dropna(inplace=True)

2、处理特殊字符：

在csv文件中，有些特殊字符可能会打乱数据结构，影响后续的数据处理和分析。在Python中，我们可以使用csv模块的quotechar和quoting参数来处理特殊字符。

1 import csv
2
3 with open('example.csv', 'r') as csvfile:
4     reader = csv.reader(csvfile, delimiter=',', quotechar='"', quoting=csv.QUOTE_MINIMAL)
5     for row in reader:
6         print(row)

上述代码中，我们使用quotechar='"'指定了csv文件中的引号符为双引号，使用quoting参数指定了csv.QUOTE_MINIMAL，表示尽可能保留原有数据结构。