像用excel一样用pandas

1 说明

1. 预计需要15min阅读此教材；
2. 本教材仅讲述如何查看excel数据，筛选，排序，查找替换数据，不涉及excel中复杂的图形绘制及样式修改。

2 假设

假设，已经存在一个test.xlsx文件，仅包含一个sheet，文件内容如下。

col1	col2
foo1	bar1
foo2	bar2

3 读取

3.1 读取excel

读取一个excel并赋值给df

import pandas as pd

df = pd.read_excel('foo.xlsx')

查看行列数

#法一
df.shape
# (2,2)
# m,n其中m为行数，n为列数
# 法二
df.info()
# <class 'pandas.core.frame.DataFrame'>
# RangeIndex: 2 entries, 0 to 1
# Data columns (total 2 columns):
# col1 fa    2 non-null object
# col2 fa    2 non-null object
# dtypes: object(2)
# memory usage: 112.0+ bytes

查看列名

df.columns
# Index(['col1', 'col2'], dtype='object')

说明:如果没有定义表头columns展示仅是索引名1,2,3

获取单元格值

如果了解单元格的行列值可以使用iloc方法获取单元格值。

df.iloc[m, n]

其中m为行数，n为列数，二者均从0开始索引。

查看行

可以使用标签，切片，标签矩阵等等获取行数。

# 查看单行
df.iloc[1] or df.loc['index']
# 查看多行
df.iloc[[1,2,3,4,8,9]]
# 查看前7行
df.iloc[:7]
# 或者
df.loc[:7]

python中切片是不算终止一个元素的，df.iloc取前n个元素是使用':n'，而loc方法是计算终止元素的，取前n元素方法就变为df.loc[:n-1]

查看列

# 查看单列
df['col1']或者df.col1,，其中col1为列名。推荐使用df.col1
# 查看多列，过滤时传入一个列数组
df[['col1','col2']]
# 查看前7列，由于不清楚前7列名，使用[]选择较为困难，pandas提供iloc方法，支持切片选择。
# :意味着选择所有行，0:7意味着选择从1行到第7行
df.iloc[[: , 0:7]]

如果excel表格有列名且没有空格，pandas会默认为df增加一个同列名的字段

全表查看

pandas没有全表查看api，如果要全表查看需要自行编写代码：

# 由于DataFrame是采用列式存储，这里第一层循环使用列，第二层循环使用行。
for i in df.columns:
    for j in df.index:
        if df.loc[j, i] == 'bar2':
            print('column name:',i,',row idx:',j)

4 表格操作

4.1 新增

插入新列

插入新列仅需添加一个新的值,并赋值一个Series对象即可。

df['newcolumn']= pd.Series([1,2])

插入新行

方法一：使用loc。

# 注意在插入时列必须匹配，不能有缺省列。
chipo.loc[chipo.shape[0]]={'col1':value}

方法二：使用append

newdf = pd.DataFrame({'col3':value})
# 插入一条记录
df = df.append(newdf, ignore_index=True)

4.2 修改

修改单元格的值

如果你知道修改单元格的行和列可以使用iloc方法：

# 行和列从0开始索引
df.iloc[m, n] = targetV

4.3 删除

DataFrame提供drop方法支持批量删除行和列。

drop(labels, axis=0, level=None, inplace=False, errors='raise')
# --axis为0时表示删除行，axis为1时表示删除列

参数解释，

# 删除第一和第三行
df.drop(label=[1,3])
# 删除名为item的列
df.drop(label=['item'], axis=1)
# 等价
df.drop(label='item', axis=1)

pandas仅支持按标签删除行列，不支持按行列值删除，这点与选择不同

5 过滤和排序

5.1 过滤

添加过滤条件，

df[df.col1=='Chicken Bowl']

如果在一个列中要选择多个值，Series对象有isin方法可以实现该功能

df[df.col1.isin('Chicken Bowl','huawei')]

多条件过滤

如果需要添加多个过滤条件可以使用，

df[(df.col1=='Chicken Bowl') & (df.col2==30)]

该方法返回值类型为DataFrame。

5.2 排序

DataFrame和Series都有sort_values方法，可按照某列数据做排序。排序方法返回的值依然为DataFrame。

df.sort_values(['column'])
//sort_values支持传入数组，所以可以指定多个排序字段

# or 使用Series方法
df.col1.sort_values()

设定排序顺序

//按降序排序
df.sort_values(['col1','col2'],ascending=False)

按列值排序

df.sort_index(axis=1, ascending=False)

单列排序会影响所有记录重新排序，而不是影响单独列。

6 保存文件

至此，你已学会如何读取文件，查看数据并操作excel值，现在需要将结果写回excel。DataFrame提供to系列方法实现写回。

df.to_excel('test.xlsx', sheet_name='Sheet1')

注意读取时使用pandas静态方法，写回则使用DataFrame的方法

引用

1. DataFrame
2. Series