Pandas的DataFrame

1. 手工创建DataFrame

 a = [[1, 2, 2],[3,None,6],[3, 7, None],[5,None,7]]
 data = DataFrame(a)

2. Excel数据数据没有顶头的处理

 import os
 import pandas as pd
 base_path = "D:\\practicespace\\Python\\datasets"
 file_name = "data.xlsx"
 path = os.path.join(base_path, file_name)
 print(path)
 if(os.path.exists(path)):
     print("file exists")

 data = pd.read_excel(path, sheet_name="Sheet4", header=2, usecols="C:J")
 data.head()

3. 字段值统计

data.Region.value_counts()

output:

EOC    36675

SOC    28468

WOC    20460

NOC    16017

Name: Region, dtype: int64

4.字段包含特殊符号（比如空格）的索引方式

不能再采用".字段名“的方式，而是要采用字符索引方式：

 print("region count: ", len(data.Region.value_counts()))
 print("Sub Region count: ", len(data["Sub Region"].value_counts()))

或者去掉特殊，然后再进行字段直接索引

df = df.rename(columns=lambda x: x.replace("'","").replace('"','')).replace(" ","")

5. 缺失值处理

1）统计缺失值

 total = data.isnull().sum().sort_values(ascending=True)
 percent = (data.isnull().sum()/data.isnull().count()).sort_values(ascending=True)
 table = pd.concat([total, percent], axis=1, keys=["total", "percent"])

2）删除缺失值的行列

 # 使用dropna方法删除含有缺失值的行，默认是行
 print(data.dropna())
 # 删除含有缺失值的列
 print(data.dropna(axis=1))

3）填充缺失值

 from pandas import DataFrame
 a = [[1, 2, 2],[3,None,6],[3, 7, None],[5,None,7]]
 data = DataFrame(a)
 print(data)
 # 统一填充缺失值为指定值
 print(data.fillna(0))
 # index=1（从0开始）列缺失值填充为1，index=2的列的缺失值填充为2
 print(data.fillna({1:1,2:2}))
 # 使用平均值进行填充
 print(data.fillna(data.mean()))
 # 前向填充，使用默认是上一行的值,设置axis=1可以使用列进行填充，不存在或者上一行也是None的时候就不填充
 print(data.fillna(method="ffill"))
 print()
 # 后向填充，使用下一行的值,不存在或者下一行也是None的时候就不填充
 print(data.fillna(method="bfill"))

6.遍历数据运算

 # 最原始，效率最低的迭代方案
 def myfunction(df):
     res_list = []
     for i in range(0,len(df)):
         res_list.append(df.iloc[i]['first']/df.iloc[i][‘second'])
     return disftance_list
 # 通过iterrows做遍历
 def haversine_looping(df):
     disftance_list = []
     for index,row in df.iterrows():
         disftance_list.append(row[‘high']/row[‘open'])
     return disftance_list
 # Cython做了全局优化，效率比iterrow有所提高，这里注意axis必须要设置
 df.apply(lambda row: row[‘high']/row[‘open'], axis =1)
 # pandas的矢量化处理，比较快，做了底层实现优化
 dftest4['rate'] = dftest4['high']/dftest4['open']
 # 通过values将pandas的serias数据转化为numpy arrays，效率最高，因为numpy在底层做了C的预编译
 dftest5['rate'] = dftest5['high'].values/dftest5['open'].values

7. 列内容重置

 df1['total'] = df1.Jan + df1.Feb + df1.Mar
 df1['category'] = np.where(df1['total'] > 200000, 'A', 'B')

这里注意，如果是total已经存在，可以通过df1.total的索引方式，但是如果是新创建的列，只能通过["columnName"]的方式进行索引。

8. 删除列

 del DF['column-name']
 DF= DF.drop('column_name', 1)；
 DF.drop('column_name',axis=1, inplace=True)
 DF.drop([DF.columns[[0,1, 3]]], axis=1,inplace=True)   # Note: zero indexed

9. group

在pandas里面的group，分组和运算是分开的，对于聚合则是在group之后通过调用sum，mean之类的函数基于分组做运算；

 # 单分组
 groupall = data.groupby("Region")
 groupall = groupall.sum()
 groupall
 # 多分组
 groupall = data.groupby(["Region", "Sub Region"])
 groupall = groupall.sum()
 groupall

10. reindex vs. reset_index

reindex是进行列重排，需要指定要保留那些列（也可以指定新列），

 df = pd.DataFrame(np.arange(9).reshape(3,3), index=[2,3,1], columns=['a','b','c'])
 df
 df1=df.reindex(columns=['a','b'])
 df1

　　df2=df.reindex(columns=['a','b','e'])

　　df2

df返回为：

a b c
2 0 1 2
3 3 4 5
1 6 7 8

df1返回为（看到c列已经消失了）：

　a b
2 0 1
3 3 4
1 6 7

df2返回为：

　a b e
2 0 1 NaN
3 3 4 NaN
1 6 7 NaN

reset_index则是重新创建一个索引列，一般group之后索引列就消失了，所以需要通过reset_index重新插入一列索引，默认不改变数据，只是插入一列索引列，可以通过指定drop参数来对原索引列进行删除（group之类的聚合操作已经没有原索引列信息了）。

>>> df = pd.DataFrame(np.arange(9).reshape(3,3), index=[2,3,1], columns=['a','b','c'])
>>> df

>>> df2 =df.reset_index()
>>> df2

>>> df3 = df.reset_index(drop=True) #删除原索引列
>>> df3

>> 输出的df为：

a b c
2 0 1 2
3 3 4 5
1 6 7 8

>> 输出的df2为：

index 　a b c
0 2 　　 0 1 2
1 3 　　 3 4 5
2 1 　　 6 7 8

>> 输出的df3为：

　a b c
0 0 1 2
1 3 4 5
2 6 7 8

参考：

https://www.jianshu.com/p/e664b9a3bf70

https://blog.csdn.net/katyusha1/article/details/81501893

缺失值处理

https://blog.csdn.net/sinat_29957455/article/details/79017363

迭代处理

https://blog.csdn.net/m0_37382341/article/details/83716988