pandas-索引

一、按列取、按索引/行取、按特定行取

 import numpy as np
 from pandas import DataFrame
 import pandas as pd

 df=DataFrame(np.arange(12).reshape((3,4)),index=['one','two','thr'],columns=list('abcd'))

 df['a']#取a列
 df[['a','b']]#取a、b列

 #ix可以用数字索引，也可以用index和column索引
 df.ix[0]#取第0行
 df.ix[0:1]#取第0行
 df.ix['one':'two']#取one、two行
 df.ix[0:2,0]#取第0、1行，第0列
 df.ix[0:1,'a']#取第0行，a列
 df.ix[0:2,'a':'c']#取第0、1行，abc列
 df.ix['one':'two','a':'c']#取one、two行，abc列
 df.ix[0:2,0:1]#取第0、1行，第0列
 df.ix[0:2,0:2]#取第0、1行，第0、1列

 #loc只能通过index和columns来取，不能用数字
 df.loc['one','a']#one行，a列
 df.loc['one':'two','a']#one到two行，a列
 df.loc['one':'two','a':'c']#one到two行，a到c列
 df.loc['one':'two',['a','c']]#one到two行，ac列

 #iloc只能用数字索引，不能用索引名
 df.iloc[0:2]#前2行
 df.iloc[0]#第0行
 df.iloc[0:2,0:2]#0、1行，0、1列
 df.iloc[[0,2],[1,2,3]]#第0、2行，1、2、3列

 #iat取某个单值,只能数字索引
 df.iat[1,1]#第1行，1列
 #at取某个单值,只能index和columns索引
 df.at['one','a']#one行，a列

二、按条件取行

 #选取等于某些值的行记录 用 ==
 df.loc[df[‘column_name’] == some_value]

 #选取某列是否是某一类型的数值 用 isin
 df.loc[df[‘column_name’].isin(some_values)]

 #多种条件的选取 用 &
 df.loc[(df[‘column’] == some_value) & df[‘other_column’].isin(some_values)]

 #选取不等于某些值的行记录 用 ！=
 df.loc[df[‘column_name’] != some_value]

 #isin返回一系列的数值,如果要选择不符合这个条件的数值使用~
 df.loc[~df[‘column_name’].isin(some_values)] 

 三、查看、检查数据

 #查看DataFrame对象的前n行
 df.head(n)

 #查看DataFrame对象的最后n行
 df.tail(n)

 #查看行数和列数
 df.shape()

 #查看索引、数据类型和内存信息
 df.info() 

 #查看数值型列的汇总统计
 df.describe()

 #查看Series对象的唯一值和计数
 s.value_counts(dropna=False)

 #查看DataFrame对象中每一列的唯一值和计数
 df.apply(pd.Series.value_counts)

四、数据清理

 #重命名列名
 df.columns = ['a','b','c']    

 #检查DataFrame对象中的空值，并返回一个Boolean数组
 pd.isnull()

 #检查DataFrame对象中的非空值，并返回一个Boolean数组
 pd.notnull()

 #删除所有包含空值的行
 df.dropna()

 #删除所有包含空值的列
 df.dropna(axis=1)

 #删除所有小于n个非空值的行
 df.dropna(axis=1,thresh=n)

 #用x替换DataFrame对象中所有的空值
 df.fillna(x)

 #将Series中的数据类型更改为float类型
 s.astype(float)

 #用‘one’代替所有等于1的值
 s.replace(1,'one')

 #用'one'代替1，用'three'代替3
 s.replace([1,3],['one','three'])

 #批量更改列名
 df.rename(columns=lambda x: x + 1)

 #选择性更改列名
 df.rename(columns={'old_name': 'new_ name'})

 #更改索引列
 df.set_index('column_one')

 #批量重命名索引
 df.rename(index=lambda x: x + 1)

五、数据处理：Filter、Sort和GroupBy

 #选择col列的值大于0.5的行
 df[df[col] > 0.5]

 #按照列col1排序数据，默认升序排列
 df.sort_values(col1)

 #按照列col1降序排列数据
 df.sort_values(col2, ascending=False)

 #先按列col1升序排列，后按col2降序排列数据
 df.sort_values([col1,col2], ascending=[True,False])

 #返回一个按列col进行分组的Groupby对象
 df.groupby(col)

 #返回一个按多列进行分组的Groupby对象
 df.groupby([col1,col2])

 #返回按列col1进行分组后，列col2的均值
 df.groupby(col1)[col2]

 #创建一个按列col1进行分组，并计算col2和col3的最大值的数据透视表
 df.pivot_table(index=col1, values=[col2,col3], aggfunc=max)

 #返回按列col1分组的所有列的均值
 df.groupby(col1).agg(np.mean)

 #对DataFrame中的每一列应用函数np.mean
 data.apply(np.mean)

 #对DataFrame中的每一行应用函数np.max
 data.apply(np.max,axis=1)

六、数据合并

 #将df2中的行添加到df1的尾部
 df1.append(df2)

 #将df2中的列添加到df1的尾部
 df.concat([df1, df2],axis=1)

 #对df1的列和df2的列执行SQL形式的join
 df1.join(df2,on=col1,how='inner')

七、数据统计

 #查看数据值列的汇总统计
df.describe()   

#返回所有列的均值
df.mean()    

#返回列与列之间的相关系数
df.corr()    

#返回每一列中的非空值的个数
df.count()    

#返回每一列的最大值
df.max()    

#返回每一列的最小值
df.min()    

#返回每一列的中位数
df.median()    

#返回每一列的标准差
df.std()