pandas中DataFrame相关

1.创建

1.1 标准格式创建

DataFrame创建方法有很多，常用基本格式是：DataFrame 构造器参数：DataFrame(data=[],index=[],coloumns=[])

In [272]: df2=DataFrame(np.arange(16).reshape((4,4)),index=['a','b','c','d'],columns=['one','two','three','four'])  

In [273]: df2

Out[273]:

   one  two  three  four

a    0    1      2     3

b    4    5      6     7

c    8    9     10    11

d   12   13     14    15

1.2 用传入等长列表组成的字典来创建

In [204]: data={'c':['',''],'a':['']}  #创建不等长字典序列  

In [205]: data

Out[205]: {'a': [''], 'c': ['', '']}  

In [206]: df=DataFrame(data)

Traceback (most recent call last):

...  

ValueError: arrays must all be same length   # 报错，传入的数组必须等长  

In [207]: data={'c':['',''],'a':['','']}  #创建<strong>等长字典序列

In [208]: df=DataFrame(data)  

In [209]: df

Out[209]:

   a  c                      # 创建完成后'a','c'自动按照字典序排序，并且创建时自定加上索引

0  5  1

1  6  2

创建完成后'a','c'自动按照字典序排序，并且创建时自定加上索引

In [210]: df=DataFrame(data,columns=['c','a'])  

In [211]: df

Out[211]:

   c  a    #按照指定顺序创建。

0  1  5

1  2  6

1.3 传入嵌套字典（字典的值也是字典）创建DataFrame

如果指定了columns名称，则会按照指定顺序创建。

In [227]: nest_dict={'shanghai':{2015:100,2016:101},'beijing':{2015:102,2016:103}}  

In [228]: nest_dict

Out[228]: {'beijing': {2015: 102, 2016: 103}, 'shanghai': {2015: 100, 2016: 101}}  

In [229]: df1=DataFrame(nest_dict)  

In [230]: df1

Out[230]:

      beijing  shanghai

2015      102       100

2016      103       101

2.增删改查

2.1 增

创建新列

df['b']=1  
l = [1,2,3]
df['c']=l

添加新行

将列表中的数据添加到dataframe中

df = pd.DataFrame(columns=[u'设备号', u'节目', u'类型', u'完整度', u'调整系数', u'喜爱度'])

new = pd.DataFrame([info], columns=[u'设备号', u'节目', u'类型', u'完整度', u'调整系数', u'喜爱度'])

# 忽略索引,往dataframe中插入一行数据

df = df.append(new, ignore_index=True)

将数据字典添加到dataframe中

df = pd.DataFrame(columns=[u'设备号', u'节目', u'类型', u'完整度', u'调整系数', u'喜爱度'])

new = pd.DataFrame(dict, ,index=[""])

# 忽略索引,往dataframe中插入一行数据

df = df.append(new, ignore_index=True)

数据合并与重塑

https://blog.csdn.net/stevenkwong/article/details/52528616

2.2 删

用del删除

In [225]: del df['a']  

In [226]: df

Out[226]:

   c  b

0  1  1

1  2  1

用drop() 删除

用drop删除时，删的是视图，并没有真正删除

In [258]: df

Out[258]:

   c  b  0

0  5  1  6

1  5  1  6

In [259]: df.drop(0,axis=1) #删除列Out[259]:

   c  b

0  5  1

1  5  1

In [260]: df  # df的数据并没有改动

Out[260]:

   c  b  0

0  5  1  6

1  5  1  6

dorp()可以通过axis（行：axis=0 ，列：axis=1）可以控制删除行或列，默认是行。

dorp()也可以同时删除多行或多列

In [271]: df.drop([0,1],axis=1)

Out[271]:

   c  b

0  6  6

1  5  1

2.3 改

通过赋值进行修改，可以通过定位到行，列，或者具体位置进行赋值修改。

修改具体元素值：

In [242]: df['c'][1]=4  

In [243]: df

Out[243]:

   c  b

0  1  1

1  4  1

修改列：

In [244]: df['c']=5   

In [245]: df

Out[245]:

   c  b

0  5  1

1  5  1

修改行：

df[:1]=6  

df

Out[266]:

   c  b

0  6  6

1  5  1

修改行和列如果传入一组值得话，注意传入数组的长度，如果传入数组长度大于len(df) 则截断，小于df长度则置NaN

In [267]: df[0]=Series([1,2,3])  

In [268]: df

Out[268]:

   c  b  0

0  6  6  1

1  5  1  2  

In [269]: df[1]=Series([1,])  #增加一列，传入一个值  

In [270]: df

Out[270]:

   c  b  0   1

0  6  6  1   1

1  5  1  2 NaN

2.4 查

df[0：1] 选取第一行按位置选取的 df[0] 这样是错误的的
df[‘a’] 选取第a列按列名选取

df.loc[0] 按index选取行 df.loc[0:3]选取0,1,2行 df.loc[‘A’] 选取索引为A的行
df.loc[[‘A’],’a’] 行列一起选

df.iloc[0,2] 只能通过位置来选择，选择第一行第三列
df.iloc[0:3,1:3]通过位置切片来选择可以选多的，也可以选中一个元素

df.at[1,’a’]通过名称来选择，只能选中一个
df.iat[1,2]通过位置来选择只能选中一个

df.ix[1] 通过位置来选取行 df.ix[‘A’]通过索引选择行
df.ix[1,’a’] 同时选取行列，位置和索引都可以可选中一个元素，也可以是多个

df选择后的数据基本都是dataframe结构，不能直接使用
使用df.values可以获取它的值

df.columns 输出列的信息

df.index 输出索引相关信息

df.describe() 会显示每一列的总数均值等

df.info() 显示基本的数据信息
df.count() df.mean() df.max() df.min() 统计每一列的统计量
df.head(10) 输出前10行 df.tail(10) 输出最后10行

df.isnull.sum() 按列统计表中的空值的数量
df.where(df>10).count() 按列统计表中大于10的元素个数
df.groupby(‘y’).count() 根据y属性进行分组，统计每一组的分布情况

df['x'].value_counts() #统计某一列x中各个值出现的次数：

df[df[‘price’]<’7.2’] 把符合条件的行显示出来
df.where(df[‘price’]<’7.2’) 所有行都显示，不符合条件的price显示为nan

3.操作相关

3.1 去除重复值

# 重复数据只取第一个值

df = df.drop_duplicates(subset=[u'企业ID'], keep='first')

3.2 转换数据类型

3.2.1 一列转换成str

# 将int转换成str

l = list(df[u'企业ID'].apply(str)

3.2.2 列表转换成字符串

enterprise_str = ''.join(enterprise_list)

3.3 连接操作

3.3.1 多列相加

data = df['A']+df['B']

3.3.2 索引左连接

# 将三个df以企业id为索引拼接起来

df = df.join(df2)

df = df.join(df3)

3.3.3 左连接

被连接的表的列必须是索引列

df1.join(df2.set_index('key'), how='left', lsuffix='_df1', rsuffix='_df2', on='keys')

一个更便捷的实现方法，不需要设置索引

df = pd.merge(df1, df2, on='action_type', how='left')

3.3.4 拼接

# 合并

df = pd.concat([data1, data2], ignore_index=True)

3.4 索引相关

3.4.1 设置索引

df = df.set_index('ID')

3.4.2 取消索引

df = df.reset_index()

3.5 条件替换

# 将小于0的值替换为0

df.loc[df['A']<0, 'A'] = 0

3.6 改变列顺序

df = df[['B','A','C']]

3.7 按某列排序

# 默认是升序

df_sort = df.sort_values(by='score', ascending=False)

3.8 写入excel

# 存入excel乱码时使用utf_8_sig

writer = pd.ExcelWriter('result.xlsx')

df1.to_excel(writer, 'sheetA', index=True, encoding="utf_8_sig")

df2.to_excel(writer, 'sheetB', index=True, encoding="utf_8_sig")