pandas 常用操作记录

apply函数

一个非常灵活的函数，能够对整个DataFrame或者Series执行给定函数的操作。

函数可以是自定义的，也可以是python或者pandas内置的函数，还可以是匿名函数。

作用： 用于数值转换， 或者添加新列的时候

模拟数据：

import pandas as pd
import numpy as np

df = pd.DataFrame(
    {"name":["xiaoming","sunjun","jimmy","tom"],
    "sex":["male","female","female","male"],
    "chinese":[100,80,90,92],
    "math":[90,100,88,90]
    })

df

例子：

1/ 转换某列的数值

df["chinese"] = df["chinese"].apply(float)
或者：
df['chinese'] = df['chinese'].astype(float)

2/ 性别列转换，将性别为male的改为0， female改为1

def change_sex(x):  # male-0  female-1
    return 0 if x == "male" else 1

df["sex"] = df["sex"].apply(change_sex)

或者用lambda函数

df['sex'] = df.apply(lambda x: 0 if x.sex == 'male' else 1, axis=1) # axis的意思代表从横向处理

3/ 用lambda函数将name首字母大写：

df["name"] = df["name"].apply(lambda x: x.title())

4/ 新增一列 求chinese和math的总分

df['score'] = df.apply(lambda x: x.chinese + x.math, axis=1) # 同时操作两列，记得axis=1

5/ 将某列的日期改变

import datetime
def change_day(x):
    year = x.year - 100 if x.year > 1989 else x.year
    return datetime.date(year, x.month, x.day)
wind['Yr_Mo_Dy'] = wind['Yr_Mo_Dy'].apply(change_day)
wind.head()

---
# 新增年月日列
wind['data'] = wind.Yr_Mo_Dy
wind['month'] = wind['data'].apply(lambda data: data.month)
wind['year'] = wind['data'].apply(lambda data: data.year)
wind['day'] = wind['data'].apply(lambda data: data.day)

agg函数：

agg函数一般和groupby函数一起使用

1/ 求chinese的平均分和sum

df["chinese"].agg(["mean", "sum"])

或者
op_dict = {'chinese': 'sum', 'chinese2':'mean'}
df['chinese2'] = df.chinese
df2 = df['chinese'].agg(op_dict).reset_index()
df2.columns = ['index',"score"]
df2

2/求男生和女生的ch的平均分和总分是多少

df['chinese2'] = df.chinese
op_dict = {'chinese': 'sum', 'chinese2':'mean'}
df2 = df.groupby('sex').agg(op_dict).reset_index() # reset_index用于将columns定为索引
df2

3/统计性别男女 sex 的chinese 的平均分（新增一个字段放在最后面）

op_dict = {'chinese': 'mean'}
df1 = df.groupby('sex').agg(op_dict).reset_index() # 先求出男女平均分,然后merge在一起
df1.columns = ["sex", "chi_average"]
df1
df.merge(df1,on='sex', how='left')

merge函数

作用: 多用于合并

用法:

1/ 将两个表合并

df_data = df_data.merge(node_events_detail_df, on=['device_id', 'day'], how='left').fillna(0) # df_data和node_events_detail_df合并 ， 拼合字段为on ,how为left 左连接和outer外联，
fillna(0) 为如果是空值则补0

判断dateframe是否为空

if df_data.empty:

pivot_table函数

作用：透视表，将列转为行

参考具体用法

https://blog.csdn.net/mingkoukou/article/details/82870960

例子：

node_events_detail_df = node_events_detail_df[['device_id', 'pn', 'day', 'calculate_event_type_num']] # 排好需要用到的columns
# 透视表，需要选择到的columns=pn,新增一列calculate_event_type_num 其实就是改了名字的pn， 选取values的值 则为pn的值，fill_value 为默认值为0 aggfunc为遇到相同的pn 聚合函数或函数列表, 最后转为int
node_events_detail_df = node_events_detail_df.pivot_table(index=['biz_game_code', 'biz_gcp_code', 'device_id', 'day'],columns='pn',values='calculate_event_type_num', fill_value='0', aggfunc='sum').astype(int)
node_events_detail_df = node_events_detail_df.reset_index()

新增一列数据

chipo['new'] = chipo.apply(lambda x: x.item_price[1:-1] if x.item_price else 0, axis=1) # 切片去掉不能转为浮点数的数字

data_df['ip_name'] = data_df.apply(lambda x: self.get_ip_city(x.ip_name), axis=1)
data_df['ifa_type'] = data_df.apply(lambda x: self.get_ifa_type_name(x.ifa_type), axis=1)
data_df['newflag_g'] = data_df.apply(lambda x: '是' if x.newflag_g else '否', axis=1)
data_df['newflag_gcp'] = data_df.apply(lambda x: '是' if x.newflag_gcp else '否', axis=1)

iloc函数

作用：将df进行一个切割

df[:,:] # 前面控制的是多少行, 后面控制的是多少列, 从0开始算

参考具体用法

concat函数

作用: 将两个二维数组合并

用法:

import numpy as np
import pandas as pd
raw_data_1 = {
        'subject_id': ['1', '2', '3', '4', '5'],
        'first_name': ['Alex', 'Amy', 'Allen', 'Alice', 'Ayoung'],
        'last_name': ['Anderson', 'Ackerman', 'Ali', 'Aoni', 'Atiches']}

raw_data_2 = {
        'subject_id': ['4', '5', '6', '7', '8'],
        'first_name': ['Billy', 'Brian', 'Bran', 'Bryce', 'Betty'],
        'last_name': ['Bonder', 'Black', 'Balwner', 'Brice', 'Btisan']}

raw_data_3 = {
        'subject_id': ['1', '2', '3', '4', '5', '7', '8', '9', '10', '11'],
        'test_id': [51, 15, 15, 61, 16, 14, 15, 1, 61, 16]}
data1 = pd.DataFrame(raw_data_1)
data2 = pd.DataFrame(raw_data_2)
data3 = pd.DataFrame(raw_data_3)

# data1和data2两个数据框按照行的维度进行合并，命名为all_data
all_data = pd.concat([data1, data2])
all_data
# data1和data2两个数据框按照列的维度进行合并，命名为all_data_col
all_data_col = pd.concat([data1, data2], axis=1)
all_data_col
# 按照subject_id的值对all_data和data3作合并
all_data
all_data.merge(data3, on=['subject_id'],how='left').fillna(0)
#  对data1和data2按照subject_id作连接
data1.merge(data2, on='subject_id', how='inner',suffixes=('_left', '_right'))

query函数的使用

作用: 对二维数组 数据进行查找使用

用法:

# 查找是columns为day的8月2号的数据且广告id为1的,然后相加
pay_df.query('ad_id==1 and user_day == "20220802"').sum()