pandas模块的基本用法

一、读取文件

import pandas as pd

data = pd.read_csv("F:\\ml\\机器学习\\01\\score.csv") #一般读取的是csv文件，就是以逗号形式分隔开的文件

print(data) #显示data的值
"""name   a   b     c   d    e
0  hyan  90  69  23.0  35  134
1   ytt  34  45  24.0  35   14
2    hy  34  56  67.0  69   26
3    cz  35  84  94.0  72   61
4    wh  72  15  16.0  61   27
5    hj  62  61   NaN  28   38
"""
print(data.dtypes) #显示data里面参数的类型
"""
name     object
a         int64
b         int64
c       float64
d         int64
e         int64
dtype: object"""

print(type(data)) #显示data的类型------<class 'pandas.core.frame.DataFrame'>

print(help(pd.read_csv)) #寻求帮助

data.columns #显示每类的类名------Index(['name', 'a', 'b', 'c', 'd', 'e'], dtype='object')

data.shape #显示维度------(6, 6)

data.head(3) #显示前三行的数据，默认前5行

data.tail(3) #显示后3行的数据，默认后5行

二、索引与计算

import pandas as pd

data = pd.read_csv("F:\\ml\\机器学习\\01\\score.csv") #一般读取的是csv文件，就是以逗号形式分隔开的文件

data.loc[0:2] #读取行，通过loc形式读取，比如data.loc[0]读取第0行，也可以通过切片，如这样就可以读取前三行，注意的是包括索引2所在的行

data[["name", "a"]] #读列，默认第一行的为列名，如果单独读取某个列，比如data["name"]，如果读取好几个列的话，放进数组的里读取。

#读取列名中的含a的列-----一般寻找的特殊列的过程
col_names = data.columns.tolist() #将所有的列名放进列表中

print(col_names) #------['name', 'a', 'b', 'c', 'd', 'e']

select_col = []

for name in col_names:
    if 'a' in name:
        select_col.append(name)

print(data[select_col])

#新增列，先通过运算得到的列
f = data['d'] + data['e']

print(f)

#再将列填进去
data['f'] = f

print(data.shape) #------(6, 7)

data[['d', 'e', 'f']]

#将f列进行归一化操作
data['f'].min() #取f列的最小值------49

data['f'].max() #取f列的最大值------169

f_normalized = data['f'] / data['f'].max()

print(f_normalized)

三、数据预处理实例

data.sort_values('f', inplace = True, ascending = True) #排序，inplace=True表示会改变原来的数据，ascending = True表示升序，默认就是升序。NaN表示之前没有数据，用NaN代替

print(data)

#寻找c列的NaN的个数，也就是缺失值的个数。
c = data['c']

c_is_null = pd.isnull(c) #判断c列的值，NaN为True，否则为False

print(c_is_null)

nan = c[c_is_null] #以c_is_null为索引，只返回True的值

print(nan)

count = len(nan) #显示nan的个数

print(count) #------1

#去掉NaN求均值的两个方法
#方法一
c_isnot_null = data['c'][c_is_null == False] #去掉NaN所得到的列

mean_c = sum(c_isnot_null) / len(c_isnot_null)

print(mean_c) #------44.8

#调用自己的函数
mean_c_1 = data['c'].mean()

print(mean_c_1) #------44.8

#统计以a为等级的对应e的平均值
e_mean = data.pivot_table(index = 'a', values = 'e', aggfunc = np.mean)

print(e_mean)

#统计以a为等级对应d、e的总和

sum_d_e = data.pivot_table(index = 'a', values = ['d', 'e'], aggfunc = np.sum) #如果不写参数aggfunc，默认为平均值

print(sum_d_e)

#去掉NaN所在的行或者列
new_data = data.dropna(axis = 1) #去掉含NaN所在的列

print(new_data)

new_data_1 = data.dropna(axis = 0, subset = ['c', 'd']) #去掉NaN所在的行

print(new_data_1)

#确定寻找某个值
b_2 = data.loc[2, 'b']

print(b_2) #------56

import pandas as pd

data = pd.read_csv("F:\\ml\\机器学习\\01\\score.csv") #一般读取的是csv文件，就是以逗号形式分隔开的文件

data.sort_values('c', inplace = True, ascending = True)
print(data)

#排序后行号发生的改变，这时候重新从头设定的话
new_data = data.reset_index(drop = True) #drop = True表示原来的索引不要了，重新从头开始设定

print(new_data)

四、自定义函数

import pandas as pd

data = pd.read_csv("F:\\ml\\机器学习\\01\\score.csv") #一般读取的是csv文件，就是以逗号形式分隔开的文件

#自定义函数，取data的DataFrame的第4行数据
def a_values(data):
    return data.loc[4]

a_value = data.apply(a_values) #调用自定义函数

print(a_value)

五、Series结构

import pandas as pd
import numpy as np
from pandas import Series

#取出DataFrame中的某一行或者某一列都是Series类型

data = pd.read_csv("F:\\ml\\机器学习\\01\\score.csv") #一般读取的是csv文件，就是以逗号形式分隔开的文件

d_data = data['d']

print(type(d_data)) #------<class 'pandas.core.series.Series'>

d = d_data.values #将Series类型转化为ndarry类型

print(d) #------[35 35 69 72 61 28]

print(type(d))#------<class 'numpy.ndarray'>

#对于两个ndarray类型，只要维度一样，就可以将其中的一个ndarray作为索引形成Series类型。
num = np.array([1, 2, 3, 4, 5, 6])

name = np.array(['a', 'b', 'c', 'd', 'e', 'f'])

name_num = Series(num, index = name)

print(name_num)

#也可以直接创建
Series([1, 2, 3, 4])

0    1
1    2
2    3
3    4
dtype: int64

Series({'a':1, 'b':2, 'c':3})

a    1
b    2
c    3
dtype: int64

Series([1, 2, 3, 4, 5], index = ['a', 'b', 'c', 'd', 'e'])

a    1
b    2
c    3
d    4
e    5
dtype: int64

v = Series([1, 2, 3, 4, 5], index = ['a', 'b', 'c', 'd', 'e'])

print(v.cumsum()) #cumsum()是累计求和

a     1
b     3
c     6
d    10
e    15
dtype: int64