pandas模块详解

Pandas模块

1、什么是pandas

pandas是基于numpy构建的，用来做数据分析的

2、pandas能干什么

• 具备对其功能的数据结构DataFrame，Series
• 集成时间序列功能
• 提供丰富的数学运算和操作
• 灵活处理缺失数据

3、怎么用pandas

安装引用

pip install pandas
import pandas as pd

Series

一种类似于一维数组的对象，由一组数据和一组与之相关的数据标签（索引）组成

#创建方法
pd.Series([1,2,3,4,5])   ##将数组索引以及数组的值打印出来，索引在左，值在右

pd.Series([1,2,3,4,5],index=['a','b','c','d','e'])   

pd.Series({'a':1,'b':2})

pd.Series(0,index=['a','b','c'])

缺失数据

• dropna() 过滤掉值为Nan的行
• fill() 填充缺失数据
• isnull() 返回布尔数组，缺失值对应为True
• notnull() 返回布尔数组，缺失值对应为False

Series特性

从ndarray创建Series:Series(arr)

arr=np.arange(10)
sr=pd.Series(arr)

与标量（数字）进行运算

srx=sr*2

两个Series运算

sr*srx

布尔值过滤

sr[sr>3]

统计函数：mean()，sum(),cumsum()

支持字典的特性

从字典创建Series：Series(dic)

dic={'a':1,'b':2,'c':3,'d':4,'e':5}
dic_arr=pd.Series(dic)

in运算

for i in dic_arr:
    print(i)

键索引

dic_arr=[['a','b']]

键切片

dic_arr['a':'c']

其他函数

dic_arr.get('a',default=0)

整数索引

sr=pd.Series(np.arange(10))
sr1=sr[4:].copy()

• loc属性 以标签解释

• iloc属性 以下标解释

sr1.iloc[1]
sr1.loc[3]

Series数据对齐

sr1=pd.Series([10,20,30],index=['a','b','c'])
sr2=pd.Series([30,20,10].index=['c','b','a'])
sr1+sr2

#将两个Series对象相加将缺失值设为0
sr1=pd.Series([10,20,30],index=['a','b','c'])
sr2=pd.Series([30,20,10].index=['c','b','a'，'d'])
sr1.add(sr2,fill_value=0)

#灵活的算术方法：add，sub，div，mul

DataFrame

DataFrame是一个表格型的数据结构，相当于一个二维数组，含有一组有序的列。他可以被看做由Series组成的字典，并且公用一个索引

创建方式

pd.DataFrame({'one':[1,2,3,4],'two':[4,3,2,1]})

data=pd.DataFrame({'one':[1,2,3,4],'two':[4,3,2,1]})
pd.DataFrame(data,columns=['one','two'])

pd.DataFrame({'one':pd.Series([1,2,3],index=['a','b','c']),'two':pd.Series([1,2,3],index=['b','a','c'])})

查看数据

常用属性和方法

• index获取行索引

• columns获取列索引

• T转置

• values获取值索引

• describe获取快速统计

数组名.index          数组名.columns        数组名.T

数组名.values       数组名.describe

索引和切片

• DataFrame有行索引和列索引
• DataFrame可以通过标签和位置两张方法进行索引和切片

#两个中括号
import tushare as ts
data =ts.get_k_data('000001')
data['open'][:10]  #先取列再去行
data[:10]['open']

#使用loc、iloc属性
data.loc[:10,'open':'low']  #用标签取值
data.iloc[:10,1:5]   #用下标取值

时间对象处理

处理时间对象可能是我们在进行数据分析的过程中最常见的，我们会遇到各种格式的时间序列，也需要处理各种格式的时间序列

时间序列类型

• 时间戳：特定时刻

• 国定时间：如2017年2月

• 时间间隔：起始时间-结束时间