pandas函数的使用

一、Pandas的数据结构

1、Series

Series是一种类似与一维数组的对象，由下面两个部分组成：

• values：一组数据（ndarray类型）
• index：相关的数据索引标签

1）Series的创建

两种创建方式：

(1) 由列表或numpy数组创建

• 默认索引为0到N-1的整数型索引



import pandas as pd
from pandas import Series,DataFrame
import numpy as np

#使用列表创建Series
Series(data=[1,2,3])
Series(data=[1,2,3],index=['a','b','c']) #显式索引

#使用numpy创建Series
s = Series(data=np.random.randint(0,100,size=(4,)),index=['a','b','c','d'])

2）Series的索引和切片

可以使用中括号取单个索引（此时返回的是元素类型），或者中括号里一个列表取多个索引（此时返回的是一个Series类型）。

(1) 显式索引：

- 使用index中的元素作为索引值
- 使用s.loc[]（推荐）:注意，loc中括号中放置的一定是显示索引

注意，此时是闭区间

s[[1,2]]

(2) 隐式索引：

- 使用整数作为索引值
- 使用.iloc[]（推荐）:iloc中的中括号中必须放置隐式索引

注意，此时是半开区间

切片:隐式索引切片和显示索引切片

• 显示索引切片:index和loc

s[0:3]

3）Series的基本概念

• 可以通过shape，size，index,values等得到series的属性

s.values
s.index

# 可以使用s.head(),tail()分别查看前n个和后n个值
s.head(2)
s.tail(2)

# 对Series元素进行去重
s = Series(data=[1,1,2,2,3,3,3,4,5,6,7,7,8,9,9,9])
s.unique()

当索引没有对应的值时，可能出现缺失数据显示NaN（not a number）的情况

• 使得两个Series进行相加

s1 = Series(data=[1,2,3],index=['a','b','c'])
s2 = Series(data=[1,2,3],index=['a','b','d'])
s = s1 + s2
print(s)

a    2.0
b    4.0
c    NaN
d    NaN
dtype: float64

可以使用pd.isnull()，pd.notnull()，或s.isnull(),notnull()函数检测缺失数据

s.isnull()
s.notnull()

a     True
b     True
c    False
d    False
dtype: bool

s[[True,True,False,False]]
s[s.notnull()]

a    2.0
b    4.0
dtype: float64

4）Series的运算

(1) + - * /

s1.add(s2)

a    2.0
b    4.0
c    NaN
d    NaN
dtype: float64

(2) add() sub() mul() div() : s1.add(s2,fill_value=0)

(3) Series之间的运算

• 在运算中自动对齐不同索引的数据
• 如果索引不对应，则补NaN

2、DataFrame

DataFrame是一个【表格型】的数据结构。DataFrame由按一定顺序排列的多列数据组成。设计初衷是将Series的使用场景从一维拓展到多维。DataFrame既有行索引，也有列索引。

• 行索引：index
• 列索引：columns
• 值：values

1）DataFrame的创建

• 最常用的方法是传递一个字典来创建。DataFrame以字典的键作为每一【列】的名称，以字典的值（一个数组）作为每一列。
• 此外，DataFrame会自动加上每一行的索引。
• 使用字典创建的DataFrame后，则columns参数将不可被使用。
• 同Series一样，若传入的列与字典的键不匹配，则相应的值为NaN。

• 使用ndarray创建DataFrame

arr = np.array([1,2,3])

DataFrame(data=np.random.randint(0,100,size=(3,4)),index=['a','b','c'])

• DataFrame属性：values、columns、index、shape

使用字典创建DataFrame：创建一个表格用于展示张三，李四，王五的java，python的成绩

dic = {
    '张三':[11,22,33,44],
    '李四':[55,66,77,88]
}
df_score = DataFrame(data=dic,index=['语文','数学','英语','理综'])

2）DataFrame的索引

(1) 对列进行索引

• 通过类似字典的方式 df['q']
• 通过属性的方式 df.q

• 可以将DataFrame的列获取为一个Series。返回的Series拥有原DataFrame相同的索引，且name属性也已经设置好了，就是相应的列名。

df = DataFrame(data=np.random.randint(0,100,size=(3,4)),index=['a','b','c'],columns=['A','B','C','D'])

#获取前两列
df[['A','B']]

(2) 对行进行索引

• 使用.loc[]加index来进行行索引
• 使用.iloc[]加整数来进行行索引

• 同样返回一个Series，index为原来的columns。

df.iloc[[0,1]]
df.loc[['a','b']]

(3) 对元素索引的方法 - 使用列索引 - 使用行索引(iloc[3,1] or loc['C','q']) 行索引在前，列索引在后

df.loc['a','D']
df.loc[['a','b'],'D']

切片：

【注意】 直接用中括号时：

• 索引表示的是列索引
• 切片表示的是行切片

#切出前两行
df['a':'b']
df[0:2]

# 在loc和iloc中使用切片(切列) ： df.loc['B':'C','丙':'丁']
df.loc[:,'A':'B']

3）DataFrame的运算

（1） DataFrame之间的运算

同Series一样：

• 在运算中自动对齐不同索引的数据
• 如果索引不对应，则补NaN

df + df

应用：分析某股票的历史行情数据

#使用tushare包获取某股票的历史行情数据
import tushare as ts
df = ts.get_k_data(code='600519',start='2000-01-01')
df.to_csv('./maotai.csv')

df = pd.read_csv('./maotai.csv')
#删除df中的某一列
df.drop(labels='Unnamed: 0',axis=1,inplace=True)

#将df总的date这一列作为源数据的行索引,将字符串i形式的时间数据转换成时间类型
df = pd.read_csv('./maotai.csv',index_col='date',parse_dates=['date'])
#删除df中的某一列
df.drop(labels='Unnamed: 0',axis=1,inplace=True)

#输出该股票所有收盘比开盘上涨3%以上的日期。
df.head(5)

#验证行索引的数据类型
df.index[0]

#输出该股票所有收盘比开盘上涨3%以上的日期。
#(收盘-开盘)/开盘 > 0.03
(df['close'] - df['open']) / df['open'] > 0.03
#一旦遇到了一组布尔值，直接将布尔值作为源数据的行索引
df.loc[(df['close'] - df['open']) / df['open'] > 0.03]
#将行索引取出
df.loc[(df['close'] - df['open']) / df['open'] > 0.03].index

#输出该股票所有开盘比前日收盘跌幅超过2%的日期。
#(开盘-前日收盘)/前日收盘  < -0.02
(df['open'] - df['close'].shift(1))/df['close'].shift(1) < -0.02
df.loc[(df['open'] - df['close'].shift(1))/df['close'].shift(1) < -0.02]
df.loc[(df['open'] - df['close'].shift(1))/df['close'].shift(1) < -0.02].index

#假如我从2010年1月1日开始，每月第一个交易日买入1手股票，每年最后一个交易日卖出所有股票，到今天为止，我的收益如何？

#2010-2019
new_df = df['2010-01-01':'2019-09-03']

#将买股票对应的行数据找出
    #- 在new_df中将每个月的第一个交易日的行数据取出
    #- 将每一行中的open值取出
df_monthly = new_df.resample('M').first()
df_yearly = new_df.resample('A').last()[:-1]

cost_monty = df_monthly['open'].sum()*100

#计算买入股票一共花了多少钱
recv_monry = df_yearly['open'].sum()*1200

#将19年手中剩余的股票进行估价，将估价的值也计算到收益中
recv_monry = 900 * new_df[-1:]['open'] + recv_monry

recv_monry - cost_monty