数据分析基础之pandas & numpy

一、jupyter的常用快捷键

　　- 插入cell: a, b   a是after从后插入  a是before 从前插入

　　- 删除cell: dd, x 都可以

　　- 修改cell的模式：m, y

　　- tab: 自动补全

　　- 执行cell: shift + enter

　　- 打开帮助文档：shift + tab

二、 numpy

　　1. 创建数组

　　import numpy as np

　　np.array()

　　一维数组创建：np.array([1,2,3])

　　2. 使用matplotlib获取一个numpy的数组，数组来源于一张图片

import matplotlib.pyplot as plt
img_arr = plt.imread('./cat.jpg')

展示一个数组：
plt,imshow(img_arr)

　　3. 使用np的routines函数创建

　　np.linspace(0,100,num=50)   返回一个一维的等差数列

　　np.random.randint(low,high=None,size=None,dtype="1") 返回一个随机数组

　　

　　4. array的属性

　　img_arr.shape    返回形状

　　img_arr.ndim            返回纬度

　　img_arr.dtype           返回元素的类型

　　img_arr.size　　返回元素有多少个

　　4.array的基本操作

　　4.1. 索引 （一维与列表完全一致 多维同理）

　　arr[0]    #arr[行索引]

　　4.2. 切片 （一维与列表完全一致 多维同理）

　　arr[0:3]    #切前三行

　　arr[:,0:2]  #切前两列

　　arr[0:2,0:2] #切前两行的前两列

　　arr[::-1]   #行翻转

　　arr[:,::-1]  #列翻转

　　arr[::-1,::-1] # 全部翻转

　　4.3. 运算操作

　　arr.sum(axis=0)    求列和  # axis = 0 表示y轴   1表示x轴

三、Pandas的数据结构   (dataframe只能是二维的)

　　1. DataFrame是一个[表格型]的数据结构，DataFrame按一定顺序排列的多列数据组成，设计初衷是将Series的使用场景从一维拓展到多维。DataFrame既有行索引，也有列索引。

　　行索引：index

　　列索引：columns

　　值：values

　　2. 使用nparray创建DataFrame

from pandas import DataFrame,Series
import numpy as np

DataFrame(data=np.random.randint(0,100,size=(6,8)))

创建DataFrame时指定显示索引

df = DataFrame(data=np.random.randint(0,100,size=(2,3)),index=['a','b'],columns=['A','B','C'])

DataFrame属性

df.values   #返回值

df.columns  #返回列索引

df.index    #返回列索引

df.shape    #返回形状 分别对应哪个纬度有几个数据

基于两种方式创建Dataframe表如下：

方法一：通过np实现

df = DataFrame(data=np.random.randint(0,100,size=(2,3)),index=['a','b'],columns=['A','B','C'])

方法二： 字典实现

DataFrame(data=np.random.randint(0,100,size=(4,2)),index=['语文','数学','英语','理综'],columns=['张三','李四'])

3. DataFrame的索引切片

3.1 列索引取值
如果设置了显示索引直接中扩加列索引名
df['张三']

3.2 对行进行索引
- 使用.loc[] 加index来进行索引
- 使用.iloc[] 加正式来进行索引

3.3 切片
df.iloc[行，列]
如：df.iloc[2,0]

df[隐式索引]  行切片  ps：列切片除了显示索引以外 必须加loc或者iloc才行

索引总结：
- 取行：df.loc[行索引]
- 取列：df[列索引]
- 取元素：df：iloc[行索引，列索引]
- iloc[隐式索引]
- loc[显示索引]

切片总结：
- 切行：df[行切片]
- 切列：df.iloc[:,切列]

4. DataFrame的运算

df1 = DataFrame(data=np.random.randint(0,100,size=(4,5)))
df2 = DataFrame(data=np.random.randint(0,100,size=(5,5)))
df1 + df2

相加得来的结果有一行NaN

4. 操作实例 基于Tushare分析某某股票需求如下：

4.1 使用tushare包获取某股票的历史行情数据
4.2 输出该股票所有收盘比开盘上涨3%以上的日期
4.3 输出该股票所有开盘比前日收盘跌幅超过2%的日期
4.4 假如我从2010年1月1日开始，每月第一个交易日买入一首股票，每年最后一个交易日卖出所有股票到今位置，收益如何？

# 使用tushare包获取某股票的历史行情数据
import tushare as ts

df = ts.get_k_data(code='600519',start='2000-01-01')

df.to_csv('./moutai.csv')  #将股票数据写入到本地

#从本地文件中读取数据到df并删除多余的列
df = pd.read_csv('./moutai.csv')
df.drop(labels='Unnamed: 0',axis=1,inplace=True)

# 将元数据中date这一列作为行索引，且将date中的数据类型转成时间序列
df = pd.read_csv('./moutai.csv',index_col='date',parse_dates=['date'])
df.drop(labels='Unnamed: 0',axis=1,inplace=True)
df.head(5)

#输出该股票所有收盘比开盘上涨3%以上的日期
#(收盘-开盘)/开盘 >0.03
(df['close']-df['open'])/df['open'] > 0.03
#看到布尔类型的数据，马上将该组数据作为行数据的索引（值保留True对应的行数据）
df.loc[(df['close']-df['open'])/df['open'] > 0.03] #符合要求的行数据
df.loc[(df['close']-df['open'])/df['open'] > 0.03].index

#输出该股票所有开盘比前日收盘跌幅超过2%的日期
#(开盘-前日收盘)/前日收盘 < -0.02
df.loc[(df['open']-df['close'].shift(1))/df['close'].shift(1)< -0.02].index

#假如我从2010年1月1日开始，每月第一个交易日买入一首股票，每年最后一个交易日卖出所有股票到今位置，收益如何
data = df['2010':'2019']
#买股票 resample 数据的重新取样
df_monthly = data.resample('M').first()
cost = df_monthly['open'].sum()*100

#卖股票
df_yearly = data.resample('A').last()[:-1]
recv = df_yearly['open'].sum()*1200

#19年剩余股票的价值
last = 1100 * data.iloc[-1]['open']

#总收益
(recv + last)-cost

四、DataFrame 空值清洗

　　有两种丢失数据：

　　- None

　　- np.nan(NaN)

　　1. None 是python自带的，不能参与到任何计算中

　　2.na.nan(NaN) 是浮点类型，能参与计算中，但计算结果总是NaN

ps：pandas中的None与np.nan都视作np.nan

模拟空数据并做清洗

#模拟数据：

#导包
import numpy as np
from pandas import DataFrame,Series
import pandas as pd

df = DataFrame(data=np.random.randint(0,100,size=(10,6)))
#将某些数据元素赋值为nan
df.iloc[3,2] = None
df.iloc[3,3] = None
df.iloc[2,3] = None
df.iloc[4,4] = None
df.iloc[2,5] = None
df.iloc[4,1] = np.nan

#结果如下：

#判断函数

isnul()

　　#df.isnull().all(axis=1)  all() 如果所对应的行有false就返回false

　　#df.isnull().any(axis=1)  any() 如果所对应的行含有true就返回true

notnull()

#将空所对应的行删除

#方法一：

df.loc[df.notnull().all(axis=1)]

#方法二：

drop_index = df.loc[df.isnull().any(axis=1)].index
df.drop(labels=drop_index,axis=0)

方法三： 直接通过dropna() 函数删除

df.dropna(axis=0)

x和y轴 跟drop相关的方法里面 行用0表示 列用1表示  其它地方行用1表示 列用0表示

#填充函数 fillna()

df.fillna(value=-999)  #把所有的控制都填充成-999

df.fillna(method='ffill',axis=0) #向前填充

df.fillna(method='bfill',axis=0) #向后填充

五、pandas的拼接操作

概述:pandas的拼接分为两种：

　　级联：pd.cancat, pd.append

　　合并：pd.merge, pd.join

import numpy as np
import pandas as pd
from pandas import DataFrame

df1 = DataFrame({'employee':['Bob','Jake','Lisa'],
'group':['Accounting','Engineering','Engineering']})
df2 = df1

#数据结果

#列级联

pd.concat((df1,df2),axis=0)

#数据不一样的时候级联 数据对不上的地方默认NaN

df1 = DataFrame({'employee':['Bob','Jake','Lisa'],
'group':['Accounting','Engineering','Engineering']})

df2 = DataFrame({'employee':['Bob','Jake','Lisa'],
'group':['Accounting','Engineering','Engineering']})
df2.columns = ['employee','groups']
df2['salary'] = [1000,2000,3000]

#级联的结果

pd.concat((df1,df2),axis=0,join='inner')  #只能级联能级联的项

pd.concat((df1,df2),axis=0,join='outer')  #你那个不能级联的都级联，保证数据的完整性

2. 合并pd.merge()

　　把两张表里面的数据整合， 一般两张表要有一列数据是一致的

默认以两张表相同的列作为合并条件，也可以自己指定，how指定合并条件，on指定哪一列作为合并条件

如果两张表没有共同列也可以用left_on=左表列或者right_on=右表列作为合并条件  ,

df1 = DataFrame({'employee':['Bob','Jake','Lisa'],
'group':['Accounting','Engineering','Engineering']})

df2 = DataFrame({'employee':['Lisa','Bob','Jake'],
'hire_date':['2004','2008','2012']})

六、pandas 高级操作

　　1. replace()函数：替代元素

# replace 基本操作

#造数据
import numpy as np
import pandas as pd
from pandas import DataFrame,Series

df = DataFrame(data=np.random.randint(0,100,size=(10,8)))

# 把1替换成one

df.replace(to_replace=1,value='one')

# 把第7列的1 替换成one

df.replace(to_replace={7:1},value='one')

　　2. map()  映射

# 映射小案例
dic = {
    'name':['周杰伦','张三','周杰伦'],
    'salary':[2222,1212,2222]
}
df = DataFrame(data=dic)
df
打印结果：

# 映射关系表
dic= {
'周杰伦':'jay',
'张三':'tom'
}

df['e_name'] = df['name'].map(dic)
df

实例2：用map结合函数充当一种运算工具

def after_salary(s):
    return s-(s-3000)*0.5

#超过3000部分的钱缴纳50%的税a
df['after_salary'] = df['salary'].map(after_salary)

　　3.使用集合函数对数据异常值检测和过滤

　　使用df.std()函数可以求得DataFrame对象每一列的标准差

# 创建一个1000行3列的df范围（0~1），要求每一列的标准差
df = DataFrame(data=np.random.random(size=(1000,3)),columns=('A','B','C'))

#去除C列两倍的标准差
double_std = df['C'].std()*2

df['C'] > double_std

indexes = df.loc[df['C'] > double_std].index
df.drop(labels=indexes,axis=0)

　　4. 数据分类处理

　　4.1 分组 group_by 和mean()   .to_dict()

from pandas import DataFrame,Series

#造数据
df = DataFrame({'item':['Apple','Banana','Orange','Banana','Orange','Apple'],
                'price':[4,3,3,2.5,4,2],
               'color':['red','yellow','yellow','green','green','green'],
               'weight':[12,20,50,30,20,44]})

# 分组
df.groupby(by='item',axis=0).groups

# 给df创建一个新列，内容为各种水果的平均价格
df.groupby(by='item').mean()
s_price = df.groupby(by='item')['price'].mean()
dic = s_price.to_dict()
df['mean_price'] = df['item'].map(dic)

未完待续......