【PY从0到1】 一文掌握Pandas量化基础
# 2【PY从0到1】 一文掌握Pandas量化基础 # Numpy和pandas是什么关系呢？
# 在我看来，np偏向于数据细节处理，pd更偏向于表格整体的处理。
# 要记住的pd内部的数据结构采用的是array，所以np是pd地基。
# 下面就让我们来看看pandas的基本使用方法。 # 导入库：
import numpy as np
import pandas as pd
import warnings; warnings.simplefilter('ignore') # 1> Series的构建与使用
# Series是最简单的pd里的数据结构。 # 用pd.Series建立。
# 这与np.array有异曲同工之处。
# 要注意的是pd支持列表，也支持传入字典。
df = pd.Series([1,2,3,4,5,6])
df2 = pd.Series({'a':1,'b':2,'c':3})
print(type(df.values))
# 我们可以看到df的类型是ndarray：<class 'numpy.ndarray'> # 两个查看DataFrame的方法:
df.head() # 查看前五个
df.tail() # 查看后五个 # pd的索引和表格名称
df.name = 'Series1'
df.index.name = '序号'
print(df.head())
# 序号
# 0 1
# 1 2
# 2 3
# 3 4
# 4 5
# Name: Series1, dtype: int64 # 我们在生成Series时也可以指定索引名称。
df = pd.Series(range(3,9),
index = ['a', 'b', 'c', 'd', 'e','f']) # 2> Series切片
# Series里的切片全部根据索引进行的。
df[0]
df['a']
df[1:3]
df[['a','d']]
print(df['c':'d']) # 注意用索引切片是有头有尾的。
# c 5
# d 6
# dtype: int64 # 2> DataFrame的构建
# DataFrame可以看成是无数个Series组成的表格。 # ① 用np.DataFrame()建立
# 这里同样可以给pd传入列表或字典。
np.random.seed(10)
df = np.random.randint(-5,6,size=(5,6))
df = pd.DataFrame(df,
columns = ['a', 'b', 'c', 'd','e','f'],
index = [1,2,3,4,5])
print(df.head(2))
# a b c d e f
# 1 -1 1 5 4 -5 -1
# 2 5 1 -1 4 3 -5 # 3> DaraFram的切片 # ① 通过标签获取
df['a',axis=1] # 获取a列。*也可以写成df.a
df[['a']] # 返回值可以包括列标签。
# df.ix[0] # 新版pandas已经删除。
df.loc[1] # 获取行标签为1的行。
df.loc[[1]] # 返回值可以包括行标签。
df.loc[[1,3,5]] # 获取第1,3,5行。
df.loc[1:5] # 获取1到5行，有头有尾。
df.loc[[1,3],['b']] # 选取一三行和b列
# **做切片时，用索引切就是有头无尾，用标签切就是有头有尾。 # ② 按索引位置切片
df.iloc[1:3] # 按索引从0到3（不包括3）
df.iloc[0:2,0] #三行索引0到2，列索引0 # 4> DataFrame重要属性与修改
print(df.index) # 获取索引名
# 输出如下：Int64Index([1, 2, 3, 4, 5], dtype='int64')
df.columns # 获取列名
df.sum() # 按列求和，axis=1为按行求和。
df.mean() # 求平均数。
df.cumsum() # 按列累计求和。
df.describe() # 求常用统计量。
df.rename(columns={'a':'A',
'b':'B',
'c':'C',
'd':'D',
'e':'E',
'f':'F'},index={1:'one'},
inplace=True) # 对列和行标签修改，并替换原df
print(df)
# A B C D E F
# one -5 1 -4 -2 4 4
# 2 1 -1 0 5 5 3
# 3 5 5 -5 -3 4 -3
# 4 2 3 -4 -2 5 -4
# 5 3 0 0 3 -1 1 df[:] = df[:].astype('f') # 数据改为浮点数。 df['G'] = pd.DataFrame(np.arange(5,dtype='f'),
index=['one',2,5,4,3]) # 增加一列
del(df['G']) # 删除一列 np.random.seed(100)
df1 = pd.DataFrame(np.random.random((6,3)),
columns = ['a', 'b','c'])
df2 = pd.DataFrame(np.random.random((3,3)),
columns = ['a', 'b', 'c'])
df3 = df1 + df2
print(df3)
# a b c
# 0 1.359630 0.552443 0.856222
# 1 1.784806 0.822368 0.457681
# 2 0.846160 1.198685 0.142395
# 3 NaN NaN NaN
# 4 NaN NaN NaN
# 5 NaN NaN NaN
# 出错的地方pd会自动补齐NaN
df3.fillna(0, inplace=True) # 将NaN的值替换为0。 # 5> DataFrame条件选值
print(df)
# A B C D E F
# one 4.0 -1.0 -5.0 -4.0 4.0 -5.0
# 2 -4.0 5.0 3.0 4.0 -5.0 5.0
# 3 3.0 1.0 -1.0 -2.0 -5.0 -1.0
# 4 1.0 3.0 5.0 -4.0 3.0 -1.0
# 5 -4.0 -2.0 1.0 0.0 -2.0 4.0 print(df[df.A > 0]) # 选出A列大于零的所有行。相同的写法：df[df[A]>0]
# A B C D E F
# one 4.0 -1.0 -5.0 -4.0 4.0 -5.0
# 3 3.0 1.0 -1.0 -2.0 -5.0 -1.0
# 4 1.0 3.0 5.0 -4.0 3.0 -1.0 # 多条件选行：
df[(df.A > 0)|(df.B > 0)|(df.C > 0)]
df[(df.A > 0) * 1 + (df.B > 0) * 1 == 2] # A和B都大于0的行
df[(df.A > 0) * 1 + (df.B > 0) * 1 >= 1] # A和B只要有一个大于0的行 # 6> DataFrame的Apply函数
np.random.seed(12) # 随机种子
a = np.random.randn(9, 6) # 生成九行六列的Ndarray
a.round(5) # 保留五位小数
df = pd.DataFrame(a) # 建立DataFrame
dates = pd.date_range('2017-1-1', periods=9, freq='5D') # 生成时间，periods为数据量，freq为数据间隔。
column = ['a','b','c','d','e','f'] #行标签
df.index = dates # 指定索引
df.columns = column # 指定行标签 def square_fun(x):
a = x**2
return a df.apply(square_fun,axis=0) # 将df数据全部用square_fun函数计算。或 df.apply(lambda x: x ** 0.5)
# axis=0为按列，axis=1为按行。 # 7> DataFrame的排序 df.sort_index(ascending=False) # 按索引升序排列，将ascending改为True是降序。
df.sort_index(axis=1,ascending=False) # 按行标签升序排列。
df.sort_values(by= 'b', ascending= False) # 按b列升序排列。 # 8> DataFrame 处理缺失值 df_nan = np.sqrt(df).head()
print(df_nan) # 对df元素开方。
# a b c d e f
# 2017-01-01 0.687740 NaN 0.492381 NaN 0.867838 NaN
# 2017-01-06 0.071604 NaN NaN 1.694644 NaN 0.687355
# 2017-01-11 1.046879 NaN 1.158601 NaN 1.006238 NaN
# 2017-01-16 NaN 1.099907 0.708429 0.372621 0.800476 0.726177
# 2017-01-21 NaN NaN NaN NaN NaN NaN # df_nan.isnull() # 判断df_nan中的空值。
# df_nan.dropna() # 删除df_nan中的空值（行中有空值就会删除这一行）。axis=1（列中有空值就会删除这一列）
df_nan.fillna(0,inplace=True) # 空值用0填充，并替换df_nan.
print(df_nan.round(3))
# a b c d e f
# 2017-01-01 0.688 0.0 0.492 0.000 0.868 0.000
# 2017-01-06 0.072 0.0 0.000 1.695 0.000 0.687
# 2017-01-11 1.047 0.0 1.159 0.000 1.006 0.000
# 2017-01-16 0.000 1.1 0.708 0.373 0.800 0.726
# 2017-01-21 0.000 0.0 0.000 0.000 0.000 0.000
# 2【PY从0到1】 一文掌握Pandas量化基础
# Numpy和pandas是什么关系呢？# 在我看来，np偏向于数据细节处理，pd更偏向于表格整体的处理。# 要记住的pd内部的数据结构采用的是array，所以np是pd地基。# 下面就让我们来看看pandas的基本使用方法。
# 导入库：import numpy as npimport pandas as pdimport warnings; warnings.simplefilter('ignore')
# 1> Series的构建与使用# Series是最简单的pd里的数据结构。
# 用pd.Series建立。# 这与np.array有异曲同工之处。# 要注意的是pd支持列表，也支持传入字典。df = pd.Series([1,2,3,4,5,6])df2 = pd.Series({'a':1,'b':2,'c':3})print(type(df.values)) # 我们可以看到df的类型是ndarray：<class 'numpy.ndarray'>
# 两个查看DataFrame的方法:df.head() # 查看前五个df.tail() # 查看后五个
# pd的索引和表格名称df.name = 'Series1'df.index.name = '序号'print(df.head())# 序号# 0 1# 1 2# 2 3# 3 4# 4 5# Name: Series1, dtype: int64
# 我们在生成Series时也可以指定索引名称。df = pd.Series(range(3,9), index = ['a', 'b', 'c', 'd', 'e','f'])
# 2> Series切片# Series里的切片全部根据索引进行的。df[0]df['a']df[1:3]df[['a','d']]print(df['c':'d']) # 注意用索引切片是有头有尾的。# c 5# d 6# dtype: int64
# 2> DataFrame的构建# DataFrame可以看成是无数个Series组成的表格。
# ① 用np.DataFrame()建立# 这里同样可以给pd传入列表或字典。np.random.seed(10)df = np.random.randint(-5,6,size=(5,6))df = pd.DataFrame(df, columns = ['a', 'b', 'c', 'd','e','f'], index = [1,2,3,4,5])print(df.head(2))# a b c d e f# 1 -1 1 5 4 -5 -1# 2 5 1 -1 4 3 -5
# 3> DaraFram的切片
# ① 通过标签获取df['a',axis=1] # 获取a列。*也可以写成df.adf[['a']] # 返回值可以包括列标签。# df.ix[0] # 新版pandas已经删除。df.loc[1] # 获取行标签为1的行。df.loc[[1]] # 返回值可以包括行标签。df.loc[[1,3,5]] # 获取第1,3,5行。df.loc[1:5] # 获取1到5行，有头有尾。df.loc[[1,3],['b']] # 选取一三行和b列# **做切片时，用索引切就是有头无尾，用标签切就是有头有尾。
# ② 按索引位置切片df.iloc[1:3] # 按索引从0到3（不包括3）df.iloc[0:2,0] #三行索引0到2，列索引0
# 4> DataFrame重要属性与修改print(df.index) # 获取索引名# 输出如下：Int64Index([1, 2, 3, 4, 5], dtype='int64')df.columns # 获取列名df.sum() # 按列求和，axis=1为按行求和。df.mean() # 求平均数。 df.cumsum() # 按列累计求和。df.describe() # 求常用统计量。df.rename(columns={'a':'A', 'b':'B', 'c':'C', 'd':'D', 'e':'E', 'f':'F'},index={1:'one'}, inplace=True) # 对列和行标签修改，并替换原dfprint(df)# A B C D E F# one -5 1 -4 -2 4 4# 2 1 -1 0 5 5 3# 3 5 5 -5 -3 4 -3# 4 2 3 -4 -2 5 -4# 5 3 0 0 3 -1 1
df[:] = df[:].astype('f') # 数据改为浮点数。
df['G'] = pd.DataFrame(np.arange(5,dtype='f'), index=['one',2,5,4,3]) # 增加一列del(df['G']) # 删除一列
np.random.seed(100)df1 = pd.DataFrame(np.random.random((6,3)), columns = ['a', 'b','c'])df2 = pd.DataFrame(np.random.random((3,3)), columns = ['a', 'b', 'c'])df3 = df1 + df2 print(df3)# a b c# 0 1.359630 0.552443 0.856222# 1 1.784806 0.822368 0.457681# 2 0.846160 1.198685 0.142395# 3 NaN NaN NaN# 4 NaN NaN NaN# 5 NaN NaN NaN# 出错的地方pd会自动补齐NaNdf3.fillna(0, inplace=True) # 将NaN的值替换为0。
# 5> DataFrame条件选值print(df)# A B C D E F# one 4.0 -1.0 -5.0 -4.0 4.0 -5.0# 2 -4.0 5.0 3.0 4.0 -5.0 5.0# 3 3.0 1.0 -1.0 -2.0 -5.0 -1.0# 4 1.0 3.0 5.0 -4.0 3.0 -1.0# 5 -4.0 -2.0 1.0 0.0 -2.0 4.0
print(df[df.A > 0]) # 选出A列大于零的所有行。相同的写法：df[df[A]>0]# A B C D E F# one 4.0 -1.0 -5.0 -4.0 4.0 -5.0# 3 3.0 1.0 -1.0 -2.0 -5.0 -1.0# 4 1.0 3.0 5.0 -4.0 3.0 -1.0
# 多条件选行：df[(df.A > 0)|(df.B > 0)|(df.C > 0)]df[(df.A > 0) * 1 + (df.B > 0) * 1 == 2] # A和B都大于0的行df[(df.A > 0) * 1 + (df.B > 0) * 1 >= 1] # A和B只要有一个大于0的行
# 6> DataFrame的Apply函数np.random.seed(12) # 随机种子a = np.random.randn(9, 6) # 生成九行六列的Ndarraya.round(5) # 保留五位小数df = pd.DataFrame(a) # 建立DataFramedates = pd.date_range('2017-1-1', periods=9, freq='5D') # 生成时间，periods为数据量，freq为数据间隔。column = ['a','b','c','d','e','f'] #行标签df.index = dates # 指定索引df.columns = column # 指定行标签
def square_fun(x): a = x**2 return a
df.apply(square_fun,axis=0) # 将df数据全部用square_fun函数计算。或 df.apply(lambda x: x ** 0.5)# axis=0为按列，axis=1为按行。
# 7> DataFrame的排序
df.sort_index(ascending=False) # 按索引升序排列，将ascending改为True是降序。df.sort_index(axis=1,ascending=False) # 按行标签升序排列。df.sort_values(by= 'b', ascending= False) # 按b列升序排列。
# 8> DataFrame 处理缺失值
df_nan = np.sqrt(df).head()print(df_nan) # 对df元素开方。# a b c d e f# 2017-01-01 0.687740 NaN 0.492381 NaN 0.867838 NaN# 2017-01-06 0.071604 NaN NaN 1.694644 NaN 0.687355# 2017-01-11 1.046879 NaN 1.158601 NaN 1.006238 NaN# 2017-01-16 NaN 1.099907 0.708429 0.372621 0.800476 0.726177# 2017-01-21 NaN NaN NaN NaN NaN NaN
# df_nan.isnull() # 判断df_nan中的空值。# df_nan.dropna() # 删除df_nan中的空值（行中有空值就会删除这一行）。axis=1（列中有空值就会删除这一列）df_nan.fillna(0,inplace=True) # 空值用0填充，并替换df_nan.print(df_nan.round(3))# a b c d e f# 2017-01-01 0.688 0.0 0.492 0.000 0.868 0.000# 2017-01-06 0.072 0.0 0.000 1.695 0.000 0.687# 2017-01-11 1.047 0.0 1.159 0.000 1.006 0.000# 2017-01-16 0.000 1.1 0.708 0.373 0.800 0.726# 2017-01-21 0.000 0.0 0.000 0.000 0.000 0.000
【PY从0到1】 一文掌握Pandas量化基础的更多相关文章
- 【PY从0到1】 一文掌握Pandas量化进阶
# 一文掌握Pandas量化进阶 # 这节课学习Pandas更深的内容. # 导入库: import numpy as np import pandas as pd # 制作DataFrame np. ...
- IIS6(Win2003) 使用.net 4.0 后，默认文档失效解决方案。
IIS6(Win2003) 使用.net framework 4.0 后,默认文档失效解决方案. 用.net framework 4.0 开发的WEB项目,但放到iis6 中无法使用默认文档,状况如下 ...
- 智表ZCELL产品V1.4.0开发API接口文档 与 产品功能清单
为了方便大家使用ZCELL,应网友要求,整理编写了相关文档,现与产品一起同步发布,供大家下载使用,使用过程中如有疑问,请与我QQ联系. 智表(ZCELL)V1.4.0版本 功能清单文档下载地址: 功 ...
- python manage.py runserver 0.0.0.0:8000
python manage.py runserver 这种命令行,可以在服务器端输入IP:8000直接访问 在 python manage.py runserver 127.0.01:8000 在服务 ...
- 第一篇——第一文 SQL Server 备份基础
原文:第一篇--第一文 SQL Server 备份基础 当看这篇文章之前,请先给你的所有重要的库做一次完整数据库备份.下面正式开始备份还原的旅程. 原文出处: http://blog.csdn.net ...
- pyhton pandas数据分析基础入门（一文看懂pandas）
//2019.07.17 pyhton中pandas数据分析基础入门(一文看懂pandas), 教你迅速入门pandas数据分析模块(后面附有入门完整代码,可以直接拷贝运行,含有详细的代码注释,可以轻 ...
- HTML结构文档中那些基础又重要又容易被忽略的事？
HTML结构文档中那些基础又重要又容易被忽略的事? 大部分的人,总是会做出这样下意识地判断:简单就是不重要,容易就可以直接忽略掉!其实不然,简有精髓,基石必重,岂能略而不顾!HTML结构文档的编写,可 ...
- 06 Zabbix4.0系统CISCO交换机告警模板规划信息(基础)
点击返回:自学Zabbix之路 点击返回:自学Zabbix4.0之路 点击返回:自学zabbix集锦 06 Zabbix4.0系统CISCO交换机告警模板规划信息(基础) 1. Host groups ...
- windows xp .net framework 4.0 HttpWebRequest 报The underlying connection was closed,基础连接已关闭
windows xp .net framework 4.0 HttpWebRequest 报The underlying connection was closed,基础连接已关闭,错误的解决方法 在 ...
随机推荐
- Flutter环境搭建遇坑小结（一）
对flutter的了解与开发也有一段时间了,总的来说,搭建开发环境遇到的各种坑也是很多,尤其对于初次接触Android开发的人员来说 一.flutter运行提示Running Gradle task ...
- vulnhub靶场之AI-WEB1.0渗透记录
在本机电脑上自行搭建了一个练手的靶场,下面是记录渗透过程 目录 一.确认靶机ip 二.端口&目录扫描 三.查看敏感目录 四.sql注入 五.get shell 六.系统提权 确认靶机ip ka ...
- java架构《Socket网络编程基础篇》
本章主要介绍Socket的基本概念,传统的同步阻塞式I/O编程,伪异步IO实现,学习NIO的同步非阻塞编程和NIO2.0(AIO)异步非阻塞编程. 目前为止,Java共支持3种网络编程模型:BIO.N ...
- POJ 1655 Balancing Act （ 树的重心板子题，链式前向星建图）
题意: 给你一个由n个节点n-1条边构成的一棵树,你需要输出树的重心是那个节点,以及重心删除后得到的最大子树的节点个数size,如果size相同就选取编号最小的 题解: 树的重心定义:找到一个点,其所 ...
- tju3243 Blocked Road
There are N seaside villages on X island, numbered from 1 to N. N roads are built to connect all of ...
- Atcoder ABC162 D - RGB Triplets
传送门:D - RGB Triplets 题意:给你一个只含'R','G','B'的字符串,求有多少个长度为3且每个字符都不相等,并且第一第二和第二第三的区间长度不同的子序列. 题解:统计每个字符各 ...
- Network of Schools POJ - 1236 有向强连通图
//题意://给你n个学校,其中每一个学校都和一些其他学校有交流,但是这些边都是单向的.你至少需要给几个学校//传递消息可以使全部学校都收到消息,第二问你最少添加几条边可以使它变成一个强连通图//题解 ...
- C++中的explicit
首先, C++中的explicit关键字只能用于修饰只有一个参数的类构造函数, 它的作用是表明该构造函数是显示的, 而非隐式的, 跟它相对应的另一个关键字是implicit, 意思是隐藏的,类构造函数 ...
- 记一次小米手机安装Google Play（其他手机类似）
记一次小米手机安装Google Play(其他手机类似) 最近换了一款小米10青春版,性价比很高,对于开发者而言,手机自带商店的软件内容往往不能满足需求,而需要单独定制习惯性的APP,博主通过最近的尝 ...
- vue watch All In One
vue watch All In One var vm = new Vue({ data: { a: 1, b: 2, c: 3, d: 4, e: { f: { g: 5 } } }, watch: ...