重要的数据形式时间序列

datetime以毫秒形式存储日期和时间

now = datetime.now()
now datetime.datetime(2018, 12, 18, 14, 18, 27, 693445) #now是一个时间对象
now.year,now.month,now.day
(2018, 12, 18) delta = datetime(2011,1,7)-datetime(2008,6,24,8,15)
delta datetime.timedelta(days=926, seconds=56700) delta.days
926 timedelta表示时间差,默认差值是天数
start = datetime(2011,7,7)
start + timedelta(12) datetime.datetime(2011, 7, 19, 0, 0) start - 2*timedelta(12)
datetime.datetime(2011, 6, 13, 0, 0)

字符串和datetime的相互转化

stamp = datetime(2011, 1, 3)
str(stamp) '2011-01-03 00:00:00' # strftime将时间变为字符串
stamp.strftime('%Y-%m-%d') '2011-01-03' # strptime将字符串转回去
value = '2011-01-03'
datetime.strptime(value,'%Y-%m-%d') datetime.datetime(2011, 1, 3, 0, 0) datestrs = ['7/6/2011','8/6/2011']
[datetime.strptime(x,'%m/%d/%Y') for x in datestrs] [datetime.datetime(2011, 7, 6, 0, 0), datetime.datetime(2011, 8, 6, 0, 0)]

每次定义格式是很麻烦的事情,尤其是对于一些常见的日期格式,在这个情况下,你可以用dateutil这个的第三方包parser.parse方法

这个包几乎可以解析人类能够理解的日期表示形式

from dateutil.parser import parse
parse('2011-01-03') datetime.datetime(2011, 1, 3, 0, 0) parse('Jan 31,1997 10:45 PM') datetime.datetime(2018, 1, 31, 22, 45) # 国际通用的格式中,日通常出现在月的前面,传入dayfirst=True即可解决这个问题
parse('6/12/2011',dayfirst=True) datetime.datetime(2011, 12, 6, 0, 0) # to_datetime方法可以解析很多种不同的日期表示形式
datestrs
['7/6/2011', '8/6/2011'] pd.to_datetime(datestrs)
DatetimeIndex(['2011-07-06', '2011-08-06'], dtype='datetime64[ns]', freq=None) # 它还可以处理缺失值(None,空字符串),NaT是时间戳中的缺失值
idx = pd.to_datetime(datestrs+[None])
idx DatetimeIndex(['2011-07-06', '2011-08-06', 'NaT'], dtype='datetime64[ns]', freq=None) pd.isnull(idx)
array([False, False, True])

时间序列基础

from datetime import datetime

# pandas 最基本的时间序列类型就是以时间戳为索引
dates =[datetime(2011,1,2),datetime(2011,1,5),datetime(2011,1,7),
datetime(2011,1,8),datetime(2011,1,10),datetime(2011,1,12)]
ts = pd.Series([1,2,3,4,5,6],index=dates)
ts 2011-01-02 1
2011-01-05 2
2011-01-07 3
2011-01-08 4
2011-01-10 5
2011-01-12 6
dtype: int64 ts + ts[::2] 2011-01-02 2.0
2011-01-05 NaN
2011-01-07 6.0
2011-01-08 NaN
2011-01-10 10.0
2011-01-12 NaN
dtype: float64

时间的索引、选取、子集构造

# 对于较长的时间序列,只需传入'年'或'年月'即可轻松选取数据的切片
import numpy as np
#periods这个参数的意思,我测试的意思是,你有多少数据,他会让日期随着增加多少。和前面的randn的随机数量对应
longer_ts = pd.Series(np.random.randn(1000),index=pd.date_range('1/1/2000',periods=1000))
longer_ts 2000-01-01 1.134719
2000-01-02 0.135780
2000-01-03 0.678652
2000-01-04 -0.751968
2000-01-05 0.429753
2000-01-06 1.107126
2000-01-07 -0.235910
2000-01-08 1.119085
2000-01-09 -0.150530
2000-01-10 0.831567
2000-01-11 0.525492
2000-01-12 1.369756
2000-01-13 -1.353343
2000-01-14 0.748277
2000-01-15 0.292153
2000-01-16 -0.782864
2000-01-17 1.698936
2000-01-18 -1.355965
2000-01-19 -0.562581
2000-01-20 -1.333895
2000-01-21 -0.679781
2000-01-22 0.568681
2000-01-23 -0.440312
2000-01-24 0.045437
2000-01-25 1.589143
2000-01-26 0.284029
2000-01-27 0.597105
2000-01-28 0.585111
2000-01-29 -1.011877
2000-01-30 1.594290
...
2002-08-28 -0.052543
2002-08-29 1.233685
2002-08-30 0.522945
2002-08-31 1.145214
2002-09-01 0.434717
2002-09-02 0.346381
2002-09-03 -0.286138
2002-09-04 0.300973
2002-09-05 0.220466
2002-09-06 0.991901
2002-09-07 -0.194287
2002-09-08 0.498222
2002-09-09 -0.760105
2002-09-10 -0.230607
2002-09-11 0.464191
2002-09-12 -0.707616
2002-09-13 -0.309575
2002-09-14 2.273895
2002-09-15 -0.640137
2002-09-16 -0.416139
2002-09-17 0.898827
2002-09-18 0.316116
2002-09-19 -0.067657
2002-09-20 -1.296407
2002-09-21 1.228108
2002-09-22 0.227808
2002-09-23 -0.550351
2002-09-24 -0.378321
2002-09-25 -0.170426
2002-09-26 -0.397266
Freq: D, Length: 1000, dtype: float64 # 直接输入年份,可以取出这一年的
longer_ts['2001'] 2001-01-01 0.698442
2001-01-02 1.289272
2001-01-03 -0.644030
2001-01-04 2.075233
2001-01-05 -0.815118
2001-01-06 -0.693868
2001-01-07 0.599281
2001-01-08 0.443403
2001-01-09 1.877780
2001-01-10 -0.764040
2001-01-11 0.451113
2001-01-12 -1.426837
2001-01-13 1.005724
2001-01-14 -1.965532
2001-01-15 0.052981
2001-01-16 -0.367127
2001-01-17 2.841093
2001-01-18 0.451022
2001-01-19 -0.826358
2001-01-20 0.241916
2001-01-21 2.213636
2001-01-22 -0.870844
2001-01-23 -0.626682
2001-01-24 -1.516729
2001-01-25 0.045325
2001-01-26 -1.106228
2001-01-27 0.681209
2001-01-28 1.833933
2001-01-29 -1.502188
2001-01-30 -1.162823
...
2001-12-02 0.903314
2001-12-03 1.338822
2001-12-04 1.326302
2001-12-05 0.964913
2001-12-06 -0.165172
2001-12-07 -0.690804
2001-12-08 0.381124
2001-12-09 2.526006
2001-12-10 -1.127983
2001-12-11 -1.162128
2001-12-12 0.461497
2001-12-13 -0.830332
2001-12-14 0.379069
2001-12-15 -0.800934
2001-12-16 1.524858
2001-12-17 0.749656
2001-12-18 0.922253
2001-12-19 -1.220435
2001-12-20 0.513252
2001-12-21 2.233032
2001-12-22 0.151856
2001-12-23 -0.481607
2001-12-24 0.737862
2001-12-25 -0.637651
2001-12-26 0.163501
2001-12-27 -0.720798
2001-12-28 0.029192
2001-12-29 -0.773972
2001-12-30 -2.377855
2001-12-31 0.086702
Freq: D, Length: 365, dtype: float64 longer_ts['2001-07'] 2001-07-01 -0.868169
2001-07-02 1.109987
2001-07-03 -0.889585
2001-07-04 -0.568596
2001-07-05 0.749743
2001-07-06 0.019171
2001-07-07 -0.348141
2001-07-08 -0.222702
2001-07-09 0.294682
2001-07-10 -1.780858
2001-07-11 1.166257
2001-07-12 -0.167143
2001-07-13 -0.424275
2001-07-14 1.393253
2001-07-15 -1.485840
2001-07-16 0.980488
2001-07-17 1.018981
2001-07-18 0.907556
2001-07-19 0.105748
2001-07-20 -0.201183
2001-07-21 0.867441
2001-07-22 -0.951957
2001-07-23 -0.716637
2001-07-24 -0.995653
2001-07-25 0.439383
2001-07-26 -0.927410
2001-07-27 -1.997120
2001-07-28 -1.022692
2001-07-29 0.179568
2001-07-30 0.586362
2001-07-31 0.057300
Freq: D, dtype: float64 ts
2011-01-02 1
2011-01-05 2
2011-01-07 3
2011-01-08 4
2011-01-10 5
2011-01-12 6
dtype: int64 # 切片取数
ts[datetime(2011,1,7):] 2011-01-07 3
2011-01-08 4
2011-01-10 5
2011-01-12 6
dtype: int64 ts['01/09/2011':'01/11/2011'] 2011-01-10 5
dtype: int64 dates = pd.date_range('1/1/2000',periods=100,freq='W-WED')
dates DatetimeIndex(['2000-01-05', '2000-01-12', '2000-01-19', '2000-01-26',
'2000-02-02', '2000-02-09', '2000-02-16', '2000-02-23',
'2000-03-01', '2000-03-08', '2000-03-15', '2000-03-22',
'2000-03-29', '2000-04-05', '2000-04-12', '2000-04-19',
'2000-04-26', '2000-05-03', '2000-05-10', '2000-05-17',
'2000-05-24', '2000-05-31', '2000-06-07', '2000-06-14',
'2000-06-21', '2000-06-28', '2000-07-05', '2000-07-12',
'2000-07-19', '2000-07-26', '2000-08-02', '2000-08-09',
'2000-08-16', '2000-08-23', '2000-08-30', '2000-09-06',
'2000-09-13', '2000-09-20', '2000-09-27', '2000-10-04',
'2000-10-11', '2000-10-18', '2000-10-25', '2000-11-01',
'2000-11-08', '2000-11-15', '2000-11-22', '2000-11-29',
'2000-12-06', '2000-12-13', '2000-12-20', '2000-12-27',
'2001-01-03', '2001-01-10', '2001-01-17', '2001-01-24',
'2001-01-31', '2001-02-07', '2001-02-14', '2001-02-21',
'2001-02-28', '2001-03-07', '2001-03-14', '2001-03-21',
'2001-03-28', '2001-04-04', '2001-04-11', '2001-04-18',
'2001-04-25', '2001-05-02', '2001-05-09', '2001-05-16',
'2001-05-23', '2001-05-30', '2001-06-06', '2001-06-13',
'2001-06-20', '2001-06-27', '2001-07-04', '2001-07-11',
'2001-07-18', '2001-07-25', '2001-08-01', '2001-08-08',
'2001-08-15', '2001-08-22', '2001-08-29', '2001-09-05',
'2001-09-12', '2001-09-19', '2001-09-26', '2001-10-03',
'2001-10-10', '2001-10-17', '2001-10-24', '2001-10-31',
'2001-11-07', '2001-11-14', '2001-11-21', '2001-11-28'],
dtype='datetime64[ns]', freq='W-WED') long_df = pd.DataFrame(np.random.randn(100,4),index=dates,columns=['Colorado','Texas','New York','Ohio'])
long_df.loc['2001-05'] Colorado Texas New York Ohio
2001-05-02 -1.380726 -0.411279 0.153217 1.494666
2001-05-09 2.554090 1.930090 -0.181046 0.866642
2001-05-16 1.068669 1.494460 -1.386345 0.839434
2001-05-23 0.988561 -1.986414 0.681924 0.939525
2001-05-30 0.349177 1.213020 0.432394 -0.223059

带有重复索引的时间序列

dates = pd.DatetimeIndex(['1/1/2000','1/2/2000','1/2/2000','1/3/2000'])
dyp_tus = pd.Series([1,2,3,4],index=dates)
dyp_tus 2000-01-01 1
2000-01-02 2
2000-01-02 3
2000-01-03 4
dtype: int64 # 判断出来不是唯一,有重复时间,但是具体哪一行不好判断
dyp_tus.index.is_unique
False # 分组可以查看出是哪一行不是唯一索引
grouped = dyp_tus.groupby(level=0)
grouped.count() 2000-01-01 1
2000-01-02 2
2000-01-03 1
dtype: int64

pandas中的时间序列基础的更多相关文章

  1. Python数据分析 之时间序列基础

    1. 时间序列基础 import numpy as np import pandas as pd np.random.seed(12345) import matplotlib.pyplot as p ...

  2. (数据科学学习手札99)掌握pandas中的时序数据分组运算

    本文示例代码及文件已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介 我们在使用pandas分析处理时间序列数据 ...

  3. Spark与Pandas中DataFrame对比

      Pandas Spark 工作方式 单机single machine tool,没有并行机制parallelism不支持Hadoop,处理大量数据有瓶颈 分布式并行计算框架,内建并行机制paral ...

  4. Spark与Pandas中DataFrame对比(详细)

      Pandas Spark 工作方式 单机single machine tool,没有并行机制parallelism不支持Hadoop,处理大量数据有瓶颈 分布式并行计算框架,内建并行机制paral ...

  5. (数据科学学习手札69)详解pandas中的map、apply、applymap、groupby、agg

    *从本篇开始所有文章的数据和代码都已上传至我的github仓库:https://github.com/CNFeffery/DataScienceStudyNotes 一.简介 pandas提供了很多方 ...

  6. pandas中的axis参数(看其他人的博客中产生的疑问点,用自己的话解析出来)

    axis有两个值:axis=0或者axis=1 看到很多资料都不太理解,把我个人理解说一下: 下面这张图,在很多资料中都看到了,我只能说先死记住 axis=0,代表跨行(注意看这张图的axis=0的箭 ...

  7. Python学习教程:Pandas中第二好用的函数

    从网上看到一篇好的文章是关于如何学习python数据分析的迫不及待想要分享给大家,大家也可以点链接看原博客.希望对大家的学习有帮助. 本次的Python学习教程是关于Python数据分析实战基础相关内 ...

  8. 小白学 Python 数据分析(6):Pandas (五)基础操作(2)数据选择

    人生苦短,我用 Python 前文传送门: 小白学 Python 数据分析(1):数据分析基础 小白学 Python 数据分析(2):Pandas (一)概述 小白学 Python 数据分析(3):P ...

  9. (数据科学学习手札97)掌握pandas中的transform

    本文示例文件已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介 开门见山,在pandas中,transform是 ...

随机推荐

  1. 平安技术开放日质量保证技术专场第一期 [附部分 ppt]

    4月8号在上海平安大厦,平安证券和Tester联合举办了一场质量保证技术专场,附上部分PPT 平安技术开放日介绍   ppt下载 A/B测试的大数据架构实践 链接: http://pan.baidu. ...

  2. 解决logging模块日志信息重复问题

    解决logging模块日志信息重复问题 问题描述 相信大家都知道python的logging模块记录日志信息的步骤: # coding:utf-8 import logging ### 创建logge ...

  3. 亚马逊EC2服务器申请+NODE服务器部署+阿里云域名申请+SSL证书使用

    最近,由于项目需要,自己申请了一台亚马逊用于部署网站测试,在使用期间,发现网上没有一篇非常完整的文章讲解从服务器申请到域名解析,SSL证书申请的整个流程.所以自己总结一下,以供大家学习! 一.亚马逊E ...

  4. C&C++类型定义typedef

    1.声明 1.1结构声明: struct { int n; double x,y; }; 1.2带结构标志的声明 struct point{ double x,y; }; 1.3定义结构类型 1.3. ...

  5. [OutLook]关闭Outlook时最小化

    关闭Outlook时最小化 dll 11.首先把dll 文件复制到C:\Users\hetao\AppData\Roaming\Microsoft\AddIns 22.然后以管理员的方式运行cmd.e ...

  6. Linux配置虚拟内存

    我的Linux内存很少,所以我给它弄个虚拟内存 首先建立一个1G的空文件: dd if=/dev/zero of=/home/swapfile bs=64M count=16 格式化为swap: mk ...

  7. JavaScript数组方法--includes、indexOf、lastIndexOf

    我们继续吧! includes:includes() 方法用来判断一个数组是否包含一个指定的值,根据情况,如果包含则返回 true,否则返回false.还是先看看includes的用法吧 var ar ...

  8. Maven 下添加oracle11g的包 报Missing artifact com.oracle:ojdbc6:jar:11.2.0.1.0

    Missing artifact com.oracle:ojdbc6:jar:11.2.0.1.0 原因:Oracle 的ojdbc.jar是收费的,所以maven的中央仓库中没有这个资源,只能通过配 ...

  9. 解决wxParse空格不解析的问题

    遇到的问题: 相似问题:https://blog.csdn.net/qq_41619741/article/details/85774865 http://html51.com/info-41786- ...

  10. Exp2 后门原理与实践 20164311

    实验一:使用netcat获取主机操作Shell,cron启动 1.Windows获得Linux Shell (1)打开本机win10的cmd.exe,使用命令 ipconfig 查看win10的IP地 ...