Pandas 基础(10) - 用 Pivot table 做格式转换
Pivot allows you to transform or reshape data.
Pivot 可以帮助我们改变数据的格式, 下面两个例子可以作为参考:
下面来看下具体实现, 首先引入一个 csv 文件(已上传)
df = pd.read_csv('/Users/rachel/Sites/pandas/py/pandas/10_pivot/weather.csv')
输出:
格式转换, 设置 'date' 为索引列, 也就让'date' 做每一行的输出依据, 然后设置'city' 为每一列输出的依据:
df.pivot(index='date', columns='city')
还可以给出第三个参数, 指定输出的内容:
df.pivot(index='date', columns='city', values='humidity')
下面来看下 pivot table:
pivot table is used to summarize and aggregate data inside dataframe.
pivot table 可以用来很好地总结整合数据. 下面通过一个例子来看一下:
df = pd.read_csv('/Users/rachel/Sites/pandas/py/pandas/10_pivot/weather2.csv')
输出:
从这个输出可以看出目前的数据结构很乱, 这时, 我们就可以用 pivot table 来做整合:
df.pivot_table(index='city', columns='date')
从结果可以看出, 这样整合之后, 取的是每天每个城市每个事件的平均值.
对于 pivot_table() 函数, 我们还可以通过第三个参数 'aggfun' 来做很多的变化, 下面分别来看下:
取和:
df.pivot_table(index='city', columns='date', aggfunc='sum')
取数据的条数:
df.pivot_table(index='city', columns='date', aggfunc='count')
求差异:
df.pivot_table(index='city', columns='date', aggfunc='diff')
求平均值, 其实如果不加这个参数, 默认也是求平均值:
df.pivot_table(index='city', columns='date', aggfunc='mean')
横向纵向分别求和的平均值:
df.pivot_table(index='city', columns='date', margins=True)
以上, 大家可以实际运行一下, 看看输出的结果.
下面介绍最后一个点, 对数据进行分组整理:
首先, 还是先引入一个文件做例子:
df = pd.read_csv('/Users/rachel/Sites/pandas/py/pandas/10_pivot/weather3.csv')
输出:
然后, 我们想实现的是把数据按照月份分组:
df.pivot_table(index=pd.Grouper(freq='M', key='date'), columns='city')
但是按照上面的代码运行, 会报错, 提示 'date' 列不是时间格式, 所以需要先把'date' 列的格式改成时间:
df['date'] = pd.to_datetime(df['date'])
最后输出结果:
以上就是关于 pivot 的常用方法, enjoy~~~
Pandas 基础(10) - 用 Pivot table 做格式转换的更多相关文章
- Pandas 基础(11) - 用 melt 做格式转换
melt 也可以用来做数据格式转换, 请看下图, 我们可以用 melt 把左表转成右表的格式: 首先引入文件(已上传): df = pd.read_csv('/Users/rachel/Sites/p ...
- [php基础]Mysql日期函数:日期时间格式转换函数详解
在PHP网站开发中,Mysql数据库设计中日期时间字段必不可少,由于Mysql日期函数输出的日期格式与PHP日期函数之间的日期格式兼容性不够,这就需要根据网站实际情况使用Mysql或PHP日期转换函数 ...
- Open xml 操作Excel 透视表(Pivot table)-- 实现Excel多语言报表
我的一个ERP项目中,客户希望使用Excel Pivot table 做分析报表. ERP 从数据库中读出数据,导出到Excel中的数据源表(统一命名为Data),刷新Pivot table! 客户还 ...
- 史林枫:C#.NET利用ffmpeg操作视频实战(格式转换,加水印 一步到位)
ffmpeg.exe是大名鼎鼎的视频处理软件,以命令行参数形式运行.网上也有很多关于ffmpeg的资料介绍.但是在用C#做实际开发时,却遇到了几个问题及注意事项,比如如何无损处理视频?如何在转换格式的 ...
- C# ffmpeg 视频处理格式转换和添加水印
通过C#调用ffmpeg 将flv格式转换为mp4格式,并添加水印 C#调用ffmpeg的方法封装如下: /// <summary>/// 视频处理器ffmpeg.exe的位置/// &l ...
- pandas 学习 —— pivot table
0. DataFrame 的 index.columns.values >> df = pd.DataFrame(np.arange(6).reshape(3, 2), index=['o ...
- 2018.03.29 python-pandas 数据透视pivot table / 交叉表crosstab
#透视表 pivot table #pd.pivot_table(data,values=None,index=None,columns=None, import numpy as np import ...
- Python 数据分析(一) 本实验将学习 pandas 基础,数据加载、存储与文件格式,数据规整化,绘图和可视化的知识
第1节 pandas 回顾 第2节 读写文本格式的数据 第3节 使用 HTML 和 Web API 第4节 使用数据库 第5节 合并数据集 第6节 重塑和轴向旋转 第7节 数据转换 第8节 字符串操作 ...
- Pandas基础使用
Pandas是基于NumPy的一种工具,该工具是为了解决数据分析任务而创建的. 1.导入pandas import pandas as pd 2.pandas数据类型: 1)Series:一维数据类型 ...
随机推荐
- Thinkphp路由配置和静态缓存规则【原创】
ThinkPHP框架对URL有一定的规范,所以如果你希望定制你的URL格式的话,就需要好好了解下内置的路由功能了,它能让你的URL变得更简洁和有文化. 首先我们在Common/config.php设置 ...
- HTML、CSS知识点,面试开发都会需要--No.2 CSS
No.2 CSS 1.选择器类型 选择器类型包括:type.class.id. 2.引用外部css文件 使用link元素,添加rel和href属性:<link rel="styles ...
- 概率DP求解例题
1,逆推状态:山东省赛2013年I题 Problem I: The number of steps Description Mary stands in a strange maze, the maz ...
- Tensorflow 的saved_model模块学习
saved_model模块主要用于TensorFlow Serving.TF Serving是一个将训练好的模型部署至生产环境的系统,主要的优点在于可以保持Server端与API不变的情况下,部署新的 ...
- MGF 637: Financial Modeling
MGF 637: Financial ModelingSpring 2019Extra Credit AssignmentInstructions: This is an extra credit o ...
- MySQL 添加索引,删除索引及其用法
一.索引的作用 一般的应用系统,读写比例在10:1左右,而且插入操作和一般的更新操作很少出现性能问题,遇到最多的,也是最容易出问题的,还是一些复杂的查询操作,所以查询语句的优化显然是重中之重. 在数据 ...
- 编写自定义django-admin命令
Django为项目中每一个应用下的management/commands目录中名字没有以下划线开始的Python模块都注册了一个manage.py命令,我们可以利用这点来自定制一个命令(比如运行该命令 ...
- ios dispatch_async使用
一般这样使用: dispatch_async(dispatch_get_global_queue(0, 0),^{ //进入另一个线程 dispatch_async(dispatch_get_main ...
- __call__方法和Flask中 first_or_404
1.__call__方法: 在一个类的实例中,函数一般都是可调用的对象: __call__方法时魔法方法,该方法允许程序员创建可调用的对象(实例),默认情况下是不会触发,也就是说,大多数实例是不可被调 ...
- javaweb(2)之Servlet入门
Hello Servlet 方式一 1.新建 web 工程,编写一个类,实现 javax.servlet.Servlet 接口: package com.zze.servlet; import jav ...