pandas层次化索引

1. 创建多层行索引

1) 隐式构造

最常见的方法是给DataFrame构造函数的index参数传递两个或更多的数组

Series也可以创建多层索引

import numpy as np

import pandas as pd

from pandas import Series,DataFrame

s = Series(data = [1,2,3,"a"], index = [["a","a","b","b"],["期中","期末","期中","期末"]])

s

a  期中    1

c  期末    2

b  期中    3

d  期末    a

dtype: object

df = DataFrame(data = [1,2,3,"a"],

              index = [["a","a","b","b"],["期中","期末","期中","期末"]],columns = ["Python"])

df

.dataframe tbody tr th:only-of-type {
vertical-align: middle;
}

.dataframe tbody tr th {

    vertical-align: top;

}

.dataframe thead th {

    text-align: right;

}

		Python
a	期中	1
a	期末	2
b	期中	3
b	期末	a

#三层索引

df = DataFrame(data = np.random.randint(0,150,size = 8),

              index = [["a","a","a","a","b","b","b","b"],

                       ["期中","期中","期末","期末","期中","期中","期末","期末"],

                       ["一单元","二单元","一单元","二单元","一单元","二单元","一单元","二单元"]],

              columns = ["Python"])

df

.dataframe tbody tr th:only-of-type {
vertical-align: middle;
}

.dataframe tbody tr th {

    vertical-align: top;

}

.dataframe thead th {

    text-align: right;

}

			Python
a	期中	一单元	79
	期中	二单元	92
	期末	一单元	84
	期末	二单元	93
b	期中	一单元	10
	期中	二单元	129
	期末	一单元	38
	期末	二单元	33

2) 显示构造pd.MultiIndex

使用数组

df1 = DataFrame(data = np.random.randint(0,150,size = 8),

                index = pd.MultiIndex.from_arrays([["a","a","a","a","b","b","b","b"],

                       ["期中","期中","期末","期末","期中","期中","期末","期末"],

                       ["一单元","二单元","一单元","二单元","一单元","二单元","一单元","二单元"]]),

               columns = ["Python"])

df1

.dataframe tbody tr th:only-of-type {
vertical-align: middle;
}

.dataframe tbody tr th {

    vertical-align: top;

}

.dataframe thead th {

    text-align: right;

}

			Python
a	期中	一单元	19
	期中	二单元	102
	期末	一单元	56
	期末	二单元	11
b	期中	一单元	58
	期中	二单元	38
	期末	一单元	95
	期末	二单元	26

df1.index

MultiIndex(levels=[['a', 'b'], ['期中', '期末'], ['一单元', '二单元']],

           labels=[[0, 0, 0, 0, 1, 1, 1, 1], [0, 0, 1, 1, 0, 0, 1, 1], [0, 1, 0, 1, 0, 1, 0, 1]])

df1.columns

Index(['Python'], dtype='object')

#可以把行索引变换成列索引

df2 = DataFrame(data = np.random.randint(0,150,size = (1,8)),

                columns = pd.MultiIndex.from_arrays([["a","a","a","a","b","b","b","b"],

                       ["期中","期中","期末","期末","期中","期中","期末","期末"],

                       ["一单元","二单元","一单元","二单元","一单元","二单元","一单元","二单元"]]),

               index = ["Python"])

df2

.dataframe tbody tr th:only-of-type {
vertical-align: middle;
}

.dataframe tbody tr th {

    vertical-align: top;

}

.dataframe thead tr th {

    text-align: left;

}

	a				b
	期中		期末		期中		期末
	一单元	二单元	一单元	二单元	一单元	二单元	一单元	二单元
Python	121	143	120	82	105	126	101	59

使用tuple

df3 = DataFrame(np.random.randint(0,150,size = 4),

                index = pd.MultiIndex.from_tuples([("a",1),('a',2),("b",1),("b",2)]),columns = ["Python"])

df3

.dataframe tbody tr th:only-of-type {
vertical-align: middle;
}

.dataframe tbody tr th {

    vertical-align: top;

}

.dataframe thead th {

    text-align: right;

}

		Python
a	1	69
a	2	132
b	1	7
b	2	86

使用product

最简单，推荐使用

df4 = DataFrame(np.random.randint(0,150,size = (8,2)),

                index = pd.MultiIndex.from_product([list("abcd"), ["期中","期末"]]),

               columns = ["Python","高数"])

df4

.dataframe tbody tr th:only-of-type {
vertical-align: middle;
}

.dataframe tbody tr th {

    vertical-align: top;

}

.dataframe thead th {

    text-align: right;

}

		Python	高数
a	期中	14	129
a	期末	40	74
b	期中	83	103
b	期末	44	62
c	期中	95	141
c	期末	55	103
d	期中	42	68
d	期末	51	71

============================================

练习8：

创建一个DataFrame，表示出张三李四期中期末各科成绩

============================================

df = DataFrame(data = np.random.randint(0,150,size = (4,4)),

              index = [["张三","张三","李四","李四"],["期中","期末","期中","期末"]],

               columns = ["Python","Html","Java","PHP"])

df

.dataframe tbody tr th:only-of-type {
vertical-align: middle;
}

.dataframe tbody tr th {

    vertical-align: top;

}

.dataframe thead th {

    text-align: right;

}

		Python	Html	Java	PHP
张三	期中	6	96	146	23
张三	期末	139	136	84	77
李四	期中	145	94	24	110
李四	期末	95	16	34	34

2. 多层列索引

除了行索引index，列索引columns也能用同样的方法创建多层索引

#可以把行索引变换成列索引

df2 = DataFrame(data = np.random.randint(0,150,size = (1,8)),

                columns = pd.MultiIndex.from_arrays([["a","a","a","a","b","b","b","b"],

                       ["期中","期中","期末","期末","期中","期中","期末","期末"],

                       ["一单元","二单元","一单元","二单元","一单元","二单元","一单元","二单元"]]),

               index = ["Python"])

df2

.dataframe tbody tr th:only-of-type {
vertical-align: middle;
}

.dataframe tbody tr th {

    vertical-align: top;

}

.dataframe thead tr th {

    text-align: left;

}

	a				b
	期中		期末		期中		期末
	一单元	二单元	一单元	二单元	一单元	二单元	一单元	二单元
Python	141	82	39	6	16	69	19	22

3. 多层索引对象的索引与切片操作

1）Series的操作

【重要】对于Series来说，直接中括号[]与使用.loc()完全一样，因此，推荐使用中括号索引和切片。

(1) 索引

s = Series(data = [1,2,3,"a"], index = [["a","a","b","b"],["期中","期末","期中","期末"]])

s

a  期中    1

   期末    2

b  期中    3

   期末    a

dtype: object

s["a"]["期末"]

s["a","期末"]

s["a","jhdsajdasjk"]

---------------------------------------------------------------------------

KeyError                                  Traceback (most recent call last)

<ipython-input-23-768e71c3a49c> in <module>()

----> 1 s["a","jhdsajdasjk"]

C:\anaconda\lib\site-packages\pandas\core\series.py in __getitem__(self, key)

    662             key = check_bool_indexer(self.index, key)

    663

--> 664         return self._get_with(key)

    665

    666     def _get_with(self, key):

C:\anaconda\lib\site-packages\pandas\core\series.py in _get_with(self, key)

    675             if isinstance(key, tuple):

    676                 try:

--> 677                     return self._get_values_tuple(key)

    678                 except Exception:

    679                     if len(key) == 1:

C:\anaconda\lib\site-packages\pandas\core\series.py in _get_values_tuple(self, key)

    723

    724         # If key is contained, would have returned by now

--> 725         indexer, new_index = self.index.get_loc_level(key)

    726         return self._constructor(self._values[indexer],

    727                                  index=new_index).__finalize__(self)

C:\anaconda\lib\site-packages\pandas\core\indexes\multi.py in get_loc_level(self, key, level, drop_level)

   2246

   2247                         return (self._engine.get_loc(

-> 2248                             _values_from_object(key)), None)

   2249

   2250                     else:

pandas/_libs/index.pyx in pandas._libs.index.MultiIndexObjectEngine.get_loc()

pandas/_libs/index.pyx in pandas._libs.index.MultiIndexObjectEngine.get_loc()

pandas/_libs/index.pyx in pandas._libs.index.IndexEngine.get_loc()

pandas/_libs/index.pyx in pandas._libs.index.IndexEngine.get_loc()

pandas/_libs/hashtable_class_helper.pxi in pandas._libs.hashtable.PyObjectHashTable.get_item()

pandas/_libs/hashtable_class_helper.pxi in pandas._libs.hashtable.PyObjectHashTable.get_item()

KeyError: ('a', 'jhdsajdasjk')

s[['a',"期中"]]

#写两个  的时候，只会取第一个，之后就不管了

a  期中    1

   期末    2

dtype: object

(2) 切片

s["a":"b"]

a  期中    1

   期末    2

b  期中    3

   期末    a

dtype: object

s["期中":"期末"]

Series([], dtype: object)

#多层索引，自然数的索引从0开始的，有多少行算多少行，和总体的数据有关！！！

s.iloc[0:3]

a  期中    1

   期末    2

b  期中    3

dtype: object

2）DataFrame的操作

(1) 可以直接使用列名称来进行列索引

(2) 使用行索引需要用ix()，loc()等函数

【极其重要】推荐使用loc()函数

注意在对行索引的时候，若一级行索引还有多个，对二级行索引会遇到问题！也就是说，无法直接对二级索引进行索引，必须让二级索引变成一级索引后才能对其进行索引！

df4

#想要a，期中的Python的成绩

.dataframe tbody tr th:only-of-type {
vertical-align: middle;
}

.dataframe tbody tr th {

    vertical-align: top;

}

.dataframe thead th {

    text-align: right;

}

		Python	高数
a	期中	14	129
a	期末	40	74
b	期中	83	103
b	期末	44	62
c	期中	95	141
c	期末	55	103
d	期中	42	68
d	期末	51	71

df4["Python"]["a"]["期中"]

df4["Python"]["a","期中"]

df4.loc['b', "期末"]["Python"]

============================================

练习9：

分析比较Series和DataFrame各种索引的方式，熟练掌握.loc()方法
假设张三再一次在期中考试的时候因为特殊原因放弃英语考试，如何实现？

============================================

4. 索引的堆（stack）

stack()
unstack()

小技巧】使用stack()的时候，level等于哪一个，哪一个就消失，出现在行里。

【小技巧】使用unstack()的时候，level等于哪一个，哪一个就消失，出现在列里。

============================================

练习10：

使用unstack()将ddd变为两行，分别为期中期末
使用unstack()将ddd变为四行，分别为四个科目

============================================

5. 聚合操作

【注意】

需要指定axis
【小技巧】和unstack()相反，聚合的时候，axis等于哪一个，哪一个就保留。

所谓的聚合操作：平均数，方差，最大值，最小值……

============================================

练习11：

计算各个科目期中期末平均成绩
计算各科目张三李四的最高分

============================================

(三）pandas 层次化索引的更多相关文章

pandas中层次化索引与切片
Pandas层次化索引 1. 创建多层索引隐式索引: 常见的方式是给dataframe构造函数的index参数传递两个或是多个数组 Series也可以创建多层索引 Series多层索引 B =Ser ...
Pandas基本功能之层次化索引及层次化汇总
层次化索引层次化也就是在一个轴上拥有多个索引级别 Series的层次化索引 data=Series(np.random.randn(10),index=[ ['a','a','a','b','b', ...
pandas：由列层次化索引延伸的一些思考
1. 删除列层次化索引用pandas利用df.groupby.agg() 做聚合运算时遇到一个问题:产生了列方向上的两级索引,且需要删除一级索引.具体代码如下: # 每个uesr每天消费金额统计:和 ...
pandas（五）处理缺失数据和层次化索引
pandas用浮点值Nan表示浮点和非浮点数组中的缺失数据.它只是一个便于被检测的标记而已. >>> string_data = Series(['aardvark','artich ...
利用Python进行数据分析(11) pandas基础: 层次化索引
层次化索引层次化索引指你能在一个数组上拥有多个索引,例如: 有点像Excel里的合并单元格对么? 根据索引选择数据子集以外层索引的方式选择数据子集: 以内层索引的方式选择数据: 多重索引S ...
利用Python进行数据分析_Pandas_层次化索引
申明:本系列文章是自己在学习<利用Python进行数据分析>这本书的过程中,为了方便后期自己巩固知识而整理. 层次化索引主要解决低纬度形式处理高纬度数据的问题 import pandas ...
ElasticSearch入门第三篇：索引
这是ElasticSearch 2.4 版本系列的第三篇: ElasticSearch入门第一篇:Windows下安装ElasticSearch ElasticSearch入门第二篇:集群配置 E ...
pandas重置索引的几种方法探究
pandas重置索引的几种方法探究 reset_index() reindex() set_index() 函数名字看起来非常有趣吧! 不仅如此. 需要探究. http://nbviewer.jupy ...
关于groupby与层次化索引的联系和层次化标签的使用
groupby出来对象并不是dataFrame,所以直接print是看不到矩阵或者高维矩阵的,所以需要用能够产生标量值的方法去处理groupby对象,这样可以利用矩阵形式处理高维数据: 这样group ...

随机推荐

Docker+Selenium+TestNG+Maven+Jenkins环境搭建
一.Selenium环境准备 standalone-chrome Docker容器启动: docker pull selenium/standalone-chrome version: '3' ser ...
[BZOJ]最长道路
题目点这里看题目. BZOJ 上是权限题目. 分析这道题可以用点分治,但是我就是喜欢边分治 QAQ . 分治过程中,我们考虑经过分治边的路径的最大痛苦值.一条经过分治边的路径会被 ...
看到这些常见的android面试题，你慌了吗？
最近参加了一些Android工程师岗位的面试,总结了一些常见的考点,希望能帮到正在面试的你(答案还在整理中)! 1.Java调用函数传入实际参数时,是值传递还是引用传递? 2.单例模式的DCL方式,为 ...
Android学习笔记物理按键事件处理
常见的物理按键: Android为每个物理按键都提供了如下几个回调方法: 代码示例: package com.example.demo3; import androidx.appcompat.app. ...
能被 K 整除的最大连续子串长度
[来源]网上流传的2017美团秋招笔试题 [问题描述] 两个测试样例输出都是5 [算法思路] 暴力解法时间会超限,使用一种很巧妙的数学方法.用在读取数组arr时用数组sum记录其前 i 项的和,即 s ...
django 注册后台管理在debug=true能行，在debug=false不能显示出管理标签
debug=true 下,如下图:
C++ vector迭代器访问二维数组
#include<iostream> #include<vector> int main(){ std::vector<int> arr(); // 创建一维数组 ...
网络编程套接字socket TCP UDP
网络编程与套接字网络编程网络编程是什么: 网络通常指的是计算机中的互联网,是由多台计算机通过网线或其他媒介相互链接组成的编写基于网络的应用程序的过程序称之为网络编程. 网络编程最主要的工 ...
robot framework使用小结（三）
robot framework采用行为驱动新建测试案例baidu04,添加Library:Selenium2Library 右键项目名robotProject-->New Resource-- ...
SQL注入之Union注入攻击
union联合查询算是最简单的一种注入了,但是却是经常遇到. 什么是UNION注入 UNION操作符用于合并两个或多个SELECT语句的结果集,而且UNION内部的SELECT语句必须拥有相同数量的列 ...

(三）pandas 层次化索引

pandas层次化索引

1. 创建多层行索引

1) 隐式构造

2) 显示构造pd.MultiIndex

2. 多层列索引

3. 多层索引对象的索引与切片操作

1）Series的操作

2）DataFrame的操作

4. 索引的堆（stack）

5. 聚合操作

(三）pandas 层次化索引的更多相关文章

随机推荐

热门专题