一.行多层索引 1.隐式创建 在构造函数中给index.colunms等多个数组实现(datafarme与series都可以) df的多级索引创建方法类似: 2.显式创建pd.MultiIndex 其中.from_arrays为类似上面的参数,推荐使用简单的from_product函数(会自动进行交叉): 二.列多层索引 列多层索引同理:  三.多层索引操作与切片 1.Series多层索引 使用中括号和loc效果完全一样: 切片,只切第一级索引,与之前一致,需要指定某些指定行时,可以通过iloc…

一.介绍 数据帧(DataFrame)是二维数据结构,即数据以行和列的表格方式排列. 可以看作是Series的二维拓展,但是df有行列索引:index.column 推荐参考:https://www.jianshu.com/p/c534e83d2f4b 二.快速入门 1.打开csv 发现报错,原因是路径中\User的\u和转义符号冲突了,我们使用字符串中的知识,添加r开头表示不转义即可: 它包含的是行列索引和值values,value对应的就是二维的ndarray了 2.创建df 1.通过字典来…

一.数据丢失分类 1)nd中分为两种:None和np.nan(NaN) 其中,None是python中的对象,是一个object:而nan是一个float类型 两种不同的类型,运算速度也是不同的 2)pandas中两种都视作NaN(np.nan) 二.数据丢失处理 通过控制columns来创建有NaN的数据: 通过loc切片赋值来处理部分NaN数据: 1.与空相关的方法 检测: isnull()和notnull() 如何检测df中哪些行中存在空行? df.isnull().any(axis=1)…

一.介绍 Pandas是一个开源的,BSD许可的库(基于numpy),为Python编程语言提供高性能,易于使用的数据结构和数据分析工具. 官方中文文档:https://www.pypandas.cn/docs/ 本次演示使用数据来自github:https://github.com/jakevdp/PythonDataScienceHandbook/tree/master/notebooks/data 二.快速入门 1.导入 2.重点数据结构 主要是series和dataframe 所以一般情…

使用python进行数据分析时,经常会用Pandas类库处理数据,将数据转换成我们需要的格式.Pandas中的有两个数据结构和处理数据相关,分别是Series和DataFrame. Series Series是一种类似于一维数组的对象,它有两个属性,value和index索引.可以像数组那样通过索引访问对应的值,它和数组有点类似也是python中的dict有点类似,数组中的索引只能是数字,而Series的索引既可以是数字类型也可以是字符类型. 创建Series对象 最简单的方式是通过list序列…

1,处理重复数据 使用duplicated检测重复的行,返回一个series,如果不是第一次出现,也就是有重复行的时候,则为True: 对应的,可以使用drop_duplicates来删除重复的行: 以上两个方法,都不能有重复的列! 2.map函数:列处理 map() 是一个Series的函数,DataFrame结构中没有map().map()将一个自定义函数应用于Series结构中的每个元素(elements). 传入一个拉姆达表达式: 可以通过不存在的列名,利用map映射新增一列:(当然,此…

主要分为:级联:pd.concat.pd.append 合并:pd.merge 一.numpy级联的回顾 详细参考numpy章节 https://www.cnblogs.com/jiangbei/p/11287238.html 二.pd中concat函数 1.简单级联 和numpy的级联类似,默认增加行数,通过axis(默认为0)来控制  在pandas中,如果行 和 列不一致,但是shape相同,会级联成一个更大的df,不对应的值会填充NaN. 并且,级联可以重复: 可以通过ignore_in…

知识点 Series只有行索引,而DataFrame对象既有行索引,也有列索引 行索引,表明不同行,横向索引,叫index,0轴,axis=0 列索引,表明不同列,纵向索引,叫columns,1轴,axis=1 1.DataFrame创建,可以通过index和columns指定索引名称 #方式一a = pd.DataFrame(np.arange(10).reshape(2,5)) print(a) #方式二 a = pd.DataFrame(np.arange(10).reshape(2,5)…

在pandas中,经常对数据进行处理 而导致数据索引顺序混乱,从而影响数据读取.插入等. 小笔总结了以下几种重置索引的方法: import pandas as pd import numpy as np df = pd.DataFrame(np.arange(20).reshape((5, 4)),columns=['a', 'b', 'c', 'd']) #得到df: a b c d 0 0 1 2 3 1 4 5 6 7 2 8 9 10 11 3 12 13 14 15 4 16 17 1…

merge有点类似SQL中的join,可以将不同数据集按照某些字段进行合并,得到新的数据集  1.参数一览表: 2.一对一连接:默认情况下,会按照相同字段的进行连接 例如有相同字段emp的两个df,merge的时候就会根据emp进行连接,且根据参数知道,默认是内连接: 使用默认的不是很明了,通常情况下,我们推荐使用on明确连接条件,这和SQL里写ON是类似的: 3.多对一合并  4.多对多连接(交叉连接) 5.key的规范化 也就是上面介绍的,通过on来指定连接的key,明了且规范 并且,合并的…