pandas处理丢失数据-【老鱼学pandas】
假设我们的数据集中有缺失值,该如何进行处理呢?
丢弃缺失值的行或列
首先我们定义了数据集的缺失值:
import pandas as pd
import numpy as np
dates = pd.date_range("2017-01-08", periods=6)
data = pd.DataFrame(np.arange(24).reshape(6, 4), index=dates, columns=["A", "B", "C", "D"])
data.iloc[0, 1] = np.nan
data.iloc[1, 2] = np.nan
print("data:")
print(data)
这里缺失值用np.nan来设置,输出为:
data:
A B C D
2017-01-08 0 NaN 2.0 3
2017-01-09 4 5.0 NaN 7
2017-01-10 8 9.0 10.0 11
2017-01-11 12 13.0 14.0 15
2017-01-12 16 17.0 18.0 19
2017-01-13 20 21.0 22.0 23
丢弃缺失值数据
可以使用dropna函数把拥有缺失值数据的行或列进行丢弃。
我们这里以丢弃掉拥有缺失值行作为例子:
import pandas as pd
import numpy as np
dates = pd.date_range("2017-01-08", periods=6)
data = pd.DataFrame(np.arange(24).reshape(6, 4), index=dates, columns=["A", "B", "C", "D"])
data.iloc[0, 1] = np.nan
data.iloc[1, 2] = np.nan
print("data:")
print(data)
print("处理结果:")
print(data.dropna(axis=0))
输出为:
data:
A B C D
2017-01-08 0 NaN 2.0 3
2017-01-09 4 5.0 NaN 7
2017-01-10 8 9.0 10.0 11
2017-01-11 12 13.0 14.0 15
2017-01-12 16 17.0 18.0 19
2017-01-13 20 21.0 22.0 23
处理结果:
A B C D
2017-01-10 8 9.0 10.0 11
2017-01-11 12 13.0 14.0 15
2017-01-12 16 17.0 18.0 19
2017-01-13 20 21.0 22.0 23
这样把拥有NaN的2017-01-08和2017-01-09行给丢弃掉了。
dropna所拥有的参数有:
axis:0=按行进行删除,1=按列进行删除
how:'all'=丢掉全为NaN的行,'any'=丢弃只要此行中出现一个NaN的字段就丢弃
把缺失值替换成其它值
在处理缺失值时,我们也可以把缺失值替换成其它值,具体是通过使用fillna函数来实现的。
比如,我们想把缺失值设置成-1:
import pandas as pd
import numpy as np
dates = pd.date_range("2017-01-08", periods=6)
data = pd.DataFrame(np.arange(24).reshape(6, 4), index=dates, columns=["A", "B", "C", "D"])
data.iloc[0, 1] = np.nan
data.iloc[1, 2] = np.nan
print("data:")
print(data)
ret = data.fillna(-1)
print("处理结果:")
print(ret)
输出为:
data:
A B C D
2017-01-08 0 NaN 2.0 3
2017-01-09 4 5.0 NaN 7
2017-01-10 8 9.0 10.0 11
2017-01-11 12 13.0 14.0 15
2017-01-12 16 17.0 18.0 19
2017-01-13 20 21.0 22.0 23
处理结果:
A B C D
2017-01-08 0 -1.0 2.0 3
2017-01-09 4 5.0 -1.0 7
2017-01-10 8 9.0 10.0 11
2017-01-11 12 13.0 14.0 15
2017-01-12 16 17.0 18.0 19
2017-01-13 20 21.0 22.0 23
检查是否存在缺失数据
isnull()函数用来检查是否存在缺失值,如果存在缺失值,则对应位置就会显示True:
import pandas as pd
import numpy as np
dates = pd.date_range("2017-01-08", periods=6)
data = pd.DataFrame(np.arange(24).reshape(6, 4), index=dates, columns=["A", "B", "C", "D"])
data.iloc[0, 1] = np.nan
data.iloc[1, 2] = np.nan
print("data:")
print(data)
ret = data.isnull()
print("处理结果:")
print(ret)
输出为:
data:
A B C D
2017-01-08 0 NaN 2.0 3
2017-01-09 4 5.0 NaN 7
2017-01-10 8 9.0 10.0 11
2017-01-11 12 13.0 14.0 15
2017-01-12 16 17.0 18.0 19
2017-01-13 20 21.0 22.0 23
处理结果:
A B C D
2017-01-08 False True False False
2017-01-09 False False True False
2017-01-10 False False False False
2017-01-11 False False False False
2017-01-12 False False False False
2017-01-13 False False False False
如果我们想要知道整个的数据中是否存在缺失值,例子如下:
import pandas as pd
import numpy as np
dates = pd.date_range("2017-01-08", periods=6)
data = pd.DataFrame(np.arange(24).reshape(6, 4), index=dates, columns=["A", "B", "C", "D"])
data.iloc[0, 1] = np.nan
data.iloc[1, 2] = np.nan
print("data:")
print(data)
ret = np.any(data.isnull() == True)
print("处理结果:")
print(ret)
输出为:
data:
A B C D
2017-01-08 0 NaN 2.0 3
2017-01-09 4 5.0 NaN 7
2017-01-10 8 9.0 10.0 11
2017-01-11 12 13.0 14.0 15
2017-01-12 16 17.0 18.0 19
2017-01-13 20 21.0 22.0 23
处理结果:
True
pandas处理丢失数据-【老鱼学pandas】的更多相关文章
- pandas基本介绍-【老鱼学pandas】
前面我们学习了numpy,现在我们来学习一下pandas. Python Data Analysis Library 或 pandas 主要用于处理类似excel一样的数据格式,其中有表头.数据序列号 ...
- pandas设置值-【老鱼学pandas】
本节主要讲述如何根据上篇博客中选择出相应的数据之后,对其中的数据进行修改. 对某个值进行修改 例如,我们想对数据集中第2行第2列的数据进行修改: import pandas as pd import ...
- pandas合并数据集-【老鱼学pandas】
有两个数据集,我们想把他们的结果根据相同的列名或索引号之类的进行合并,有点类似SQL中的从两个表中选择出不同的记录并进行合并返回. 合并 首先准备数据: import pandas as pd imp ...
- pandas画图-【老鱼学pandas】
本节主要讲述如何把pandas中的数据用图表的方式显示在屏幕上,有点类似在excel中显示图表. 安装matplotlib 为了能够显示图表,首先需要安装matplotlib库,安装方法如下: pip ...
- pandas选择数据-【老鱼学pandas】
选择列 根据列名来选择某列的数据 import pandas as pd import numpy as np dates = pd.date_range("2017-01-08" ...
- pandas导入导出数据-【老鱼学pandas】
pandas可以读写如下格式的数据类型: 具体详见:http://pandas.pydata.org/pandas-docs/version/0.20/io.html 读取csv文件 我们准备了一个c ...
- pandas合并merge-【老鱼学pandas】
本节讲述对于两个数据集按照相同列的值进行合并. 首先定义原始数据: import pandas as pd import numpy as np data0 = pd.DataFrame({'key' ...
- tensorflow卷积神经网络-【老鱼学tensorflow】
前面我们曾有篇文章中提到过关于用tensorflow训练手写2828像素点的数字的识别,在那篇文章中我们把手写数字图像直接碾压成了一个784列的数据进行识别,但实际上,这个图像是2828长宽结构的,我 ...
- 二分类问题续 - 【老鱼学tensorflow2】
前面我们针对电影评论编写了二分类问题的解决方案. 这里对前面的这个方案进行一些改进. 分批训练 model.fit(x_train, y_train, epochs=20, batch_size=51 ...
随机推荐
- mysql数据去重并排序使用distinct 和 order by 的问题
比如直接使用: SELECT distinct mobileFROM table_aWHERE code = 123ORDER BY a_ime desc 在本地mysql数据库没有错,在线上的数据库 ...
- CF209C Trails and Glades
题目链接 题意 有一个\(n\)个点\(m\)条边的无向图(可能有重边和自环)(不一定联通).问最少添加多少条边,使得可以从\(1\)号点出发,沿着每条边走一遍之后回到\(1\)号点. 思路 其实就是 ...
- 1.1浅谈Spring(一个叫春的框架)
如今各种Spring框架甚嚣尘上,但是终归还是属于spring的东西.所以在这里,个人谈一谈对spring的认识,笔者觉得掌握spring原理以及spring所涉及到的设计模式对我们具有极大的帮助.我 ...
- MapReduce 概述
定义 Hadoop MapReduce 是一个分布式运算程序的编程框架,用于轻松编写分布式应用程序,以可靠,容错的方式在大型集群(数千个节点)上并行处理大量数据(TB级别),是用户开发 “基于 Had ...
- Entity Framework入门教程(6)--- 在线场景中保存数据
在线场景中保存数据 在线场景中保存实体数据是一项相当容易的任务,因为使用的是同一个context,这个context会自动跟踪所有实体发生的更改. 下图说明了在线场景中的CUD(创建,更新,删除)操作 ...
- Shiro 系列 - 基本知识
和 Spring Security 项目一样, Apache Shiro 也是一个被广泛使用安全框架, 它们都能完成认证.授权.会话管理等. 简单对比一下 Apache Shiro 和 Spring ...
- Spark Java API 计算 Levenshtein 距离
Spark Java API 计算 Levenshtein 距离 在上一篇文章中,完成了Spark开发环境的搭建,最终的目标是对用户昵称信息做聚类分析,找出违规的昵称.聚类分析需要一个距离,用来衡量两 ...
- keras系列︱Sequential与Model模型、keras基本结构功能(一)
引自:http://blog.csdn.net/sinat_26917383/article/details/72857454 中文文档:http://keras-cn.readthedocs.io/ ...
- visual studio code运行时报错,Cannot find module 'webpack'
前言 今天运行是visual studio code时,报了一个错误Cannot find module 'webpack' ,网上找了很多方法都没解决.下面一起来看看怎么解决 正文 报错: npm ...
- 工作经验-类型转换[ java.lang.String]
错误代码: logger.info("1"); Map<String,String> zxmap = (Map) zxList.get(0); ybty.setFyze ...