Python数据挖掘——数据预处理

  • 数据预处理

    • 数据质量

      • 准确性、完整性、一致性、时效性、可信性、可解释性

    • 数据预处理的主要任务

      • 数据清理

      • 数据集成

      • 数据归约

        • 维归约

        • 数值归约

      • 数据变换

        • 规范化

        • 数据离散化

        • 概念分层产生

  • 数据清理（试图填充缺失的值，光滑噪声并识别离群点，纠正数据的不一致）

    • 缺失值

      • 忽略元组

      • 人工填写缺失值

      • 使用一个全局常量填充缺失值

      • 使用属性的中心度量（均值／中位数）填充缺失值

      • 使用与给定元组属于同一类的所有样本的均值／中位数

      • 使用最可能的值 填充缺失值

      • 注：某些情况，缺失值并不代表错误

    • 噪声数据（噪声是被测量的变量的随机误差或方差）

      • 分箱（通过考察数据的近邻，来光滑有序数据值）

        • 用箱均值

        • 用箱中位数

        • 用箱边界

      • 回归

      • 离群点分析（通过聚类来检测离群点）

    • 数据清理化为一个过程

      • 首先进行偏差检测，还要防止字段过载

        • 唯一性规则

        • 连续性规则

        • 空值规则

      • 偏差检测商业工具

        • 数据清洗工具

        • 数据审计工具

      • 数据迁移工具

        • EIL工具

  • 数据集成

    • 实体识别问题

    • 冗余和相关分析

    • 元组重复

    • 数据值冲突的检测与处理

  • 数据归约

    • 数据变换与数据离散化

Python数据挖掘——数据预处理的更多相关文章

  1. Python数据挖掘——数据概述

    Python数据挖掘——数据概述 数据集由数据对象组成: 数据的基本统计描述 中心趋势度量 均值 中位数 众数 中列数 数据集的最大值和最小值的平均 度量数据分布 极差 最大值与最小值的差 四分位数 ...

  2. Python做数据预处理

    在拿到一份数据准备做挖掘建模之前,首先需要进行初步的数据探索性分析(你愿意花十分钟系统了解数据分析方法吗?),对数据探索性分析之后要先进行一系列的数据预处理步骤.因为拿到的原始数据存在不完整.不一致. ...

  3. 吴裕雄 python 机器学习——数据预处理过滤式特征选取SelectPercentile模型

    from sklearn.feature_selection import SelectPercentile,f_classif #数据预处理过滤式特征选取SelectPercentile模型 def ...

  4. 吴裕雄 python 机器学习——数据预处理过滤式特征选取VarianceThreshold模型

    from sklearn.feature_selection import VarianceThreshold #数据预处理过滤式特征选取VarianceThreshold模型 def test_Va ...

  5. 吴裕雄 python 机器学习——数据预处理正则化Normalizer模型

    from sklearn.preprocessing import Normalizer #数据预处理正则化Normalizer模型 def test_Normalizer(): X=[[1,2,3, ...

  6. 吴裕雄 python 机器学习——数据预处理标准化MaxAbsScaler模型

    from sklearn.preprocessing import MaxAbsScaler #数据预处理标准化MaxAbsScaler模型 def test_MaxAbsScaler(): X=[[ ...

  7. 吴裕雄 python 机器学习——数据预处理标准化StandardScaler模型

    from sklearn.preprocessing import StandardScaler #数据预处理标准化StandardScaler模型 def test_StandardScaler() ...

  8. 吴裕雄 python 机器学习——数据预处理标准化MinMaxScaler模型

    from sklearn.preprocessing import MinMaxScaler #数据预处理标准化MinMaxScaler模型 def test_MinMaxScaler(): X=[[ ...

  9. 吴裕雄 python 机器学习——数据预处理二元化OneHotEncoder模型

    from sklearn.preprocessing import OneHotEncoder #数据预处理二元化OneHotEncoder模型 def test_OneHotEncoder(): X ...

随机推荐

  1. 部分用户间接性访问不了linux服务器解决方法

    linux的/etc/sysctl.conf中应设置 net.ipv4.tcp_tw_reuse = net.ipv4.tcp_tw_recycle = 参考文章: https://ieevee.co ...

  2. JS の 套路 II ~~

    今天的需求是 给表单赋值 还有修改并保存.以下的方法应该是个本方法,但好上手!! 给表单值 <form> <table> <tbodu> 这里假装有一堆表单的一对t ...

  3. 如何通过github上传项目并在readme.md中展示图片二维码

    将本地项目上传至github   第一步:git init (创建仓库)   第二步:git add README.md (添加项目)git add *   第三步:git commit -m &qu ...

  4. mysql的索引和执行计划

    一.mysql的索引 索引是帮助mysql高效获取数据的数据结构.本质:索引是数据结构 1:索引分类 普通索引:一个索引只包含单个列,一个表可以有多个单列索引. 唯一索引:索引列的值必须唯一 ,但允许 ...

  5. （1-1）入门—最简单的树（使用json数据）

    1.<!DOCTYPE html>是必须的. 2.zTree 的容器 className 别忘了设置为 "ztree". 使用ztree创建树,首先要引用ztree相关 ...

  6. Java Hibernate Validator

    Hibernate Validator是Hibernate提供的一个开源框架,使用注解方式非常方便的实现服务端的数据校验. 官网:http://hibernate.org/validator/ hib ...

  7. 大数据学习--day15(常用类：Date--DateFormat--SimpleDateFormat--File--包装类)

    常用类:Date--DateFormat--SimpleDateFormat--File--包装类 这些常用类就不像字符串挖那么深了,只列列用法. 时间处理: /** * 时间处理类 * DateFo ...

  8. CDH升级 5.7.5 --> 5.13.3（tar包方式）

    博客园首发,转载请注明出处:https://www.cnblogs.com/tzxxh/p/9123231.html 一.准备 1.关闭cdh中的服务 hdfs.yarn等所有服务:关闭 cm-ser ...

  9. php中的Register Globals

    参考: http://php.net/manual/zh/security.globals.php

  10. jquery ajax实例教程和一些高级用法

    jquery ajax的调用方式:jquery.ajax(url,[settings]),jquery ajax常用参数:红色标记参数几乎每个ajax请求都会用到这几个参数,本文将介绍更多jquery ...