SQL数据清洗

大家好，我是jacky,很高兴继续跟大家分享《MySQL数据分析实战》，从本节课程开始，我们的课程就会变得越来越实战，也会越来越有意思了；

我们课程的主体叫MySQL数据分析实战，那我们用MySQL来进行数据分析的时候，也一定会有其逻辑在的，大家想想我们无论从事任何的工作岗位，我们工作都是有我们的逻辑在的，可能有人会说，我的工作有什么工作逻辑？那jacky说，那是因为我们的工作都太熟悉了，我们也没有进行过总结，最简单的来说，我们工作总会有先后顺序吧，就是先做什么，后做什么，这也是一种逻辑；好，前面铺垫了这么多，jacky就是说，在实际工作中，用MySQL来做数据分析也是有它的逻辑在的，jacky给大家总结的单表操作的八句箴言，也是完成按照我们实际工作中的逻辑来编写的；

前面jacky说过单表查询的八句箴言第二句是：数据清洗两条路，唯一where走一走；第三句：清洗数据有空值，is not 来去除；那jacky说第二句箴言，和第三句箴言我们结合着来讲，这都属于数据清洗的范畴；

本节课程，jacky将结合数据数据清洗的六大步骤，给大家解析八句箴言的第二、三、四句；

（一）本小节逻辑线（开篇铺垫）-数据清洗的六大步骤

• （1）数据预处理；
• （2）去除（补全）有缺失的数据
• （3）去除（修改）格式和内容错误的数据
• （4）去除（修改）逻辑错误的数据
• （5）去除不需要的数据
• （6）关联性验证

第一步：数据预处理

• 八句箴言第一句：不管三七二十一，先把数据show来看

• 数据预处理说白了就是看两件事：

  • （1）看描述数据的信息：就是我们上次课讲的看表结构，SQL语句1；

  • （2）二是抽取一部分数据，使用人工查看方式，对数据本身有一个直观的了解，并且初步发现一些问题，为之后的处理做准备：这部分呢，jacky上次课也将了就是SQL语句2和SQL语句3;

第二步：去除（补全）有缺失的数据

SQL语句5：去除缺失数据-空值

select * from user where name is null;
select * from user where name is not null;

• 为了不打断逻辑的完整性，关于空值和NULL值的相关内容，在系列课程的最后一个章节，请观看《这些年踩过的坑-空值与NULL》，这里jacky就不给大家过空值和NULL值的一些知识点，包括优化的一些内容，大家对应最后的一章查看吧；

• 我们打开MySQL软件，看一下message表，

select * from message

• 我们在向message表中插入一些空值和NULL的数据

insert into mess(name,content) values('','vvvvvvvvvv');
insert into mess(name,content) values('user7',null);

±—±------±-----------------------+

| id | name | content |

±—±------±-----------------------+

| 1 | user1 | dfdfdfdfd |

| 2 | user1 | aaaaaaaaa |

| 3 | user1 | ccccccccc |

| 4 | user2 | jjjjjjjjjj |

| 5 | user5 | hello world |

| 6 | user6 | weixin:run2lucky |

| 7 | user6 | gongzhognhao:shujudata |

| 8 | | vvvvvvvvvv |

| 9 | use7 | NULL |

±—±------±-----------------------+

SQL语句4：去除缺失数据- 用is not 去除null值

select * from mess where content is not null

select * from mess where content <>''

select * from mess where name <>'' and content is not null;

• SQL语句5：用比较运算符去除空值

  • 下面jacky总结比较运算符的用法
  • 比较运算符：

运算符	含义
=	和～相等
<>	和~不相等
>=	大于等于～
>	大于～
<=	小于等于～
<	小于

• 运算符很简单，没有必要每条来说，但有几个主要注意的点：

  • 第一点：比较运算符不仅可以对数据这个数据类型的列进行比较，还能对包括字符、日期等所有数据类型和列进行比较;

insert into mess(name,content) values('user11','llllllllll'),('user32','kkkkkkkk');

对于字符串来说，由于时间关系，jacky就不用MySQL举例了，jacky把规则说一下：字符串的比较是按字典顺序进行排序的，我们一定要与数字的大小顺序区分，什么意思：

1<10<11<2<222<3

• 注意第二点：

在MySQL中!= 与<>都是与～不相等的意思，但jacky这里更倾向于用<>，因为这样显得更规范，也更兼容其他的除MySQL外的数据库软件；

• 关于如何填充缺失的数据，SQL能做，我们可以用SQL的AVG函数计算出平均值，在进行填充，但工作中有这么用SQL清洗数据的吗？没有，我们都是用编程语言，这里就略过了

第三步：去除（修改）格式和内容错误的数据

下面jacky来说下数据清洗的第三步，去除或修改格式和内容错误的数据，前面 jacky说数据清洗，是整个数据分析过程中不可缺少的一个环节，在实际操作中，数据清洗通常会占用数据分析过程的80%的时间，如果说我们的数据是由我们企业内部系统日志而来，那我们的数据源，在格式和内容方面，一般来说，格式和内容会是比较结构化的，或者说是规范的，我们不用花太多的时间进行数据清洗，但如果说，我们的数据是由人工收集来的，或是多个数据源整合而来，那么我们就要花时间对数据源进行清洗；

• 那清洗格式和内容错误的原则思想就是数据过滤，那什么是数据过滤或者说当我们在工作中遇到需要用SQL清洗格式和内容有错误的数据时，我们首要要想到的是什么？

  • 就是数据过滤的两种方法：

    • （1）where过滤

      看一个人SQL水平高不高，你看他使用IN还是使用OR

    • （2）通配符过滤

3.1 先说where过滤

有朋友说，这where过滤不就是where 字句吗？这有什么好说的，但jacky看过太多工作中经常写SQL的人，还真就是连where都写不好，下面jacky给大家好好总结一下where字句，告诉大家看一个人SQL 用的水平高不高，其实看where 字句就能看出来：

• where过滤的第一层次：单一查询条件用where ：真的没啥好说的，太简单了select * from message where age>30;

• where 过滤的第二层次：多个查询条件组合：

  • 关于多个查询条件的whereSQL语句，玩的就是逻辑运算符，那逻辑运算符有哪几个呢：AND、OR、IN、NOT

3.1.1 逻辑运算符之AND和OR

• SQL语句7：AND先运算，OR后运算（AND运算符的优先级高于OR运算符）想要优先执行OR运算符时就要使用括号。

3.1.2 逻辑运算符之OR和IN

• SQL语句8：当在SQL语句中，用OR也行，用IN也行，那我们用IN就牛*，就专业，用OR就**了，就不专业

• 为什么IN要远远好过用OR呢？主要有四点理由：

  • （1）IN语法更清楚，更直观

  • （2）在与其他AND和OR组合使用IN时，求值顺序更容易管理

  • （3）这点是最最重要的就是，IN的性能更优，执行速度更快

  • （4）IN可以包含其他SELECT语句，OR不行

去重：

• 合并去重：分组

• “暴力去重”：distinct