记录hive一次数据倾斜问题的解决以及思考总结

解决数据倾斜是大数据开发中比较重要的能力，这个现象指的是分布式集群中，由于数据分发的不当，导致某个节点要处理的错误过多，导致整个计算机任务迟迟结束不了，甚至可能节点出现OOM使得任务失败

处理数据倾斜的第一步就是定位到数据倾斜的位置以及理清数据倾斜的原因

这次数据倾斜模拟的是大key，也就是某个key下记录远超于其他key，在join或者group的时候会导致某个reduce任务特别慢(可以通过yarn的web ui查看 端口号8088

）

使用环境

hadoop+hive（on mapreduce）

一、确定大key

类似做数据挖掘中的预处理阶段，通过sql查看key的分布问题

垃圾sql

select count(distinct(key))
from table

distinct走全局，也就是走一个reduce，导致数据倾斜！！！！

改良后

select key,count(1)
from(
select key
from table
group by key)
key_table

结合task的执行情况基本可以判定为大key问题
或者通过task日志来确定哪个key有问题，过程为https://blog.csdn.net/epitomizelu/article/details/117120258

二、确定哪个key后定位sql语句

这时候可以通过jobname后面的stage结合explain(有时间总结下explain用法，这个没法硬记，还得靠实践中熟悉），根据执行计划，就能判断哪里的sql语句出现了数据倾斜

三、判断造成数据倾斜的大key与业务逻辑有无关系

若没有关系，比如这次研究布局二三线城市的商业，那么占大部分数据的一线城市人口需求就不需要有，需要提前过滤掉

若有关系，则需要讨论如何进行优化，以后进行补充