大数据框架Hive优化方法

常规调优手段

• Fetch抓取
• 某些情况查询不必用MapReduce计算，比如select*，可以直接读取文件

• 本地模式
• 有时数据量比较小，hive可以通过本地模式在单台机器上处理所有任务，对于小数据集，执行时间可以被明显缩短。

• JVM重用　　
  • 对于大量小文件，可开启JVM重用，即多个任务共用一个JVM而不用频繁开启和关闭

• 推测执行
• 对于一些bug或者资源分配不均等情况拖后腿的MapReduce任务，会推测出这样的任务并且开启备份任务，与该任务处理同一份数据，最终选用快的那个作为结果

• 严格模式（开启后Hive自动对某些操作做一定的限制，以免过低的查询效率）
• 开启后where中必须有分区过滤条件，不允许扫描所有分区
• 使用order by 必须有limit
• 限制笛卡尔积查询

• count distinct 用 group by替换

• 空key过滤（大表join大表）
• 若空key不需要，则在join之前把空值的key过滤掉
• 如果空key需要包括在结果集里，则要把它加上一些散列数，分配到不同的reducer中防止数据倾斜

• join的时候尽量将小表放大表左边（现版本Hive对其进行自动的优化。）

数据倾斜的解决

• 开启数据倾斜时均衡负载，同一个key分道不同的reduce处理，然后开启第二个MR根据与处理数据结果再按照groupbykey分不到reduce中完成最终的聚合操
• 合理设置map、reduce个数；小文件合并等常规MR优化
  • 增大map数：减少切片大小
  • 增大reduce个数
  • 1.设置调小每个reduce处理最大数据量/2.增大每个任务最大的reduce个数（reduce个数：N=min（参数2，总数据量/参数1））
  • 直接设置set mapreduce.job.reduces = 15;
• 开启map端预先聚合，combine
• 小表存入内存，将reduce join转化为map join
  • 许指定mapjoin参数为true，然后调整小表的阈值让hive自动判断小表情况进行map join转换