Hive调优参数配置

Hive进行大数据处理的过程中经常遇到一个任务跑几个小时或者内存溢出等问题，平时会任务执行的遇到的问题

进行参数的调整配置，收集整理的配置参考如下：

set dfs.namenode.handler.count=20;

set mapred.task.timeout=36000000;

set hive.cbo.enable=true;

set hive.compute.query.using.stats=true;

set hive.stats.fetch.column.stats=true;

set hive.stats.fetch.partition.stats=true;

set hive.exec.parallel.thread.number=8;

set hive.auto.convert.join=true;

set hive.mapjoin.smalltable.filesize=25000;

set hive.merge.mapfiles=true;

set hive.merge.mapredfiles=true;

set hive.merge.size.per.task=256000000;

set mapred.max.split.size=256000000;

set mapred.min.split.size.per.node=256000000;

set mapred.min.split.size.per.rack=256000000;

set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;

set hive.merge.size.per.task=256000000;

set hive.merge.smallfiles.avgsize=256000000;

set hive.map.aggr.hash.percentmemory=0.25;

set mapred.map.tasks.speculative.execution=true;

set mapred.reduce.tasks.speculative.execution=true;

set hive.mapred.reduce.tasks.speculative.execution=true; 

 

set dfs.namenode.handler.count=20; 

nameNode有一个工作线程池用来处理客户端的远程过程调用及集群守护进程的调用。处理程序数量越多意味着要更大的池来处理来自不同DataNode的并发心跳以及客户端并发的元数据操作。对于大集群或者有大量客户端的集群来说，通常需要增大参数dfs.namenode.handler.count的默认值10。设置该值的一般原则是将其设置为集群大小的自然对数乘以20，即20logN，N为集群大小。

 

set mapred.task.timeout=36000000;

job的超时属性，默认600000ms，即600s，可以通过设置该属性防止死循环，具体大小可根据任务的具体情况进行设定。

 

set hive.cbo.enable=true;

如果数据已经根据相同的key做好聚合，则去除多余的map/reduce作业

 

set hive.cbo.enable=true;

set hive.compute.query.using.stats=true;

set hive.stats.fetch.column.stats=true;

set hive.stats.fetch.partition.stats=true;

COST BASED QUERY OPTIMIZATION(CBO) cbo可以优化hive的每次查询，使用CBO，需要开启上面四个选项。