Hive 常用优化参数

常用调优测试语句 ： 

 

①显示当前hive环境的参数值：

set 参数名;

如：  

hive> set mapred.map.tasks;
mapred.map.tasks;

 

②设置hive当前环境的参数值，但仅对本次连接有效

set 参数名 = 值;

如：

hive>
set mapred.map.tasks;
mapred.map.tasks=2;

 

④查看当前hive环境的所有参数值：

set -v;

⑤重置当前hive环境的所有参数值：

reset;

 

 

hive job优化

 

1、并行优化

hive job的并行化执行，在job之间没有依赖关系时可以同时执行，并行数另外配置,默认为8，开启并行会消耗更多的集群资源来提高执行速度，可对特定作业作并行执行合适。

hive.exec.parallel=true;

Job并行最大数，与job并行配置配合使用，但受集群资源与Job之间是否依赖的因素影响，即最大数为64但资源稀缺或存在不依赖的job数不够也无法达到最大值。

hive.exec.parallel.thread.number=8

 

2、本地模式优化（减低网络IO的负载，对小任务有用，大任务还得分而治之）

hive.exec.mode.local.auto=true;

当一个job满足如下条件会使用本地模式：

①job的输入数据大小必须小于：

        hive.exec.mode.local.auto.inputbytes.max  (默认128)

②job的map数必须小于参数：

        hive.exec.mode.local.auto.tasks.max  (默认4)

③job的reduce数必须为0或者1

 

3、job合并输入小文件（会启动新的job合并文件）

hive.merge.smallfiles.avgsize=256000000;

当输出文件平均大小小于该值，启动新job合并文件

hive.merge.size.per.task=64000000;

合并之后的文件大小

 

4.jvm重利用

mapred.job.reuse.jvm.num.tasks=20;

JVM
重利用可以使job长时间保留slot（下个map无需再次初始化jvm），直到作业结束，这个对于较多任务和较多小文件的任务是非常有意义的，减少执行
时间。当然这个值不能设置过大，因为有些作业会有reduce任务，如果reduce任务没有完成，则map认为占用的slot不能释放，其他的作业可能
就需要等待。

 

5、压缩数据

中间压缩就是处理hive查询的多个job之间的数据，对于中间压缩，最好选择一个节省CPU耗时的压缩方式

• hive.exec.compress.intermediate=true;//决定查询的中间
  map/reduce job （中间 stage）的输出是否为压缩格式
• hive.intermediate.compression.codec=org.apache.hadoop.io.compress.SnappyCodec; //中间
  map/reduce job 的压缩编解码器的类名（一个压缩编解码器可能包含多种压缩类型），该值可能在程序中被自动设置。
• hive.intermediate.compression.type=BLOCK  (压缩单元为块压缩) //中间
  map/reduce job 的压缩类型，如 "BLOCK""RECORD"

 

hive查询最终的输出也可以压缩

• hive.exec.compress.output=true; //决定查询中最后一个
  map/reduce job 的输出是否为压缩格式
• mapred.output.compression.codec=orgapache.hadoop.io.compress.GzipCodec;  // 压缩格式
• mapred.output.compression.type=BLOCK  //压缩类型

 

6、Map优化

 

mapred.map.taskes=10;

(1)默认map个数

　　default_num = total_size / block_size;

(2)期望大小

　　goal_num = mapred.map.casks;

(3)设置处理的文件大小

　　split_size = max(mapred.min.split.size,block_size);

　　split_num = total_size / split_size;

(4)计算的map个数

　　compute_map_num = min(split_num,max(default_num,goal_num));

 

 经过以上的分析，在设置map个数的时候，可以简单的总结为一下的几点：

• （1）如果增大map个数，则设置mapred.map.tasks为一个较大的值
• （2）如果想减小map个数，则设置mapred.min.split.size为一个较大的值。

 

情况1：输入文件size巨大，但不是小文件）

增大mapred.min.split.size的值

情况2：输入文件数量巨大，且都是小文件，就是单个文件的size小于blockSize。（造成网络负载大）

这种情况通过增大mapred.min.split.size不可行，需要使用CombineFileInputFormat将多个input path合并成一个InputSplit送个mapper处理，从而减少mapper的数量

 

 

map端聚合（执行combine）

hive.map.aggr=true; //消耗更多的内存来提高效率

推测执行(多启动一个map来防止map失败)

mapred.map.tasks.speculative.execution

 

mapred.map.tasks.speculative.execution=true
mapred.reduce.tasks.speculative.execution=true
hive.mapred.reduce.tasks.speculative.execution=true;

 

7、Hive
Shuffle优化

Map端	Reduce端
io.sort.mb io.sort.spill.percent min.num.spill.for.combine io.sort.factor io.sort.record.percent	mapred.reduce.parallel.copies mapred.reduce.copy.backoff io.sort.factor mapred.job.shuffle.input.buffer.percent mapred.job.reduce.input.buffer.percent

 

 

 

8、Hive Reduce优化

 

（1）设置reduce数

mapred.reduce.tasks = 10  (设置了也未必全用，使用个数公式如下)

hive.exec.reducers.max 默认999

hive.exec.reducer.bytes.per.reducer 默认：1G

 

reduce使用个数的计算公式

numRTasks = min [ maxReducers,input.size / perReducer ]

maxReducers = hive.exec.reducers.max

perReducer = hive.exec.reducers.bytes.per.reducer

 

（2）推测执行

 

mapred.reduce.tasks.speculative.execution

hive.mapred.reduce.tasks.speculative.excution

 

 

9、数据倾斜优化

注意：如果hql使用多个distinct是无法使用这个参数去解决倾斜问题，可以改用sum（）+group by解决

 

hive.optimize.skewjoin 
//是否优化数据倾斜的 Join，对于倾斜的 Join 会开启新的 Map/Reduce Job 处理。 

 

数据倾斜时负载均衡，当选项设定为true，生成的查询计划会有两个MRJob。第一个MRJob
中，Map的输出结果集合会随机分布到Reduce中，每个Reduce做部分聚合操作，并输出结果，这样处理的结果是相同的GroupBy Key有可能被分发到不同的Reduce中，从而达到负载均衡的目的；第二个MRJob再根据预处理的数据结果按照GroupBy Key分布到Reduce中（这个过程可以保证相同的GroupBy Key被分布到同一个Reduce中），最后完成最终的聚合操作。

  

默认值：false     

hive.skewjoin.key    //倾斜键数目阈值，超过此值则判定为一个倾斜的 Join 查询。   

默认值： 1000000     

hive.skewjoin.mapjoin.map.tasks  //处理数据倾斜的 Map Join 的 Map 数上限。   

默认值： 10000     

hive.skewjoin.mapjoin.min.split  //处理数据倾斜的 Map Join 的最小数据切分大小，以字节为单位，默认为32M。   

默认值：33554432     

 

 

参考资料：

• http://www.cnblogs.com/yshb/p/3147710.html
• http://www.aboutyun.com/thread-7794-1-1.html
• http://blog.csdn.net/w13770269691/article/details/17232947
• https://blog.csdn.net/q412774506/article/details/46998713