hive on spark 常用配置

常用设置

reset;
set hive.execution.engine=spark;
set hive.map.aggr = false;
set hive.auto.convert.join = false;
set hive.merge.mapfiles=true;
set hive.merge.mapredfiles=true;
set hive.merge.size.per.task=100000000;
-- 动态分区参数
SET hive.exec.dynamic.partition=TRUE;
SET hive.exec.dynamic.partition.mode=nonstrict;
SET hive.exec.max.dynamic.partitions=100000;
SET hive.exec.max.dynamic.partitions.pernode=100000;
-- 资源参数,根据任务调整
-- spark引擎参数
set spark.executor.cores=2;
set spark.executor.memory=4G;
set spark.executor.instances=10;

任务占用资源计算

cores ： 核心数

executor.memory ：单个excutor分配内存

executor.instances=10：executor个数

任务占用总核心数：2 * 10 + 1 = 21  1是driver占用的核数

占用总内存：2 * 4 * 10 = 40