Hive SQL基本上适用大数据领域离线数据处理的大部分场景。Hive SQL的优化也是我们必须掌握的技能,而且,面试一定会问。那么,我希望面试者能答出其中的80%优化点,在这个问题上才算过关。

  • Hive优化目标

    • 在有限的资源下,执行效率更高

  • 常见问题

    • 数据倾斜

    • map数设置

    • reduce数设置

    • 其他

    • Hive执行

      • HQL --> Job --> Map/Reduce

      • 执行计划

        • explain [extended] hql

        • 样例

        • select col,count(1) from test2 group by col;

        • explain select col,count(1) from test2 group by col;

    • Hive表优化

      • 分区

        • set hive.exec.dynamic.partition=true;

        • set hive.exec.dynamic.partition.mode=nonstrict;

        • 静态分区

        • 动态分区

      • 分桶

        • set hive.enforce.bucketing=true;

        • set hive.enforce.sorting=true;

      • 数据

        • 相同数据尽量聚集在一起

    • Hive Job优化

      • 并行化执行

        • 每个查询被hive转化成多个阶段,有些阶段关联性不大,则可以并行化执行,减少执行时间

        • set hive.exec.parallel= true;

        • set hive.exec.parallel.thread.numbe=8;

      • 本地化执行

        • job的输入数据大小必须小于参数:hive.exec.mode.local.auto.inputbytes.max(默认128MB)

        • job的map数必须小于参数:hive.exec.mode.local.auto.tasks.max(默认4)

        • job的reduce数必须为0或者1

        • set hive.exec.mode.local.auto=true;

        • 当一个job满足如下条件才能真正使用本地模式:

      • job合并输入小文件

        • set hive.input.format = org.apache.hadoop.hive.ql.io.CombineHiveInputFormat

        • 合并文件数由mapred.max.split.size限制的大小决定

      • job合并输出小文件

        • set hive.merge.smallfiles.avgsize=256000000;当输出文件平均小于该值,启动新job合并文件

        • set hive.merge.size.per.task=64000000;合并之后的文件大小

      • JVM重利用

        • set mapred.job.reuse.jvm.num.tasks=20;

        • JVM重利用可以使得JOB长时间保留slot,直到作业结束,这在对于有较多任务和较多小文件的任务是非常有意义的,减少执行时间。当然这个值不能设置过大,因为有些作业会有reduce任务,如果reduce任务没有完成,则map任务占用的slot不能释放,其他的作业可能就需要等待。

      • 压缩数据

        • set hive.exec.compress.output=true;

        • set mapred.output.compreession.codec=org.apache.hadoop.io.compress.GzipCodec;

        • set mapred.output.compression.type=BLOCK;

        • set hive.exec.compress.intermediate=true;

        • set hive.intermediate.compression.codec=org.apache.hadoop.io.compress.SnappyCodec;

        • set hive.intermediate.compression.type=BLOCK;

        • 中间压缩就是处理hive查询的多个job之间的数据,对于中间压缩,最好选择一个节省cpu耗时的压缩方式

        • hive查询最终的输出也可以压缩

    • Hive Map优化

      • set mapred.map.tasks =10; 无效

      • (1)默认map个数

        • default_num=total_size/block_size;

      • (2)期望大小

        • goal_num=mapred.map.tasks;

      • (3)设置处理的文件大小

        • split_size=max(mapred.min.split.size,block_size);

        • split_num=total_size/split_size;

      • (4)计算的map个数

        • compute_map_num=min(split_num,max(default_num,goal_num))

      • 经过以上的分析,在设置map个数的时候,可以简答的总结为以下几点:

        • 增大mapred.min.split.size的值

        • 如果想增加map个数,则设置mapred.map.tasks为一个较大的值

        • 如果想减小map个数,则设置mapred.min.split.size为一个较大的值

        • 情况1:输入文件size巨大,但不是小文件

        • 情况2:输入文件数量巨大,且都是小文件,就是单个文件的size小于blockSize。这种情况通过增大mapred.min.split.size不可行,需要使用combineFileInputFormat将多个input path合并成一个InputSplit送给mapper处理,从而减少mapper的数量。

      • map端聚合

        • set hive.map.aggr=true;

      • 推测执行

        • mapred.map.tasks.apeculative.execution

    • Hive Shuffle优化

      • Map端

        • io.sort.mb

        • io.sort.spill.percent

        • min.num.spill.for.combine

        • io.sort.factor

        • io.sort.record.percent

      • Reduce端

        • mapred.reduce.parallel.copies

        • mapred.reduce.copy.backoff

        • io.sort.factor

        • mapred.job.shuffle.input.buffer.percent

        • mapred.job.shuffle.input.buffer.percent

        • mapred.job.shuffle.input.buffer.percent

    • Hive Reduce优化

      • 需要reduce操作的查询

        • group by,join,distribute by,cluster by...

        • order by比较特殊,只需要一个reduce

        • sum,count,distinct...

        • 聚合函数

        • 高级查询

      • 推测执行

        • mapred.reduce.tasks.speculative.execution

        • hive.mapred.reduce.tasks.speculative.execution

      • Reduce优化

        • numRTasks = min[maxReducers,input.size/perReducer]

        • maxReducers=hive.exec.reducers.max

        • perReducer = hive.exec.reducers.bytes.per.reducer

        • hive.exec.reducers.max 默认 :999

        • hive.exec.reducers.bytes.per.reducer 默认:1G

        • set mapred.reduce.tasks=10;直接设置

        • 计算公式

  • Hive查询操作优化

  • join优化

    • 关联操作中有一张表非常小

    • 不等值的链接操作

    • set hive.auto.current.join=true;

    • hive.mapjoin.smalltable.filesize默认值是25mb

    • select /*+mapjoin(A)*/ f.a,f.b from A t join B f on (f.a=t.a)

    • hive.optimize.skewjoin=true;如果是Join过程出现倾斜,应该设置为true

    • set hive.skewjoin.key=100000; 这个是join的键对应的记录条数超过这个值则会进行优化

    • mapjoin

    • 简单总结下,mapjoin的使用场景:

  • Bucket join

    • 两个表以相同方式划分桶

    • 两个表的桶个数是倍数关系

    • crete table order(cid int,price float) clustered by(cid) into 32 buckets;

    • crete table customer(id int,first string) clustered by(id) into 32 buckets;

    • select price from order t join customer s on t.cid=s.id

  • join 优化前

    • select m.cid,u.id from order m join customer u on m.cid=u.id where m.dt='2013-12-12';

  • join优化后

    • select m.cid,u.id from (select cid from order where dt='2013-12-12')m join customer u on m.cid=u.id;

  • group by 优化

    • hive.groupby.skewindata=true;如果是group by 过程出现倾斜 应该设置为true

    • set hive.groupby.mapaggr.checkinterval=100000;--这个是group的键对应的记录条数超过这个值则会进行优化

    • count distinct 优化

      • 优化前

        • select count(distinct id) from tablename

      • 优化后

        • select count(1) from (select distinct id from tablename) tmp;

        • select count(1) from (select id from tablename group by id) tmp;

      • 优化前

        • select a,sum(b),count(distinct c),count(distinct d) from test group by a

      • 优化后

        • select a,sum(b) as b,count(c) as c,count(d) as d from(select a,0 as b,c,null as d from test group by a,c union all select a,0 as b,null as c,d from test group by a,d union all select a,b,null as c,null as d from test)tmp1 group by a;

面试必备技能-HiveSQL优化的更多相关文章

  1. Java1.7的HashMap源码分析-面试必备技能

    HashMap是现在用的最多的map,HashMap的源码可以说是面试必备技能,今天我们试着分析一下jdk1.7下的源码. 先说结论:数组加链表 一.先看整体的数据结构 首先我们注意到数据是存放在一个 ...

  2. MySQL数据库之大厂面试必备技能v8.0.27

    概述 **本人博客网站 **IT小神 www.itxiaoshen.com 定义 MySQL官方地址 https://www.mysql.com/ MySQL 8系列最新版本为8.0.27,5系列的最 ...

  3. (转)面试必备技能:JDK动态代理给Spring事务埋下的坑!

    一.场景分析 最近做项目遇到了一个很奇怪的问题,大致的业务场景是这样的:我们首先设定两个事务,事务parent和事务child,在Controller里边同时调用这两个方法,示例代码如下: 1.场景A ...

  4. 面试必备技能:HashMap哪些技术点会被经常问到?

    1.为什么用数组+链表? 数组是用来确定桶的位置,利用元素的key的hash值对数组长度取模得到. 链表是用来解决hash冲突问题,当出现hash值一样的情形,就在数组上的对应位置形成一条链表.ps: ...

  5. SQL Server管理员必备技能之性能优化

    SQL Server管理员必备技能之性能优化 高文龙关注1人评论1171人阅读2017-09-22 08:27:41 SQL Server 作为企业必不可少的服务之一,所以对于管理员的日常运维是一个极 ...

  6. 详解linux运维工程师入门级必备技能

    详解linux运维工程师入门级必备技能 | 浏览:659 | 更新:2013-12-24 23:23 | 标签:linux it自动化运维就是要很方便的运用各种工具进行管理维护,有效的实施服务器保护 ...

  7. 自动化部署必备技能—部署yum仓库、定制rpm包

    部署yum仓库.定制rpm包 目录 第1章 扩展 - yum缓存 1.1 yum缓存使用步骤... 1 1.1.1 导言... 1 1.1.2 修改配置文件... 1 1.1.3 使用缓存... 1 ...

  8. 【转帖】系统软件工程师必备技能-进程内存的working set size(WSS)测量

    系统软件工程师必备技能-进程内存的working set size(WSS)测量 2018年12月28日 18:43:01 Linuxer_ 阅读数:145 https://blog.csdn.net ...

  9. 【面试必备】常见Java面试题大综合

    一.Java基础 1.Arrays.sort实现原理和Collections.sort实现原理答:Collections.sort方法底层会调用Arrays.sort方法,底层实现都是TimeSort ...

随机推荐

  1. monkey测试样例

    我们通过在CMD窗口中执行: adb shell monkey {+命令参数}来进行Monkey测试了.首先,我们准备了一个有bug的项目CityWeather:通过测试这个项目(源码在附件文件夹中) ...

  2. python语法之函数1

    函数 计算机中的函数和数学中的函数不是一回事,而是一个subroutine .子程序.procedures.过程. 作用: 1.减少重复代码: 2.方便修改,更易扩展: 3.保持代码的一致性. 最简单 ...

  3. JupyterLab绘制:柱状图,饼状图,直方图,散点图,折线图

    JupyterLab绘图 喜欢python的同学,可以到 https://v3u.cn/(刘悦的技术博客) 里面去看看,爬虫,数据库,flask,Django,机器学习,前端知识点,JavaScrip ...

  4. hql- 使用like的小坑①

    like '%_test_' 要把反斜杠进行转义like '%\_test\_'

  5. Linux学习---指针运算、修饰符(const、volatile、typedef)及、运算符(++、--、+、-)

    const:常量.只读[不能变] char *p; const char *p; [T] 字符串内容可以为“hello world”或“aaa”,但只读(不可修改) char const *p; ch ...

  6. Linux系统调用:进程的终止

    之前总结了Linux的系统创建,主要是fork()函数和vfork()函数,最近总结了Linux进程的终止,主要的调用是_exit()和exit(). 先看看两个函数的原型以及各自属于的头文件,可以发 ...

  7. 虚拟机安装+配置federa

    安装 安装好后发现鼠标卡卡的,在虚拟机的显示设置里面启用3D加速: 配置 查看 显卡信息:lspci |grep VGA 测试显卡驱动:glxgears 安装必要软件 安装右键打开终端:sudo yu ...

  8. java 保证程序安全退出

    以前在开发时只知道依靠数据库事务来保证程序关闭时数据的完整性. 但有些时候一个业务上要求的原子操作,不一定只包括数据库,比如外部接口或者消息队列.此时数据库事务就无能为力了. 这时我们可以依靠java ...

  9. 转 Tomcat+redis+nginx配置

    为客户开发的一个绩效系统,采用了java web的开发方式,使用了一些spring mvc, mybatis之类的框架.相比于oracle ebs的二次开发,这种开发更加灵活,虽然和ebs集成的时候遇 ...

  10. django查询数据库无法过滤月份的解决

    我试过,当settings里的:USE_TZ = False时也可以查询,但是数据库里的时间就会显示错的 解决方法是可以再终端输入 mysql_tzinfo_to_sql /usr/share/zon ...