《开源大数据分析引擎Impala实战》目录
当当网图书信息：
http://product.dangdang.com/23648533.html
《开源大数据分析引擎Impala实战》目录
第1章 Impala概述、安装与配置................................................................................ 1
1.1 Impala概述........................................................................................................................... 1
1.2 Cloudera Manager安装准备................................................................................................ 2
1.3 CM及CDH安装............................................................................................................... 10
1.4 Hive安装............................................................................................................................ 23
1.5 Impala安装......................................................................................................................... 26
第2章 Impala入门示例............................................................................................. 29
2.1 数据加载............................................................................................................................. 29
2.2 数据查询............................................................................................................................. 36
2.3 分区表................................................................................................................................. 37
2.4 外部分区表......................................................................................................................... 41
2.5 笛卡尔连接......................................................................................................................... 44
2.6 更新元数据......................................................................................................................... 45
第3章 Impala概念及架构......................................................................................... 47
3.1 Impala服务器组件............................................................................................................. 47
3.1.1 Impala Daemon....................................................................................................... 47
3.1.2 Impala Statestore.................................................................................................... 48
3.1.3 Impala Catalog........................................................................................................ 49
3.2 Impala应用编程................................................................................................................. 51
3.2.1 Impala SQL方言................................................................................................... 52
3.2.2 Impala编程接口概述............................................................................................ 52
3.3 与Hadoop生态系统集成.................................................................................................. 53
3.3.1 与Hive集成.......................................................................................................... 53
3.3.2 与HDFS集成........................................................................................................ 53
3.3.3 使用HBase............................................................................................................ 54
第4章 SQL语句....................................................................................................... 55
4.1 注释..................................................................................................................................... 55
4.2 数据类型............................................................................................................................. 56
4.2.1 BIGINT.................................................................................................................. 56
4.2.2 BOOLEAN............................................................................................................ 57
4.2.3 DOUBLE............................................................................................................... 58
4.2.4 FLOAT................................................................................................................... 59
4.2.5 INT......................................................................................................................... 59
4.2.6 REAL..................................................................................................................... 60
4.2.7 SMALLINT............................................................................................................ 60
4.2.8 STRING................................................................................................................. 61
4.2.9 TIMESTAMP......................................................................................................... 62
4.2.10 TINYINT.............................................................................................................. 66
4.3 常量..................................................................................................................................... 66
4.3.1 数值常量................................................................................................................ 66
4.3.2 字符串常量............................................................................................................ 67
4.3.3 布尔常量................................................................................................................ 67
4.3.4 时间戳常量............................................................................................................ 68
4.3.5 NULL..................................................................................................................... 68
4.4 SQL操作符........................................................................................................................ 70
4.4.1 BETWEEN 操作符............................................................................................... 70
4.4.2 比较操作符............................................................................................................ 71
4.4.3 IN操作符............................................................................................................... 72
4.4.4 IS NULL操作符................................................................................................... 72
4.4.5 LIKE操作符.......................................................................................................... 73
4.4.6 REGEXP操作符................................................................................................... 74
4.5 模式对象和对象名称......................................................................................................... 75
4.5.1 别名........................................................................................................................ 75
4.5.2 标示符.................................................................................................................... 76
4.5.3 数据库.................................................................................................................... 76
4.5.4 表............................................................................................................................ 77
4.5.5 视图........................................................................................................................ 78
4.5.6 函数........................................................................................................................ 83
4.6 SQL语句............................................................................................................................ 83
4.6.1 ALTER TABLE..................................................................................................... 84
4.6.2 ALTER VIEW....................................................................................................... 90
4.6.3 COMPUTE STATS................................................................................................ 92
4.6.4 CREATE DATABASE.......................................................................................... 95
4.6.5 CREATE FUNCTION........................................................................................... 96
4.6.6 CREATE TABLE.................................................................................................. 98
4.6.7 CREATE VIEW................................................................................................... 103
4.6.8 DESCRIBE.......................................................................................................... 104
4.6.9 DROP DATABASE............................................................................................ 106
4.6.10 DROP FUNCTION........................................................................................... 107
4.6.11 DROP TABLE................................................................................................... 107
4.6.12 DROP VIEW..................................................................................................... 108
4.6.13 EXPLAIN.......................................................................................................... 108
4.6.14 INSERT.............................................................................................................. 110
4.6.15 INVALIDATE METADATA........................................................................... 116
4.6.16 LOAD DATA.................................................................................................... 120
4.6.17 REFRESH.......................................................................................................... 124
4.6.18 SELECT............................................................................................................. 125
4.6.19 SHOW................................................................................................................ 143
4.6.20 USE.................................................................................................................... 147
4.7 内嵌函数........................................................................................................................... 148
4.7.1 数学函数.............................................................................................................. 150
4.7.2 类型转换函数...................................................................................................... 155
4.7.3 时间和日期函数.................................................................................................. 155
4.7.4 条件函数.............................................................................................................. 160
4.7.5 字符串函数.......................................................................................................... 161
4.7.6 特殊函数.............................................................................................................. 166
4.8 聚集函数........................................................................................................................... 167
4.8.1 AVG..................................................................................................................... 167
4.8.2 COUNT................................................................................................................ 168
4.8.3 GROUP_CONCAT............................................................................................. 169
4.8.4 MAX..................................................................................................................... 169
4.8.5 MIN...................................................................................................................... 170
4.8.6 NDV..................................................................................................................... 170
4.8.7 SUM..................................................................................................................... 171
4.9 用户自定义函数UDF...................................................................................................... 171
4.9.1 UDF概念............................................................................................................. 172
4.9.2 安装UDF开发包................................................................................................ 176
4.9.3 编写UDF............................................................................................................. 176
4.9.4 编写UDAF.......................................................................................................... 179
4.9.5 编译和部署UDF................................................................................................. 183
4.9.6 UDF性能............................................................................................................. 184
4.9.7 创建和使用UDF示例........................................................................................ 184
4.9.8 UDF 安全............................................................................................................ 193
4.9.9 Impala UDF的限制............................................................................................. 193
4.10 Impala SQL &Hive QL................................................................................................... 193
4.11 将SQL移植到Impala上.............................................................................................. 195
第5章 Impala shell................................................................................................. 201
5.1 命令行选项....................................................................................................................... 201
5.2 连接到Impalad................................................................................................................. 209
5.3 运行命令........................................................................................................................... 210
5.4 命令参考........................................................................................................................... 210
5.5 查询参数设置................................................................................................................... 211
第6章 Impala管理.................................................................................................. 228
6.1 准入控制和查询队列....................................................................................................... 228
6.1.1 准入控制概述...................................................................................................... 228
6.1.2 准入控制和YARN............................................................................................. 229
6.1.3 并发查询限制...................................................................................................... 229
6.1.4 准入控制和Impala客户端协同工作................................................................. 230
6.1.5 配置准入控制...................................................................................................... 230
6.1.6 使用准入控制指导原则...................................................................................... 236
6.2 使用YARN资源管理(CDH5)........................................................................................ 237
6.2.1 Llama进程........................................................................................................... 237
6.2.2 检查计算的资源和实际使用的资源.................................................................. 237
6.2.3 资源限制如何生效.............................................................................................. 238
6.2.4 启用Impala资源管理......................................................................................... 238
6.2.5 资源管理相关impala-shell参数......................................................................... 238
6.2.6 Impala资源管理的限制...................................................................................... 238
6.3 为进程，查询，会话设定超时限制............................................................................... 239
6.4 通过代理实现Impala高可用性...................................................................................... 240
6.5 管理磁盘空间................................................................................................................... 243
第7章 Impala存储.................................................................................................. 245
7.1 文件格式选择................................................................................................................... 245
7.2 Text.................................................................................................................................... 247
7.2.1 查询性能.............................................................................................................. 247
7.2.2 创建文本表.......................................................................................................... 248
7.2.3 数据文件.............................................................................................................. 249
7.2.4 加载数据.............................................................................................................. 249
7.2.5 LZO压缩............................................................................................................. 250
7.3 Parquet............................................................................................................................... 253
7.3.1 创建Parquet表.................................................................................................... 253
7.3.2 加载数据.............................................................................................................. 254
7.3.3 查询性能.............................................................................................................. 255
7.3.4 Snappy/Gzip压缩................................................................................................ 256
7.3.5 与其他组件交换Parquet数据文件.................................................................... 260
7.3.6 Parquet数据文件组织方式................................................................................. 260
7.4 Avro................................................................................................................................... 263
7.4.1 创建Avro表........................................................................................................ 263
7.4.2 使用Hive创建的Avro表.................................................................................. 265
7.4.3 通过JSON指定Avro模式................................................................................ 265
7.4.4 启用压缩.............................................................................................................. 265
7.4.5 模式进化.............................................................................................................. 266
7.5 RCFile................................................................................................................................ 268
7.5.1 创建RCFile表和加载数据................................................................................. 268
7.5.2 启用压缩.............................................................................................................. 269
7.6 SequenceFile...................................................................................................................... 270
7.6.1 创建和加载数据.................................................................................................. 270
7.6.2 启用压缩.............................................................................................................. 271
7.7 HBase................................................................................................................................ 272
7.7.1 支持的Hbase列类型.......................................................................................... 273
7.7.2 性能问题.............................................................................................................. 273
7.7.3 适用场景.............................................................................................................. 280
7.7.4 数据加载.............................................................................................................. 281
7.7.5 启用压缩.............................................................................................................. 281
7.7.6 限制...................................................................................................................... 282
7.7.7 示例...................................................................................................................... 282
第8章 Impala分区.................................................................................................. 284
8.1 分区技术适用场合........................................................................................................... 284
8.2 分区表相关SQL语句..................................................................................................... 285
8.3 分区修剪........................................................................................................................... 285
8.4 分区键列........................................................................................................................... 288
8.5 使用不同的文件格式....................................................................................................... 288
第9章 Impala性能优化........................................................................................... 290
9.1 最佳实践........................................................................................................................... 290
9.2 连接查询优化................................................................................................................... 291
9.3 使用统计信息................................................................................................................... 301
9.4 基准测试........................................................................................................................... 309
9.5 控制资源使用................................................................................................................... 309
9.6 性能测试........................................................................................................................... 310
9.7 使用EXPLAIN信息....................................................................................................... 311
9.8 使用PROFILE信息........................................................................................................ 312
第10章 Impala设计原则与应用案例....................................................................... 322
10.1 设计原则......................................................................................................................... 322
10.2 应用案例......................................................................................................................... 323
《开源大数据分析引擎Impala实战》目录的更多相关文章
- 《Spring Boot 入门及前后端分离项目实践》系列介绍
课程计划 课程地址点这里 本课程是一个 Spring Boot 技术栈的实战类课程,课程共分为 3 个部分,前面两个部分为基础环境准备和相关概念介绍,第三个部分是 Spring Boot 项目实践开发 ...
- 《Spring Boot 入门及前后端分离项目实践》目录
开篇词:SpringBoot入门及前后端分离项目实践导读 第02课:快速认识 Spring Boot 技术栈 第03课:开发环境搭建 第04课:快速构建 Spring Boot 应用 第05课:Spr ...
- 基于Vue的前后端分离项目实践
一.为什么需要前后端分离 1.1什么是前后端分离 前后端分离这个词刚在毕业(15年)那会就听说过,但是直到17年前都没有接触过前后端分离的项目.怎么理解前后端分离?直观的感觉就是前后端分开去做,即功 ...
- 实战！spring Boot security+JWT 前后端分离架构认证登录！
大家好,我是不才陈某~ 认证.授权是实战项目中必不可少的部分,而Spring Security则将作为首选安全组件,因此陈某新开了 <Spring Security 进阶> 这个专栏,写一 ...
- 基于Spring Boot架构的前后端完全分离项目API路径问题
最近的一个项目采用前后端完全分离的架构,前端组件:vue + vue-router + vuex + element-ui + axios,后端组件:Spring Boot + MyBatis.之所以 ...
- 喜大普奔，两个开源的 Spring Boot + Vue 前后端分离项目可以在线体验了
折腾了一周的域名备案昨天终于搞定了. 松哥第一时间想到赶紧把微人事和 V 部落部署上去,我知道很多小伙伴已经等不及了. 1. 也曾经上过线 其实这两个项目当时刚做好的时候,我就把它们部署到服务器上了, ...
- 两个开源的 Spring Boot + Vue 前后端分离项目
折腾了一周的域名备案昨天终于搞定了. 松哥第一时间想到赶紧把微人事和 V 部落部署上去,我知道很多小伙伴已经等不及了. 1. 也曾经上过线 其实这两个项目当时刚做好的时候,我就把它们部署到服务器上了, ...
- 七个开源的 Spring Boot 前后端分离项目，一定要收藏！
前后端分离已经在慢慢走进各公司的技术栈,根据松哥了解到的消息,不少公司都已经切换到这个技术栈上面了.即使贵司目前没有切换到这个技术栈上面,松哥也非常建议大家学习一下前后端分离开发,以免在公司干了两三年 ...
- 八个开源的 Spring Boot 前后端分离项目，一定要收藏！
八个开源的 Spring Boot 前后端分离项目 最近前后端分离已经在慢慢走进各公司的技术栈,不少公司都已经切换到这个技术栈上面了.即使贵司目前没有切换到这个技术栈上面,我们也非常建议大家学习一下前 ...
- 如何使用Spring Securiry实现前后端分离项目的登录功能
如果不是前后端分离项目,使用SpringSecurity做登录功能会很省心,只要简单的几项配置,便可以轻松完成登录成功失败的处理,当访问需要认证的页面时,可以自动重定向到登录页面.但是前后端分离的项目 ...
随机推荐
- .NET分布式事务处理
在进行数据持久化的时候,我们会经常用到事务处理.一般情况下,ADO.NET中的事务处理就能够满足我们的需要,但是,ADO.NET中的事 务不能同事对多个数据库连接进行原子性的操作:如果在你的业务环境中 ...
- 扩展GridView实现的一个自定义无刷新分页，排序，支持多种数据源的控件TwfGridView
最近项目View层越来越趋向于无刷新化,特别是数据展示方面,还要对Linq有很好的支持.在WebFrom模式的开发中,GridView是一个功能很强大,很常用的控件,但是他也不是完美的,没有自带的无刷 ...
- NetBean常用快捷键（MAC中）
shift+cmd+i:导入包 shift+alt+上:复制当前行,鼠标留在上一行 shift+alt+下:复制当前行,鼠标留在下一行 shift+ctrl+上:将选中行向上移动 shift ...
- Hibernate之环境搭建及demo
ORM概念 ORM即Object/Relation Mapping, 对象/关系数据库映射.ORM是一种规范,完成面向对象编程语言到关系数据库之间的映射.J2EE中的JPA就是一种ORM规范. ORM ...
- tomcat7 日志设置为log4j
tomcat的日志设置用log4j的官方文档:http://tomcat.apache.org/tomcat-7.0-doc/logging.html 1. 下载tomcat-juli.jar, to ...
- Storm入门1-基本概念
[本篇文章主要是介绍Storm的特点.核心概念.以及Storm的生态现状:从总体上对storm有个基本的认识] Storm是Apache下的一个免费的.开源的.分布式流式计算框架,官方网址:https ...
- 某预约系统分析 > 某区公共自行车租车卡在线预约，关于如何提高成功概率
概诉 网上提交预约申请单,线下面交完成实体卡的交付和办理. 本文主要从技术角度分析预约页面,仅供初学者技术交流使用. 表单输入和校验 系统通过2步的确认点击到达信息输入页面. 地址:/bjggzxc/ ...
- 如何在RCP程序中添加一个banner栏
前言:这段时间还算比较空闲,我准备把过去做过的有些形形色色,甚至有些奇怪的研究总结一下,也许刚好有人用的着也不一定,不枉为之抓耳挠腮的时光和浪费的电力.以前有个客户提出要在RCP程序中添加一个bann ...
- HHVM和Hack
1. HHVM(http://hhvm.com) 全称是Hip Hop Virtual Machine,是一个PHP引擎. 2.Hack(http://hacklang.org) 一门新的服务器端语 ...
- html热力图的操作(点击图片的不同位置操作不同的事件)适合说明文档
页面核心代码 <div class="first_top"> <div class="back"> <img src=" ...