《开源大数据分析引擎Impala实战》目录
当当网图书信息：
http://product.dangdang.com/23648533.html
《开源大数据分析引擎Impala实战》目录
第1章 Impala概述、安装与配置................................................................................ 1
1.1 Impala概述........................................................................................................................... 1
1.2 Cloudera Manager安装准备................................................................................................ 2
1.3 CM及CDH安装............................................................................................................... 10
1.4 Hive安装............................................................................................................................ 23
1.5 Impala安装......................................................................................................................... 26
第2章 Impala入门示例............................................................................................. 29
2.1 数据加载............................................................................................................................. 29
2.2 数据查询............................................................................................................................. 36
2.3 分区表................................................................................................................................. 37
2.4 外部分区表......................................................................................................................... 41
2.5 笛卡尔连接......................................................................................................................... 44
2.6 更新元数据......................................................................................................................... 45
第3章 Impala概念及架构......................................................................................... 47
3.1 Impala服务器组件............................................................................................................. 47
3.1.1 Impala Daemon....................................................................................................... 47
3.1.2 Impala Statestore.................................................................................................... 48
3.1.3 Impala Catalog........................................................................................................ 49
3.2 Impala应用编程................................................................................................................. 51
3.2.1 Impala SQL方言................................................................................................... 52
3.2.2 Impala编程接口概述............................................................................................ 52
3.3 与Hadoop生态系统集成.................................................................................................. 53
3.3.1 与Hive集成.......................................................................................................... 53
3.3.2 与HDFS集成........................................................................................................ 53
3.3.3 使用HBase............................................................................................................ 54
第4章 SQL语句....................................................................................................... 55
4.1 注释..................................................................................................................................... 55
4.2 数据类型............................................................................................................................. 56
4.2.1 BIGINT.................................................................................................................. 56
4.2.2 BOOLEAN............................................................................................................ 57
4.2.3 DOUBLE............................................................................................................... 58
4.2.4 FLOAT................................................................................................................... 59
4.2.5 INT......................................................................................................................... 59
4.2.6 REAL..................................................................................................................... 60
4.2.7 SMALLINT............................................................................................................ 60
4.2.8 STRING................................................................................................................. 61
4.2.9 TIMESTAMP......................................................................................................... 62
4.2.10 TINYINT.............................................................................................................. 66
4.3 常量..................................................................................................................................... 66
4.3.1 数值常量................................................................................................................ 66
4.3.2 字符串常量............................................................................................................ 67
4.3.3 布尔常量................................................................................................................ 67
4.3.4 时间戳常量............................................................................................................ 68
4.3.5 NULL..................................................................................................................... 68
4.4 SQL操作符........................................................................................................................ 70
4.4.1 BETWEEN 操作符............................................................................................... 70
4.4.2 比较操作符............................................................................................................ 71
4.4.3 IN操作符............................................................................................................... 72
4.4.4 IS NULL操作符................................................................................................... 72
4.4.5 LIKE操作符.......................................................................................................... 73
4.4.6 REGEXP操作符................................................................................................... 74
4.5 模式对象和对象名称......................................................................................................... 75
4.5.1 别名........................................................................................................................ 75
4.5.2 标示符.................................................................................................................... 76
4.5.3 数据库.................................................................................................................... 76
4.5.4 表............................................................................................................................ 77
4.5.5 视图........................................................................................................................ 78
4.5.6 函数........................................................................................................................ 83
4.6 SQL语句............................................................................................................................ 83
4.6.1 ALTER TABLE..................................................................................................... 84
4.6.2 ALTER VIEW....................................................................................................... 90
4.6.3 COMPUTE STATS................................................................................................ 92
4.6.4 CREATE DATABASE.......................................................................................... 95
4.6.5 CREATE FUNCTION........................................................................................... 96
4.6.6 CREATE TABLE.................................................................................................. 98
4.6.7 CREATE VIEW................................................................................................... 103
4.6.8 DESCRIBE.......................................................................................................... 104
4.6.9 DROP DATABASE............................................................................................ 106
4.6.10 DROP FUNCTION........................................................................................... 107
4.6.11 DROP TABLE................................................................................................... 107
4.6.12 DROP VIEW..................................................................................................... 108
4.6.13 EXPLAIN.......................................................................................................... 108
4.6.14 INSERT.............................................................................................................. 110
4.6.15 INVALIDATE METADATA........................................................................... 116
4.6.16 LOAD DATA.................................................................................................... 120
4.6.17 REFRESH.......................................................................................................... 124
4.6.18 SELECT............................................................................................................. 125
4.6.19 SHOW................................................................................................................ 143
4.6.20 USE.................................................................................................................... 147
4.7 内嵌函数........................................................................................................................... 148
4.7.1 数学函数.............................................................................................................. 150
4.7.2 类型转换函数...................................................................................................... 155
4.7.3 时间和日期函数.................................................................................................. 155
4.7.4 条件函数.............................................................................................................. 160
4.7.5 字符串函数.......................................................................................................... 161
4.7.6 特殊函数.............................................................................................................. 166
4.8 聚集函数........................................................................................................................... 167
4.8.1 AVG..................................................................................................................... 167
4.8.2 COUNT................................................................................................................ 168
4.8.3 GROUP_CONCAT............................................................................................. 169
4.8.4 MAX..................................................................................................................... 169
4.8.5 MIN...................................................................................................................... 170
4.8.6 NDV..................................................................................................................... 170
4.8.7 SUM..................................................................................................................... 171
4.9 用户自定义函数UDF...................................................................................................... 171
4.9.1 UDF概念............................................................................................................. 172
4.9.2 安装UDF开发包................................................................................................ 176
4.9.3 编写UDF............................................................................................................. 176
4.9.4 编写UDAF.......................................................................................................... 179
4.9.5 编译和部署UDF................................................................................................. 183
4.9.6 UDF性能............................................................................................................. 184
4.9.7 创建和使用UDF示例........................................................................................ 184
4.9.8 UDF 安全............................................................................................................ 193
4.9.9 Impala UDF的限制............................................................................................. 193
4.10 Impala SQL &Hive QL................................................................................................... 193
4.11 将SQL移植到Impala上.............................................................................................. 195
第5章 Impala shell................................................................................................. 201
5.1 命令行选项....................................................................................................................... 201
5.2 连接到Impalad................................................................................................................. 209
5.3 运行命令........................................................................................................................... 210
5.4 命令参考........................................................................................................................... 210
5.5 查询参数设置................................................................................................................... 211
第6章 Impala管理.................................................................................................. 228
6.1 准入控制和查询队列....................................................................................................... 228
6.1.1 准入控制概述...................................................................................................... 228
6.1.2 准入控制和YARN............................................................................................. 229
6.1.3 并发查询限制...................................................................................................... 229
6.1.4 准入控制和Impala客户端协同工作................................................................. 230
6.1.5 配置准入控制...................................................................................................... 230
6.1.6 使用准入控制指导原则...................................................................................... 236
6.2 使用YARN资源管理(CDH5)........................................................................................ 237
6.2.1 Llama进程........................................................................................................... 237
6.2.2 检查计算的资源和实际使用的资源.................................................................. 237
6.2.3 资源限制如何生效.............................................................................................. 238
6.2.4 启用Impala资源管理......................................................................................... 238
6.2.5 资源管理相关impala-shell参数......................................................................... 238
6.2.6 Impala资源管理的限制...................................................................................... 238
6.3 为进程，查询，会话设定超时限制............................................................................... 239
6.4 通过代理实现Impala高可用性...................................................................................... 240
6.5 管理磁盘空间................................................................................................................... 243
第7章 Impala存储.................................................................................................. 245
7.1 文件格式选择................................................................................................................... 245
7.2 Text.................................................................................................................................... 247
7.2.1 查询性能.............................................................................................................. 247
7.2.2 创建文本表.......................................................................................................... 248
7.2.3 数据文件.............................................................................................................. 249
7.2.4 加载数据.............................................................................................................. 249
7.2.5 LZO压缩............................................................................................................. 250
7.3 Parquet............................................................................................................................... 253
7.3.1 创建Parquet表.................................................................................................... 253
7.3.2 加载数据.............................................................................................................. 254
7.3.3 查询性能.............................................................................................................. 255
7.3.4 Snappy/Gzip压缩................................................................................................ 256
7.3.5 与其他组件交换Parquet数据文件.................................................................... 260
7.3.6 Parquet数据文件组织方式................................................................................. 260
7.4 Avro................................................................................................................................... 263
7.4.1 创建Avro表........................................................................................................ 263
7.4.2 使用Hive创建的Avro表.................................................................................. 265
7.4.3 通过JSON指定Avro模式................................................................................ 265
7.4.4 启用压缩.............................................................................................................. 265
7.4.5 模式进化.............................................................................................................. 266
7.5 RCFile................................................................................................................................ 268
7.5.1 创建RCFile表和加载数据................................................................................. 268
7.5.2 启用压缩.............................................................................................................. 269
7.6 SequenceFile...................................................................................................................... 270
7.6.1 创建和加载数据.................................................................................................. 270
7.6.2 启用压缩.............................................................................................................. 271
7.7 HBase................................................................................................................................ 272
7.7.1 支持的Hbase列类型.......................................................................................... 273
7.7.2 性能问题.............................................................................................................. 273
7.7.3 适用场景.............................................................................................................. 280
7.7.4 数据加载.............................................................................................................. 281
7.7.5 启用压缩.............................................................................................................. 281
7.7.6 限制...................................................................................................................... 282
7.7.7 示例...................................................................................................................... 282
第8章 Impala分区.................................................................................................. 284
8.1 分区技术适用场合........................................................................................................... 284
8.2 分区表相关SQL语句..................................................................................................... 285
8.3 分区修剪........................................................................................................................... 285
8.4 分区键列........................................................................................................................... 288
8.5 使用不同的文件格式....................................................................................................... 288
第9章 Impala性能优化........................................................................................... 290
9.1 最佳实践........................................................................................................................... 290
9.2 连接查询优化................................................................................................................... 291
9.3 使用统计信息................................................................................................................... 301
9.4 基准测试........................................................................................................................... 309
9.5 控制资源使用................................................................................................................... 309
9.6 性能测试........................................................................................................................... 310
9.7 使用EXPLAIN信息....................................................................................................... 311
9.8 使用PROFILE信息........................................................................................................ 312
第10章 Impala设计原则与应用案例....................................................................... 322
10.1 设计原则......................................................................................................................... 322
10.2 应用案例......................................................................................................................... 323
《开源大数据分析引擎Impala实战》目录的更多相关文章
- 《Spring Boot 入门及前后端分离项目实践》系列介绍
课程计划 课程地址点这里 本课程是一个 Spring Boot 技术栈的实战类课程,课程共分为 3 个部分,前面两个部分为基础环境准备和相关概念介绍,第三个部分是 Spring Boot 项目实践开发 ...
- 《Spring Boot 入门及前后端分离项目实践》目录
开篇词:SpringBoot入门及前后端分离项目实践导读 第02课:快速认识 Spring Boot 技术栈 第03课:开发环境搭建 第04课:快速构建 Spring Boot 应用 第05课:Spr ...
- 基于Vue的前后端分离项目实践
一.为什么需要前后端分离 1.1什么是前后端分离 前后端分离这个词刚在毕业(15年)那会就听说过,但是直到17年前都没有接触过前后端分离的项目.怎么理解前后端分离?直观的感觉就是前后端分开去做,即功 ...
- 实战！spring Boot security+JWT 前后端分离架构认证登录！
大家好,我是不才陈某~ 认证.授权是实战项目中必不可少的部分,而Spring Security则将作为首选安全组件,因此陈某新开了 <Spring Security 进阶> 这个专栏,写一 ...
- 基于Spring Boot架构的前后端完全分离项目API路径问题
最近的一个项目采用前后端完全分离的架构,前端组件:vue + vue-router + vuex + element-ui + axios,后端组件:Spring Boot + MyBatis.之所以 ...
- 喜大普奔，两个开源的 Spring Boot + Vue 前后端分离项目可以在线体验了
折腾了一周的域名备案昨天终于搞定了. 松哥第一时间想到赶紧把微人事和 V 部落部署上去,我知道很多小伙伴已经等不及了. 1. 也曾经上过线 其实这两个项目当时刚做好的时候,我就把它们部署到服务器上了, ...
- 两个开源的 Spring Boot + Vue 前后端分离项目
折腾了一周的域名备案昨天终于搞定了. 松哥第一时间想到赶紧把微人事和 V 部落部署上去,我知道很多小伙伴已经等不及了. 1. 也曾经上过线 其实这两个项目当时刚做好的时候,我就把它们部署到服务器上了, ...
- 七个开源的 Spring Boot 前后端分离项目，一定要收藏！
前后端分离已经在慢慢走进各公司的技术栈,根据松哥了解到的消息,不少公司都已经切换到这个技术栈上面了.即使贵司目前没有切换到这个技术栈上面,松哥也非常建议大家学习一下前后端分离开发,以免在公司干了两三年 ...
- 八个开源的 Spring Boot 前后端分离项目，一定要收藏！
八个开源的 Spring Boot 前后端分离项目 最近前后端分离已经在慢慢走进各公司的技术栈,不少公司都已经切换到这个技术栈上面了.即使贵司目前没有切换到这个技术栈上面,我们也非常建议大家学习一下前 ...
- 如何使用Spring Securiry实现前后端分离项目的登录功能
如果不是前后端分离项目,使用SpringSecurity做登录功能会很省心,只要简单的几项配置,便可以轻松完成登录成功失败的处理,当访问需要认证的页面时,可以自动重定向到登录页面.但是前后端分离的项目 ...
随机推荐
- windows下利用virtual 安装 flask
出处: https://segmentfault.com/a/1190000002450878 本文介绍Windows下如何从零开始搭建Python + Flask开发环境. 安装Python 2.7 ...
- eclispe或者myeclispe maven jar包不能部署到tomcat下
我们在做web开发是,经常都要在eclipse或者myeclipse中搭建web服务器,并将开发中的web项目部署到web服务器进行调试,在此,我选择的是tomcat服务器.之前部署web项目到tom ...
- Masonry 创建Button的简单使用
代码创建控制器,控件在实际开发中很实用,方便快捷,而Masonry第三方框架更是将代码创建效率提高了很多! 如何代码创建?如何使用第三方框架? 1.首先删除系统自带的SB,详见下图 2.在AppDel ...
- C# 自动Ping服务
using Newtonsoft.Json; using Newtonsoft.Json.Linq; using System; using System.Collections.Generic; u ...
- YbSoftwareFactory 代码生成插件【二十二】：CMS基础功能的实现
很多网友建议在YbRapidSolution for MVC框架的基础上实现CMS功能,以方便进行内容的管理,加快前端页面的开发速度.因此花了一段时间,实现了一套CMS内容发布系统并已集成至YbRap ...
- php常用string函数
http://www.w3school.com.cn/php/php_ref_string.asp1.addcslashes() 返回在指定的字符前添加反斜杠的字符串2.addslashes() 返回 ...
- PHP获取时间、时间戳的各种格式
1.获取当前时间方法date() 很简单,这就是获取时间的方法,格式为:date($format, $timestamp),format为格式.timestamp为时间戳--可填参数. 2.获取时间戳 ...
- [已解决][HTML5]基于WebSocket开发小蝌蚪应用
前端时间在网上看到别人用WebSocket开发的小蝌蚪应用很炫酷,不过是php,于是想着用java也实现一套, 找到前端 https://github.com/danielmahal/Rumpetro ...
- angularjs checkbox 框的操作
前言:今天遇到一个问题,需要对多选按钮进行操作,作为js菜鸟,只能做自己慢慢琢磨了-- <label class="checkbox-inline custom-checkbox no ...
- easyui from 缓存问题处理
1 这是ie低版本,缓存了easyui form load事件获取的服务器端数据,给ajax时间加上清除缓存就ok. 找到easyui 中的form load事件 添加cache:false, /* ...