基于CDH5.12安装Kylin及官方用例测试

1 kylin 简介

Apache Kylin是2013年由eBay 在上海的一个中国工程师团队发起的、基于Hadoop大数据平台的开源 OLAP引擎，它采用多维立方体预计算技术，利用空间换时间的方法，把很多分钟级别乃至小时级别的大数据查询速度一下子提升到了亚秒级别，极大地提高了数据分析的效率，填补了业界在这方面的空白。该引擎为超大规模数据集上的交互式大数据分析打开了大门。

2 软件下载

社区版kylin下载地址：https://archive.apache.org/dist/kylin/ ,
本次测试使用https://archive.apache.org/dist/kylin/apache-kylin-2.5.0/

3 配置安装kylin

3.1 解压配置环境变量

解压

tar -zxvf apache-kylin-2.5.0-bin-cdh57.tar.gz -C /usr/local
cd /usr/local
mv apache-kylin-2.5.0-bin/ kylin

配置环境变量

vim /etc/profile
----
### kylin #### 
export KYLIN_HOME=/usr/local/kylin
PATH=$PATH:$HOME/bin:$KYLIN_HOME/bin
---
source /etc/profile

3.2 启动验证

验证

cd /usr/local/kylin/bin
./check-env.sh

启动kylin

./kylin.sh start
A new Kylin instance is started by root. To stop it, run 'kylin.sh stop'
Check the log at /usr/local/kylin/logs/kylin.log
Web UI is at http://<hostname>:7070/kylin

出现上面信息表示启动成功！

默认用户名：ADMIN
密码：KYLIN

4 官方测试用例

Kylin 提供了一个创建样例 Cube 脚本；脚本会创建五个样例 Hive 表。

4.1 导入数据

运行sample.sh导入官方测试数据

cd /usr/local/kylin/bin
./sample.sh

输出

Sample cube is created successfully in project 'learn_kylin'.
Restart Kylin Server or click Web UI => System Tab => Reload Metadata to take effect

这句话的意思是例子cube已成成功创建在了工程名称叫'learn_kylin'里面了
重启kylin或者通过webUI => System选项卡=> 重新导入元数据信息

重启kylin

cd /usr/local/kylin/bin
./kylin.sh stop 
./kylin.sh start

或重新刷新kylin的元数据

hive 的default库当中多了5张kylin的表

hive> select * from kylin_sales limit 5;
OK
0    2012-12-14  Others  88750   0   11  36.2828 4   10000349    10002313    ANALYST Beijing
1    2012-08-28  Others  175750  0   13  23.8563 20  10000927    10004376    ANALYST Beijing
2    2012-02-16  ABIN    148324  15  13  88.3418 18  10000005    10006710    ADMIN   Shanghai
3    2013-10-19  FP-non GTC  37831   0   13  47.3015 3   10000209    10003717    ANALYST Beijing
4    2012-10-22  Others  140746  100 11  83.454  16  10000154    10006076    ADMIN   Shanghai

4.2 查看导入模型

用默认的用户名和密码 ADMIN/KYLIN 登陆 Kylin 网站，选择 project 下拉框（左上角）中的 learn_kylin 工程;
查看导入的信息 => 点击最上面选项卡 Model

4.3 构建Cube

选择名为 kylin_sales_cube 的样例 Cube，点击 “Actions” -> “Build”，选择一个在 2014-01-01 之后的结束日期（覆盖所有的 10000 样例记录);

选择数据分区范围

查看正在构建的cube任务,点击 “Monitor” 标签，查看 build 进度直至 100%;

4.4 查询构建完成的cube信息

点击 “Insight” 标签，执行 SQLs，例如:

select part_dt, sum(price) as total_sold, count(distinct seller_id) as sellers from kylin_sales group by part_dt order by part_dt

Kylin执行上面语句用时：0.15s

您可以验证查询结果且与 Hive 的响应时间进行比较;
Hive执行同样语句用时：88.271s

Sparksql 执行同样语句用时：8.704s

由此可以看出Kylin这种预计算方式的数据查询效率远远好于Hive和SparkSQL这种并行处理计算框架。

4.5 多表关联查询

多表关联查询,速度依然很快,查询下面多表关联语句，耗时0.66秒。

SELECT sum(KYLIN_SALES.PRICE) AS price_sum,
       KYLIN_CATEGORY_GROUPINGS.META_CATEG_NAME,
       KYLIN_CATEGORY_GROUPINGS.CATEG_LVL2_NAME
FROM KYLIN_SALES
INNER JOIN KYLIN_CATEGORY_GROUPINGS ON KYLIN_SALES.LEAF_CATEG_ID = KYLIN_CATEGORY_GROUPINGS.LEAF_CATEG_ID
AND KYLIN_SALES.LSTG_SITE_ID = KYLIN_CATEGORY_GROUPINGS.SITE_ID
GROUP BY KYLIN_CATEGORY_GROUPINGS.META_CATEG_NAME,
         KYLIN_CATEGORY_GROUPINGS.CATEG_LVL2_NAME
ORDER BY KYLIN_CATEGORY_GROUPINGS.META_CATEG_NAME ASC,
         KYLIN_CATEGORY_GROUPINGS.CATEG_LVL2_NAME DESC

Kylin还提供了图表工具