近期先把Kylin教程整理完毕,后续根据大家需求(可能会发起投票),整理其他技术栈知识教程。

OK,那么接上一篇文章,感性认知了Kylin之后,我们先来看一下如何部署Kylin吧。

序号也依然沿用上一篇文章的递增。


二、Kylin的部署与使用

2.1 部署前的准备工作

Kylin的工作默认依赖于Hive,MapReduce,HBase,其中Hive用于对Kylin的业务操作,MapReduce用于构建Cube,HBase用于存储构建好的Cube。所以在开始部署Kylin之前,我们需要确认Hive,Hadoop,HBase部署成功,且与Kylin版本兼容。在此学习过程中为了紧跟功能前沿我们使用“最新”版本,如果对稳定性有所担心,可以考虑使用“次新”的框架版本。在跨大版本之前,一般不会出现大浮动变动。

在此列出我选用的框架及其版本(可在Apache官网下载):

 
 

Hive,Hadoop,HBase在之前的教程中已经完成部署,所以大家可以参考之前的教程内容,在此为了方便大家查阅,附上对应框架的文件配置。

下载链接:链接:https://pan.baidu.com/s/1smtrB7v 密码:8qfq

2.2 部署Kylin

1) 配置环境变量

由于Kylin默认的脚本中直接使用了若干它所依赖的框架目录,所以为了方便,我们需要将Hadoop,HBase等框架环境配置于系统或用户环境变量中:(基于此,大家也可以了解到此处我个人的框架的安装目录),下面的配置可以暂时配置到第一台机器上,因为我们还没有将Kylin部署为完全分布式。

尖叫提示:如果你我安装目录不一致,或你我框架版本不一致,请自行修改为你当前的环境内容。配置完成后,重启虚拟机或source该配置

export HADOOP_HOME=/home/admin/modules/hadoop-2.7.2

export HADOOP_MAPRED_HOME=/home/admin/modules/hadoop-2.7.2

export HADOOP_COMMON_HOME=/home/admin/modules/hadoop-2.7.2

export HADOOP_YARN_HOME=/home/admin/modules/hadoop-2.7.2

export HADOOP_HDFS_HOME=/home/admin/modules/hadoop-2.7.2

export HBASE_HOME=/home/admin/modules/hbase-1.3.1

export HIVE_HOME=/home/admin/modules/apache-hive-1.2.2-bin

export hive_dependency=hive_dependency=/home/admin/modules/apache-hive-1.2.2-bin/conf:/home/admin/modules/apache-hive-1.2.2-bin/lib/*:/home/admin/modules/apache-hive-1.2.2-bin/hcatalog/share/hcatalog/hive-hcatalog-core-1.2.2.jar

export ZOOKEEPER_HOME=/home/admin/modules/zookeeper-3.4.5

export KYLIN_HOME=/home/admin/modules/apache-kylin-2.2.0-bin

JAVA_HOME=/home/admin/modules/jdk1.8.0_121

export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$HIVE_HOME/bin:$KYLIN_HOME/bin:$ZOOKEEPER_HOME/bin

2) 启动Mysql,Zookeeper,Hadoop,HBase,Hive的metastore服务

启动Mysql

$ sudo service mysqld restart

尖叫提示:Zookeeper,Hadoop,HBase,在此省略(可以参看之前教程)

启动Hive的metastore服务:

涉及属性:

<property>

<name>hive.metastore.uris</name>

<value>thrift://localhost:9083</value>

</property>

启动之:

$ nohup $HIVE_HOME/bin/hive --service metastore > $HIVE_HOME/hive_metastore.log 2>&1 &

3) 检查Kylin工作环境

接下来,我们可以通过官方提供的脚本来检查一下,kylin的启动环境是否已经准备完成

进入Kylin的安装根目录,执行官方脚本:

$ bin/check-env.sh

4) 配置,并启动Kylin,登陆Kylin页面查看

配置:kylin的conf目录下的kylin.properties文件,修改属性:

kylin.server.cluster-servers=linux01:7070

配置:kylin_hive_conf.xml,修改属性:

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

尖叫提示:由于非真实业务环境,为了尽量减少集群的存储消耗,所以暂时把数据的冗余数改为了1。

启动Kylin:

$ bin/kylin.sh start

登录Kylin页面查看:

http://linux01:7070/kylin

尖叫提示:默认的用户名密码为,并且全为大写:

 
 

如图所示:

 

 
登录
 
登录成功

5) 运行官方案例,需要重启Kylin(注意,这并不意味着每次构建Cube都要重启Kylin,后续详述)

$ ${KYLIN_HOME}/bin/sample.sh

$ ${KYLIN_HOME}/bin/kylin.sh stop

$ ${KYLIN_HOME}/bin/kylin.sh start

如图所示,你可以选择你刚才导入的官方案例:

 
 

到此为止,成功部署了Kylin,后续我们将了解如何构建自己的Cube,并参与数据分析。

此时,你也可以进入到Hive中,生成了对应的仓库表。

作者:Z尽际
链接:https://www.jianshu.com/p/6b0624586046
來源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

Kylin基础教程(二)的更多相关文章

  1. Kylin基础教程(一)

    一.Kylin介绍 1.1 现状 Hadoop于2006年初步实现,改变了企业级的大数据存储(基于HDFS)和批处理(主要基于MR)问题,10几年过去了,数据量随着互联网的发展井喷式增长,如何高速.低 ...

  2. MySQL8.0数据库基础教程(二)-理解"关系"

    1 SQL 的哲学 形如 Linux 哲学一切都是文件,在 SQL 领域也有这样一条至理名言 一切都是关系 2 关系数据库 所谓关系数据库(Relational database)是创建在关系模型基础 ...

  3. Java基础教程——二维数组

    二维数组 Java里的二维数组其实是数组的数组,即每个数组元素都是一个数组. 每个数组的长度不要求一致,但最好一致. // 同样有两种风格的定义方法 int[][] _arr21_推荐 = { { 1 ...

  4. numpy基础教程--二维数组的转置

    使用numpy库可以快速将一个二维数组进行转置,方法有三种 1.使用numpy包里面的transpose()可以快速将一个二维数组转置 2.使用.T属性快速转置 3.使用swapaxes(1, 0)方 ...

  5. AngularJS 基础教程二:

    5.过滤器 过滤器的主要功能是格式化数据 可以使用Angular提供的过滤器,也可以自定义过滤器 Angular过滤器: currency(货币).date(日期).filter(子串匹配).json ...

  6. SpringCloud2.0 Eureka Server 服务中心 基础教程(二)

    1.创建[服务中心],即 Eureka Server 1.1.新建 Spring Boot 工程,工程名称: springcloud-eureka-server 1.2.工程 pom.xml 文件添加 ...

  7. mysql基础教程(二)-----分组函数、多表查询、常见函数

    分组函数 什么是分组函数 分组函数作用于一组数据,并对一组数据返回一个值. 组函数类型 • AVG() • COUNT() • MAX() • MIN() • SUM() 组函数语法 AVG(平均值) ...

  8. SpringCloud2.0 Hystrix Feign 基于Feign实现断路器 基础教程(七)

    1.启动[服务中心]集群,工程名:springcloud-eureka-server 参考 SpringCloud2.0 Eureka Server 服务中心 基础教程(二) 2.启动[服务提供者]集 ...

  9. SpringCloud2.0 Feign 服务发现 基础教程(五)

    1.启动[服务中心]集群,即 Eureka Server 参考 SpringCloud2.0 Eureka Server 服务中心 基础教程(二) 2.启动[服务提供者]集群,即 Eureka Cli ...

随机推荐

  1. android随手记

    Linearlayout: gravity:本元素中所有子元素的重力方向     layout_gravity:本元素对于父元素的重力方向 自定义权限:http://www.cnblogs.com/i ...

  2. 关于出现Failed to instantiate SLF4J LoggerFactory问题原因,解决办法

    在创建spring boot 文档进行配置的时候,因为使用spring boot 父级依赖的版本 <artifactId>spring-boot-starter-parent</ar ...

  3. Ajax内容签名技术(减少无谓流量损耗)

    UI界面Ajax获取数据内容的时候,一般是直接加载内容填充,不管内容有无变化.自己也是一直这么干,包括定时刷新公告等.今天在浏览器控制台调试的时候,发现动态刷新内容,其实挺耗费流量的,特别是内容无变化 ...

  4. 2017/01/20 学习笔记 关于修改和重打jar包

    背景 客户提供了jar包,但发现db表中缺少一个字段,db追加以后需要修改jar包中的source. 操作  如何修改jar包中的source并重新打一个新的jar包,做了如下操作. ① 开包 解压j ...

  5. bootstrap3-dialog:更强大、更灵活的模态框

    用过bootstrap框架的同学们都知道,bootstrap自带的模态框用起来很不灵活,可谓鸡肋的很.但nakupanda开源作者封装了一个更强大.更灵活的模态框——bootstrap3-dialog ...

  6. Oracle下rman备份和还原到数据库任意一个时间点

    Rman备份为物理备份,启用rman备份必须开启数据库归档,开启归档后相当于给数据库加了一层双保险.Rman备份主要备份数据库的数据文件,控制文件,归档日志. RMAN 备份 一. 检查数据库是否启用 ...

  7. spring重点一:处理对象创建时间 个数以及方式

    /** * 1) 对象创建: 单例/多例(个数) * scope="singleton", 默认值, 即 默认是单例 [service/dao/工具类] *  scope=&quo ...

  8. hibernate详细配置

    映射配置 <!-- 映射文件: 映射一个实体类对象:  描述一个对象最终实现可以直接保存对象数据到数据库中.  --> <!-- package: 要映射的对象所在的包(可选,如果不 ...

  9. vue自己写了一个div菜单,点击按钮展开,点击其他地方关闭这个div菜单

    需求是通过点击body页面,在其他地方就关闭这个<div>菜单,给这个div一个id:problemList,但是点击我打开的按钮,不关闭. created () { document.o ...

  10. P3375 【模板】KMP字符串匹配 (KMP模板)

    题目描述 如题,给出两个字符串s1和s2,其中s2为s1的子串,求出s2在s1中所有出现的位置. 为了减少骗分的情况,接下来还要输出子串的前缀数组next. (如果你不知道这是什么意思也不要问,去百度 ...