近期先把Kylin教程整理完毕,后续根据大家需求(可能会发起投票),整理其他技术栈知识教程。

OK,那么接上一篇文章,感性认知了Kylin之后,我们先来看一下如何部署Kylin吧。

序号也依然沿用上一篇文章的递增。


二、Kylin的部署与使用

2.1 部署前的准备工作

Kylin的工作默认依赖于Hive,MapReduce,HBase,其中Hive用于对Kylin的业务操作,MapReduce用于构建Cube,HBase用于存储构建好的Cube。所以在开始部署Kylin之前,我们需要确认Hive,Hadoop,HBase部署成功,且与Kylin版本兼容。在此学习过程中为了紧跟功能前沿我们使用“最新”版本,如果对稳定性有所担心,可以考虑使用“次新”的框架版本。在跨大版本之前,一般不会出现大浮动变动。

在此列出我选用的框架及其版本(可在Apache官网下载):

 
 

Hive,Hadoop,HBase在之前的教程中已经完成部署,所以大家可以参考之前的教程内容,在此为了方便大家查阅,附上对应框架的文件配置。

下载链接:链接:https://pan.baidu.com/s/1smtrB7v 密码:8qfq

2.2 部署Kylin

1) 配置环境变量

由于Kylin默认的脚本中直接使用了若干它所依赖的框架目录,所以为了方便,我们需要将Hadoop,HBase等框架环境配置于系统或用户环境变量中:(基于此,大家也可以了解到此处我个人的框架的安装目录),下面的配置可以暂时配置到第一台机器上,因为我们还没有将Kylin部署为完全分布式。

尖叫提示:如果你我安装目录不一致,或你我框架版本不一致,请自行修改为你当前的环境内容。配置完成后,重启虚拟机或source该配置

export HADOOP_HOME=/home/admin/modules/hadoop-2.7.2

export HADOOP_MAPRED_HOME=/home/admin/modules/hadoop-2.7.2

export HADOOP_COMMON_HOME=/home/admin/modules/hadoop-2.7.2

export HADOOP_YARN_HOME=/home/admin/modules/hadoop-2.7.2

export HADOOP_HDFS_HOME=/home/admin/modules/hadoop-2.7.2

export HBASE_HOME=/home/admin/modules/hbase-1.3.1

export HIVE_HOME=/home/admin/modules/apache-hive-1.2.2-bin

export hive_dependency=hive_dependency=/home/admin/modules/apache-hive-1.2.2-bin/conf:/home/admin/modules/apache-hive-1.2.2-bin/lib/*:/home/admin/modules/apache-hive-1.2.2-bin/hcatalog/share/hcatalog/hive-hcatalog-core-1.2.2.jar

export ZOOKEEPER_HOME=/home/admin/modules/zookeeper-3.4.5

export KYLIN_HOME=/home/admin/modules/apache-kylin-2.2.0-bin

JAVA_HOME=/home/admin/modules/jdk1.8.0_121

export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$HIVE_HOME/bin:$KYLIN_HOME/bin:$ZOOKEEPER_HOME/bin

2) 启动Mysql,Zookeeper,Hadoop,HBase,Hive的metastore服务

启动Mysql

$ sudo service mysqld restart

尖叫提示:Zookeeper,Hadoop,HBase,在此省略(可以参看之前教程)

启动Hive的metastore服务:

涉及属性:

<property>

<name>hive.metastore.uris</name>

<value>thrift://localhost:9083</value>

</property>

启动之:

$ nohup $HIVE_HOME/bin/hive --service metastore > $HIVE_HOME/hive_metastore.log 2>&1 &

3) 检查Kylin工作环境

接下来,我们可以通过官方提供的脚本来检查一下,kylin的启动环境是否已经准备完成

进入Kylin的安装根目录,执行官方脚本:

$ bin/check-env.sh

4) 配置,并启动Kylin,登陆Kylin页面查看

配置:kylin的conf目录下的kylin.properties文件,修改属性:

kylin.server.cluster-servers=linux01:7070

配置:kylin_hive_conf.xml,修改属性:

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

尖叫提示:由于非真实业务环境,为了尽量减少集群的存储消耗,所以暂时把数据的冗余数改为了1。

启动Kylin:

$ bin/kylin.sh start

登录Kylin页面查看:

http://linux01:7070/kylin

尖叫提示:默认的用户名密码为,并且全为大写:

 
 

如图所示:

 

 
登录
 
登录成功

5) 运行官方案例,需要重启Kylin(注意,这并不意味着每次构建Cube都要重启Kylin,后续详述)

$ ${KYLIN_HOME}/bin/sample.sh

$ ${KYLIN_HOME}/bin/kylin.sh stop

$ ${KYLIN_HOME}/bin/kylin.sh start

如图所示,你可以选择你刚才导入的官方案例:

 
 

到此为止,成功部署了Kylin,后续我们将了解如何构建自己的Cube,并参与数据分析。

此时,你也可以进入到Hive中,生成了对应的仓库表。

作者:Z尽际
链接:https://www.jianshu.com/p/6b0624586046
來源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

Kylin基础教程(二)的更多相关文章

  1. Kylin基础教程(一)

    一.Kylin介绍 1.1 现状 Hadoop于2006年初步实现,改变了企业级的大数据存储(基于HDFS)和批处理(主要基于MR)问题,10几年过去了,数据量随着互联网的发展井喷式增长,如何高速.低 ...

  2. MySQL8.0数据库基础教程(二)-理解"关系"

    1 SQL 的哲学 形如 Linux 哲学一切都是文件,在 SQL 领域也有这样一条至理名言 一切都是关系 2 关系数据库 所谓关系数据库(Relational database)是创建在关系模型基础 ...

  3. Java基础教程——二维数组

    二维数组 Java里的二维数组其实是数组的数组,即每个数组元素都是一个数组. 每个数组的长度不要求一致,但最好一致. // 同样有两种风格的定义方法 int[][] _arr21_推荐 = { { 1 ...

  4. numpy基础教程--二维数组的转置

    使用numpy库可以快速将一个二维数组进行转置,方法有三种 1.使用numpy包里面的transpose()可以快速将一个二维数组转置 2.使用.T属性快速转置 3.使用swapaxes(1, 0)方 ...

  5. AngularJS 基础教程二:

    5.过滤器 过滤器的主要功能是格式化数据 可以使用Angular提供的过滤器,也可以自定义过滤器 Angular过滤器: currency(货币).date(日期).filter(子串匹配).json ...

  6. SpringCloud2.0 Eureka Server 服务中心 基础教程(二)

    1.创建[服务中心],即 Eureka Server 1.1.新建 Spring Boot 工程,工程名称: springcloud-eureka-server 1.2.工程 pom.xml 文件添加 ...

  7. mysql基础教程(二)-----分组函数、多表查询、常见函数

    分组函数 什么是分组函数 分组函数作用于一组数据,并对一组数据返回一个值. 组函数类型 • AVG() • COUNT() • MAX() • MIN() • SUM() 组函数语法 AVG(平均值) ...

  8. SpringCloud2.0 Hystrix Feign 基于Feign实现断路器 基础教程(七)

    1.启动[服务中心]集群,工程名:springcloud-eureka-server 参考 SpringCloud2.0 Eureka Server 服务中心 基础教程(二) 2.启动[服务提供者]集 ...

  9. SpringCloud2.0 Feign 服务发现 基础教程(五)

    1.启动[服务中心]集群,即 Eureka Server 参考 SpringCloud2.0 Eureka Server 服务中心 基础教程(二) 2.启动[服务提供者]集群,即 Eureka Cli ...

随机推荐

  1. 2018最新WordPress缩略图设置方法

    缩略图设置的方法很多,但都不全面,且很多教程已经失效了,其中使用插件来实现,可是那些插件都使用过都不能实现效果,所以我整理了一份使用代码实现缩略图的方法. 1.找到网站根目录/wp-content/t ...

  2. SQL Server-聚焦强制索引查询条件和Columnstore Index

    前言 本节我们再来穿插讲讲索引知识,后续再讲数据类型中的日期类型,简短的内容,深入的理解,Always to review the basics. 强制索引查询条件 前面我们也讲了一点强制索引查询的知 ...

  3. window环境下,提升工作效率

    效率工具 windows桌面程序 Listary 本地文件搜索器 有道词典 划词翻译, 并且能够存在生词本里面 印象笔记 浏览资料整理 chrom插件 crxMouse 鼠标手势 chrome vim ...

  4. (转) RabbitMQ学习之工作队列(java)

    http://blog.csdn.net/zhu_tianwei/article/details/40887717 参考:http://blog.csdn.NET/lmj623565791/artic ...

  5. Kafka学习笔记(6)----Kafka使用Producer发送消息

    1. Kafka的Producer 不论将kafka作为什么样的用途,都少不了的向Broker发送数据或接受数据,Producer就是用于向Kafka发送数据.如下: 2. 添加依赖 pom.xml文 ...

  6. java中的标识符

    程序员自己定义的名称,例如类名,方法名,变量等等 标识符命名的规则 1.只能由字母(a-z,A-Z),数字(0-9),下划线(_)和美元符号($)组成 2.不能以数字开头 3.不能与关键字重名 4.严 ...

  7. 解决远程登录mysql命令行无法登录问题

    由于甲骨文公司收购了mysql,mysql有商业化的趋势,所以想尝试安装下mariadb . yum install mariadb-server mariadb systemctl start ma ...

  8. 各种概念POJO、JAVABEAN、DAO、DTO、PO、VO、BO、SSH、EJB

    转自:https://my.oschina.net/pacoyang/blog/151695 POJO(pure old java object)是普通java类,有一些private的参数作为对象的 ...

  9. php 常用header

    //定义编码 header( 'Content-Type:text/html;charset=utf-8 '); //Atom header('Content-type: application/at ...

  10. 3.1、Jinja2模板引擎

    形式最简单的 Jinja2 模板就是一个包含响应文本的文件.示例 3-1 是一个 Jinja2 模板,它和示例 2-1 中 index() 视图函数的响应一样. 示例 3-1 templates/in ...