Kylin安装,基于版本1.6.0,Kylin只有单机没有集群,

使用apache-kylin-1.6.0-hbase1.x-bin.tar.gz安装包。

1.安装规划

角色规划 IP/机器名 安装软件 运行进程
Kylin zdh-9 Kylin Kylin

2.安装依赖

Hadoop: 2.4+

Hive: 0.13+

HBase: 0.98+, 1.x

JDK: 1.7+

3.当前安装依赖的环境

Hadoop: hdfs/zdh1234 集群:zdh-7,zdh-9,zdh-11 版本:hadoop-2.7.1

Hive: hive/zdh1234 单机:zdh-9 版本:hive-2.1.0

Hbase: hbase/zdh1234 集群:zdh-7,zdh-9,zdh-11 版本:hbase-1.1.5

Jdk: root/zdh1234 单机:zdh-9 版本:jdk1.7.0_80

说明:Hive使用Mysql存放元数据

4.安装用户

kylin/zdh1234

useradd -g hadoop -s /bin/bash -md /home/kylin kylin

5.获取并且解压安装包

Kylin Download

tar -zxvf apache-kylin-1.6.0-hbase1.x-bin.tar.gz

6.设置Kylin的环境变量

export JAVA_HOME=/usr/java/jdk1.7.0_80
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export KYLIN_HOME=/home/kylin/apache-kylin-1.6.0-hbase1.x-bin
export PATH=$PATH:$KYLIN_HOME/bin export HADOOP_HOME=/home/hdfs/hadoop-2.7.1
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH export HBASE_HOME=/home/hbase/hbase-1.1.5
export PATH=$PATH:$HBASE_HOME/bin export HIVE_HOME=/home/hive/apache-hive-2.1.0-bin
export HIVE_CONF=$HIVE_HOME/conf
export HCAT_HOME=$HIVE_HOME/hcatalog
export PATH=$PATH:$HIVE_HOME/bin

7.检查安装环境

执行如下命令,查看是否满足Kylin的安装依赖:

check-env.sh

kylin需要对hdfs,hbase,hive的执行权限,

如果没有,需要新增权限,包括下面的子目录:

chmod -R g+rwx hive/
drwx------. 4 kylin hadoop 4096 4月 12 15:03 kylin
drwxr-x---. 5 hbase hadoop 4096 4月 12 13:37 hbase
drwxr-x---. 9 hdfs hadoop 4096 4月 12 13:36 hdfs
drwxr-xr-x. 5 hive hadoop 4096 4月 12 14:51 hive

特别的,kylin对于hive目录还需要写权限。

8.启动Kylin

kylin.sh start

停止kylin

kylin.sh stop

9.登陆Kylin的Web页面

http://zdh-9:7070/kylin

用户名密码 ADMIN/KYLIN

10.使用Kylin自带cube示例验证

10.1

执行sample.sh,并且重启kylin。

10.2

登陆web页面,选中learn_kylin工程,

构建cube,选中Models的kylin_sales_cube, 点击Actions -> Build

在monitor页面下查看构建进度,达到100%即可。

10.3

在Insight页面下执行sql查询:

select part_dt, sum(price) as total_selled, count(distinct seller_id) as sellers from kylin_sales group by part_dt order by part_dt

可以在hive里面执行上面的sql,比较查询花费的时间。

11.问题解决

11.1.无法访问Hadoop JobHistory

java.io.IOException: java.net.ConnectException: Call From master/192.168.182.100 to 0.0.0.0:10020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

在zdh-9上面的hdfs用户下配置Hadoop jobhistory启动即可

11.2.安全检查失败

org.apache.hadoop.hbase.DoNotRetryIOException: org.apache.hadoop.hbase.DoNotRetryIOException: java.net.UnknownHostException: gagcluster Set hbase.table.sanity.checks to false at conf or table descriptor if you want to bypass sanity checks

修改hbase-site.xml文件中的配置项

hbase.table.sanity.checks的值为false:

<property>
<name>hbase.table.sanity.checks</name>
<value>false</value>
</property>

将hadoop的配置文件core-site.xml和hdfs-site.xml拷贝到hbase的conf目录下启动正常

11.3.hbase拷贝报错

Caused by: java.lang.IllegalArgumentException: Wrong FS: hdfs://gagcluster/kylin/kylin_metadata/kylin-ec90975d-2af0-4d06-a8c5-8d31b80b77a9/kylin_sales_cube/hfile/F2/7c91c1e5e24547bcbe2a8791c7b96861, expected: hdfs://10.43.159.7:9000

修改hbase-site.xml的配置项如下:

<property>
<name>hbase.rootdir</name>
<value>hdfs://gagcluster/hbase</value>
</property>

11.4.Kylin无法启动

报错,一些表找不到

然后发现hbase启动异常

使用habse shell命令list表,失败

发现hbase有异常日志,有一个节点由于时间不同步无法启动,

把集群时间同步之后在重新启动即可。

12.参考文章

Kylin Installation Guide

Kylin安装Version1.6.0的更多相关文章

  1. Kafka集群安装Version1.0.1(自带Zookeeper)

    1.说明 Kafka集群安装,基于版本1.0.1, 使用kafka_2.12-1.0.1.tgz安装包, 其中2.12是编译工具Scala的版本. 而且不需要另外安装Zookeeper服务, 使用Ka ...

  2. Storm集群安装Version1.0.1开启Kerberos

    Storm集群安装,基于版本1.0.1, 同时开启Kerberos安全认证, 使用apache-storm-1.0.1.tar.gz安装包. 1.安装规划 角色规划 IP/机器名 安装软件 运行进程 ...

  3. 分布式大数据多维分析(OLAP)引擎Apache Kylin安装配置及使用示例【转】

    Kylin 麒麟官网:http://kylin.apache.org/cn/download/ 关键字:olap.Kylin Apache Kylin是一个开源的分布式分析引擎,提供Hadoop之上的 ...

  4. Apache Kylin安装部署

    0x01 Kylin安装环境 Kylin依赖于hadoop大数据平台,安装部署之前确认,大数据平台已经安装Hadoop, HBase, Hive. 1.1 了解kylin的两种二进制包 预打包的二进制 ...

  5. Hbase集群安装Version1.1.5

    Hbase集群安装,基于版本1.1.5, 使用hbase-1.1.5.tar.gz安装包. 1.安装说明 使用外部Zookeeper集群而非Hbase自带zookeeper, 使用Hadoop文件系统 ...

  6. CentOS 7.0编译安装Nginx1.6.0+MySQL5.6.19+PHP5.5.14

    准备篇: CentOS 7.0系统安装配置图解教程 http://www.osyunwei.com/archives/7829.html 一.配置防火墙,开启80端口.3306端口 CentOS 7. ...

  7. centos 7.0 编译安装php 7.0.3

    php下载页面 http://cn2.php.net/downloads.php 7.0.3多地区下载页面 http://cn2.php.net/get/php-7.0.3.tar.gz/from/a ...

  8. CentOS7 编译安装 nginx-1.10.0

    对于NGINX 支持epoll模型 epoll模型的优点 定义: epoll是Linux内核为处理大批句柄而作改进的poll,是Linux下多路复用IO接口select/poll的增强版本,它能显著的 ...

  9. 一、Ubuntu14.04下安装Hadoop2.4.0 (单机模式)

    一.在Ubuntu下创建hadoop组和hadoop用户 增加hadoop用户组,同时在该组里增加hadoop用户,后续在涉及到hadoop操作时,我们使用该用户. 1.创建hadoop用户组 2.创 ...

随机推荐

  1. Linux学习 - fdisk分区

    一.fdisk命令分区过程 系统一旦重启,分区将消失 1 添加新硬盘 直接在虚拟机上添加 2 查看新硬盘 fdisk -l 3 分区 fdisk /dev/sdb fdisk进入/dev/sdb硬件设 ...

  2. Linux基础命令---vmstat显示虚拟内存状态

    vmstat vmstat指令用来显示虚拟内存使用状态,同时也可以显示进程.cpu活动情况.vmstat报告有关进程.内存.分页.块IO.陷阱和CPU活动的信息.生成的第一份报告给出了自上次重新启动以 ...

  3. Hystrix断路器中的服务熔断与服务降级

    一.Hystrix断路器 微服务架构特点就是多服务,多数据源,支撑系统应用.这样导致微服务之间存在依赖关系.如果其中一个服务故障,可能导致系统宕机,这就是所谓的雪崩效应. 1.为什么需要断路器 服务雪 ...

  4. numpy基础教程--where函数的使用

    在numpy中,where函数是一个三元运算符,函数原型为where(condition, x, y),意思是当条件成立的时候,将矩阵的值设置为x,否则设置为y 一个很简单的应用就是,在一个矩阵当中, ...

  5. Mysql配置文件 客户端

    [client] #默认链接的端口 port=3306 #默认链接的socket的位置 socket=/var/lib/mysql.sock #默认编码格式 default-character-set ...

  6. 用法总结:NSArray,NSSet,NSDictionary

    用法总结:NSArray,NSSet,NSDictionary Foundation framework中用于收集cocoa对象(NSObject对象)的三种集合分别是: NSArray 用于对象有序 ...

  7. 从 CPython 源码角度看 Python 垃圾回收机制

    环状双向链表 refchain 在 Python 程序中创建的任何对象都会被放到 refchain 链表中,当创建一个 Python 对象时,内部实际上创建了一些基本的数据: 上一个对象 下一个对象 ...

  8. CF106A Card Game 题解

    Content 一种纸牌游戏有许多张卡牌,每张卡牌有一个套装(S,H,D和 C)和一个等级(按升序排列6,7,8,9,T, J,Q,K,A). 规定以下情况卡牌 A 才能赢卡牌 B: A 有王牌套装, ...

  9. 选课系统V1.0

    tree . . ├── bin │   ├── __init__.py │   └── start.py #启动文件 ├── conf │   ├── __init__.py │   └── set ...

  10. BitBake使用攻略--BitBake的语法知识一

    目录 写在前面 1. BitBake中的赋值 1.1 直接赋值 1.2 间接赋值 1.3 追加与前加赋值 1.4 Override风格的赋值语法 1.5 标志赋值 1.6 内联函数赋值 1.7 其他一 ...