Kylin安装Version1.6.0
Kylin安装,基于版本1.6.0,Kylin只有单机没有集群,
使用apache-kylin-1.6.0-hbase1.x-bin.tar.gz安装包。
1.安装规划
角色规划 | IP/机器名 | 安装软件 | 运行进程 |
---|---|---|---|
Kylin | zdh-9 | Kylin | Kylin |
2.安装依赖
Hadoop: 2.4+
Hive: 0.13+
HBase: 0.98+, 1.x
JDK: 1.7+
3.当前安装依赖的环境
Hadoop: hdfs/zdh1234 集群:zdh-7,zdh-9,zdh-11 版本:hadoop-2.7.1
Hive: hive/zdh1234 单机:zdh-9 版本:hive-2.1.0
Hbase: hbase/zdh1234 集群:zdh-7,zdh-9,zdh-11 版本:hbase-1.1.5
Jdk: root/zdh1234 单机:zdh-9 版本:jdk1.7.0_80
说明:Hive使用Mysql存放元数据
4.安装用户
kylin/zdh1234
useradd -g hadoop -s /bin/bash -md /home/kylin kylin
5.获取并且解压安装包
Kylin Download
tar -zxvf apache-kylin-1.6.0-hbase1.x-bin.tar.gz
6.设置Kylin的环境变量
export JAVA_HOME=/usr/java/jdk1.7.0_80
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export KYLIN_HOME=/home/kylin/apache-kylin-1.6.0-hbase1.x-bin
export PATH=$PATH:$KYLIN_HOME/bin
export HADOOP_HOME=/home/hdfs/hadoop-2.7.1
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HBASE_HOME=/home/hbase/hbase-1.1.5
export PATH=$PATH:$HBASE_HOME/bin
export HIVE_HOME=/home/hive/apache-hive-2.1.0-bin
export HIVE_CONF=$HIVE_HOME/conf
export HCAT_HOME=$HIVE_HOME/hcatalog
export PATH=$PATH:$HIVE_HOME/bin
7.检查安装环境
执行如下命令,查看是否满足Kylin的安装依赖:
check-env.sh
kylin需要对hdfs,hbase,hive的执行权限,
如果没有,需要新增权限,包括下面的子目录:
chmod -R g+rwx hive/
drwx------. 4 kylin hadoop 4096 4月 12 15:03 kylin
drwxr-x---. 5 hbase hadoop 4096 4月 12 13:37 hbase
drwxr-x---. 9 hdfs hadoop 4096 4月 12 13:36 hdfs
drwxr-xr-x. 5 hive hadoop 4096 4月 12 14:51 hive
特别的,kylin对于hive目录还需要写权限。
8.启动Kylin
kylin.sh start
停止kylin
kylin.sh stop
9.登陆Kylin的Web页面
http://zdh-9:7070/kylin
用户名密码 ADMIN/KYLIN
10.使用Kylin自带cube示例验证
10.1
执行sample.sh,并且重启kylin。
10.2
登陆web页面,选中learn_kylin工程,
构建cube,选中Models的kylin_sales_cube, 点击Actions -> Build
在monitor页面下查看构建进度,达到100%即可。
10.3
在Insight页面下执行sql查询:
select part_dt, sum(price) as total_selled, count(distinct seller_id) as sellers from kylin_sales group by part_dt order by part_dt
可以在hive里面执行上面的sql,比较查询花费的时间。
11.问题解决
11.1.无法访问Hadoop JobHistory
java.io.IOException: java.net.ConnectException: Call From master/192.168.182.100 to 0.0.0.0:10020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
在zdh-9上面的hdfs用户下配置Hadoop jobhistory启动即可
11.2.安全检查失败
org.apache.hadoop.hbase.DoNotRetryIOException: org.apache.hadoop.hbase.DoNotRetryIOException: java.net.UnknownHostException: gagcluster Set hbase.table.sanity.checks to false at conf or table descriptor if you want to bypass sanity checks
修改hbase-site.xml文件中的配置项
hbase.table.sanity.checks的值为false:
<property>
<name>hbase.table.sanity.checks</name>
<value>false</value>
</property>
将hadoop的配置文件core-site.xml和hdfs-site.xml拷贝到hbase的conf目录下启动正常
11.3.hbase拷贝报错
Caused by: java.lang.IllegalArgumentException: Wrong FS: hdfs://gagcluster/kylin/kylin_metadata/kylin-ec90975d-2af0-4d06-a8c5-8d31b80b77a9/kylin_sales_cube/hfile/F2/7c91c1e5e24547bcbe2a8791c7b96861, expected: hdfs://10.43.159.7:9000
修改hbase-site.xml的配置项如下:
<property>
<name>hbase.rootdir</name>
<value>hdfs://gagcluster/hbase</value>
</property>
11.4.Kylin无法启动
报错,一些表找不到
然后发现hbase启动异常
使用habse shell命令list表,失败
发现hbase有异常日志,有一个节点由于时间不同步无法启动,
把集群时间同步之后在重新启动即可。
12.参考文章
Kylin安装Version1.6.0的更多相关文章
- Kafka集群安装Version1.0.1(自带Zookeeper)
1.说明 Kafka集群安装,基于版本1.0.1, 使用kafka_2.12-1.0.1.tgz安装包, 其中2.12是编译工具Scala的版本. 而且不需要另外安装Zookeeper服务, 使用Ka ...
- Storm集群安装Version1.0.1开启Kerberos
Storm集群安装,基于版本1.0.1, 同时开启Kerberos安全认证, 使用apache-storm-1.0.1.tar.gz安装包. 1.安装规划 角色规划 IP/机器名 安装软件 运行进程 ...
- 分布式大数据多维分析(OLAP)引擎Apache Kylin安装配置及使用示例【转】
Kylin 麒麟官网:http://kylin.apache.org/cn/download/ 关键字:olap.Kylin Apache Kylin是一个开源的分布式分析引擎,提供Hadoop之上的 ...
- Apache Kylin安装部署
0x01 Kylin安装环境 Kylin依赖于hadoop大数据平台,安装部署之前确认,大数据平台已经安装Hadoop, HBase, Hive. 1.1 了解kylin的两种二进制包 预打包的二进制 ...
- Hbase集群安装Version1.1.5
Hbase集群安装,基于版本1.1.5, 使用hbase-1.1.5.tar.gz安装包. 1.安装说明 使用外部Zookeeper集群而非Hbase自带zookeeper, 使用Hadoop文件系统 ...
- CentOS 7.0编译安装Nginx1.6.0+MySQL5.6.19+PHP5.5.14
准备篇: CentOS 7.0系统安装配置图解教程 http://www.osyunwei.com/archives/7829.html 一.配置防火墙,开启80端口.3306端口 CentOS 7. ...
- centos 7.0 编译安装php 7.0.3
php下载页面 http://cn2.php.net/downloads.php 7.0.3多地区下载页面 http://cn2.php.net/get/php-7.0.3.tar.gz/from/a ...
- CentOS7 编译安装 nginx-1.10.0
对于NGINX 支持epoll模型 epoll模型的优点 定义: epoll是Linux内核为处理大批句柄而作改进的poll,是Linux下多路复用IO接口select/poll的增强版本,它能显著的 ...
- 一、Ubuntu14.04下安装Hadoop2.4.0 (单机模式)
一.在Ubuntu下创建hadoop组和hadoop用户 增加hadoop用户组,同时在该组里增加hadoop用户,后续在涉及到hadoop操作时,我们使用该用户. 1.创建hadoop用户组 2.创 ...
随机推荐
- 解决ViewPager与ScrollView 冲突
ViewPager来实现左右滑动切换tab,如果tab的某一项中嵌入了水平可滑动的View就会让你有些不爽,比如想滑动tab项中的可水平滑动的控件,却导致tab切换. 因为Android事件机制是从父 ...
- restful接口文档
1.先理清业务bai流程 2.定义前后端开发的接口规范.比如json的格dao式,url的格式 3.定内义接口文容档,这里的接口文档一般就是对应后台的实体reqVo(调用后台接口<控制器> ...
- Linux:$?,$n,$#,$0
$? 获取执行上一个指令的返回值(0为成功,非零为失败) $n 获取当前执行的shell脚本的第n个参数值,n=1...9,当n=0的时表示脚本的文件名,如果n大于9,大括号括起来${10} $# 获 ...
- KVM配置
安装依赖包(因最小化安装) [root@slave-master ~]# yum install -y vim wget tree lrzsz gcc gcc-c++ automake pcre pc ...
- 2.7 Rust Structs
A struct, or structure, is a custom data type that lets you name and package together multiple relat ...
- MySQL批量数据脚本示例
一.建表 # 新建库 create database bigData; use bigData; #1 建表dept CREATE TABLE dept( id INT UNSIGNED PRIMAR ...
- Spring boot 数据源配置。
配置文件 : spring boot 配置文件 有两种形式 ,一种是properties文件.一种是yml文件.案列使用properties文件. 数据源的默认配置 : spring boot 约定 ...
- ANTLR 简介
<ANTLR 4权威指南>由机械工业出版社出版,有兴趣的读者推荐购买阅读. 本专题大多内容来源于我读<ANTLR 4权威指南>的随手笔记以及个人实践,仅供参考学习,请勿用于任何 ...
- C# 枚举的flags 标志位应用
枚举有个特性叫标志位,使用方法如下 [Flags] enum Foo { a =1, b = 2, c = 4, d = 8 } 每个值需要为2的n次方,保证多个值的组合不会重复. 这样在判断其中一个 ...
- 日程表(Project)
<Project2016 企业项目管理实践>张会斌 董方好 编著 Project默认打开时,在功能区下面会有一个[日程表],如果不见了,那肯定里什么时候手贱关掉的,不要紧,还可以到[视图] ...