kylin 系列(一)安装部署

一、环境说明

1.1 版本选择

cdh 版本下载地址:http://archive.cloudera.com/cdh5/cdh/5/

软件名称 版本
JDK 1.8
HADOOP Hadoop2.6.0-cdh5.10
ZOOKEERER 3.4.5
HBASE Hbase1.2.0-cdh5.10
HIVE Hive1.2.0-cdh5.10
KAFKA Kafka0.10
KYLIN Kylin2.3.2

1.2 节点准备

节点 说明
CDH-01
CDH-02
CDH-03

二、Kylin 安装与配置

2.1 软件下载

Kylin 下载地址:https://archive.apache.org/dist/kylin/

2.2 解压

tar -zxvf apache-kylin-2.3.2
ln -sv /opt/bigdata/software/apache-kylin-2.3.2 /opt/bigdata/kylin

2.3 配置环境变量

export HADOOP_HOME=/opt/bigdata/hadoop
export HBASE_HOME=/opt/bigdata/hbase
export HIVE_HOME=/opt/bigdata/hive
export HIVE_CONF_HOME=$HIVE_HOME/conf
export HCAT_HOME=$HIVE_HOME/hcatalog
export KAFKA_HOME=/opt/bigdata/kafka
export KYLIN_HOME=/opt/bigdata/kylin export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export PATH=$PATH:$HBASE_HOME/bin:$HIVE_HOME/bin:$HCAT_HOME/bin:$KAFKA_HOME:bin:$KYLIN_HOME/bin

2.4 kylin 配置文件

vi kylin.properties

# 配置节点类型(kylin 主节点模式为 all,从节点的模式为 query)
# 注意主从节点类型不一致
kylin.server.mode=all
# kylin 集群节点配置
kylin.server.cluster-servers=CHD-01:7070,CHD-02:7070,CHD-03:7070
# 定义 kylin 用于 MRjobs 的 job.jar 和 hbase 的协处理 jar,用于提升性能(添加项)
kylin.job.jar=/opt/bigdata/kylin/lib/kylin-job-2.3.2.jar
kylin.coprocessor.local.jar=/opt/bigdata/kylin/lib/kylin-coprocessor-2.3.2.jar

三、Kylin 启动

启动 Kylin 前需要启动 Hadoop、Zookeeper、Hbase、Hive 等服务。

3.1 依赖检查

# 执行下面的检查命令会在 hdfs 上创建 kylin 目录
./check-env.sh
# 检查数据源 hive 和数据存储 hbase
./find-hive-dependency.sh
./find-hbase-dependency.sh

3.2 启动 kylin 服务

# 每个节点都需要单独启动
bin/kylin.sh start

每个节点都可以查看对应的 WEB UI:http://ip:7070/kylin,默认的用户名和密码: admin/kylin

四、Kylin 测试

  1. 启动 kylin 之后运行 sample.sh 脚本(任意集群节点运行都可以)

    ./sample.sh

导入 sample 数据,模型,cube 成功之后系统会提示重启 kylin 或重新加载元数据让数据生效


每天用心记录一点点。内容也许不重要,但习惯很重要!

kylin 系列(一)安装部署的更多相关文章

  1. Sharepoint 2013 系列篇(安装部署)--上篇

    前言 sharepoint的部署是按照物理拓扑图的架构来部署,按照物理拓扑图架构分为一层拓扑图架构,二层拓扑图架构,三层拓扑图架构,多层拓扑图架构. 按照分层的拓扑图部署是按照需求来划分的,一层拓扑图 ...

  2. Kylin安装部署

    一.安装准备 1.操作系统 Centos 7.x 2.时间问题 集群内所有节点时间一定要同步. NTP.Chrony 3.用户 创建hadoop组和hadoop用户,并做ssh免密码登录 4.Hado ...

  3. 【Android Studio安装部署系列】目录

    概述 从刚开始使用Android Studio到现在,下面所有目录下的操作,当时习惯性的把每一个整理成一个文档(其实就是简单文字描述+截图):有些地方当时是一知半解,现在会稍微明白一些.正好赶上现在有 ...

  4. 【Android Studio安装部署系列】二十一、Android studio将项目上传到github中

    版权声明:本文为HaiyuKing原创文章,转载请注明出处! 概述 两个相关概念:git和github Git是一个开源的分布式版本控制系统,用以有效.高速的处理从很小到非常大的项目版本管理.Git ...

  5. 【Android Studio安装部署系列】二十五、Android studio使用NDK生成so文件和arr文件

    版权声明:本文为HaiyuKing原创文章,转载请注明出处! 概述 Android Studio使用ndk的简单步骤. NDK环境搭建 下载NDK 下载链接:https://developer.and ...

  6. 【Android Studio安装部署系列】二十八、Android Studio查看其它APP的布局结构

    概述 日常使用别家的APP过程中,会遇到一些比较好看的布局,这时候我们就想学习一下别人的布局结构,以便参考. (1)手机连接电脑.设置手机为USB调试模式 参考<[Android Studio安 ...

  7. 【Android Studio安装部署系列】三十三、windows系统中通过SourceTree使用git

    版权声明:本文为HaiyuKing原创文章,转载请注明出处! 概述 前期准备 选择代码托管服务器:gitlab.github.开源中国等. 注册账号 创建项目 安装git 参考<[Android ...

  8. 【Android Studio安装部署系列】三十六、从Android Studio3.1.4升级到Android studio3.2【以及创建android p模拟器(未成功)】

    版权声明:本文为HaiyuKing原创文章,转载请注明出处! 概述 因为想要使用Android P模拟器,所以需要将Android Studio升级到3.2版本以上. 按照官网的说法:参考<ht ...

  9. 【Android Studio安装部署系列】三十六、Android studio3.2使用过程中注意事项

    版权声明:本文为HaiyuKing原创文章,转载请注明出处! 概述 Android Studio升级到3.2之后,运行旧项目的时候出现了各种情况,特此记录下. 一.打包选项多了,一般情况下选择APK即 ...

随机推荐

  1. 二进制 转换成十进制 BCD码(加3移位法)

    "原来的二进制数十几位,则左移时就要左移几位" "二进制数调整BCD码的方法是将二进制码左移8次,每次移位后都检查低四位LSD+3是否大于7,如是则加3,否则不加,高4位 ...

  2. python之路——9

    王二学习python的笔记以及记录,如有雷同,那也没事,欢迎交流,wx:wyb199594 学习内容 1.文件处理 1.打开文件 open(‘路径’,‘打开方式’) 打开方式 r w a r+ w+ ...

  3. vue源码核心部分

    1.模板编译   初始化时做的:template ==parse()==>ASTtree ==generate()==>render函数  ==> mount(调用dom方法) 每次 ...

  4. SPI、I2C、UART、I2S、GPIO、SDIO、CAN 简介

    转自http://sanwen.net/a/fmxnjoo.html SPI.I2C.UART.I2S.GPIO.SDIO.CAN,看这篇就够了 总线 总线,总要陷进里面.这世界上的信号都一样,但是总 ...

  5. 查询linux计算机的出口ip

    执行以下命令即可: [root@tkafka ~]# curl http://members.3322.org/dyndns/getip 123.103.9.7 碰到的场景: 微信公众号需要配置ip白 ...

  6. Group Pathfinding & Movement in RTS Style Games

    转自:http://gamasutra.com/blogs/AndrewErridge/20180522/318413/Group_Pathfinding__Movement_in_RTS_Style ...

  7. sql server 数据库变成单用户模式的恢复

    USE master;GODECLARE @SQL VARCHAR(MAX);SET @SQL=''SELECT @SQL=@SQL+'; KILL '+RTRIM(SPID)FROM master. ...

  8. 01.JDBC操作数据库-快速入门操作

    /** * 简单入门操作 * 注:先将mysql-connector-java-5.1.36.jar 构建 Build Path环境当中去 * @param args * @throws Except ...

  9. Android 获取控件滑动速度,速度跟踪器VelocityTracker;

    VelocityTracker 速度跟踪器 在写关于Android滑动的控件,如果用户手指在屏幕上(当前位置 - 起始位置 > 某个数值)就做一个界面切换,但是总感觉太生硬,只有满足上面的条件才 ...

  10. 工具函数(获取url , 时间格式化,随机数)

    (function(window,$){ function Tools() { } // url Tools.prototype.readUrlToParams = function() { var ...