一、安装准备

1、操作系统 Centos 7.x

2、时间问题

集群内所有节点时间一定要同步。

NTP、Chrony

3、用户

创建hadoop组和hadoop用户,并做ssh免密码登录

4、Hadoop HA集群

Hadoop 2.7.

5、HBase

hbase .x

6、Hive

Hive 1.2.,使用  mysql 存放元数据

7、准备目录

# mkdir /install

# cd /install

# chown -R hadoop:hadoop /install

8、kylin

kylin 1.6. 这个版本支持hbase1.x版本

apache-kylin-1.6.-HBase1.1.3-bin.tar.gz

$ tar xf apache-kylin-1.6.-hbase1.x-bin.tar.gz  -C  /install

$ cd /install

$ mv apache-kylin-1.6.-bin/ kylin

#代表在root用户下

$代表普通用户

二、环境变量配置

部署每个节点

hadoop用户的 .bashrc

export HADOOPROOT=/install

export HADOOP_HOME=$HADOOPROOT/hadoop

export ZOOKEEPER_HOME=$HADOOPROOT/zookeeper

export HBASE_HOME=$HADOOPROOT/hbase

export HIVE_HOME=$HADOOPROOT/hive1.

export HCAT_HOME=$HIVE_HOME/hcatalog

export KYLIN_HOME=$HADOOPROOT/kylin

export CATALINA_HOME=$KYLIN_HOME/tomcat

export hive_dependency=$HIVE_HOME/conf:$HIVE_HOME/lib/*:$HCAT_HOME/share/hcatalog/hive-hcatalog-core-1.2.1.jar

PATH=$PATH:$HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin

PATH=$PATH:$HBASE_HOME/bin:$FLUME_HOME/bin:$HIVE_HOME/bin:$HCAT_HOME/bin

PATH=$PATH:$CATALINA_HOME/bin:$KYLIN_HOME/bin

export PATH

基本的配置已经做好了,安装从以下步骤开始

三、配置kylin

修改bin/kylin.sh

export KYLIN_HOME=/install/kylin

export HBASE_CLASSPATH_PREFIX=${tomcat_root}/bin/bootstrap.jar:${tomcat_root}/bin/tomcat-juli.jar:${tomcat_root}/lib/*:$hive_dependency:$HBASE_CLASSPATH_PREFIX

压缩问题

关于压缩的问题

本次不是用snappy,如果需要事先重新编译Hadoop源码,使得native库支持snappy

使用snappy能够实现一个适合的压缩比,使得这个运算的中间结果和最终结果都能占用较小的存储空间

1、 kylin.properties

)设置Rest Server

kylin.rest.servers=192.168.56.201:

默认为PST,修改为中国时间

kylin.rest.timezone=GMT+

2)不启用压缩,注释即可

#kylin.hbase.default.compression.codec=snappy(注释掉或者设置为None)

3)定义kylin用于MR jobs的job.jar包和hbase的协处理jar包,用于提升性能(添加项)。

kylin.job.jar=/installsoftware/ kylin-1.6./lib /kylin-job-1.6..jar

kylin.coprocessor.local.jar=/installsoftware/ kylin-1.6./lib/kylin-coprocessor-1.6..jar

2、kylin_job_conf.xml

不使用压缩

mapreduce.map.output.compress设置为false

mapreduce.output.fileoutputformat.compress 设置为false

3、kylin_hive_conf.xml

不使用压缩

hive.exec.compress.output 设置为false

四、启动服务

Kylin工作原理图

支撑服务启动

1、首先看一下时间是否同步

、启动3个节点的ZooKeeper

zkServer.sh start

start-dfs.sh

start-yarn.sh

或者start-all.sh

mr-jobhistory-daemon.sh start historyserver要到所有NM上启动,可以写成脚本

start-hbase.sh
> list

这里可以启动hive客户端看看

$ hive

> show tables;

检查

1、检查基础的服务

Hadoop、HBase、Hive、环境变量、工作目录

2、hive依赖检查

find-hive-dependency.sh

3、hbase依赖检查

find-hbase-dependency.sh

启动kylin

bin/kylin.sh start

停止过程

bin/kylin.sh stop

stop-hbase.sh

mr-jobhistory-daemon.sh stop historyserver

stop-yarn.sh

stop-dfs.sh

zkServer.sh stop

可以写成脚本

五、登录

http://node1:7070/kylin

ADMIN/KYLIN登录

六、样例数据测试

启动kylin后,运行bin/sample.sh

查看sample.sh脚本内容

实际上操作的是sample_cube目录下的数据和脚本

重启kylin服务

看看hive和hbase

Hive中kylin的元数据信息

默认有一个Cube定义,需要Build。

Monitor中监视整个构建过程

Cube构建成功后状态会变成Ready状态

构建Cube过程根据集群性能的不同而不同

七、查询时间对比

测试语句

select part_dt, sum(price) as total_selled, count(distinct seller_id) as sellers from kylin_sales group by part_dt order by part_dt;

select part_dt, sum(price) as total_selled, count(distinct seller_id) as sellers from kylin_sales where part_dt<'2013-01-01' group by part_dt order by part_dt;

hive执行时间

Time taken: 168.643 seconds, Fetched:  row(s)

kylin中

第一次 .33S

第二次 .38s

第三次 .33s

第四次 .34s

看来有缓存

select part_dt, sum(price) as total_selled, count(distinct seller_id) as sellers from kylin_sales group by part_dt having sum(price)> order by part_dt

到此Kylin的前期安装部署已经完毕

Kylin安装部署的更多相关文章

  1. Apache Kylin安装部署

    0x01 Kylin安装环境 Kylin依赖于hadoop大数据平台,安装部署之前确认,大数据平台已经安装Hadoop, HBase, Hive. 1.1 了解kylin的两种二进制包 预打包的二进制 ...

  2. 分布式大数据多维分析(OLAP)引擎Apache Kylin安装配置及使用示例【转】

    Kylin 麒麟官网:http://kylin.apache.org/cn/download/ 关键字:olap.Kylin Apache Kylin是一个开源的分布式分析引擎,提供Hadoop之上的 ...

  3. kylin 系列(一)安装部署

    kylin 系列(一)安装部署 一.环境说明 1.1 版本选择 cdh 版本下载地址:http://archive.cloudera.com/cdh5/cdh/5/ 软件名称 版本 JDK 1.8 H ...

  4. Ranger安装部署

    1. 概述 Apache Ranger是大数据领域的一个集中式安全管理框架,目的是通过制定策略(policies)实现对Hadoop组件的集中式安全管理.用户可以通过Ranger实现对集群中数据的安全 ...

  5. Apache Ranger 编译安装部署

    1. 概述 Apache Ranger是大数据领域的一个集中式安全管理框架,目的是通过制定策略(policies)实现对Hadoop组件的集中式安全管理.用户可以通过Ranger实现对集群中数据的安全 ...

  6. Oracle安装部署,版本升级,应用补丁快速参考

    一.Oracle安装部署 1.1 单机环境 1.2 Oracle RAC环境 1.3 Oracle DataGuard环境 1.4 主机双机 1.5 客户端部署 二.Oracle版本升级 2.1 单机 ...

  7. KVM安装部署

    KVM安装部署 公司开始部署KVM,KVM的全称是kernel base virtual machine,对KVM虚拟化技术研究了一段时间, KVM是基于硬件的完全虚拟化,跟vmware.xen.hy ...

  8. Linux平台oracle 11g单实例 + ASM存储 安装部署 快速参考

    操作环境:Citrix虚拟化环境中申请一个Linux6.4主机(模板)目标:创建单机11g + ASM存储 数据库 1. 主机准备 2. 创建ORACLE 用户和组成员 3. 创建以下目录并赋予对应权 ...

  9. 分布式文件系统 - FastDFS 在 CentOS 下配置安装部署

    少啰嗦,直接装 看过上一篇分布式文件系统 - FastDFS 简单了解一下的朋友应该知道,本次安装是使用目前余庆老师开源的最新 V5.05 版本,是余庆老师放在 Github 上的,和目前你能在网络上 ...

随机推荐

  1. Nginx七层反向代理和负载均衡

    1.介绍 1.1 Nginx不仅是一个出色的web软件,其七层代理和负载均衡也是相当出色.Nginx做前端代理,当用户请求服务时,可以根据url进行判断,然后分配到不同的后台webserver上. 1 ...

  2. python基础---->python的使用(六)

    这里记录一下python中关于class类的一些知识.不解释就弄不懂的事,就意味着怎样解释也弄不懂. python中的类知识 一.class的属性引用与实例 class MyClass(): '''A ...

  3. 深入理解 Neutron -- OpenStack 网络实现(4):网络名字空间

    问题导读1.如何查看网络名字空间?2.网络名字空间开头的名字有什么规律?3.dhcp服务是如何实现的?4.router的实现是通过iptables进行的是否正确?5.SNAT和DNAT规则有什么作用? ...

  4. 【Spring源码分析系列】bean的加载

    前言 以 BeanFactory bf  = new XmlBeanFactory(new ClassPathResource("beans.xml"));为例查看bean的加载过 ...

  5. git 命令自动补全

    下载 Git 的源代码 使用如下命令即可下载: git clone https://github.com/git/git 复制 git-completion.bash 源代码下有个 contrib/c ...

  6. mouseleave,mouseout 和mouseover ,mouseenter区别

    鼠标离开事件: mouseleave:只有鼠标离开指定元素时才会触发; mouseout 鼠标离开指定元素或内部子元素都会触发; 鼠标在上事件: mouseover:只有鼠标进入指定元素时才会触发; ...

  7. sencha touch NavigationView 嵌套 TabPanel 的问题

    在st2.1之中,在NavigationView视图之中在嵌套一个TabPanel会有以下问题 下面我们监控TabPanel的activate事件和activeitemchange事件 会发现当首页加 ...

  8. mongodb gridfs基本使用

    Mongodb GridFS图片文件存储解决方案 之前解决方案是接收图片数据后,将图片直接存储到盘阵,然后通过Apache做服务器,将图片信息存储到数据库,并且存储一个Apache的访问路径. 目前需 ...

  9. 虚拟机VMware怎么完全卸载干净,如何彻底卸载VMware虚拟机

    亲测好使. 1.禁用VM虚拟机服务 首先,需要停止虚拟机VMware相关服务.按下快捷键WIN+R,打开windows运行对话框,输入[services.msc],点击确定.如下图. 在服务管理中,找 ...

  10. Unity3D笔记 英保通一

    一.材质和着色器 1.材质和着色器紧密的联系,其中材质相当于是一个框架,而着色器就是框架中中的内容.在材质框架中可以选择不同的Shader并调节不同的 属性 Material和Physic Mater ...