一、Apache kylin的基础环境

由于Apache kylin上的OLAP(wiki:OLAP)是构建在hadoop生态环境上的,所以hadoop环境的稳定性和健壮性对kylin的稳定运行至关重要。一般而言,Apache kylin实例最好部署在hadoop集群的客户端机器上;而通过hadoop客户端机器,kylin最好能直接访问hadoop、hdfs、hive、hbase等命令行脚本;另外,kylin进程实例的所有者,需要具备以下权限:

  • 读/写 hadoop分布式文件系统。
  • 提交MR任务到hadoop集群。
  • 创建/删除hive表。
  • 创建hbase表。

如下图:

以下是Apache kylin依赖环境的组件及版本推荐:

  • Hadoop: 2.6 - 2.7
  • Hive: 0.13 - 1.2.1
  • HBase: 0.98 - 0.99, 1.x
  • JDK: 1.7+

二、Apache kylin的安装部署

安装:

  1. 下载最近版本的kylin:Apache Kylin,解压。
  2. 在 ~/.bash_profile 中添加指向解压后的kylin文件夹的KYLIN_HOME环境变量。
  3. 确保当前用户能在命令行接口中访问hadoop, hive , hbase 命令,如果你不确定,可利用$KYLIN_HOME/bin/check-env.sh 验证。

部署:

一般以集群模式部署kylin,kylin实例进程是无状态的,kylin实例运行的状态信息保存在hbase和hdfs中(后面有单独篇章讲元数据)kylin实例有三种运行模式,决定了该实例的职责,如下:

  1. job,该实例作为cube build engine运行。
  2. query, 该实例作为query engine运行。
  3. all,该实例既可作为query engine运行,也可以作为cube build engine 运行。

注意:kylin集群只能有一个实例以 job 或者 all 模式运行 ,其余所有实例只能作为 queryengine运行。一个典型的部署方式如下:

以集群模式部署kylin时,每个kylin服务器实例的${HOME_KYLIN}/conf/kylin.properties文件中的以下两个参数需注意:

  1. kylin.rest.servers,提供查询服务的kylin实例列表,如:kylin.rest.servers=hostname1:7070,hostname2:7070
  2. kylin.server.mode,kylin实例的运行模式,注意,只能有一个实例以 job或者 all 模式运行 ,其余所有实例只能以 query 模式运行。

三、Apache kylin的基础运维

  1. 启动实例

$KYLIN_HOME/bin/kylin.sh start

2.关闭实例

$KYLIN_HOME/bin/kylin.sh stop

Apache kylin的基础环境的更多相关文章

  1. Linux+Apache+Php+Oracle 基础环境搭建

    前言:                       不能保证100%一次通过,每个系统都会或多或少有区别,如果缺少某些依赖包的话,还请见谅   1.安装Apache需要编译安装的包,各官方网站下载   ...

  2. 《基于Apache Kylin构建大数据分析平台》

    Kyligence联合创始人兼CEO,Apache Kylin项目管理委员会主席(PMC Chair)韩卿 武汉市云升科技发展有限公司董事长,<智慧城市-大数据.物联网和云计算之应用>作者 ...

  3. 【转】使用Apache Kylin搭建企业级开源大数据分析平台

    http://www.thebigdata.cn/JieJueFangAn/30143.html 本篇文章整理自史少锋4月23日在『1024大数据技术峰会』上的分享实录:使用Apache Kylin搭 ...

  4. 【转】Apache Kylin 2.0为大数据带来交互式的BI

    本文转载自:[技术帖]Apache Kylin 2.0为大数据带来交互式的BI 编者注:Kyligence的联合创始人兼CEO Luke Han在上做题为“”的演讲. 基于Hadoop的SQL一直在被 ...

  5. 分布式大数据多维分析(OLAP)引擎Apache Kylin安装配置及使用示例【转】

    Kylin 麒麟官网:http://kylin.apache.org/cn/download/ 关键字:olap.Kylin Apache Kylin是一个开源的分布式分析引擎,提供Hadoop之上的 ...

  6. 使用Apache Kylin搭建企业级开源大数据分析平台

    转:http://www.thebigdata.cn/JieJueFangAn/30143.html 我先做一个简单介绍我叫史少锋,我曾经在IBM.eBay做过大数据.云架构的开发,现在是Kylige ...

  7. Apache Kylin大数据分析平台的演进

    转:http://mt.sohu.com/20160628/n456602429.shtml 我是来自Kyligence的李扬,是上海Kyligence的联合创始人兼CTO.今天我主要来和大家分享一下 ...

  8. Apache Kylin 概述

    1 Kylin是什么 今天,随着移动互联网.物联网.AI等技术的快速兴起,数据成为了所有这些技术背后最重要,也是最有价值的"资产".如何从数据中获得有价值的信息?这个问题驱动了相关 ...

  9. Apache Kylin在美团点评的应用

      本文原载自大数据杂谈微信公众号. 感谢美团点评工程师高大月撰文并授权转载. 高大月,美团点评工程师,Apache Kylin PMC成员,目前主要在美团点评数据平台负责OLAP查询引擎的建设. 背 ...

随机推荐

  1. 微信小程序中遮罩层的滚动穿透问题

    如果弹出层没有滚动事件: <view wx:if="{{alert}}" catchtouchmove="myCatchTouch"> <te ...

  2. arcgis pro指数库

    来自:https://pro.arcgis.com/zh-cn/pro-app/help/data/imagery/indices-gallery.htm 植被和土壤指数 MSAVI “修正土壤调节植 ...

  3. ceph:如何处理rados --striper上传失败的对象

    如何处理使用rados --striper上传失败的对象? `Remove striped objects from a ceph pool without using the striper lib ...

  4. 《Python数据分析与挖掘实战》读书笔记

    大致扫了一遍,具体的代码基本都没看了,毕竟我还不懂python,并且在手机端的排版,这些代码没法看. 有收获,至少了解到以下几点: 一. Python的语法挺有意思的     有一些类似于JavaSc ...

  5. ECharts JS应用:图表页面实现

    因为要统计数据进行图表展示,所以就简单学习了 ECharts JS 的应用.它是一个纯Javascript图库,它依赖于一个轻量级的Canvas库 ZRender,并提供直观.生动.交互式和高度可定制 ...

  6. 卷积神经网络(CNN)代码实现(MNIST)解析

    在http://blog.csdn.net/fengbingchun/article/details/50814710中给出了CNN的简单实现,这里对每一步的实现作个说明: 共7层:依次为输入层.C1 ...

  7. V-rep学习笔记:切削

    V-REP allows you to perform cutting simulations. The user can model almost any type of cutting volum ...

  8. ios the request was denied by service delegate for reason unspecified

    报错的情况如下: xcode8(The request was denied by service delegate (SBMainWorkspace) for reason: Unspecified ...

  9. 飞思卡尔单片机P&E开发工具硬件及软件

    原文链接: http://blog.sina.com.cn/s/blog_8ebff8d7010121tm.html 1.HC(S)08系列 开发机硬件:USB-ML-12 CYCLONE PRO U ...

  10. 阿里云oss缩略图如何产生读取 超简单 不看后悔(转)

    OSS是使用通过URL尾部的参数指定图片的缩放大小 图片路径后面拼接如下路径: ?x-oss-process=image/[处理类型],x_100,y_50[宽高等参数] ?x-oss-process ...