一、Apache kylin的基础环境

由于Apache kylin上的OLAP(wiki:OLAP)是构建在hadoop生态环境上的,所以hadoop环境的稳定性和健壮性对kylin的稳定运行至关重要。一般而言,Apache kylin实例最好部署在hadoop集群的客户端机器上;而通过hadoop客户端机器,kylin最好能直接访问hadoop、hdfs、hive、hbase等命令行脚本;另外,kylin进程实例的所有者,需要具备以下权限:

  • 读/写 hadoop分布式文件系统。
  • 提交MR任务到hadoop集群。
  • 创建/删除hive表。
  • 创建hbase表。

如下图:

以下是Apache kylin依赖环境的组件及版本推荐:

  • Hadoop: 2.6 - 2.7
  • Hive: 0.13 - 1.2.1
  • HBase: 0.98 - 0.99, 1.x
  • JDK: 1.7+

二、Apache kylin的安装部署

安装:

  1. 下载最近版本的kylin:Apache Kylin,解压。
  2. 在 ~/.bash_profile 中添加指向解压后的kylin文件夹的KYLIN_HOME环境变量。
  3. 确保当前用户能在命令行接口中访问hadoop, hive , hbase 命令,如果你不确定,可利用$KYLIN_HOME/bin/check-env.sh 验证。

部署:

一般以集群模式部署kylin,kylin实例进程是无状态的,kylin实例运行的状态信息保存在hbase和hdfs中(后面有单独篇章讲元数据)kylin实例有三种运行模式,决定了该实例的职责,如下:

  1. job,该实例作为cube build engine运行。
  2. query, 该实例作为query engine运行。
  3. all,该实例既可作为query engine运行,也可以作为cube build engine 运行。

注意:kylin集群只能有一个实例以 job 或者 all 模式运行 ,其余所有实例只能作为 queryengine运行。一个典型的部署方式如下:

以集群模式部署kylin时,每个kylin服务器实例的${HOME_KYLIN}/conf/kylin.properties文件中的以下两个参数需注意:

  1. kylin.rest.servers,提供查询服务的kylin实例列表,如:kylin.rest.servers=hostname1:7070,hostname2:7070
  2. kylin.server.mode,kylin实例的运行模式,注意,只能有一个实例以 job或者 all 模式运行 ,其余所有实例只能以 query 模式运行。

三、Apache kylin的基础运维

  1. 启动实例

$KYLIN_HOME/bin/kylin.sh start

2.关闭实例

$KYLIN_HOME/bin/kylin.sh stop

Apache kylin的基础环境的更多相关文章

  1. Linux+Apache+Php+Oracle 基础环境搭建

    前言:                       不能保证100%一次通过,每个系统都会或多或少有区别,如果缺少某些依赖包的话,还请见谅   1.安装Apache需要编译安装的包,各官方网站下载   ...

  2. 《基于Apache Kylin构建大数据分析平台》

    Kyligence联合创始人兼CEO,Apache Kylin项目管理委员会主席(PMC Chair)韩卿 武汉市云升科技发展有限公司董事长,<智慧城市-大数据.物联网和云计算之应用>作者 ...

  3. 【转】使用Apache Kylin搭建企业级开源大数据分析平台

    http://www.thebigdata.cn/JieJueFangAn/30143.html 本篇文章整理自史少锋4月23日在『1024大数据技术峰会』上的分享实录:使用Apache Kylin搭 ...

  4. 【转】Apache Kylin 2.0为大数据带来交互式的BI

    本文转载自:[技术帖]Apache Kylin 2.0为大数据带来交互式的BI 编者注:Kyligence的联合创始人兼CEO Luke Han在上做题为“”的演讲. 基于Hadoop的SQL一直在被 ...

  5. 分布式大数据多维分析(OLAP)引擎Apache Kylin安装配置及使用示例【转】

    Kylin 麒麟官网:http://kylin.apache.org/cn/download/ 关键字:olap.Kylin Apache Kylin是一个开源的分布式分析引擎,提供Hadoop之上的 ...

  6. 使用Apache Kylin搭建企业级开源大数据分析平台

    转:http://www.thebigdata.cn/JieJueFangAn/30143.html 我先做一个简单介绍我叫史少锋,我曾经在IBM.eBay做过大数据.云架构的开发,现在是Kylige ...

  7. Apache Kylin大数据分析平台的演进

    转:http://mt.sohu.com/20160628/n456602429.shtml 我是来自Kyligence的李扬,是上海Kyligence的联合创始人兼CTO.今天我主要来和大家分享一下 ...

  8. Apache Kylin 概述

    1 Kylin是什么 今天,随着移动互联网.物联网.AI等技术的快速兴起,数据成为了所有这些技术背后最重要,也是最有价值的"资产".如何从数据中获得有价值的信息?这个问题驱动了相关 ...

  9. Apache Kylin在美团点评的应用

      本文原载自大数据杂谈微信公众号. 感谢美团点评工程师高大月撰文并授权转载. 高大月,美团点评工程师,Apache Kylin PMC成员,目前主要在美团点评数据平台负责OLAP查询引擎的建设. 背 ...

随机推荐

  1. Servlet(6)—HttpServletRequest接口和HttpServletResponse接口

    HttpServletRequest接口和HttpServletResponse接口是继承ServletRequest和ServletResponse接口,是他们的子接口,但是我们在程序中进程看到Se ...

  2. hdu2955 Robberies(背包)

    https://vjudge.net/problem/HDU-2955 概率是浮点数,只能做值(而且这里是累乘,也不能化成整数),这里注意要化成安全概率(1-p[i]),求安全概率的最大值. 钱数作二 ...

  3. 11、TopN实战

    1.Java版本: 1.1.取前3 package sparkcore.java; import java.util.List; import org.apache.spark.SparkConf; ...

  4. javascript日期时间操作库推荐

    https://github.com/datejs/Datejs 链接: https://pan.baidu.com/s/1QTGhxslarNyW_0kB6gyJYA 提取码: ibab 如果这篇文 ...

  5. shell编程学习笔记(八):Shell中的if条件判断

    编程语言中都有条件判断,shell编程也不例外,下面我们来看一下shell中应该怎么使用if条件判断 以下蓝色字体部分为Linux命令,红色字体的内容为输出的内容: # cd /opt/scripts ...

  6. CSAPP Tiny web server源代码分析及搭建执行

    1. Web基础 webclient和server之间的交互使用的是一个基于文本的应用级协议HTTP(超文本传输协议). 一个webclient(即浏览器)打开一个到server的因特网连接,而且请求 ...

  7. Hibernate 离线对象构建通用查询

    1.业务场景 当下主系统衍生子业务系统已经成为常态,像京东的物流和金融,阿里的支付宝和淘宝. 子业务系统需要对主系统的资源进行访问,这里的资源我具体化为数据库数据,但日常业务中可能不只是数据. 抽象服 ...

  8. html学习笔记之2——多媒体

    一:插件 插件可以通过 <object> 标签或者 <embed> 标签添加在页面中. <object width="400" height=&quo ...

  9. MATLAB 条形图添加多个图例

    MATLAB 条形图添加多个图例: 1)只有一个图例: 2)两个图例:

  10. hive set 常用参数汇总

    1. set hive.auto.convert.join = true; mapJoin的主要意思就是,当链接的两个表是一个比较小的表和一个特别大的表的时候,我们把比较小的table直接放到内存中去 ...