Apache kylin的基础环境
一、Apache kylin的基础环境
由于Apache kylin上的OLAP(wiki:OLAP)是构建在hadoop生态环境上的,所以hadoop环境的稳定性和健壮性对kylin的稳定运行至关重要。一般而言,Apache kylin实例最好部署在hadoop集群的客户端机器上;而通过hadoop客户端机器,kylin最好能直接访问hadoop、hdfs、hive、hbase等命令行脚本;另外,kylin进程实例的所有者,需要具备以下权限:
- 读/写 hadoop分布式文件系统。
- 提交MR任务到hadoop集群。
- 创建/删除hive表。
- 创建hbase表。
如下图:
以下是Apache kylin依赖环境的组件及版本推荐:
- Hadoop: 2.6 - 2.7
- Hive: 0.13 - 1.2.1
- HBase: 0.98 - 0.99, 1.x
- JDK: 1.7+
二、Apache kylin的安装部署
安装:
- 下载最近版本的kylin:Apache Kylin,解压。
- 在 ~/.bash_profile 中添加指向解压后的kylin文件夹的KYLIN_HOME环境变量。
- 确保当前用户能在命令行接口中访问hadoop, hive , hbase 命令,如果你不确定,可利用$KYLIN_HOME/bin/check-env.sh 验证。
部署:
一般以集群模式部署kylin,kylin实例进程是无状态的,kylin实例运行的状态信息保存在hbase和hdfs中(后面有单独篇章讲元数据)kylin实例有三种运行模式,决定了该实例的职责,如下:
- job,该实例作为cube build engine运行。
- query, 该实例作为query engine运行。
- all,该实例既可作为query engine运行,也可以作为cube build engine 运行。
注意:kylin集群只能有一个实例以 job 或者 all 模式运行 ,其余所有实例只能作为 queryengine运行。一个典型的部署方式如下:

以集群模式部署kylin时,每个kylin服务器实例的${HOME_KYLIN}/conf/kylin.properties文件中的以下两个参数需注意:
- kylin.rest.servers,提供查询服务的kylin实例列表,如:kylin.rest.servers=hostname1:7070,hostname2:7070
- kylin.server.mode,kylin实例的运行模式,注意,只能有一个实例以 job或者 all 模式运行 ,其余所有实例只能以 query 模式运行。
三、Apache kylin的基础运维
- 启动实例
$KYLIN_HOME/bin/kylin.sh start
2.关闭实例
$KYLIN_HOME/bin/kylin.sh stop
Apache kylin的基础环境的更多相关文章
- Linux+Apache+Php+Oracle 基础环境搭建
前言: 不能保证100%一次通过,每个系统都会或多或少有区别,如果缺少某些依赖包的话,还请见谅 1.安装Apache需要编译安装的包,各官方网站下载 ...
- 《基于Apache Kylin构建大数据分析平台》
Kyligence联合创始人兼CEO,Apache Kylin项目管理委员会主席(PMC Chair)韩卿 武汉市云升科技发展有限公司董事长,<智慧城市-大数据.物联网和云计算之应用>作者 ...
- 【转】使用Apache Kylin搭建企业级开源大数据分析平台
http://www.thebigdata.cn/JieJueFangAn/30143.html 本篇文章整理自史少锋4月23日在『1024大数据技术峰会』上的分享实录:使用Apache Kylin搭 ...
- 【转】Apache Kylin 2.0为大数据带来交互式的BI
本文转载自:[技术帖]Apache Kylin 2.0为大数据带来交互式的BI 编者注:Kyligence的联合创始人兼CEO Luke Han在上做题为“”的演讲. 基于Hadoop的SQL一直在被 ...
- 分布式大数据多维分析(OLAP)引擎Apache Kylin安装配置及使用示例【转】
Kylin 麒麟官网:http://kylin.apache.org/cn/download/ 关键字:olap.Kylin Apache Kylin是一个开源的分布式分析引擎,提供Hadoop之上的 ...
- 使用Apache Kylin搭建企业级开源大数据分析平台
转:http://www.thebigdata.cn/JieJueFangAn/30143.html 我先做一个简单介绍我叫史少锋,我曾经在IBM.eBay做过大数据.云架构的开发,现在是Kylige ...
- Apache Kylin大数据分析平台的演进
转:http://mt.sohu.com/20160628/n456602429.shtml 我是来自Kyligence的李扬,是上海Kyligence的联合创始人兼CTO.今天我主要来和大家分享一下 ...
- Apache Kylin 概述
1 Kylin是什么 今天,随着移动互联网.物联网.AI等技术的快速兴起,数据成为了所有这些技术背后最重要,也是最有价值的"资产".如何从数据中获得有价值的信息?这个问题驱动了相关 ...
- Apache Kylin在美团点评的应用
本文原载自大数据杂谈微信公众号. 感谢美团点评工程师高大月撰文并授权转载. 高大月,美团点评工程师,Apache Kylin PMC成员,目前主要在美团点评数据平台负责OLAP查询引擎的建设. 背 ...
随机推荐
- Docker 常用命令(四)
1. 查看容器中的进程信息: docker top 772d23 查看容器的详细信息: docker inspect 772d23 持续更新日志 docker logs -f 7732dx
- 问题9:tabtle 整理
合并“行”单元格: <th colspan="2">Telephone</th> 合并“列”单元格: <th rowspan="2" ...
- bootstrap学习总结
bootstrap网站下载: 谷歌浏览器访问:http://github.com/twbs/bootstrap/ 右上角(clone or download) 编译版bootstrap:http ...
- HTML5 学习02——新元素:canvas
HTML5 Canvas <canvas>标签:使用脚本 (通常是JavaScript)来绘制图形——默认情况下 <canvas> 元素没有边框和内容. 在画布上(Canvas ...
- redis 简单使用总结
作者:王清培(Plen wang) 沪江Java资深架构师 最近一段时间与redis接触比较频繁.发现有些东西还是工作中经常会用到的,自己也花了点时间巩固下.本篇文章主要是以总结性的方式梳理,因为r ...
- 巧用watch命令执行循环操作,来解放我们的双手
有时候我们需要重复执行某个 命令,观察某个文件和某个结果的变化情况.可以写 脚本去实现这些需求,但是有更简单的方法,本文档要介绍的就是watch 命令. 1. 以固定时间反复执行某个命令 root@j ...
- MFC中使用ATL报错:error C4430: missing type specifier - int assumed. Note: C++ does not support default-int
我在MFC中使用ATL函数A2W的时候报如下的错误: error C4430: missing type specifier - int assumed. Note: C++ does not sup ...
- 每天一个linux命令:du
1.命令简介 du (Disk usage) 用来计算每个文件的磁盘用量,目录则取总用量. 2.用法 用法:du [选项]... [文件]... 或:du [选项]... --files0-from= ...
- 带你Python入门,踏进人工智能领域
1.Python能做什么? 不知大家 没有看<中国好声音>呢?有位选择就是利用AI改编了一首周杰伦的歌<止战之殇>. Python适合做人工智能AI吗? 很明确的告诉你,可以! ...
- 【将门创投】AI 往期技术分享
计算机视觉 1. 嘉宾:商汤科技CEO 徐立 文章回顾:计算机视觉的完整链条,从成像到早期视觉再到识别理解 2. 嘉宾:格灵深瞳CTO 赵勇 文章回顾:计算机视觉在安防.交通.机器人.无人车等领域的应 ...
