kylin 系列(一)安装部署
kylin 系列(一)安装部署
一、环境说明
1.1 版本选择
cdh 版本下载地址:http://archive.cloudera.com/cdh5/cdh/5/
软件名称 | 版本 |
---|---|
JDK | 1.8 |
HADOOP | Hadoop2.6.0-cdh5.10 |
ZOOKEERER | 3.4.5 |
HBASE | Hbase1.2.0-cdh5.10 |
HIVE | Hive1.2.0-cdh5.10 |
KAFKA | Kafka0.10 |
KYLIN | Kylin2.3.2 |
1.2 节点准备
节点 | 说明 |
---|---|
CDH-01 | |
CDH-02 | |
CDH-03 |
二、Kylin 安装与配置
2.1 软件下载
Kylin 下载地址:https://archive.apache.org/dist/kylin/
2.2 解压
tar -zxvf apache-kylin-2.3.2
ln -sv /opt/bigdata/software/apache-kylin-2.3.2 /opt/bigdata/kylin
2.3 配置环境变量
export HADOOP_HOME=/opt/bigdata/hadoop
export HBASE_HOME=/opt/bigdata/hbase
export HIVE_HOME=/opt/bigdata/hive
export HIVE_CONF_HOME=$HIVE_HOME/conf
export HCAT_HOME=$HIVE_HOME/hcatalog
export KAFKA_HOME=/opt/bigdata/kafka
export KYLIN_HOME=/opt/bigdata/kylin
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export PATH=$PATH:$HBASE_HOME/bin:$HIVE_HOME/bin:$HCAT_HOME/bin:$KAFKA_HOME:bin:$KYLIN_HOME/bin
2.4 kylin 配置文件
vi kylin.properties
# 配置节点类型(kylin 主节点模式为 all,从节点的模式为 query)
# 注意主从节点类型不一致
kylin.server.mode=all
# kylin 集群节点配置
kylin.server.cluster-servers=CHD-01:7070,CHD-02:7070,CHD-03:7070
# 定义 kylin 用于 MRjobs 的 job.jar 和 hbase 的协处理 jar,用于提升性能(添加项)
kylin.job.jar=/opt/bigdata/kylin/lib/kylin-job-2.3.2.jar
kylin.coprocessor.local.jar=/opt/bigdata/kylin/lib/kylin-coprocessor-2.3.2.jar
三、Kylin 启动
启动 Kylin 前需要启动 Hadoop、Zookeeper、Hbase、Hive 等服务。
3.1 依赖检查
# 执行下面的检查命令会在 hdfs 上创建 kylin 目录
./check-env.sh
# 检查数据源 hive 和数据存储 hbase
./find-hive-dependency.sh
./find-hbase-dependency.sh
3.2 启动 kylin 服务
# 每个节点都需要单独启动
bin/kylin.sh start
每个节点都可以查看对应的 WEB UI:http://ip:7070/kylin,默认的用户名和密码: admin/kylin
四、Kylin 测试
启动 kylin 之后运行 sample.sh 脚本(任意集群节点运行都可以)
./sample.sh
导入 sample 数据,模型,cube 成功之后系统会提示重启 kylin 或重新加载元数据让数据生效
每天用心记录一点点。内容也许不重要,但习惯很重要!
kylin 系列(一)安装部署的更多相关文章
- Sharepoint 2013 系列篇(安装部署)--上篇
前言 sharepoint的部署是按照物理拓扑图的架构来部署,按照物理拓扑图架构分为一层拓扑图架构,二层拓扑图架构,三层拓扑图架构,多层拓扑图架构. 按照分层的拓扑图部署是按照需求来划分的,一层拓扑图 ...
- Kylin安装部署
一.安装准备 1.操作系统 Centos 7.x 2.时间问题 集群内所有节点时间一定要同步. NTP.Chrony 3.用户 创建hadoop组和hadoop用户,并做ssh免密码登录 4.Hado ...
- 【Android Studio安装部署系列】目录
概述 从刚开始使用Android Studio到现在,下面所有目录下的操作,当时习惯性的把每一个整理成一个文档(其实就是简单文字描述+截图):有些地方当时是一知半解,现在会稍微明白一些.正好赶上现在有 ...
- 【Android Studio安装部署系列】二十一、Android studio将项目上传到github中
版权声明:本文为HaiyuKing原创文章,转载请注明出处! 概述 两个相关概念:git和github Git是一个开源的分布式版本控制系统,用以有效.高速的处理从很小到非常大的项目版本管理.Git ...
- 【Android Studio安装部署系列】二十五、Android studio使用NDK生成so文件和arr文件
版权声明:本文为HaiyuKing原创文章,转载请注明出处! 概述 Android Studio使用ndk的简单步骤. NDK环境搭建 下载NDK 下载链接:https://developer.and ...
- 【Android Studio安装部署系列】二十八、Android Studio查看其它APP的布局结构
概述 日常使用别家的APP过程中,会遇到一些比较好看的布局,这时候我们就想学习一下别人的布局结构,以便参考. (1)手机连接电脑.设置手机为USB调试模式 参考<[Android Studio安 ...
- 【Android Studio安装部署系列】三十三、windows系统中通过SourceTree使用git
版权声明:本文为HaiyuKing原创文章,转载请注明出处! 概述 前期准备 选择代码托管服务器:gitlab.github.开源中国等. 注册账号 创建项目 安装git 参考<[Android ...
- 【Android Studio安装部署系列】三十六、从Android Studio3.1.4升级到Android studio3.2【以及创建android p模拟器(未成功)】
版权声明:本文为HaiyuKing原创文章,转载请注明出处! 概述 因为想要使用Android P模拟器,所以需要将Android Studio升级到3.2版本以上. 按照官网的说法:参考<ht ...
- 【Android Studio安装部署系列】三十六、Android studio3.2使用过程中注意事项
版权声明:本文为HaiyuKing原创文章,转载请注明出处! 概述 Android Studio升级到3.2之后,运行旧项目的时候出现了各种情况,特此记录下. 一.打包选项多了,一般情况下选择APK即 ...
随机推荐
- oData 排序字段生成
跟踪SQL 发现生成的SQL中所有的字段都进行了排序,查看OData原代码,发现如果实体有Key,就按照Key asc 加上指定字段进行排序 属性 EnsureStableOrdering可以控制是否 ...
- 学习笔记之Linux / Shell / QSHELL
shell(计算机壳层)_百度百科 http://baike.baidu.com/subview/849/15831672.htm Shell (computing) - Wikipedia, the ...
- 学习笔记之Python爬虫
Python 爬虫介绍 | 菜鸟教程 http://www.runoob.com/w3cnote/python-spider-intro.html https://blog.csdn.net/sina ...
- Scrapy实战篇(三)之爬取豆瓣电影短评
今天的主要内容是爬取豆瓣电影短评,看一下网友是怎么评价最近的电影的,方便我们以后的分析,以以下三部电影:二十二,战狼,三生三世十里桃花为例. 由于豆瓣短评网页比较简单,且不存在动态加载的内容,我们下面 ...
- Java如何运行一个class文件的main方法
假设如下目录有个class文件,并且里面有main方法: d:\workspace\eclipse\com\JavaCore\classloader\MyClassLoader.class 首先进入c ...
- java中拼接两个对象集合
目标: 根据两个list中每条记录的某个属性是否相同来拼接. 1.首先定义一个字符串 String str = "[{\"ITEMID\":2,\"ITEMN ...
- SQL查数据库有哪些触发器,存储过程...
select name from sysobjects where xtype='TR' --所有触发器select name from sysobjects where xtype='P' --所有 ...
- 204. jetcache:在Spring Boot中怎么玩?
[视频&交流平台] àSpringBoot视频:http://t.cn/R3QepWG à SpringCloud视频:http://t.cn/R3QeRZc à Spring Boot源 ...
- How can I manage the modules for python2 when python3 installed as well. In OSX
ref: https://stackoverflow.com/questions/53385448/how-can-i-manage-the-modules-for-python2-when-pyth ...
- c#随机生成英文名
private static string GenerateSurname() { string name = string.Empty; string[] currentConson ...