不多说,直接上干货!

Kudu安装前的建议说明(博主推荐)

Kudu官网推荐的步骤:

  本篇博文是installing Kudu using parcels or packages的方式。

http://kudu.apache.org/docs/installation.html#_build_from_source

规划

            kudumaster    kudu-tserver

   master        是               是

   slave1                否             是

      slave2              否         是

第一步:配置Yum的Repository

  使用Yum来安装kudu,但由于kudu还不是Yum的常规组建,直接安装会找不到kudu,所以第一步需要将kudu的repo文件下载并放置到合适的位置。
  下载kudu的repo,进入http://kudu.apache.org/docs/installation.html 页面,在下图中找到和自己的操作系统匹配的链接进行下载。

  对于这里,其实看官网一点都不难啦。大家别恐惧,对于大数据的各个组件,也就是那么一回事。

  我这里的Linux操作系统是CentOS6.5,若你是其他的版本,对应官网来,对照入座就是了。

  说白了,这种安装的风格,跟ClouderManager一样的,毕竟是一个大家族的。

  将下载成功的cloudera-kudu.repo文件放置到/etc/yum.repos.d/目录下(master、slave1、slave2)

  这里,因为我的大数据集群是master、slave1、slave2。

[cloudera-kudu]
# Packages for Cloudera's Distribution for kudu, Version 5, on RedHat or CentOS 6 x86_64
name=Cloudera's Distribution for kudu, Version 5
baseurl=http://archive.cloudera.com/kudu/redhat/6/x86_64/kudu/5/
gpgkey = http://archive.cloudera.com/kudu/redhat/6/x86_64/kudu/RPM-GPG-KEY-cloudera
gpgcheck =
第二步:安装kudu
#这是官网的解释
sudo yum install kudu # Base Kudu files
sudo yum install kudu-master # Kudu master init.d service script and default configuration
sudo yum install kudu-tserver # Kudu tablet server init.d service script and default configuration
sudo yum install kudu-client0 # Kudu C++ client shared library
sudo yum install kudu-client-devel # Kudu C++ client SDK

  但是,我这里为了给大家更仔细详细的来安装部署。

  比如我这里master是作为kudu-master的,

# yum install kudu kudu-master kudu-client0 kudu-client-devel -y

  比如我这里master、slave1、slave2是作为kudu-tserver的,

# yum install kudu kudu-tserver kudu-client0 kudu-client-devel -y
第三步:配置master和tserver节点
  安装完成之后。
  在/etc/kudu/conf目录下有两个文件:master.gflagfile和tserver.gflagfile 。
 
master.gflagfile的配置修改为:
  (目录可以根据自己的习惯来制定,但在启动kudu之前一定要事先创建好,否则master无法正常启动)
  (当然,如果不改,则就是默认在/opt下)
 
  以下是默认的
# cat /etc/kudu/conf/master.gflagfile
# Do not modify these two lines. If you wish to change these variables,
# modify them in /etc/default/kudu-master.
--fromenv=rpc_bind_addresses
--fromenv=log_dir
--fs_wal_dir=/opt/kudu/master
--fs_data_dirs=/opt/kudu/master
  以下是自定义的
# cat /etc/kudu/conf/tserver.gflagfile
# Do not modify these two lines. If you wish to change these variables,
# modify them in /etc/default/kudu-tserver.
--fromenv=rpc_bind_addresses
--fromenv=log_dir --fs_wal_dir=/home/data/kudu/master
--fs_data_dirs=/home/data/kudu/master
 
 
 
tserver.gflagfile修改为:
  以下是默认的
# cat /etc/kudu/conf/tserver.gflagfile
# Do not modify these two lines. If you wish to change these variables,
# modify them in /etc/default/kudu-tserver.
--fromenv=rpc_bind_addresses
--fromenv=log_dir
--fs_wal_dir=/opt/kudu/tserver
--fs_data_dirs=/opt/kudu/tserver
--tserver_master_addrs=master:7051
  以下是自定义的
# cat /etc/kudu/conf/tserver.gflagfile
# Do not modify these two lines. If you wish to change these variables,
# modify them in /etc/default/kudu-tserver.
--fromenv=rpc_bind_addresses
--fromenv=log_dir --fs_wal_dir=/home/data/kudu/tserver
--fs_data_dirs=/home/data/kudu/tserver
--tserver_master_addrs=master:7051
  注意,这里的--tserver_master_addrs指明了集群中master的地址,指向同一个master的tserver形成了一个kudu集群。

设置权限

   以下是默认安装的

# mkdir /opt/kudu && chown kudu:kudu /opt/kudu
 
 
  以下是自定义安装的
# mkdir /home/data/kudu && chown kudu:kudu /home/data/kudu
 
 
 
 
可能遇到的问题:
  根据官网的介绍,配置完成之后就可以启动kudu了。
  启动master和tserver的命令分别为:
sudo service kudu-master start
sudo service kudu-tserver start
  
  或者
/etc/init.d/kudu-master  start
/etc/init.d/kudu-tserver start
  但启动失败,查看日志发现kudu的启动有一个前提,NTP服务必须启动并处以同步状态。
 
  启动NTP服务的命令为:
systemctl start NTP
 
   服务启动后,需要5-10钟来完成同步。判断是否已经完成同步可以使用命令:ntpstat,如果输出为:
synchronised to NTP server (120.25.108.11) at stratum
time correct to within ms
polling server every s
  表示同步已经完成。
 
  再次启动kudu,还是报错,查看日志,发现是对/home/data/kudu没有操作权限。这个目录是我用root账号创建的,但kudu的启动默认会使用一个叫kudu的用户。执行下列命令来改变目录的所有者:
cd /home/data/kudu
chowm -R kudu:kudu ./*
  再次执行启动master(在master这台服务器上启动)和tserver(在master,slave1,slave2这三台服务器上都启动)的命令,终于成功了。 
  再在浏览器上通过http://<_host_name_>:8051 和 http://<_host_name_>:8050 可以分别查看master和tserver的详情。
 图形界面
  通过master端的web界面观察运行情况:http://master:8051

  

  可以看到所有组件都已安装完毕了。

  更多见官网,其实不难的,比如开机启动啊等,

sudo chkconfig kudu-master on
sudo chkconfig kudu-tserver on

  官网

http://kudu.apache.org/docs/installation.html#rhel_from_source

  另一种安装Kudu的方法。

Kudu安装(官网推荐的步骤)(installing build Kudu from source)

Kudu安装(官网推荐的步骤)(installing Kudu using parcels or packages)的更多相关文章

  1. Kudu安装(官网推荐的步骤)(installing build Kudu from source)

    不多说,直接上干货! Kudu安装前的建议说明(博主推荐) 这是安装Kudu的另一种方法 Kudu安装(官网推荐的步骤)(installing Kudu using parcels or packag ...

  2. Kudu的Using Apache Kudu with Apache Impala(官网推荐的步骤)

    不多说,直接上干货! http://kudu.apache.org/docs/kudu_impala_integration.html http://blog.csdn.net/lovebyz/art ...

  3. Kudu的配置(官网推荐的步骤)(Configuring Apache Kudu)

    不多说,直接上干货! http://kudu.apache.org/docs/configuration.html

  4. Kudu版本升级(官网推荐的步骤)(Upgrade from a Previous Version of Kudu)

    不多说,直接上干货! http://kudu.apache.org/docs/installation.html#sles_from_source

  5. Ubuntu14.04下Mongodb官网卸载部署步骤(图文详解)(博主推荐)

    不多说,直接上干货! 前期博客 Ubuntu14.04下Mongodb官网安装部署步骤(图文详解)(博主推荐) https://docs.mongodb.com/manual/tutorial/ins ...

  6. Ubuntu16.04下Mongodb官网卸载部署步骤(图文详解)(博主推荐)

    不多说,直接上干货! 前期博客 Ubuntu16.04下Mongodb官网安装部署步骤(图文详解)(博主推荐) https://docs.mongodb.com/manual/tutorial/ins ...

  7. 学记:spring boot使用官网推荐以外的其他数据源druid

    虽然spring boot提供了4种数据源的配置,但是如果要使用其他的数据源怎么办?例如,有人就是喜欢druid可以监控的强大功能,有些人项目的需要使用c3p0,那么,我们就没办法了吗?我们就要编程式 ...

  8. Beam编程系列之Java SDK Quickstart(官网的推荐步骤)

    不多说,直接上干货! https://beam.apache.org/get-started/beam-overview/ https://beam.apache.org/get-started/qu ...

  9. JProfiler远程监控Linux上Tomcat的安装过程细讲(步骤非常详细!!!)

    JProfiler远程监控Linux上Tomcat的安装过程细讲(步骤非常详细!!!) 1.文件准备: 服务器:CentOS Linux release 7.3.1611 (Core)     Apa ...

随机推荐

  1. Java50道经典习题-程序37 报数

    题目:有n个人围成一圈,顺序排号.从第一个人开始报数(从1到3报数),凡报到3的人退出圈子,问最后留下的是原来第几号的那位.分析:最后留下的是第n号那位 import java.util.Scanne ...

  2. 泛型List<T>转存为XML文档

    经常会有这情况,在程序处理结果为泛型List<T>,但为了能把这些集合输出XML文档.Insus.NET就因此问题,演示一个范例.在程序中,创建一个类: List<T>的集合手 ...

  3. python3如何打印进度条

    Python3 中打印进度条(#)信息: 代码: import sys,time for i in range(50): sys.stdout.write("#") sys.std ...

  4. Ubuntu小记

    一. Ubuntu分区记忆 参考教程调整: 1. /boot用于安装grub,设为主分区 2. /根目录20G一般足够 3. /home剩下的给home 4. swap空间=物理内存 挂载点 大小 类 ...

  5. hpp文件简介

    Boost库文件采用的.hpp的后缀,而不是分成两个文件,也就是”.h+.cpp”,之所以这样做是有理由的,首先就是与普通的C/C++头文件区分,另外一个原因就是使Boost库不需要预先编译,直接引用 ...

  6. 「十二省联考 2019」皮配——dp

    题目 [题目描述] #### 题目背景一年一度的综艺节目<中国好码农>又开始了.本季度,好码农由 Yazid.Zayid.小 R.大 R 四位梦想导师坐镇,他们都将组建自己的梦想战队,并率 ...

  7. web安全-密码安全

    web安全-密码安全 1.密码的作用 2.储存 3.传输 4.替代方案 5.生物特征密码 (指纹 人脸) 6.密码单向变换彩虹表 组合 密码变换次数越多越安全 加密成本几乎不变(生成密码速度慢一点) ...

  8. 解读人:董鑫,Disease Development Is Accompanied by Changes in Bacterial Protein Abundance and Functions in a Refined Model of Dextran Sulfate Sodium (DSS)-Induced Colitis

    文章中文名:在葡聚糖硫酸钠(DSS)诱导下的结肠炎模型伴随着细菌蛋白质丰度和功能的改变 单位: 1 Helmholtz-Centre for Environmental Research - UFZ, ...

  9. P3750 [六省联考2017]分手是祝愿 期望DP

    \(\color{#0066ff}{ 题目描述 }\) Zeit und Raum trennen dich und mich. 时空将你我分开. B 君在玩一个游戏,这个游戏由 \(n\) 个灯和 ...

  10. ghj1222的代码规范

    基本上和notepad++的要求一样. 不定期更新. 1.左大括号换行: int main() { return 0; } 可能有些同志(比如大佬cjh)和我的做法不一样 当一个函数很短的时候可以整个 ...