首先咱得有KUDU安装包

这里就不提供直接下载地址了(因为有5G,我 的服务器网卡只有4M,你们下的很慢)

这里使用的是CDH版本

官方下载地址http://archive.cloudera.com/cdh5/

我这里有3个节点node01,node02,node03。这里上传到node03中

这里与imapa做整合了,绿色的为整合部分可以不看

首先上传到/export/data/ 下(没有的同学请创建mkdir /export/data)

到此目录下

cd /export/data

解压在当前目录

tar -zxvf cdh5.14.0-centos6.tar.gz 

制作本地yum源(方便duku自己去寻找)

yum  -y install httpd 

安装完成

启动

service httpd start

进入

cd /etc/yum.repos.d

  

该安装目录下,并且打开localimp.repo

vim localimp.repo

修改为

创建apache httpd的读取连接

ln -s /export/data/cdh/5.14.0 /var/www/html/5.14fuckKudu(配置外网访问路径)

去var/www/html查看

cd /var/www/html

ll

 

访问http://node03/5.14fuckKudu

解释:ln -s 建立软连接,想当于5.14.0与后面的fuckKudu关联

localimp中的url会寻找/var/www/html下是否哟fuckKudu,寻找到及可以访问,不配置也能访问5.14fuckKudu,这个和impala右关

如果var/www/html不写路径,默认取5.14.0(磁盘被映射文件名)

impala分发到其它节点node02,node03

cd /etc/yum.repos.d/
scp localimp.repo node02:$PWD
scp localimp.repo node01:$PWD

3个节点安装kudu

 yum install -y kudu kudu-master kudu-tserver kudu-client0 kudu-client-devel

成功

配置(修改3台)

进入/etc/kudu/conf

cd /etc/kudu/conf

master日志

vim /etc/default/kudu-master

  修改成自己的节点映射或ip(这里是节点映射)

修改master

vim /etc/kudu/conf/master.gflagfile

添加

--fromenv=rpc_bind_addresses
--fromenv=log_dir
--fs_wal_dir=/export/servers/kudu/master
--fs_data_dirs=/export/servers/kudu/master
--master_addresses=node:7051,node02:7051,node03:7051

  

每台都要改(改成当前节点的)

tserver日志

修改rpc地址为自己的节点

vim  /etc/default/kudu-tserver

修改tserver

vim /etc/kudu/conf/tserver.gflagfile

  去掉默认的

添加

--fromenv=rpc_bind_addresses
--fromenv=log_dir
--fs_wal_dir=/export/servers/kudu/tserver
--fs_data_dirs=/export/servers/kudu/tserver
--tserver_master_addrs=node01:7051,node02:7051,node03:7051

 

因为没有这个dir文件夹,所以需要创建

在三台节点上创建

mkdir -p /export/servers/kudu/tserver
mkdir -p /export/servers/kudu/master

kudu的默认权限是kudu用户组。所以需要改变权限为kudu

chown -R kudu:kudu kudu/

  

kudu非常依赖时间同步,为了确保万一,进行时间同步

/etc/init.d/ntpd restart

启动测试

sudo service kudu-master start

失败,去日志查看

vim /var/log/kudu/此日志文件名

发现master配置疑似多个了空格

vim /etc/kudu/conf/master.gflagfile

删除空格

重新测试sudo service kudu-master start

还是FAILED

查看日志

发现是更改kudu后,但是没有加-R,所以文件夹的内部文件夹还是root

重写chown -R kudu:kudu kudu/

重新测试

发现还是失败,查看日志,不一样了,说明之前的问题解决了,这是个新问题

妈的,端口无效,我居然写了个::端口

修改vim /etc/default/kudu-master

重新测试sudo service kudu-master start

查看日志

原因是我的node01时间不一致,时间修改不了,我去问问那些10年工作经验的大神们.

十年开发经验的大神改了允许默认修改,并且映射了其它机器的时间,现在在来重试一下

启动

service kudu-master start

失败,所有节点全部先启动service ntpd start

然后在启动kudu-master start 成功

启动sudo service kudu-tserver start

需要启动3台节点

访问页面

kudu很不稳定,容易掉(依赖ntpd),开发建议不用,优点高可用,OPAL计算,天生和imapa结合。

kudu集群高可用搭建的更多相关文章

  1. hadoop+zookeeper集群高可用搭建

                                                                  hadoop+zookeeper集群高可用搭建 Senerity 发布于 2 ...

  2. fastdfs+nginx集群高可用搭建的一些坑!!记录一下

    首先我这里是三台节点,都搭tracker和storage,然后使用nginx做负载,只建一个group1,三个tracker! 搭建步骤比较麻烦,里面有很多坑需要注意,步骤就不啰嗦了,这里主要记录几个 ...

  3. Rabbitmq集群高可用测试

    Rabbitmq集群高可用 RabbitMQ是用erlang开发的,集群非常方便,因为erlang天生就是一门分布式语言,但其本身并不支持负载均衡. Rabbit模式大概分为以下三种:单一模式.普通模 ...

  4. 浅谈MySQL集群高可用架构

    前言 高可用架构对于互联网服务基本是标配,无论是应用服务还是数据库服务都需要做到高可用.对于一个系统而言,可能包含很多模块,比如前端应用,缓存,数据库,搜索,消息队列等,每个模块都需要做到高可用,才能 ...

  5. bitmq集群高可用测试

    Rabbitmq集群高可用 RabbitMQ是用erlang开发的,集群非常方便,因为erlang天生就是一门分布式语言,但其本身并不支持负载均衡. Rabbit模式大概分为以下三种:单一模式.普通模 ...

  6. 集群高可用之lvs+keepalive

    集群高可用之lvs+keepalive keepalive简介: 负载均衡架构依赖于知名的IPVS内核模块,keepalive由一组检查器根据服务器的健康情况动态维护和管理服务器池.keepalive ...

  7. mysql集群高可用架构

    前言 高可用架构对于互联网服务基本是标配,无论是应用服务还是数据库服务都需要做到高可用.对于一个系统而言,可能包含很多模块,比如前端应用,缓存,数据库,搜索,消息队列等,每个模块都需要做到高可用,才能 ...

  8. RabbitMQ从零到集群高可用(.NetCore5.0) -高可用集群构建落地

    系列文章: RabbitMQ从零到集群高可用(.NetCore5.0) - RabbitMQ简介和六种工作模式详解 RabbitMQ从零到集群高可用(.NetCore5.0) - 死信队列,延时队列 ...

  9. openstack pike 集群高可用 安装 部署 目录汇总

    # openstack pike 集群高可用 安装部署#安装环境 centos 7 史上最详细的openstack pike版 部署文档欢迎经验分享,欢迎笔记分享欢迎留言,或加QQ群663105353 ...

随机推荐

  1. WebApp 安全风险与防护课堂(第二讲)开课了!

    本文由葡萄城技术团队于原创并首发 转载请注明出处:葡萄城官网,葡萄城为开发者提供专业的开发工具.解决方案和服务,赋能开发者. 在昨天的公开课中,由于参与的小伙伴们积极性和热情非常高,我们的讲师Carl ...

  2. HTTP Post之multipart/form-data和application/x-www-form-urlencoded

    关于HttpPost,有这样两种可Post的数据载体,分别是MultipartEntity和UrlEncodedFormEntity,对这两者的共性和异性做如下解释和备忘: 共性: 1.都属于HTTP ...

  3. .Net for Spark 实现 WordCount 应用及调试入坑详解

    .Net for Spark 实现WordCount应用及调试入坑详解 1.    概述 iNeuOS云端操作系统现在具备物联网.视图业务建模.机器学习的功能,但是缺少一个计算平台产品.最近在调研使用 ...

  4. Android开发需要了解的 IM 知识

    引言 即便在通讯如此发达的今天,IM 也依然是诸多场景下非常重要的基础能力.因此做为 一名 Android 开发,不可避免的会遇到一些IM 相关的需求或问题.本文以一个Android开发的角度来讲述I ...

  5. Scala 学习之路(三)—— 流程控制语句

    一.条件表达式if Scala中的if/else语法结构与Java中的一样,唯一不同的是,Scala中的if表达式是有返回值的. object ScalaApp extends App { val x ...

  6. MAC 安装telnet

    https://blog.csdn.net/licheng70356213/article/details/81162660 在10.12及以下版本,都内置了telnet命令,但是在10.13中,已经 ...

  7. spring源码深度解析— IOC 之 自定义标签解析

    概述 之前我们已经介绍了spring中默认标签的解析,解析来我们将分析自定义标签的解析,我们先回顾下自定义标签解析所使用的方法,如下图所示: 我们看到自定义标签的解析是通过BeanDefinition ...

  8. mysql中id值被重置的情况

    MySQL中,如果你为一张使用了innodb引擎的表指定了一auto_increment列,那么这张表会有一个auto_increment计数器,专门记录当前auto_increment的相关值,用来 ...

  9. 操作xml练习

    案例1:获取指定节点的内容 public void XmlTest() { string xmlFileName=AppDomain.CurrentDomain.BaseDirectory+" ...

  10. CDQZ集训DAY7 日记

    并没有考试然而心情比考试还糟糕…… 上午讲的基本就听不懂,讲课人迷之停顿.根本让人跟不上趟,声音好奇怪的说……好不容易讲到反演,Hzoi集体上线,等待装逼时刻的到来.然而,讲课人再次迷之停顿,讲一个p ...