1. ZK集群，Hadoop集群，Hbase集群安装

Linux121 Linux122 Linux123
Hadoop
MySQL
ZK
HBASE

1.1 安装Vmware，安装虚拟机集群

1.1.1 安装 (VMware-workstation-full-15.5.5-16285975)

许可证:

UY758-0RXEQ-M81WP-8ZM7Z-Y3HDA

1.1.2 安装 centos7

123456

1.1.3 配置静态IP

vi /etc/sysconfig/network-scripts/ifcfg-ens33



:wq

systemctl restart network

ip addr



ping www.baidu.com


快照


安装jdk


mkdir -p /opt/lagou/software    --软件安装包存放目录

mkdir -p /opt/lagou/servers     --软件安装目录


rpm -qa | grep java

清理上面显示的包名

sudo yum remove java-1.8.0-openjdk

上传文件jdk-8u421-linux-x64.tar.gz

chmod 755 jdk-8u421-linux-x64.tar.gz

解压文件到/opt/lagou/servers目录下

tar -zxvf jdk-8u421-linux-x64.tar.gz -C /opt/lagou/servers

cd /opt/lagou/servers

ll


配置环境


vi /etc/profile


export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_421

export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar

export PATH=$PATH:${JAVA_HOME}/bin


source /etc/profile

java -version

1.1.4 安装Xmanager

连接192.168.49.121:22

密码：123456

1.1.5 克隆2台机器,并配置

vi /etc/sysconfig/network-scripts/ifcfg-ens33



systemctl restart network

ip addr

hostnamectl

hostnamectl set-hostname linux121


关闭防火墙


systemctl status firewalld

systemctl stop firewalld

systemctl disable firewalld


关闭selinux


vi /etc/selinux/config



三台机器免密登录


vi /etc/hosts



192.168.49.121 linux121

192.168.49.122 linux122

192.168.49.123 linux123



第一步: ssh-keygen -t rsa 在centos7-1和centos7-2和centos7-3上面都要执行，产生公钥

和私钥

ssh-keygen -t rsa

第二步：在centos7-1 ,centos7-2和centos7-3上执行:

ssh-copy-id linux121 将公钥拷贝到centos7-1上面去

ssh-copy-id linux122 将公钥拷贝到centos7-2上面去

ssh-copy-id linux123 将公钥拷贝到centos7-3上面去

ssh-copy-id linux121

ssh-copy-id linux122

ssh-copy-id linux123

第三步：

centos7-1执行:

scp /root/.ssh/authorized_keys linux121:$PWD

scp /root/.ssh/authorized_keys linux122:$PWD

scp /root/.ssh/authorized_keys linux123:$PWD


三台机器时钟同步


sudo cp -a /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak

sudo curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

sudo yum clean all

sudo yum makecache

sudo yum install ntpdate

ntpdate us.pool.ntp.org

crontab -e

*/1 * * * * /usr/sbin/ntpdate us.pool.ntp.org;


快照

1.2 安装ZK,Hadoop,Hbase集群，安装mysql

1.2.1 安装hadoop集群

在/opt目录下创建文件夹


mkdir -p /opt/lagou/software    --软件安装包存放目录

mkdir -p /opt/lagou/servers     --软件安装目录


上传hadoop安装文件到/opt/lagou/software


https://archive.apache.org/dist/hadoop/common/hadoop-2.9.2/

hadoop-2.9.2.tar.gz



linux121节点




tar -zxvf hadoop-2.9.2.tar.gz -C /opt/lagou/servers

ll /opt/lagou/servers/hadoop-2.9.2


yum install -y vim

添加环境变量

vim /etc/profile


##HADOOP_HOME

export HADOOP_HOME=/opt/lagou/servers/hadoop-2.9.2

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin


source /etc/profile

hadoop version


HDFS集群配置


cd /opt/lagou/servers/hadoop-2.9.2/etc/hadoop


vim hadoop-env.sh

export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_421


vim core-site.xml

 <!-- 指定HDFS中NameNode的地址 -->

<property>

 <name>fs.defaultFS</name>

 <value>hdfs://linux121:9000</value>

</property>

 <!-- 指定Hadoop运行时产生文件的存储目录 -->

<property>

 <name>hadoop.tmp.dir</name>

 <value>/opt/lagou/servers/hadoop-2.9.2/data/tmp</value>

</property>


 vim slaves

linux121

linux122

linux123


vim mapred-env.sh

export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_421


mv mapred-site.xml.template mapred-site.xml

 vim mapred-site.xml

 <!-- 指定MR运行在Yarn上 -->

 <property>

 <name>mapreduce.framework.name</name>

 <value>yarn</value>

 </property>


vi mapred-site.xml

在该文件里面增加如下配置。

<!-- 历史服务器端地址 -->

 <property>

 <name>mapreduce.jobhistory.address</name>

 <value>linux121:10020</value>

 </property>

 <!-- 历史服务器web端地址 -->

 <property>

 <name>mapreduce.jobhistory.webapp.address</name>

 <value>linux121:19888</value>

 </property>


vim yarn-env.sh

export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_421


 vim yarn-site.xml

 <!-- 指定YARN的ResourceManager的地址 -->

 <property>

 <name>yarn.resourcemanager.hostname</name>

 <value>linux123</value>

 </property>

 <!-- Reducer获取数据的方式 -->

 <property>

 <name>yarn.nodemanager.aux-services</name>

 <value>mapreduce_shuffle</value>

 </property>


vi yarn-site.xml

在该文件里面增加如下配置。

<!-- 日志聚集功能使能 -->

<property>

 <name>yarn.log-aggregation-enable</name>

 <value>true</value>

 </property>

 <!-- 日志保留时间设置7天 -->

 <property>

 <name>yarn.log-aggregation.retain-seconds</name>

     <value>604800</value>

 </property>

 <property>

     <name>yarn.log.server.url</name>

     <value>http://linux121:19888/jobhistory/logs</value>

 </property>


chown -R root:root /opt/lagou/servers/hadoop-2.9.2


分发配置


三台都要

sudo yum install -y rsync


touch rsync-script

vim rsync-script

#!/bin/bash

 #1 获取命令输入参数的个数，如果个数为0，直接退出命令

paramnum=$#

 if((paramnum==0)); then

 echo no params;

 exit;

 fi

 #2 根据传入参数获取文件名称

p1=$1

 file_name=`basename $p1`

 echo fname=$file_name

 #3 获取输入参数的绝对路径

pdir=`cd -P $(dirname $p1); pwd`

 echo pdir=$pdir

 #4 获取用户名称

user=`whoami`

 #5 循环执行rsync

 for((host=121; host<124; host++)); do

 echo ------------------- linux$host --------------

rsync -rvl $pdir/$file_name $user@linux$host:$pdir

 done


chmod 777 rsync-script

./rsync-script /home/root/bin

./rsync-script /opt/lagou/servers/hadoop-2.9.2

./rsync-script /opt/lagou/servers/jdk1.8.0_421

./rsync-script /etc/profile


在namenode，linux121上格式化节点

hadoop namenode -format

ssh localhost

集群群起

stop-dfs.sh

stop-yarn.sh

sbin/start-dfs.sh



datanode可能起不来

sudo rm -rf /opt/lagou/servers/hadoop-2.9.2/data/tmp/*

hadoop namenode -format

sbin/start-dfs.sh


注意：NameNode和ResourceManger不是在同一台机器，不能在NameNode上启动 YARN，应该

在ResouceManager所在的机器上启动YARN

sbin/start-yarn.sh

linux121：

sbin/mr-jobhistory-daemon.sh start historyserver


地址:

hdfs：

http://linux121:50070/dfshealth.html#tab-overview

日志:

http://linux121:19888/jobhistory

cd /opt/lagou/servers/hadoop-2.9.2

sbin/mr-jobhistory-daemon.sh stop historyserver

stop-yarn.sh

stop-dfs.sh

测试

hdfs dfs -mkdir /wcinput

cd /root/

touch wc.txt

vi wc.txt

hadoop mapreduce yarn

 hdfs hadoop mapreduce

 mapreduce yarn lagou

 lagou

 lagou

保存退出

: wq!

hdfs dfs -put wc.txt /wcinput

hadoop jar share/hadoop/mapreduce/hadoop mapreduce-examples-2.9.2.jar wordcount /wcinput /wcoutput

1.2.2 安装zk集群

上传并解压zookeeper-3.4.14.tar.gz 

tar -zxvf zookeeper-3.4.14.tar.gz -C ../servers/


修改配置⽂文件创建data与log⽬目录


#创建zk存储数据⽬目录

mkdir -p /opt/lagou/servers/zookeeper-3.4.14/data

 #创建zk⽇日志⽂文件⽬目录

mkdir -p /opt/lagou/servers/zookeeper-3.4.14/data/logs

 #修改zk配置⽂文件

cd /opt/lagou/servers/zookeeper-3.4.14/conf

 #⽂文件改名

mv zoo_sample.cfg zoo.cfg

mkdir -p /opt/lagou/servers/zookeeper-3.4.14/data

mkdir -p /opt/lagou/servers/zookeeper-3.4.14/data/logs

cd /opt/lagou/servers/zookeeper-3.4.14/conf

mv zoo_sample.cfg zoo.cfg

 vim zoo.cfg

 #更更新datadir

 dataDir=/opt/lagou/servers/zookeeper-3.4.14/data

 #增加logdir

 dataLogDir=/opt/lagou/servers/zookeeper-3.4.14/data/logs

 #增加集群配置

##server.服务器器ID=服务器器IP地址：服务器器之间通信端⼝口：服务器器之间投票选举端⼝口

server.1=linux121:2888:3888

server.2=linux122:2888:3888

server.3=linux123:2888:3888

 #打开注释

#ZK提供了了⾃自动清理理事务⽇日志和快照⽂文件的功能，这个参数指定了了清理理频率，单位是⼩小时

autopurge.purgeInterval=1


 cd /opt/lagou/servers/zookeeper-3.4.14/data

 echo 1 > myid

 安装包分发并修改myid的值

cd /opt/lagou/servers/hadoop-2.9.2/etc/hadoop

 ./rsync-script /opt/lagou/servers/zookeeper-3.4.14

 修改myid值 linux122

 echo 2 >/opt/lagou/servers/zookeeper-3.4.14/data/myid 

 修改myid值 linux123

 echo 3 >/opt/lagou/servers/zookeeper-3.4.14/data/myid 

 依次启动三个zk实例例

启动命令（三个节点都要执⾏行行）

/opt/lagou/servers/zookeeper-3.4.14/bin/zkServer.sh start

查看zk启动情况

/opt/lagou/servers/zookeeper-3.4.14/bin/zkServer.sh status

集群启动停⽌止脚本

vim zk.sh

 #!/bin/sh

 echo "start zookeeper server..."

 if(($#==0));then

 echo "no params";

 exit;

 fi

 hosts="linux121 linux122 linux123"

 for host in $hosts

 do

 ssh $host "source /etc/profile; /opt/lagou/servers/zookeeper-3.4.14/bin/zkServer.sh $1"

 done

chmod 777 zk.sh

./zk.sh start

./zk.sh stop

./zk.sh status

1.2.3 安装Hbase集群(先启动Hadoop和zk才能启动Hbase)

解压安装包到指定的规划目录 hbase-1.3.1-bin.tar.gz

tar -zxvf hbase-1.3.1-bin.tar.gz -C /opt/lagou/servers

修改配置文件

把hadoop中的配置core-site.xml 、hdfs-site.xml拷贝到hbase安装目录下的conf文件夹中

ln -s /opt/lagou/servers/hadoop-2.9.2/etc/hadoop/core-site.xml /opt/lagou/servers/hbase-1.3.1/conf/core-site.xml

ln -s /opt/lagou/servers/hadoop-2.9.2/etc/hadoop/hdfs-site.xml /opt/lagou/servers/hbase-1.3.1/conf/hdfs-site.xml

修改conf目录下配置文件

cd /opt/lagou/servers/hbase-1.3.1/conf

vim hbase-env.sh

 #添加java环境变量

export JAVA_HOME=/opt/lagou/servers/jdk1.8.0_421

 #指定使用外部的zk集群

export HBASE_MANAGES_ZK=FALSE


vim hbase-site.xml

<configuration>

          <!-- 指定hbase在HDFS上存储的路径 -->

        <property>

                <name>hbase.rootdir</name>

                <value>hdfs://linux121:9000/hbase</value>

        </property>

                <!-- 指定hbase是分布式的 -->

        <property>

                <name>hbase.cluster.distributed</name>

                <value>true</value>

        </property>

                <!-- 指定zk的地址，多个用“,”分割 -->

        <property>

                <name>hbase.zookeeper.quorum</name>

                <value>linux121:2181,linux122:2181,linux123:2181</value>

        </property>

 </configuration>       


vim regionservers

linux121

linux122

linux123

vim backup-masters

linux122


vim /etc/profile

export HBASE_HOME=/opt/lagou/servers/hbase-1.3.1

export PATH=$PATH:$HBASE_HOME/bin


分发hbase目录和环境变量到其他节点

cd /opt/lagou/servers/hadoop-2.9.2/etc/hadoop

./rsync-script /opt/lagou/servers/hbase-1.3.1

./rsync-script /etc/profile


让所有节点的hbase环境变量生效

在所有节点执行  source /etc/profile


cd /opt/lagou/servers/hbase-1.3.1/bin

HBase集群的启动和停止

前提条件：先启动hadoop和zk集群

启动HBase：start-hbase.sh

停止HBase：stop-hbase.sh


HBase集群的web管理界面

启动好HBase集群之后，可以访问地址：HMaster的主机名:16010

linux121:16010

1.2.4 安装mysql

卸载系统自带的mysql

rpm -qa | grep mysql

rpm -e --nodeps mysql-libs-5.1.73-8.el6_8.x86_64


安装mysql-community-release-el6-5.noarch.rpm

rpm -ivh mysql-community-release-el6-5.noarch.rpm


安装mysql 服务器

yum -y install mysql-community-server

启动服务

service mysqld start

如果出现:serivce: command not found

安装service

yum install initscripts


配置数据库


设置密码

/usr/bin/mysqladmin -u root password '123'

# 进入mysql

mysql -uroot -p123

# 清空 mysql 配置文件内容

>/etc/my.cnf

修改

vi /etc/my.cnf

[client]

default-character-set=utf8

[mysql]

default-character-set=utf8

[mysqld]

character-set-server=utf8

重启查看，授权远程连接

service mysqld restart

mysql -uroot -p123

show variables like 'character_set_%';

# 给root授权:既可以本地访问, 也可以远程访问

grant all privileges on *.* to 'root'@'%' identified by '123' with grant

option;

# 刷新权限(可选)

flush privileges;


快照

图片不显示无伤大雅，就是示例，步骤都在。

快速搭建hadoop,zk,hbase的基础集群的更多相关文章

  1. 三分钟快速搭建分布式高可用的Redis集群

    这里的Redis集群指的是Redis Cluster,它是Redis在3.0版本正式推出的专用集群方案,有效地解决了Redis分布式方面的需求.当单机内存.并发.流量等遇到瓶颈的时候,可以采用这种Re ...

  2. linux虚拟机环境快速搭建redis5.x版本的主从集群总结

    文/朱季谦 我在阿里云服务器上曾参与过公司redis集群的搭建,但时间久了,都快忘记当时的搭建过程了,故而决定在虚拟机centOS 7的环境,自行搭建一套redis5.x版本的集群,该版本集群的搭建比 ...

  3. 快速搭建Hadoop及HBase分布式环境

    本文旨在快速搭建一套Hadoop及HBase的分布式环境,自己测试玩玩的话ok,如果真的要搭一套集群建议还是参考下ambari吧,目前正在摸索该项目中.下面先来看看怎么快速搭建一套分布式环境. 准备 ...

  4. Hadoop（五）搭建Hadoop与Java访问HDFS集群

    前言 上一篇详细介绍了HDFS集群,还有操作HDFS集群的一些命令,常用的命令: hdfs dfs -ls xxx hdfs dfs -mkdir -p /xxx/xxx hdfs dfs -cat ...

  5. hbase完整分布式集群搭建

    简介: hadoop的单机,伪分布式,分布式安装 hadoop2.8 集群 1 (伪分布式搭建 hadoop2.8 ha 集群搭建 hbase完整分布式集群搭建 hadoop完整集群遇到问题汇总 Hb ...

  6. 搭建hbase1.2.5完全分布式集群

    简介 有一段时间,没写博客了,因为公司开发分布式调用链追踪系统,用到hbase,在这里记录一下搭建过程 1.集群如下: ip 主机名 角色 192.168.6.130 node1.jacky.com ...

  7. Kafka：ZK+Kafka+Spark Streaming集群环境搭建（十）安装hadoop2.9.0搭建HA

    如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...

  8. Kafka：ZK+Kafka+Spark Streaming集群环境搭建（三）安装spark2.2.1

    如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...

  9. Zookeeper,Hbase 伪分布,集群搭建

    工作中一般使用的都是zookeeper和Hbase的分布式集群. more /etc/profile cd /usr/local zookeeper-3.4.5.tar.gz zookeeper在安装 ...

  10. 基于HBase0.98.13搭建HBase HA分布式集群

    在hadoop2.6.0分布式集群上搭建hbase ha分布式集群.搭建hadoop2.6.0分布式集群,请参考“基于hadoop2.6.0搭建5个节点的分布式集群”.下面我们开始啦 1.规划 1.主 ...

随机推荐

  1. 如何计算两个正太分布的KL散度 —— 正太分布的KL散度 (Kullback-Leibler divergence) 计算

    参考: https://blog.csdn.net/int_main_Roland/article/details/124650909 给出实现代码: def get_kl(): mean0, log ...

  2. tmux开启鼠标模式

    在tmux的配置文件中进行配置: vim ~/.tmux.conf set -g mouse on

  3. 【转载】 tmux 向上向下翻页，翻屏

    作者:江河湖海洋链接:https://www.jianshu.com/p/8835f2d4245f来源:简书著作权归作者所有.商业转载请联系作者获得授权,非商业转载请注明出处. =========== ...

  4. Apache DolphinScheduler 在奇富科技的首个调度异地部署实践

    奇富科技(原360数科)是人工智能驱动的信贷科技服务平台,致力于凭借智能服务.AI研究及应用.安全科技,赋能金融机构提质增效,助推普惠金融高质量发展,让更多人享受到安全便捷的金融科技服务.作为国内领先 ...

  5. Python网页应用开发神器fac 0.3.0全新版本发布

    大家好我是费老师,在Python生态中,有很多以Python为主要开发语言,实现网页应用开发的框架,其中最为知名的有Dash.flet.streamlit.gradio.nicegui等. 如果综合考 ...

  6. Spring Security入门教程 通俗易懂 超详细 【内含案例】

    Spring Security的简单使用 推荐 Java 常见面试题 简介 SSM 整合 Security 是比较麻烦的,虽然Security的功能比 Shiro 强大,相反却没有Shiro的使用量多 ...

  7. 从0写一个电话号码管理的C入门项目【适合初学者】

    0.前言 上次发了一个嵌入式的学习路线,很多粉丝问我各个阶段的入门项目,其中第二阶段的<基于socket聊天室>写了4篇循序渐进的文章,而第一阶段的<电话号码本管理>也非常想要 ...

  8. 零基础学习人工智能—Python—Pytorch学习（七）

    前言 本文主要讲神经网络的下半部分. 其实就是结合之前学习的全部内容,进行一次神经网络的训练. 神经网络 下面是使用MNIST数据集进行的手写数字识别的神经网络训练和使用. MNIST 数据集,是一个 ...

  9. github拉取项目执行npm i 失败的问题

    一般卡在core-js没反应,然后报错的第一行是和node-sass有关的,基本上都是node-sass版本问题,这时候只需要在命令行输入两行代码就行 先把原来的依赖删掉 npm uni node-s ...

  10. Error:java: JDK isn't specified for module

    报错: Error:java: JDK isn't specified for module 背景: 删除原项目文件夹内所有文件,copy的新的配置文件与src文件夹等,期间打开该项目的IDEA一直处 ...