Hadoop配置第1节-集群网络配置

Hadoop-集群网络配置

总体目标：完成zookeeper+Hadoop+Hbase 整合平台搭建

 

进度：
1：集群网络属性配置
2：集群免密码登陆配置
3：JDK的安装
4：Zookeeper的安装
5：Hadoop普通集群模式的安装
6：Hbase普通模式的安装
7：Hadoop HA集群模式的安装

8：Hbase HA集群模式的安装

一. 集群网络属性配置

环境：1.五台独立PC机或虚拟机
          2.主机之间有有效的网络连接
　       3.每台主机内存2G以上,磁盘50G

          4.所有主机上已安装CentOS 7.4_64操作系统

 

五台主机网络选择：

1.静态网络配置：

     注意：1）该项的所有操作步骤需要使用root用户进行。

               2）该项需要在集群中每台主机上进行单独设置。

     

进入网络配置文件目录：cd /etc/sysconfig/network-scripts/

     命令：

                        #vi ifcfg-ens33              

 

i插入，Esc退出编辑模式，:wq保存退出。

     配置文件，以下配置项若在文件中已存在则修改其属性值，若不 存在则进行添加：

 

       # 设置该网络通过配置文件管理，而不通过网络管理器管理
        NM_CONTROLLED=no
        # 设置该网络为开机自动启动
        ONBOOT=yes
        # 设置采用静态IP模式
        BOOTPROTO=static
        #该网络的IP地址，可以使用DHCP获得的IP地址，也可以自行规划
        IPADDR=192.168.10.111
        #该网络的子网掩码
        NETMASK=255.255.255.0
        #该网络的网关地址
        GATEWAY=192.168.10.1

输入完成后 Esc 退出编辑模式，:wq 保存退出。

                        #service network restart

                        #ip addr

2.主机名配置：

 注意：

   1）该项的所有操作步骤需要使用root用户进行。
   2）该项需要在集群中每台主机上进行单独设置。
   3）若在安装系统时已经设置了正确的主机名，可以跳过此项内容。

    命令：

#cd /etc/
           #vi hostname

（把原来的一行直接删掉，在末尾添加修改后的主机名Cluster-01，第二台主机改名Cluster-02，后面亦是如此）

#reboot

#hostname

 3.防火墙配置：

注意：
 1）该项的所有操作步骤需要使用root用户进行。
 2）该项需要在集群中每台主机上进行单独设置。

3）CentOS 7.2操作系统默认使用的防火墙为firewall，不再是传统的iptables。

有两种方法，请根据工作需要还是实验需要来选择：
1）如果是生产环境请务必按照第一种方案配置防火墙策略

2）实验环境就用第二种方法直接关闭防火墙。

方法1：配置防火墙策略

命令：

#firewall-cmd --zone=public --add-port=端口号/tcp --permanent

#firewall-cmd　--reload

下面是端口号：

Zookeeper的常用端口：2181、2888、3888。
Hadoop的常用端口：8019、8020、8030、8031、8032、8033、8040、8041、8042、8088、8480、8485、9000、10020、19888、50010、50020、50070、50075、50470、50475。
HBase的常用端口：2181、2888、3888、60000、60010、60020、60030。HBase的常用端口和Zookeeper有重复是因为HBase自带Zookeeper组件，使用独立Zookeeper时这些端口不会被启用，也就不会造成端口冲突。
Hive的常用端口：9083、10000。

MySQL Cluster的常用端口：1186、2202、3306。

方法2：关闭防火墙

命令：

#systemctl stop firewalld.service

#systemctl disable firewalld.service

#systemctl status firewalld.service

4.主机地址映射配置：

该项的所有操作步骤需要使用root用户进行。

命令：

#cd /etc/
#vi hosts

#在末尾添加添加集群中所有主机的IP地址与主机名的映射关系，ip是自定义的要改为自己设置的ip地址

192.168.10.111      Cluster-01
192.168.10.112      Cluster-02
192.168.10.113      Cluster-03
192.168.10.114      Cluster-04

192.168.10.115      Cluster-05

将配置文件“hosts”发送给集群中所有其它主机，发送目标用户为“root”，发送目标路径为“/etc”，远程传输文件方法：

#scp -r /etc/hosts root@192.168.10.112:/etc

5.免密码登陆配置：

注意：
1）该项的所有操作步骤使用每台集群主机新建一个用户名相同的专门用于集群的用户hadoop或者admin进行，我们实验中采用admin。

2）每台主机都要进行本项操作。5台互相登录免密码。

第一步：新建一个集群统一用户admin,并创建密码admin.

命令：

#useradd admin

#passwd admin

#新建用于集群的admin用户，每台主机都建一个

第二步：免密码登录设置

命令：

#ssh-keygen -t rsa
生成本机系统当前登录用户的公钥和私钥文件
#l.
显示~目录下隐藏文件
#cd .ssh
进入.ssh目录
#ls
显示目标列表，这里可以看到id_rsa.pub公钥文件
#ssh-copy-id -i ~/.ssh/id_rsa.pub admin@Cluster-02

将公钥文件拷贝给需要进行免密码登录的目标主机和目标用户

第三步：验证免密登陆：

命令：

#ssh admin@Cluster-02

如果没有提示让你输入Cluster-02的

admin用户的密码，则说明配置正确。