大数据中Hadoop集群搭建与配置

前提环境是之前搭建的4台Linux虚拟机，详情参见 Linux集群搭建

该环境对应4台服务器，192.168.1.60、61、62、63，其中60为主机，其余为从机

软件版本选择：

Java:JDK1.8.0_191(jdk-8u191-linux-x64.tar.gz)

Hadoop:Hadoop-2.9.2(hadoop-2.9.2.tar.gz)

上传hadoop与java到服务器并查看

cd /home/ftpuser/
ls

安装Java

解压Java

mkdir /usr/java

tar -zxvf jdk-8u191-linux-x64.tar.gz -C /usr/java/

配置Java环境变量

vi /etc/profile

添加Java配置

启用配置

source /etc/profile

查看是否配置成功

java -version

配置Hadoop主体环境

修改hostname,方便认识,这里设置为对应IP的4台服务器HServer60,HServer61,HServer62,HServer63，配置后重启（reboot）生效

vi /etc/hostname

配置hosts文件，对应IP于主机名

vi /etc/hosts

解压hadoop

mkdir /cloud
cd /home/ftpuser/
tar -zxvf hadoop-2.9.2.tar.gz -C /cloud/

一共有5个文件需要配置

hadoop-env.sh

core-site.xml

hdfs-site.xml

yarn-site.xml

yarn-env.sh

mapred-site.xml

slaves

cd /cloud/hadoop-2.9.2/etc/hadoop/

配置hadoop-env.sh

vi hadoop-env.sh

配置yarn-env.sh

vi yarn-env.sh

配置core-site.xml

vi core-site.xml

配置mapred-site.xml，先从模板复制一份配置出来，并修改

cp mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

配置slaves,写入从机名称

vi slaves

剩下的2个文件hdfs-site.xml与yarn-site.xml需要区分主机NameNode与从机DataNode的配置

主机NameNode的hdfs-site.xml配置

vi hdfs-site.xml

其中blocksize可以根据情况自行调整，是数据块的大小，handler.cout一般几台小集群10都足够了

主机NameNode的yarn-site.xml配置

vi yarn-site.xml

从机DataNode的hdfs-site.xml配置

vi hdfs-site.xml

其中replication为备份数

从机DataNode的yarn-site.xml配置

vi yarn-site.xml

设置NameNode免密登录，在主机上操作

ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.1.61
ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.1.62
ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.1.63

可以将配置好的东西通过scp命令复制到远程服务器上

scp -rp /cloud/hadoop-2.9.2 root@192.168.1.62:/cloud/

整个Hadoop集群配置完毕，可以启动试试看，这里换到我已经搭建好的4台服务器，50、51、52、53

启动命令在hadoop目录的sbin文件夹中，也可以在/etc/profile文件中配置环境变量，类似java配置，将该目录加入path路径

启动hadoop集群,通过jps查看是否启动了

start-all.sh

主机jps上会有NameNode，ResourceManager，SecondaryNameNode

从机jps上会有NodeManager，DataNode

这样就成功的启动了，访问主机IP:50070的URL访问