02.centos7上搭建hadoop集群

接上一篇  https://www.cnblogs.com/yjm0330/p/10069224.html

一、准备工作：无密登陆

1、编辑/etc/hosts文件，分别增加

　　192.168.2.245 spark01

　　192.168.2.246 spark02

2、互拼，看通否

　　spark01上执行：　ping -c 3 spark02

　　spark02上执行：　ping -c 3 spark01

　　备注：ping -c 3 spark02中,-c 3表示ping 3次

3、生成密钥

　　ssh-keygen -t rsa -P ''

　　查看生成密钥的文件目录

　　# ls /root/.ssh

　　id_rsa id_rsa.pub

　　同理，在spark02/03上执行相同的命令。

4、在spark01上创建authorized_keys文件

　　接下来要做的事情是在3台机器的/root/.ssh/目录下都存入一个内容相同的文件，文件名称叫authorized_keys，文件内容是我们刚才为3台机器生成的公钥。为了方便，我下面的步骤是现在spark01上生成authorized_keys文件，然后把3台机器刚才生成的公钥加入到这个spark01的authorized_keys文件里，然后在将这个authorized_keys文件复制到spark0r2和spark033上面。

首先使用命令，在spark01的/root/.ssh/目录中生成一个名为authorized_keys的文件，命令是：

　　touch  /root/.ssh/authorized_keys

　　使用命令看，是否生成成功，命令是：

　　ls   /root/.ssh/

　　 其次将spark01上的/root/.ssh/id_rsa.pub文件内容，spark02上的/root/.ssh/id_rsa.pub文件内容，spark03上的/root/.ssh/id_rsa.pub文件内容复制到这个authorized_keys文件中，复制的方法很多了，可以用cat命令和vim命令结合来弄，也可以直接把这3台机器上的/root/.ssh/id_rsa.pub文件下载到本地，在本地将authorized_keys文件编辑好在上载到这3台机器上。

　　最终每台机器上我的/root/.ssh/id_rsa.pub内容是:

ssh-rsa 　　　　　　AAAAB3NzaC1yc2EAAAADAQABAAABAQC2/aeN0k+OyTxRc7nylSpMNsUYFDyvDoYIXLNdZmfa/FP4eCbwjIVhDtpo2l02JrB7EI+ywlDlK9AJHzJ07Qrvwh1MddJm+gZhEdiZWFgOCAXDdSqjhVfxaJSYu8x1tnisLBJFp5pBgqz11DmAjMA4irRxLBXjVvevNRmKYnbLLtObcxpS2E3q5cG3SK/+M9tnTiXqwM8aDFkPUpEVWyJCBvFnIe79gw93UjT/zrCrrk6x6sWBbAOZO5NR7+o5ZSXBfJcL7589KCkBKUMSdi2JKi35RXnEwB0OU8hJKmXbR04s5U06h/s+xhzPi7FgGtFiN4CCML3JIAW/qoC9By2t root@spark01
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQC6Sys9e5XsuifyDLE1qlcF5gfnUyLk99yrQfIOOe4yv0eBAAvk0df93Sg1DpJwEFoBhDaL/zE0P5tomwtaznuU243tCSmny9f62lZB2LWOYy/zOqfu/UYfUo7w6dOo8i8rpOczPuexMhwo1mL1r3u9o6Q+eATKjd6Wo+MsR+0y/QRO03/XrqefqpB169DTOHANmQ4Dxan61gz7hEjdJD3jtQvnCIZHcs2Vw10zjTeUyb1W77Sy90TSvjRnKMAeccHMXl20LsAGLKYeBTMQ5o8rt0ucgbGtlSD21gIo5fxyLAch4F2b5HtgYAs0qBem3w9rbPJt9iD76BChCjdIA7lJ root@spark02

ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQCsDuHuz3SIxSf+f2vR5myootWPz78eEy7dRzNEOEnjTLErgcPur1NOGP79dI4sxbU4tPBAwPpzC3rsY7kaXlgLn8dHJzg6EZW+SRRGBXn78yEyHlUvraT3X/xJKEOMW962O3IBfEExhzBtxSXPjkN2f/yiZ00PJKw3hoUhtoLAE19DsTzikUHYAEm11OENObCMkmJ/4WpK3tdOt8YkWOMBJzseVaNsQLa5/E3GYRfrR1itclBSKbq29JrTgI0tj9l29Rr9HwImEIif2ZBW83PrXPnVvyYkBkt8K+bAe5tEbNHb1qo6aOiSJfXdrfVnkMLpaXgDhJENoz3HyD1waECP root@spark03

5、将authorized_keys文件复制到其他机器
        spark01机器的/root/.ssh/目录下已经有authorized_keys这个文件了，该文件的内容也已经OK了，接下来要将该文件复制到spakr02的/root/.ssh/和spark03的/root/.ssh/。
6、测试使用ssh进行无密登录

　　spark01上面：ssh sparl02

　　成功，退出用exit，同理spark02上面：ssh spark01

二、安装JDK

1、下载对应centos内核的jdk版本

　　查看安装的centos的内核是32还是64：getconf LONG_BIT

　　下载Linux版的JDK，例如我下载的是Linux版的JKD1.8，文件是jdk-8u191-linux-x64.tar.gz

　　地址是：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
2、x-shell 实现windows和linux文件互传

　　在opt目录下新建一个名为java的目录，目的是将jdk-8u191-linux-x64.tar.gz拷贝到该目录下

　　mkdir java

　　x-shell实现文件互传是基于zmedom协议，需要查看centos是否已经安装lrzsz：

　　输入rz命令，看是否已经安装了lrzsz，如果没有安装则执行  yum   -y  install  lrzsz命令进行安装。

　　安装成功后，输入rpm命令确认是否正确安装。

　　使用 rz -y命令进行文件上传，此时会弹出上传的窗口：

　　

　　选择要上传的文件，点击确定即可将本地文件上传到Linux上，如图表示成功上传文件。

　　使用ls命令可以看到文件已经上传到了当前目录下：

　　[root@spark01 java]# ls
　　jdk-8u191-linux-x64.tar.gz

3、解压安装jdk

　　tar    -zxvf    jdk-8u121-linux-x64.tar.gz  回车

　　可以看到在java目录下新生成一个文件夹：jdk1.8.0_191

4、修改配置文件

　　进入/etc/profile文件，vi修改，在最后加上下面：

　　export JAVA_HOME=/opt/java/jdk1.8.0_191
　　export CLASSPATH=$:CLASSPATH:${JAVA_HOME}/lib/
　　export PATH=$PATH:${JAVA_HOME}/bin

　　备注：centos6不用{}，centos7需要{JAVA_HOME}

　　然后source /etc/profile,验证：

　　java -version

三、安装Hadoop

注意： 3台机器上都需要重复下面所讲的步骤。

1、上载文件并解压缩
　　在opt目录下新建一个名为hadoop的目录，并将下载得到的hadoop-2.8.0.tar上载到该目录下， 进入到该目录，执行命令:

　　cd   /opt/hadoop

执行解压命令：

　　tar  -zxvf   hadoop-2.8.0.tar.gz

说明：3台机器都要进行上述操作，解压缩后得到一个名为hadoop-2.8.0的目录。

2、新建几个目录
           在/root目录下新建几个目录，复制粘贴执行下面的命令：

　　mkdir /root/hadoop
　　mkdir /root/hadoop/tmp
　　mkdir /root/hadoop/var
　　mkdir /root/hadoop/dfs
　　mkdir /root/hadoop/dfs/name
　　mkdir /root/hadoop/dfs/data
3、 修改etc/hadoop中的一系列配置文件
          修改/opt/hadoop/hadoop-2.8.0/etc/hadoop目录内的一系列文件。基本上都是在<configuration>节点内加入配置。

　　3.1 vi core-site.xml

<property>
<name>hadoop.tmp.dir</name>
<value>/root/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://spark01:9000</value>
</property>

　　3.2 vi hadoop-env.sh

export JAVA_HOME=/opt/java/jdk1.8.0_191

　　3.3 vi hdfs-site.xml

<property>
   <name>dfs.name.dir</name>
   <value>/root/hadoop/dfs/name</value>
   <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
   <name>dfs.data.dir</name>
   <value>/root/hadoop/dfs/data</value>
   <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
   <name>dfs.replication</name>
   <value>2</value>
</property>

　　3.4 cp /opt/hadoop/hadoop-2.8.0/etc/hadoop/mapred-site.xml.template /opt/hadoop/hadoop-2.8.0/etc/hadoop/mapred-site.xml

　　3.5 vi mapred-site.xml

<property>
   <name>mapred.job.tracker</name>
   <value>spark01:49001</value>
</property>
<property>
      <name>mapred.local.dir</name>
       <value>/root/hadoop/var</value>
</property>
<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
</property>
　　3.6 vi slaves

spark02
　　3.7 vi yarn-site.xml

<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>spark01</value>
   </property>
   <property>
        <description>The address of the applications manager interface in the RM.</description>
        <name>yarn.resourcemanager.address</name>
        <value>${yarn.resourcemanager.hostname}:8032</value>
   </property>
   <property>
        <description>The address of the scheduler interface.</description>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>${yarn.resourcemanager.hostname}:8030</value>
   </property>
   <property>
        <description>The http address of the RM web application.</description>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>${yarn.resourcemanager.hostname}:8088</value>
   </property>
   <property>
        <description>The https adddress of the RM web application.</description>
        <name>yarn.resourcemanager.webapp.https.address</name>
        <value>${yarn.resourcemanager.hostname}:8090</value>
   </property>
   <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>${yarn.resourcemanager.hostname}:8031</value>
   </property>
   <property>
        <description>The address of the RM admin interface.</description>
        <name>yarn.resourcemanager.admin.address</name>
        <value>${yarn.resourcemanager.hostname}:8033</value>
   </property>
   <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
   </property>
   <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>3048</value>
        <discription>每个节点可用内存,单位MB,默认8182MB</discription>
   </property>
   <property>
        <name>yarn.nodemanager.vmem-pmem-ratio</name>
        <value>2.1</value>
   </property>
   <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>3048</value>
</property>
   <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
</property>

　　3.8 把hadoop配置文件从spark01复制到spark02、03

scp /opt/hadoop/hadoop-2.8.0/etc/hadoop/core-site.xml spark02:/opt/hadoop/hadoop-2.8.0/etc/hadoop/
scp /opt/hadoop/hadoop-2.8.0/etc/hadoop/hadoop-env.sh spark02:/opt/hadoop/hadoop-2.8.0/etc/hadoop/
scp /opt/hadoop/hadoop-2.8.0/etc/hadoop/hdfs-site.xml spark02:/opt/hadoop/hadoop-2.8.0/etc/hadoop/
scp /opt/hadoop/hadoop-2.8.0/etc/hadoop/mapred-site.xml spark02:/opt/hadoop/hadoop-2.8.0/etc/hadoop/
scp /opt/hadoop/hadoop-2.8.0/etc/hadoop/slaves spark02:/opt/hadoop/hadoop-2.8.0/etc/hadoop/
scp /opt/hadoop/hadoop-2.8.0/etc/hadoop/yarn-site.xml spark02:/opt/hadoop/hadoop-2.8.0/etc/hadoop/

　　3.9 测试hadoop

1、在namenode上执行初始化
　　因为spark01是namenode，spark02和spark03都是datanode，所以只需要对spark01进行初始化操作，也就是对hdfs进行格式化。

　　进入到spark01这台机器的/opt/hadoop/hadoop-2.8.0/bin目录，也就是执行命令：

　　cd   /opt/hadoop/hadoop-2.8.0/bin

　　执行初始化脚本，也就是执行命令：

　　./hadoop  namenode  -format
　　格式化成功后，可以在看到在/root/hadoop/dfs/name/目录多了一个current目录，而且该目录内有一系列文件.

2、在namenode上执行启动命令
　　因为hserver1是namenode，hserver2和hserver3都是datanode，所以只需要再hserver1上执行启动命令即可。

　　进入到hserver1这台机器的/opt/hadoop/hadoop-2.8.0/sbin目录，也就是执行命令：

　　cd    /opt/hadoop/hadoop-2.8.0/sbin

　　执行初始化脚本，也就是执行命令：

　　./start-all.sh

　　第一次执行上面的启动命令，会需要我们进行交互操作，在问答界面上输入yes回车

3、测试hadoop
　　haddoop启动了，需要测试一下hadoop是否正常。

　　执行命令，关闭防火墙，CentOS7下，命令是：

　　systemctl   stop   firewalld.service

　　spark01是我们的namanode，该机器的IP是192.168.2.245，在本地电脑访问如下地址:

　　http://192.168.2.245:50070/             自动跳转到了overview页面

　　在本地浏览器里访问如下地址：

　　http://192.168.2.245:8088/                自动跳转到了cluster页面