Hadoop学习之Hadoop集群搭建

1、检查网络状况

Dos命令：ping ip地址,同时，在Linux下通过命令：ifconfig可以查看ip信息
2、修改虚拟机的ip地址
    打开linux网络连接，在桌面右上角，然后编辑ip地址，修改ip地址后，重启网络服务：service network restart,如果网络重启失败，可以在虚拟机网络设置中心删除网络连接，然后重新启动Linux，接着在网络设置中心重新设置ip地址，最后重启Linux
3、修改从节点主机名
    vi /etc/sysconfig/network 修改主机名后--->：wq保存退出，然后重启主机使主机名生效，同时注意：每次修改主机名后还必须主机名ip映射地址:vi /etc/hosts,将主机名和主机ip地址相对应，还有Hadoop配置文件也必须修改：cd /usr/local/hadoop/conf/core-site.xml,将hdfs中涉及的主机名修改，同时还有Hadoop配置文件mapred-site.xml，将其中主机名修改,修改完配置文件后必须重启主机：reboot -h now，是其所作的修改生效。
4、清理从机文件

将集群中从节点机器中Hadoop安装目录下所有文件全部删除
5、配置从机ssh密钥文件

首先切换到指定目录：cd /root/.ssh/ ：启动每台从节点机器上的ssh服务：ssh-keygen -t rsa,一路回车，然后将切换到.ssh目录下：cd /root/.ssh/，创建含有公钥信息的文件：cat id_rsa.pub >> authorized_keys然后执行命令：ssh localhost,选择yes，最后: exit，,接着执行命令：ssh 主机名（如果出现“无法解析主机名的错误”，则可能是主机名和ip地址映射出现错误，可以修改hosts文件：vi /etc/hosts来纠正映射信息），选择yes，最后执行命令:exit，就可以完成
6、关闭从机所有防火墙
7、修改集群电脑中hosts文件

具体做法是：vi /etc/hosts ,然后编辑文件，在其中添加集群中所有主机名以及ip地址，可以通过命令：   一次性集群中给所有机器的该文件
8、设置集群中各个电脑之间免密码登录

原理就是各个电脑上必须存有其他电脑上的公钥信息，可以通过命令：ssh-copy-id -i 目标主机名:/root/.ssh/，就可以将本机公钥信息发送给目标主机指定目录下，然后通过复制命令：scp /root/.ssh/authorized_keys 目标主机名称,就可以将本机上的公钥信息复制到目标机器上，从而实现两台机器之间免密码登录主机中存放公钥的文件：more authorized_keys
9、将主节点上的Hadoop配置信息复制到各个从节点主机
    复制之前，进入到hadoop目录，删除logs（日志文件）和tmp(数据文件)两个文件夹下所有文件，切换到local目录下：首先复制jdk: scp -r jdk 从节点主机名:/usr/local/，接着复制hadoop: scp -r hadoop 从机名称:/usr/local/，然后把主机的/etc/profile复制到各个从节点，scp /etc/profile 从节点主机名:/etc/,同时必须在目标节点执行：source /etc/profile
10、修改主机hadoop配置文件，设置集群主从关系
    进入到conf目录下，执行命令：vi slaves修改配置文件，输入集群中其他从节点主机名称，每个主机名称各占一行，然后保存退出
11、格式化后启动
    在主机上执行命令：hadoop namenode -format,然后执行命令：start-all.sh启动集群，主节点上进程包括：SecondaryNameNode、NameNode、Jps、JobTracter,其他从节点分别有三个服务，分别是：Jps、DataNode、TaskTracter,同时，通过浏览器可以查看集群信息：http://localhost:50070查看整个集群信息
12、设置各个机器上运行的服务
    通过修改Hadoop配置文件：vi masters,本文件中给存放NameNode节点位置，可以修改为其他主机名从而指定其在指定机器上启动服务，通过执行命令：vi core-site.xml修改配置文件，可以指定NameNode启动服务的机器,修改mapred-site.xml可以修改JobTracoer的启动服务的机器
****注意：对于配置文件core-site.xml和mapred-site.xml在所有节点中都是相同的内容，在从节点机器中禁止修改该配置文件
13、在现有集群中动态增加新节点
    配置新节点的环境：1-14步后，把新节点的主机名添加到slaves配置文件中：vi slaves，添加新节点主机名称后保存退出，然后切换到hadoop的bin
目录下，执行命令：hadoop-daemon.sh start datanode 启动从节点datanode进程，同时接着启动tasktracker服务：hadoop-deamon.sh start tasktacker,
相当于新节点首先在主机处报到，然后执行命令：hadoop dfsadmin -refreshNodes相当于刷新整个进群,这样，新节点就正式加入到集群中了。
(结束进程命令：kill -9 进程名称)
14、查看Hadoop是否处于安全模式
    命令：hadoop dfsadmin -safemode get，

进入安全模式可以通过命令：hadoop dfsadmin -safemode enter

离开安全模式通过命令：hadoop dfsadmin -safemode leave