Hadoop集群运行

在Hadoop文件参数配置完成之后

在master上操作

su - hadoop
cd /usr/local/src/hadoop/
./bin/hdfs namenode -format
hadoop-daemon.sh start namenode
hadoop-daemon.sh start secondarynamenode
jps

如果看到NameNode和SecondaryNameNode就表示成功

在slave上操作

su - hadoop
hadoop-daemon.sh start datanode
jps

如果看到DataNode就表示成功

在master上操作

su - hadoop
hdfs dfsadmin -report

给用户做免密

ssh-keygen -t rsa
ssh-copy-id slave1
ssh-copy-id slave2
ssh-copy-id master
stop-dfs.sh
start-dfs.sh
start-yarn.sh
jps

如果在master上看到ResourceManager，并且在slave上看到NodeManager就表示成功

hdfs dfs -mkdir /input
hdfs dfs -ls /
mkdir ~/input
vi ~/input/data.txt
hello world
hello hadoop
hello zzz

保存后执行以下命令

hdfs dfs -put ~/input/data.txt /input
hdfs dfs -cat /input/data.txt
hadoop jar /usr/local/src/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /input/data.txt /output

执行完后要看到map是100%，reduce也是100%，还要看到successfully

hdfs dfs -cat /output/part-r-00000

在windows真机上执行

进入C:\windows\system32\drivers\etc
把此目录下的hosts文件拖到桌面上
右键打开此文件加入ip与主机名的映射关系
保存后拖回原文件
在浏览器上输入master:8088访问可以看到 MapReduce程序刚刚完成的作业
在浏览器上输入master:50070访问namenode和datanode
在浏览器上输入master:50090访问secondarynamenode

停止 Hadoop（非必要步骤）

1.步骤一：停止 yarn
[hadoop@master hadoop]$ stop-yarn.sh

步骤二：停止 DataNode
[hadoop@slave1 hadoop]$ hadoop-daemon.sh stop datanode
stopping namenode
[hadoop@slave2 hadoop]$ hadoop-daemon.sh stop datanode
stopping namenode

步骤二：停止 NameNode
[hadoop@master hadoop]$ hadoop-daemon.sh stop namenode
stopping namenode

步骤三：停止 SecondaryNameNode
[hadoop@master hadoop]$ hadoop-daemon.sh stop secondarynamenode
stopping secondarynamenode

步骤四：查看 JAVA进程，确认 HDFS进程已全部关闭
[hadoop@master hadoop]$ jps
3528 Jps
30838 RunJar