Hadoop的伪分布式搭建

我们在搭建伪分布式Hadoop环境，需要将一系列的配置文件配置好。
一、配置文件
1. 配置文件hadoop-env.sh
export JAVA_HOME=/opt/modules/jdk1.7.0_67
2. 配置core-site.xml

dfs.defaultFS
hdfs://hostname:8020

hadoop.tmp.dir
/opt/modules/hadoop-2.5.0/data/tmp

1. 配置hdfs-site.xml

   dfs.replication
   3

2. 配置yarn-site.xml

   yarn.nodemanager.aux-services
   mapreduce_shuffle

3. 配置mapred-site.xml

   mapreduce.framework.name
   yarn

二、启动HDFS
1，格式化NameNode
bin/hdfs namenode -format
2，启动NameNode
bin/hadoop.daemon.sh start namenode
3，启动DataNode
bin/hadoop.daemon.sh start datanode
4，HDFS的WEB监控页面：
http://hostname:50070
5，启动SecondaryNameNode
bin/hadoop.daemon.sh start secondarynamenode
6，SecondaryNameNode的WEB监控页面：
http://hostname:50090

三、日志文件
启动每个守护进程会产生两个log文件，文件路径为$HADOOP_HOME/logs目录下，文件的格式为【.log】和【.out】
.log：log4j记录，记录大部分应用程序的日志信息
.out：记录标准输出和标准错误日志，少量记录
日志的命名规则：【框架名+用户名+进程名+主机名+日志格式】

四、启动YARN
1，启动ResourceManager
bin/yarn-daemon.sh start resourcemanager
2，启动NodeManager
bin/yarn-daemon.sh start nodemanager
3，YARN的WEB监控界面：
http://hostname:8088 resourcemanager
http”//hostname:8042 nodemanager

五、历史服务器
1，启动历史服务器
bin/mr-jobhistory-daemon.sh start historyserver
2，历史服务器监控界面
http://hostname:19888