【Hadoop离线基础总结】伪分布模式环境搭建

伪分布模式环境搭建

---

服务规划

适用于学习测试开发集群模式

---

步骤

• 第一步：停止单节点集群，删除/export/servers/hadoop-2.7.5/hadoopDatas，重新创建文件夹

停止单节点集群
cd /export/servers/hadoop-2.7.5/

sbin/stop-dfs.sh
sbin/stop-yarn.sh
sbin/mr-jobhistory-daemon.sh stop historyserver

删除文件夹
rm -rf /export/servers/hadoop-2.7.5/hadoopDatas

重新创建文件夹
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/tempDatas
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas2
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas2
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/nn/edits
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/snn/name
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/dfs/snn/edits

将slaves文件内容改为
node01
node02
node03

• 第二步：安装包分发到第二台和第三台机器上，启动集群

安装包分发（在第一台机器上执行）
cd /export/servers/

scp -r hadoop-2.7.5 node02:$PWD
scp -r hadoop-2.7.5 node03:$PWD

启动集群
	在第一台机器上执行
	cd /export/servers/hadoop-2.7.5/

	bin/hdfs namenode -format
	sbin/start-dfs.sh
	sbin/start-yarn.sh
	sbin/mr-jobhistory-daemon.sh start historyserver

以上是一键启动集群的办法
如果想一个一个启动
	在第一台机器上执行
	sbin/hadoop-daemon.sh start namenode
	sbin/hadoop-daemon.sh start secondarynamenode
	sbin/hadoop-daemon.sh start datanode
	sbin/yarn-daemon.sh start resourcenode
	sbin/yarn-daemon.sh start datanode

	在第二台、第三台机器上执行
	cd /export/servers/hadoop-2.7.5/

	sbin/hadoop-daemon.sh start datanode
	sbin/yarn-daemon.sh start datanode