Hadoop 集群的一些问题

1、创建用户hadoop

adduser hadoop

passwd hadoop

usermod -a -G hadoop hadoop

chown -R hadoop:hadoop  /data

2、格式化hdfs

hdfs namenode -format

3、sbin/start-all.sh

4、查看node是否启动

jps

启动后问题

1. 浏览器访问9000端口被拒绝
   原因，没有格式化hdfs（注意：本身9000端口也不可以通过浏览器访问，否则会出现问题2）
   https://stackoverflow.com/questions/18322102/hadoop-connection-refused-on-port-9000

2. It looks like you are making an HTTP request to a Hadoop IPC port. This is not the correct port for the web interface on this daemon.
   https://stackoverflow.com/questions/20216614/hadoop-2-2-0-it-looks-like-you-are-making-an-http-request-to-a-hadoop-ipc-port

3. 浏览器默认端口
   Resource Manager: http://hadoop1:8088
   Web UI of the NameNode daemon: http://hadoop1:50070
   HDFS NameNode web interface: http://hadoop1:8042

参考：

1. http://www.powerxing.com/install-hadoop-cluster/ （很详细，推荐看这个）

5、查看datanode 是否启动

hdfs dfsadmin -report

使用jps命令查看节点启动的进程，Master和slave上均可使用。

使用hdfs dfsadmin -report可以查看Datanode是否成功启动

注意：

如果dataNode 启动失败;

slave jps无数据;

则

、从分布式切换到伪分布式时，不要忘记修改 slaves 配置文件；

、如果集群以前能启动，但后来启动不了，特别是 DataNode 无法启动
，
  试着删除所有节点（包括 Slave 节点）上的 /usr/local/hadoop/tmp 文件夹，再重新执行一次 hdfs namenode -format，再次启动试试。