Hadoop入门 常见错误及解决方案

常见错误及解决方案

目录

• 常见错误及解决方案
  • ResourceManager连接失败
  • root用户和ranan用户两个用户启动集群不统一
  • 不识别主机名
  • DataNode和NameNode进程同时只能工作一个
  • jps 发现进程已经没有，但是重新启动集群，提示进程已经开启。
  • jps不生效
  • HDFS Web端删除文件没权限

ResourceManager连接失败

INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032

可能原因

1.防火墙没关闭

2.没有启动YARN

root用户和ranan用户两个用户启动集群不统一

一般使用ranan用户启动集群，最好不要在root上启动集群。

不识别主机名

java.net.UnknownHostException: hadoop102: hadoop102
        at
java.net.InetAddress.getLocalHost(InetAddress.java:1475)
        at
org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(Job
Submitter.java:146)
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)
        at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)
        at  java.security.AccessController.doPrivileged(Native
Method)
at javax.security.auth.Subject.doAs(Subject.java:415)

可能原因

1.主机名称映射没有配置

在/etc/hosts 文件中添加 192.168.10.102 hadoop102

2.与系统的命令发生冲突

主机名称不要起hadoop、hadoop000等特殊名称

DataNode和NameNode进程同时只能工作一个

具体解决办法

jps 发现进程已经没有，但是重新启动集群，提示进程已经开启。

原因是在linux的根目录下/tep目录中存在启动的进程临时缓存文件，将集群相关进程删除，再重新启动集群。

jps不生效

原因

全局变量没有生效

解决办法

source /etc/profile 重新配置全局坏境变量。

HDFS Web端删除文件没权限

解决办法

在core.xml中配置HDFS网页登录使用的静态用户

在集群配置的时候，写的可以先不配的地方。

    <!-- 配置 HDFS 网页登录使用的静态用户为 ranan -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>ranan</value>
    </property>

配置成功记得分发到hadoop103、hadoop104

[ranan@hadoop102 hadoop]$ xsync core-site.xml

修改了集群配置记得重启集群

[ranan@hadoop102 hadoop]$ myhadoop.sh stop
[ranan@hadoop102 hadoop]$ myhadoop.sh start