Hadoop出现的错误及处理

1.local host is: (unknown); destination host is: "yun-ubuntu":8031;

原因：yun-ubuntu这个host 并不能ping通

  $ ping yun-ubuntu
  $ SHUTDOWN_MSG: Shutting down NodeManager at localhost/127.0.0.1

解决办法：

    $ vi /etc/hosts
    增加127.0.0.1的映射

2.多次初始化NameNode导致DataNode启动失败

datanode的clusterID 和 namenode的clusterID 不匹配

3.默认进入safemode ,由于块错误率阈值太高

进入saftmode解决方案

异常：Class org.apache.hadoop.hive.contrib.serde2.RegexSerDe not found

原因：hive找不到正则的包 hive-contrib-x.x.x.jar

解决：临时配置包路径 add jar /opt/softwares/hive-1.2.2/lib/hive-contrib-1.2.2.jar，永久配置路径

<property>
  <name>hive.aux.jars.path</name>
  <value>file:///opt/softwares/hive-1.2.2/lib/hive-contrib-1.2.2.jar</value>
  <description>Added by tiger.zeng on 20120202.These JAR file are available to all users for all jobs</description>
</property>

异常：No enum constant org.apache.hadoop.hive.ql.io.orc.CompressionKind.snappy

原因：版本不同包名改变？

解决：重新创建子表

("orc.compress"="snappy") --> ("orc.compression"="snappy")

腾讯云namenode启动失败

原因：hopsts中无法绑定公网IP地址，本机地址需要用内网IP