Hadoop与HBase中遇到的问题

1. Hadoop中遇到的问题

曾经所遇到的问题因为没有记录,所以忘了

(1)NameNode没有启动成功, 是因为你对HDFS多次格式化,导致datanode中与namenode中的VERSION文件里的namespaceID不一致(对于NameNode节点,该文件位于hdfs-site配置文件里dfs.name.dir參数所指定的路径下的current目录中, 对于DataNode节点, 该文件位于hdfs-site配置文件里dfs.data.dir參数所指定的路径下的current目录中.

解决方法: 第一种是把namespaceID的值改成一致,然后重新启动Hadoop；另外一种删除dfs.name.dir与dfs.data.dir參数指定的文件夹,然后使用bin/hadoop namenode -formate 又一次格式化,这样的方法有风险, 由于会删除全部原来在HDFS上的文件.

(2)Eclipse的Run On Hadoop就是一个坑, 其根本就没执行在集群上, (能够通过job.setNumReduceTasks设置ReducerTask个数,不管你设置多少个,都仅仅有一个,由于执行在本地,仅仅是文件数据在集群上, 也就是说Mapper与Reducer任务都执行在本地; 还能够通过控制台信息查看到: 假设是集群上则会有这种信息Running job: job_201405090934_0024, 假设是本地任务,则会显示Running job: job_local426339719_0001,看到没有,
中间有个local； 还能够通过web node1:50030查看任务执行情况,假设是本地任务,则不会在上面显示).

解决方法: 假设须要执行在集群上,要做三件事,例如以下:

//特别注意: 一定要设置,不然会报cannot read partitioner file错误
         conf.set("fs.default.name","node1:49000");
         //特别注意: 一定要设置,不然不会执行在集群上
         conf.set("mapred.job.tracker","node1:49001");
         //特别注意: 对相关类以及依赖的jar文件进行打包,这是执行在集群上必需要做的一步,不然集群找不到相关的Mapper等类文件
 		 File jarpath;
		 try {
			 jarpath = JarTools.makeJar("bin");
			 conf.set("mapred.jar", jarpath.toString());
		 } catch (Exception e) {
			 logger.error("进行jar打包出错!");
			 e.printStackTrace();
			 return;
		 }

(3) Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

在执行时,Run Configurations 在Arguments中的 VM arguments 加入-Djava.library.path=/home/hadoop/hadoop-1.2.1/lib/native/Linux-i386-32

该路径根据你的实际路径为准

2.HBase问题

(1) Opening socket connection to server localhost/127.0.0.1:2181. Will not attempt to authenticate using SASL (无法定位登录配置)

22:32:56,821 WARN                    ClientCnxn:1089 - Session 0x0 for server null, unexpected error, closing socket connection and attempting reconnect

java.net.ConnectException: Connection refused

    at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)

    at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:567)

    at org.apache.zookeeper.ClientCnxnSocketNIO.doTransport(ClientCnxnSocketNIO.java:350)

    at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:1068)

22:32:56,951 WARN          RecoverableZooKeeper:253 - Possibly transient ZooKeeper, quorum=localhost:2181, exception=org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /hbase/hbaseid

22:32:56,952 INFO                  RetryCounter:155 - Sleeping 1000ms before retry #0...

这是由于在代码中没有设置Zookeeper集群

//设置zookeeper集群
HBASE_CONFIG.set("hbase.zookeeper.quorum", "node2,node3,node4,node5,node6,node7,node8");

最好还设置HMaster

//设置HMatser
 HBASE_CONFIG.set("hbase.zookeeper.master","node1:60000");

(2)

JobClient:1422 - Task Id : attempt_201405081252_0008_m_000000_0, Status : FAILED

java.lang.IllegalArgumentException: Can't read partitions file

    at org.apache.hadoop.mapreduce.lib.partition.TotalOrderPartitioner.setConf(TotalOrderPartitioner.java:116)

    at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:62)

    at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:117)

    at org.apache.hadoop.mapred.MapTask$NewOutputCollector.<init>(MapTask.java:676)

    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:756)

    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:364)

    at org.apache.hadoop.mapred.Child$4.run(Child.java:255)

    at java.security.AccessController.doPrivileged(Native Method)

    at javax.security.auth.Subject.doAs(Subject.java:396)

    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1190)

    at org.apache.hadoop.mapred.Child.main(Child.java:249)

Caused by: java.io.FileNotFoundException: File /tmp/partitions_de363500-5535-466b-91bb-36472457386d does not exist.

    at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:402)

    at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:255)

    at org.apache.hadoop.fs.FileSystem.getLength(FileSystem.java:816)

    at org.apache.hadoop.io.SequenceFile$Reader.<init>(SequenceFile.java:1479)

    at org.apache.hadoop.io.SequenceFile$Reader.<init>(SequenceFile.java:1474)

    at org.apache.hadoop.mapreduce.lib.partition.TotalOrderPartitioner.readPartitions(TotalOrderPartitioner.java:301)

    at org.apache.hadoop.mapreduce.lib.partition.TotalOrderPartitioner.setConf(TotalOrderPartitioner.java:88)

    ... 10 more



由于在生成HFile时使用了HFileOutputFormat与TotalOrderPartitioner(HFile对RowKey须要进行全局排序),所以须要分区文件, 可是TaskTracker找不到分区文件,要想TaskTracker读取分区文件,该文本必须存在与HDFS上, 所以须要设置一个參数:

Configuration conf = HbaseOperation.HBASE_CONFIG;
         conf.set("fs.default.name","node1:49000");

对于详细解释,还需进一步研究.

(3)Wrong number of partitions in keyset

说明你的分区文件里的分区个数不等于reducer的个数减一,即Regions的个数不等于reducer的个数减一,事实上是由于你的任务执行在本地(这样仅仅有一个Reducer),而Regions有多个,有兴趣能够查看TotalOrderPartitioner的源码, 中间有一段代码为:

 for (int i = 0; i < splitPoints.length - 1; ++i) {
        if (comparator.compare(splitPoints[i], splitPoints[i+1]) >= 0) {
          throw new IOException("Split points are out of order");
        }
      }

HFileOutputFormat.configureIncrementalLoad(job, table);自己主动对job进行配置。TotalOrderPartitioner是须要先对key进行总体排序，然后划分到每个reduce中，保证每个reducer中的的key最小最大值区间范围，是不会有交集的。由于入库到HBase的时候，作为一个总体的Region，key是绝对有序的。

临时写到这里, 有些问题不记得了,以后遇到问题会继续更新,....