maven hadoop 3.x HADOOP_HOME and hadoop.home.dir are unset Not implemented by the WebHdfsFileSystem FileSystem implementation

具体异常如下:

解决方案:

删除pom文件中的hadoop-core的依赖,原因:hadoop-core是1.x的产物,在2.x之后已经被hadoop-common取代,我配置的时候同时使用了这两个依赖导致jar包冲突.

附上我测试上传用的代码

 /**
  * 上传文件到hdfs
  * @author tele
  *
  */
 public class Demo1 {
     public static void main(String[] args) throws Exception {
         Configuration conf = new Configuration();
         FileSystem fs = FileSystem.get(new URI("hdfs://hadoop002:9000"), conf,"tele");
         fs.copyFromLocalFile(new Path("f:/test.sql"),new Path("/111.sql"));
         fs.close();
         System.out.println("上传完毕");
     }
 }

如果下载的过程中出现了 HADOOP_HOME and hadoop.home.dir are unset,那么就说明你没有配置windows本地的hadoop环境变量.你可能会想我是远程调用linux下的hadoop,与我本地的hadoop有什么关系?如果你的操作只对远程的hadoop生效,如上传,创建目录,文件改名(写)等那么你是不需要在windows本地配置hadoop的,可一旦涉及到下载(读),hadoop内部的缓存机制要求本地也必须有hadoop,于是也会出现HADOOP_HOME and hadoop.home.dir are unset,解决办法配置HADOOP_HOME并加入%HADOOP_HOME%\bin到PATH中,之后测试下hadoop version命令,有效的话重启你的eclipse/myeclipse,但这还不够,windows下的hadoop还需要winutils.exe,否则会报Could not locate Hadoop executable: xxxx\winutils.exe

测试下载的代码如下

 　　 static FileSystem fs;
     static {
         Configuration conf = new Configuration();
         try {
             fs = FileSystem.get(new URI("hdfs://hadoop002:9000"), conf,"tele");
         } catch (IOException e) {
             // TODO Auto-generated catch block
             e.printStackTrace();
         } catch (InterruptedException e) {
             // TODO Auto-generated catch block
             e.printStackTrace();
         } catch (URISyntaxException e) {
             // TODO Auto-generated catch block
             e.printStackTrace();
         }
     }

     //下载文件
     @Test
     public void downLoadFile() throws Exception{
         //如果为null,重启myeclipse/eclipse即可
         System.out.println(System.getenv("HADOOP_HOME"));
         fs.copyToLocalFile(new Path("/hello2.sql"),new  Path("C:/a.sql"));
         fs.close();
         System.out.println("下载完毕");
     }