hadoop学习笔记（七）：Java HDFS API

一、使用HDFS FileSystem详解

HDFS依赖的第三方包：

　　hadoop 1.x版本：

　　commons-configuration-1.6.jar

　　commons-lang-2.4.jar

　　commons-loggin-1.1.1.jar

　　hadoop-core-1.2.1.jar

　　log4j-1.2.15.jar

　　hadoop2.x版本：

　　hadoop-mapreduce-client-core-2.2.0.jar

　　hadoop-common-2.2.0.jar　

　　hadoop-mapreduce-client-common-2.2.0.jar

　　hadoop-mapreduce-client-jobclient-2.2.0.jar

注意：可根据自身的情况和版本信息手动添加或maven仓库依赖。

文件操作

　　1 工具类的创建：

　　创建一个工具类HDFSUtils，主要用来加载公共信息：　　

 package com.laowang.utils;

 import org.apache.hadoop.conf.Configuration;
 import org.apache.hadoop.fs.FileSystem;
 import org.apache.hadoop.hdfs.DistributedFileSystem;
 import java.io.IOException;
 import java.net.URI;

 /**
  * @author laowang
  * @version v1.0.0
  * @apiNote HDFS 工具类
  * @since 2018/4/26 10:36
  */
 public class HDFSUtil {
     /**
      * @author laowang
      * @version v1.0.0
      * @apiNote 获取FileSystem
      * @since 2018/4/26 10:39
      */
     public static FileSystem getFileSystem() {
         FileSystem hdfs = null;
         //获取配置文件信息
         Configuration conf = new Configuration();
         conf.set("fs.hdfs.impl",DistributedFileSystem.class.getName());
         try {
             //获取文件系统
             hdfs = FileSystem.get(URI.create("hdfs://master01:9000"), conf);
         } catch (IOException e) {
             e.printStackTrace();
         }
         return hdfs;
     }

     /**
      * 关闭文件流
      * @param fileSystem
      */
     public static boolean closeFileSystem(FileSystem fileSystem) {
         boolean flag = false;
         if (fileSystem != null) {
             try {
                 fileSystem.close();
                 flag = true;
             } catch (Exception e) {
                 e.printStackTrace();
             }
         }
         return flag;
     }
 }

HDFSUtils

　　2 上传文件到HDFS

  /**
      * @author laowang
      * @version v1.0.0
      * @apiNote 上传文件
      * @since 2018/4/26 14:14
      */
     public static void putFile() throws Exception {
         Path sourcePath = new Path("E:\\port.txt");
         //文件名称
         Path targetPath = new Path("/test/");
         //从本地复制文件到文件系统中去
         hdfs.copyFromLocalFile(sourcePath,targetPath);
     }

上传文件

　　3 读取文件

     /**
      * @author laowang
      * @version v1.0.0
      * @apiNote 读取文件
      * @since  2018/4/26 10:39
      */
     public static void testRead() throws Exception{
         FileSystem hdfs = HDFSUtil.getFileSystem();
         //文件名称
         Path path = new Path("/test/initNetwork.sh");
         //打开文件输入流
         FSDataInputStream inputStream = hdfs.open(path);
         //读取文件到控制台
         IOUtils.copyBytes(inputStream,System.out,4096,false);
         //关闭流
         IOUtils.closeStream(inputStream);
     }

读取文件

 /**
      * @author laowang
      * @version v1.0.0
      * @apiNote 查看目录
      * @since  2018/4/26 14:29
      */
     public static void testList() throws Exception{
         FileSystem fileSystem=HDFSUtil.getFileSystem();
         Path path = new Path("/test/");
         FileStatus[] fileStatuses = hdfs.listStatus(path);
         for(FileStatus fileStatus : fileStatuses){
             Path p = fileStatus.getPath();
             String info = fileStatus.isDirectory() ? "目录" : "文件";
             System.out.println(info + ": " + p);
         }
     }

查看目录

　　4 在hadoop fs中新建文件，并写入

 /**
      * 创建文件
      * @throws Exception
      */
     public static void testDirectory() throws Exception {
         FileSystem fileSystem = HDFSUtil.getFileSystem();
         Path path = new Path("/test/laowang");
         boolean mkdirs = hdfs.mkdirs(path);
         System.out.println("创建：" + (mkdirs ? "成功" : "失败"));
     }

创建文件

  /**
      * 创建文件并写入内容
      * @throws Exception
      */
     public static void testCreate() throws Exception{
         Path path = new Path("/test/test.txt");
         //创建文件
         FSDataOutputStream outputStream = hdfs.create(path);
         //写入内容
         outputStream.writeUTF("hello hadoop!");
         IOUtils.closeStream(outputStream);
     }

创建文件并写入内容

　　5 重命名文件

     /**
      * 重命名
      */
     public static void testRename() throws Exception{
         //原路径
         Path srcPath = new Path("/test/test.txt");
         //目标路径
         Path targetPath = new Path("/test/test2.txt");
         boolean rename = hdfs.rename(srcPath, targetPath);
         System.out.println("重命名：" + (rename ? "成功" : "失败"));
     }

重命名

　　6 删除hadoop fs上的文件

   /**
      * 删除
      */
     public static void testDelete() throws Exception {
         Path path = new Path("/test/test2.txt");
         boolean b = hdfs.deleteOnExit(path);
         System.out.println("删除：" + (b ? "成功" : "失败"));
     }

删除

HDFS信息

　　1 查找某个文件在HDFS集群中的位置

     /**
      * @author laowang
      * @version v1.0.0
      * @apiNote 查找某个文件在HDFS中的位置
      * @since  2018/4/26 15:31
      */
     public static void testLocation() throws Exception{
         Path path = new Path("/test/port.txt");
         FileStatus fileStatus = hdfs.getFileStatus(path);
         BlockLocation[] fileBlockLocations = hdfs.getFileBlockLocations(fileStatus, 0, fileStatus.getLen());
         for(BlockLocation blockLocation : fileBlockLocations){
             String[] hosts=blockLocation.getHosts();
             for (String host : hosts) {
                 System.out.println("端口：" + host);
             }
         }
     }

查找某个文件在HDFS中的位置

　　2 获取HDFS集群上所有节点名称信息

     /**
      * @author laowang
      * @version v1.0.0
      * @apiNote 获取HDFS集群上所有节点名称信息
      * @since 2018/4/26 15:38
      */
     public static void testCluster() throws Exception {
         DistributedFileSystem distributedFileSystem = (DistributedFileSystem) hdfs;
         DatanodeInfo[] dataNodeStats = distributedFileSystem.getDataNodeStats();
         for (DatanodeInfo datanodeInfo : dataNodeStats) {
             System.out.println(datanodeInfo.getHostName());
         }
     }

获取HDFS集群上所有节点名称信息