大数据学习之HDFS基本API操作（上）06

 package it.dawn.HDFSPra;

 import java.io.FileNotFoundException;
 import java.io.IOException;
 import java.net.URI;
 import java.net.URISyntaxException;
 import java.util.Arrays;

 import org.apache.hadoop.conf.Configuration;
 import org.apache.hadoop.fs.FileStatus;
 import org.apache.hadoop.fs.FileSystem;
 import org.apache.hadoop.fs.LocatedFileStatus;
 import org.apache.hadoop.fs.Path;
 import org.apache.hadoop.fs.RemoteIterator;
 import org.junit.Before;
 import org.junit.Test;

 /**
  * @version 1.0
  * @author Dawn
  * @since 2019年4月27日22:42:32
  *
  * 注意：1.需要配置hadoop环境
  *         2.需要编译好的winutil包
  */
 public class HdfsClientDemo01 {

     public static FileSystem fs=null;
     public static String hdfs="hdfs://192.168.40.11:9000";

     //初始化加载
     @Before
     public void init() throws IOException, InterruptedException, URISyntaxException
     {
         System.setProperty("hadoop.home.dir", "E:\\hadoop2.7.3\\hadoop-2.7.3");
         // 1.加载配置
         Configuration conf= new Configuration();
         // 2.设置副本数 默认3块
         conf.set("dfs.replication", "2");
         // 3.设置块大小 默认128m
         conf.set("dfs.blocksize", "64m");
         // 4.构造客户端
         fs=FileSystem.get(new URI(hdfs), conf, "root");
     }

     /*
      * 上传文件
      * hdfs dfs -put /文件名 /hdfs目录
      */
     @Test
     public void hdfsUpData() throws IllegalArgumentException, IOException
     {
         //上传文件
         fs.copyFromLocalFile(new Path("f:/temp/xxx.txt"), new Path("/"));
         //2.关闭资源
         fs.close();
     }

     /*
      * 下载文件
      * hdfs dfs -get /hdfs文件 /文件目录
      */
     @Test
     public void hdfsDownload() throws IllegalArgumentException, IOException {
         //下载文件
         fs.copyToLocalFile(new Path("/xxx.txt"), new Path("f:/"));

         fs.close();
     }

     /*
      * 1:在hdfs中创建文件夹
      * hdfs dfs -mkdir /文件名
      */
     @Test
     public void hdfsMkdir() throws IllegalArgumentException, IOException
     {
         //1.调用创建文件夹方法
         fs.mkdirs(new Path("/dawn/ss"));
         System.out.println("创建成功");
         //2.关闭资源
         fs.close();
     }

     /*
      * 2:在hdfs中 移动/修改 文件
      * 相当于Ctrl+x
      */
     @Test
     public void hdfsRename() throws IllegalArgumentException, IOException
     {
         //1.调用移动并修改
         fs.rename(new Path("/test/a.txt"), new Path("/dawn/renamea.txt"));
         //2.关闭资源
         fs.close();
     }

     /*
      * 3：在hdfs中删除文件夹
      * hdfs dfs -rm -r /
      */
     @Test
     public void hdfsRm() throws IllegalArgumentException, IOException
     {
         //fs.delete(new Path("/hunterhenshuai"));
         //1.调用删除文件方法 参数1：删除的路径 参数2：是否递归删除
         fs.delete(new Path("/test"), true);
         fs.close();

     }

     /*
      * 4:查询hdfs下制定的目录信息
      */
     @Test
     public void hdfsLs() throws FileNotFoundException, IllegalArgumentException, IOException
     {
         //1.调用方法 返回远程迭代器
         RemoteIterator<LocatedFileStatus> iter=fs.listFiles(new Path("/dawn"), true);

         //2.取迭代器数据
         while(iter.hasNext())
         {
             //拿数据
             LocatedFileStatus status=iter.next();

             System.out.println("文件路径为："+status.getPath());
             System.out.println("块大小为："+status.getBlockSize() / (1024*1024) );
             System.out.println("文件长度："+ status.getLen());
             System.out.println("副本数量为："+status.getReplication());
             System.out.println("块信息为："+Arrays.asList(status.getBlockLocations()));

             System.out.println("============================>");
         }

         //3.关闭资源
         fs.close();

     }

     /*
      * 5：判断文件还是文件夹
      */
     @Test
     public void findIsFOrD() throws FileNotFoundException, IllegalArgumentException, IOException {
         //1.展示状态信息
         FileStatus[] listStatus = fs.listStatus(new Path("/"));

         //2.遍历所有文件
         for(FileStatus ls:listStatus) {
             if(ls.isFile()) {
                 //文件
                 System.out.println("文件----f----" +ls.getPath().getName());
             }else {
                 //文件夹
                 System.out.println("文件夹----d----" +ls.getPath().getName());
             }
         }
     }

 }