012 HDFS API 文件读写代码演示

一：准备工作

1.新建class类

　　

2.开启HDFS服务

　　

3.将配置文件拷贝进resources路径

　　

　　方便了Configuration的读取配置。

二：读出HDFS文件系统中的文件到控制台

4.读出在路径中的文件，显示在控制台上

　　

5.分别解析，获取文件系统（两种方式）

　　（方式一）

　　

　　（方式二）

　　

　　这种方式不需要复制配置文件进resources，但是这种被写死了。

6.分别解析，写入流

　　

7.优化readFile

　　

三：把文件上传到HDFS上，即为WriteFile

　　

　　注意点：fileName="user/beifeng/wc.input"，加上wc.input

四：完整源代码

 package com.senior.hdfs;

 import java.io.File;
 import java.io.FileInputStream;
 import java.io.IOException;

 import org.apache.hadoop.conf.Configuration;
 import org.apache.hadoop.fs.FSDataInputStream;
 import org.apache.hadoop.fs.FSDataOutputStream;
 import org.apache.hadoop.fs.FileSystem;
 import org.apache.hadoop.fs.Path;
 import org.apache.hadoop.io.IOUtils;

 public class HDFSApp {

     public static FileSystem getFileSystem() throws Exception{
         Configuration configuration=new Configuration();
         FileSystem fileSystem=FileSystem.get(configuration);
         return fileSystem;
     }
     //read
     public static void read() throws Exception{
         FileSystem fileSystem=getFileSystem();
         String fileName="/user/beifeng/mapreduce/wordcount/input/wc.input";
         Path path=new Path(fileName);
         FSDataInputStream inStream=fileSystem.open(path);
         try{
             IOUtils.copyBytes(inStream, System.out, 4096, false);
         }catch(Exception e){
             e.printStackTrace();
         }

     }
     //write
     public static void write() throws Exception{
         FileSystem fileSystem=getFileSystem();
         //output fileName
         String outputFileName="/opt/datas/wc.input";
         //input fileName
         String inputFileNmae="/user/beifeng/mapreduce/wordcount/input2/wc.input";
         Path path=new Path(inputFileNmae);
         FSDataOutputStream outStream=fileSystem.create(path);
         FileInputStream inStream=new FileInputStream(new File(outputFileName));
         try{
             IOUtils.copyBytes(inStream, outStream, 4096, false);
         }catch(Exception e){
             e.printStackTrace();
         }finally{
             IOUtils.closeStream(inStream);
             IOUtils.closeStream(outStream);
         }

     }
     public static void main(String[] args) throws Exception {
 //        read();
         write();

     }

 }