Hadoop基础-通过IO流操作HDFS

　　　　　　　　　　　　　　　　　　Hadoop基础-通过IO流操作HDFS

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰

版权声明：原创作品，谢绝转载！否则将追究法律责任。

一.上传文件

 /*
 @author :yinzhengjie
 Blog:http://www.cnblogs.com/yinzhengjie/tag/Hadoop%E7%94%9F%E6%80%81%E5%9C%88/
 EMAIL:y1053419035@qq.com
 */
 package hdfs.yinzhengjie.org.cn;

 import org.apache.hadoop.conf.Configuration;
 import org.apache.hadoop.fs.*;
 import org.apache.hadoop.io.IOUtils;

 import java.io.File;
 import java.io.FileInputStream;
 import java.net.URI;

 public class HdfsClient {

     public static void main(String[] args) throws Exception {
         putFileToHDFS();
     }

     public static void putFileToHDFS() throws Exception{
         //配合Hadoop的环境变量，如果没有配置可能会抛异常：“ERROR util.Shell: Failed to locate the winutils binary in the hadoop binary path”，还有一件事就是你的HADOOP_HOME的bin目录下必须得有winutils.exe
          System.setProperty("hadoop.home.dir", "D:\\yinzhengjie\\softwares\\hadoop-2.7.3");
          //创建配置信息对象
         Configuration conf = new Configuration();
         //获取文件系统，需要传入hdfs的链接地址，conf对象，以及操作的用户名
        FileSystem fs = FileSystem.get(new URI("hdfs://node105.yinzhengjie.org.cn:8020"),conf,"hdfs");
         //创建输入流
         FileInputStream inStream = new FileInputStream(new File("D:\\yinzhengjie\\data\\yinzhengjie.txt"));
         //获取输出路径
         String putFileName = "hdfs://node105.yinzhengjie.org.cn:8020/user/yinzhengjie/2018-11-04.txt";
         Path writePath = new Path(putFileName);
         //创建输出流
         FSDataOutputStream outStream = fs.create(writePath);
         //流对接
         try{
             IOUtils.copyBytes(inStream, outStream, 4096, false);
         }catch(Exception e){
             e.printStackTrace();
         }finally{
             //关闭流，释放资源
             IOUtils.closeStream(inStream);
             IOUtils.closeStream(outStream);
         }
     }
 }

二.下载文件

 /*
 @author :yinzhengjie
 Blog:http://www.cnblogs.com/yinzhengjie/tag/Hadoop%E7%94%9F%E6%80%81%E5%9C%88/
 EMAIL:y1053419035@qq.com
 */
 package hdfs.yinzhengjie.org.cn;

 import org.apache.hadoop.conf.Configuration;
 import org.apache.hadoop.fs.FSDataInputStream;
 import org.apache.hadoop.fs.FileSystem;
 import org.apache.hadoop.fs.Path;
 import org.apache.hadoop.io.IOUtils;

 import java.io.File;
 import java.io.FileOutputStream;
 import java.net.URI;

 public class HdfsClient {

     public static void main(String[] args) throws Exception {
         getFileToHDFS();
     }

     public static void getFileToHDFS() throws Exception{
         //配合Hadoop的环境变量，如果没有配置可能会抛异常：“ERROR util.Shell: Failed to locate the winutils binary in the hadoop binary path”，还有一件事就是你的HADOOP_HOME的bin目录下必须得有winutils.exe
          System.setProperty("hadoop.home.dir", "D:\\yinzhengjie\\softwares\\hadoop-2.7.3");
          //创建配置信息对象
         Configuration conf = new Configuration();
         //获取文件系统，需要传入hdfs的链接地址，conf对象，以及操作的用户名
        FileSystem fs = FileSystem.get(new URI("hdfs://node105.yinzhengjie.org.cn:8020"),conf,"hdfs");
         //获取读取文件路径
         String filename = "hdfs://node105.yinzhengjie.org.cn:8020/user/yinzhengjie/2018-11-04.txt";
         //创建读取path
         Path readPath = new Path(filename);
         //创建建输入流
         FSDataInputStream inStream = fs.open(readPath);
         //创建输出流,指定本地路径
         FileOutputStream fos = new FileOutputStream(new File("D:\\yinzhengjie\\data\\output.txt"));

         try{
             //流对接输出到控制台
 //            IOUtils.copyBytes(inStream, System.out, 4096, false);
             //流对考输出到本地磁盘
             IOUtils.copyBytes(inStream,fos, conf);

         }catch(Exception e){
             e.printStackTrace();
         }finally{
             //释放资源
             IOUtils.closeStream(inStream);
             IOUtils.closeStream(fos);
             fos.close();
         }
     }
 }

三.定位读取文件

 /*
 @author :yinzhengjie
 Blog:http://www.cnblogs.com/yinzhengjie/tag/Hadoop%E7%94%9F%E6%80%81%E5%9C%88/
 EMAIL:y1053419035@qq.com
 */
 package hdfs.yinzhengjie.org.cn;

 import org.apache.hadoop.conf.Configuration;
 import org.apache.hadoop.fs.FSDataInputStream;
 import org.apache.hadoop.fs.FileSystem;
 import org.apache.hadoop.fs.Path;
 import org.apache.hadoop.io.IOUtils;

 import java.io.FileOutputStream;
 import java.net.URI;

 public class HdfsClient {

     public static void main(String[] args) throws Exception {
         readFileSeek1();
         readFileSeek2();
     }

     //读取第一个块大小，128M
     public static void readFileSeek1() throws Exception{
         //配合Hadoop的环境变量，如果没有配置可能会抛异常：“ERROR util.Shell: Failed to locate the winutils binary in the hadoop binary path”，还有一件事就是你的HADOOP_HOME的bin目录下必须得有winutils.exe
          System.setProperty("hadoop.home.dir", "D:\\yinzhengjie\\softwares\\hadoop-2.7.3");
          //创建配置信息对象
         Configuration conf = new Configuration();
         //获取文件系统，需要传入hdfs的链接地址，conf对象，以及操作的用户名
        FileSystem fs = FileSystem.get(new URI("hdfs://node105.yinzhengjie.org.cn:8020"),conf,"hdfs");
         //获取输入流路径
         Path path = new Path("hdfs://node105.yinzhengjie.org.cn:8020//yinzhengjie/cloudera-manager.tar.gz");
         //打开输入流
         FSDataInputStream fis = fs.open(path);
         //创建输出流
         FileOutputStream fos = new FileOutputStream("D:\\yinzhengjie\\data\\cloudera-manager-1.tar.gz");
         //定义缓冲区大小是1024
         byte[] buf = new byte[1024];
         //读取一个128M的文件
         for (int i = 0; i < 128 * 1024; i++) {
             //将数据从输入流读出然后在写入输出流。
             fis.read(buf);
             fos.write(buf);
         }
         //关闭流
         IOUtils.closeStream(fis);
         IOUtils.closeStream(fos);
     }

     //将128M后续的大小都读取出来
     public static void readFileSeek2() throws Exception{
         //配合Hadoop的环境变量，如果没有配置可能会抛异常：“ERROR util.Shell: Failed to locate the winutils binary in the hadoop binary path”，还有一件事就是你的HADOOP_HOME的bin目录下必须得有winutils.exe
         System.setProperty("hadoop.home.dir", "D:\\yinzhengjie\\softwares\\hadoop-2.7.3");
         //创建配置信息对象
         Configuration conf = new Configuration();
         //获取文件系统，需要传入hdfs的链接地址，conf对象，以及操作的用户名
         FileSystem fs = FileSystem.get(new URI("hdfs://node105.yinzhengjie.org.cn:8020"),conf,"hdfs");
         //获取输入流路径
         Path path = new Path("hdfs://node105.yinzhengjie.org.cn:8020//yinzhengjie/cloudera-manager.tar.gz");
         //打开输入流
         FSDataInputStream fis = fs.open(path);
         //创建输出流
         FileOutputStream fos = new FileOutputStream("D:\\yinzhengjie\\data\\cloudera-manager-2.tar.gz");
         //定位偏移量（第二块的首位,1024*1024就是1M，也就是说他的起始位置是从128M开始的！）
         fis.seek(1024 * 1024 * 128);
         //流对接
         IOUtils.copyBytes(fis, fos, 1024);
         //关闭资源
         IOUtils.closeStream(fis);
         IOUtils.closeStream(fos);
     }
 }

 /**
  *    将数据写入到本地后，可以使用cmd窗口进入到“D:\yinzhengjie\data”目录中，并执行：D:\yinzhengjie\data>type cloudera-manager-2.tar.gz >> cloudera-manager-1.tar.gz
  * 之后你可以拿到完整的数据，也可以解压该文件的详细信息。
  */