项目使用了Maven  Project 快速进行HDFS 客户端程序测试

客户端操作系统:win10 64位

JDK: 1.7.0_79

开发工具 :Eclipse Luna

pom.xml

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>

  <groupId>com.alixx</groupId>
  <artifactId>hdfsz</artifactId>
  <version>0.0.1</version>
  <packaging>jar</packaging>

  <name>hdfsz</name>
  <url>http://maven.apache.org</url>

  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
  </properties>

  <dependencies>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>4.4</version>
      <scope>test</scope>
    </dependency>
    <!-- hadoop 分布式文件系统类库 -->
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-hdfs</artifactId>
        <version>2.7.3</version>
    </dependency>
    <!-- hadoop 公共类库 -->
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>2.7.3</version>
    </dependency>
  </dependencies>
</project>

测试类HDFSUtil

package com.bonc.hdfsz;

import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

import org.apache.commons.compress.utils.IOUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator;
import org.junit.Before;
import org.junit.Test;

public class HdfsUtil {
    /*
        FileSystem是文件系统的抽象,HDFS是分布式文件系统对FileSystem的实现,如此即可解耦合。
        不论底层文件系统的具体实现是什么样的,文件系统FileSystem统一提供了访问接口。
    */

    FileSystem fs = null;

    @Before
    public void init() throws IOException, InterruptedException, URISyntaxException{

        //访问HDFS文件系统两种方式
        Configuration conf = new Configuration();

        /*
            方式1:设置默认文件系统、设置run Configuration的参数 -DHADOOP_USER_NAME=dream361
            默认读取classpath下的xxx.site.xml配置文件,并解析其内容,封装到conf对象中。
            conf.set("fs.defaultFS", "hdfs://master:9000/");
        */
        fs = FileSystem.get(conf);

        /*
            方式2:在此方法的参数中设置默认文件系统、用户名
              根据配置信息,去获取一个具体文件系统的客户端操作实例对象
        */
        fs = FileSystem.get(new URI("hdfs://master:9000/"), conf, "dream361");
    }

    // 上传方式1:更底层的
    @Test
    public void upload1() throws IOException{

        Path dst = new Path("hdfs://master:9000/c.txt");

        FSDataOutputStream os = fs.create(dst);

        FileInputStream in = new FileInputStream("D:/c.txt");

        IOUtils.copy(in, os);
    }

    // 上传方式2: 封装好的
    @Test
    public void upload2() throws IllegalArgumentException, IOException{
        fs.copyFromLocalFile(new Path("D:/c2.txt"), new Path("hdfs://master:9000/c3.txt"));
    }

    // 下载文件
    @Test
    public void download() throws Exception, IOException{
        fs.copyToLocalFile(new Path(""), new Path(""));
    }

    //迭代列出文件
    @Test
    public void listFiles1() throws FileNotFoundException, IllegalArgumentException, IOException{
        //listFiles列出的是文件信息,而且提供递归遍历 ,第二个参数为false则不提供递归
        RemoteIterator<LocatedFileStatus> files = fs.listFiles(new Path("/"), true);

        while(files.hasNext()){
            LocatedFileStatus file = files.next();
            Path filePath = file.getPath();
            String fileName = filePath.getName();
            System.out.println(fileName);
        }
    }
    //迭代列出目录及文件
    @Test
    public void listFiles2() throws FileNotFoundException, IllegalArgumentException, IOException{
        //listStatus可以列出文件和目录信息,但是不提供自带的递归遍历
        FileStatus[] listStatus = fs.listStatus(new Path("/"));
        for(FileStatus status:listStatus){
            String name = status.getPath().getName();
            //判断是目录还是文件,然后打印name+和判断结果
            System.out.println(name+(status.isDirectory()?" is dir":" is file"));
        }
    }
    //创建目录
    @Test
    public void mkdir() throws IllegalArgumentException, IOException{
        fs.mkdirs(new Path("/aa/bb/cc"));
    }

    //删除文件或目录
    @Test
    public void rmFile() throws IllegalArgumentException, IOException{
        fs.delete(new Path("/aa"),true);
    }

    //移动文件
    @Test
    public void mvFile() throws IllegalArgumentException, IOException{
        fs.rename(new Path("/aa/a.txt"), new Path("/bb/b.txt"));
    }

    //在程序入口测试
    public static void main(String[] args) throws IOException {
        //配置文件信息
        Configuration conf = new Configuration();

        FileSystem fs = FileSystem.get(conf);

        Path src = new Path("hdfs://master:9000/jdk.tar.gz");

        FSDataInputStream in = fs.open(src);

        FileOutputStream os = new FileOutputStream("D:/jdk.tar.gz");

        IOUtils.copy(in, os);
    }
}

【Hadoop】HDFS的java客户端编写的更多相关文章

  1. 2 weekend110的HDFS的JAVA客户端编写 + filesystem设计思想总结

    HDFS的JAVA客户端编写  现在,我们来玩玩,在linux系统里,玩eclipse 或者, 即,更改图标,成功 这个,别慌.重新换个版本就好,有错误出错是好事. http://www.eclips ...

  2. HDFS的Java客户端编写

    总结: 之前在教材上看hdfs的Java客户端编写,只有关键代码,呵呵…….闲话不说,上正文. 1. Hadoop 的Java客户端编写建议在linux系统上开发 2. 可以使用eclipse,ide ...

  3. 一次失败的尝试hdfs的java客户端编写(在linux下使用eclipse)

    一次失败的尝试hdfs的java客户端编写(在linux下使用eclipse) 给centOS安装图形界面 GNOME桌面环境 https://blog.csdn.net/wh211212/artic ...

  4. 一脸懵逼学习hadoop之HDFS的java客户端编写

    1:eclipse创建一个项目,然后导入对应的jar包: 鼠标右击项目,点击properties或者alt+enter快捷键--->java build path--->libraries ...

  5. day03-hdfs的客户端操作\hdfs的java客户端编程

    5.hdfs的客户端操作 客户端的理解 hdfs的客户端有多种形式: 1.网页形式 2.命令行形式 3.客户端在哪里运行,没有约束,只要运行客户端的机器能够跟hdfs集群联网 文件的切块大小和存储的副 ...

  6. hdfs shell命令及java客户端编写

    一. hdfs shell命令 可以通过hadoop fs 查看所有的shell命令及其用法. 传文件到hdfs: hadoop fs -put /home/koushengrui/Downloads ...

  7. Hadoop学习(2)-java客户端操作hdfs及secondarynode作用

    首先要在windows下解压一个windows版本的hadoop 然后在配置他的环境变量,同时要把hadoop的share目录下的hadoop下的相关jar包拷贝到esclipe 然后Build Pa ...

  8. HDFS的Java客户端操作代码(HDFS的查看、创建)

    1.HDFS的put上传文件操作的java代码: package Hdfs; import java.io.FileInputStream; import java.io.FileNotFoundEx ...

  9. HDFS的java客户端操作代码(Windows上面打jar包,提交至linux运行)

    1.通过java.net.URL实现屏幕显示demo1文件的内容 package Hdfs; import java.io.InputStream; import java.net.URL; impo ...

随机推荐

  1. jmeter-Java-MongoDB 数据库增删改查操作

    在日常测试过程中会发现有些测试数据是通过数据库来获取的,一般常用的数据比如SQL .Oracle,此类数据库jmeter有专门的插件进行使用JDBC,今天跟大家说一说关于Mongodb这个数据库jme ...

  2. 使用pillow生成分享图片

    重复性的工作一定要交给计算机去做! 有时候要为公司做一张宣传用的分享图片,很简单交给设计通过ps.AI做好就行了,但是如果一个网站要为每个用户生成一张专属的分享图片,如果让设计师一张一张的去做,哪设计 ...

  3. hibernate之映射文件VS映射注解

    前言 对于java开发者而言,注解应该不是一个陌生的概念,早在JavaSE阶段,例如@Override标记重写父类方法或实现接口方法,@Test标记单元测试方法,所以我们可以简单地把它理解为一种有特殊 ...

  4. MongoDB数据库聚合

    前面的话 聚合操作主要用于对数据的批量处理,将记录按条件分组以后,然后再进行一系列操作,例如,求最大值.最小值.平均值,求和等操作.聚合操作还能够对记录进行复杂的操作,主要用于数理统计和数据挖掘.在 ...

  5. linux UART

    #include <stdio.h> #include <string.h> #include <sys/types.h> #include <errno.h ...

  6. Let's Encrypt与DNS轮循

    本文由网络安全研究员.securityheaders.io和report-uri.io创始人Scott Helme发布在其个人博客中.描述了如何使用Let's Encrypt的同时兼容DNS轮循. 早 ...

  7. (转)Linux端口nmap和netstat命令

    场景:弄不清楚端口和服务的关系,总觉得这个命令很有用但是还不清楚如何使用 1 linux端口与服务 1.1 安全概述 网络传输安全.操作系统安全.应用软件安全构成了整个网络应用的安全:其中应用软件安全 ...

  8. (转)volatile关键字

    Java线程:volatile关键字   Java™ 语言包含两种内在的同步机制:同步块(或方法)和 volatile 变量.这两种机制的提出都是为了实现代码线程的安全性.其中 Volatile 变量 ...

  9. 【D3】cluster layout

    一. 和其他D3类一样,layout 可以链式传递,使用简明的申明添加多种自定义设置. 二.API # d3.layout.cluster() Creates a new cluster layout ...

  10. 还在为CSS布局发愁?你该看看这7条原则

    一.网页结构分析七条原则 这以下7个原则是经过多年网站实战经验之后的总结,只要掌握这7个原则,可以解决大部分在编写网站布局中的问题. 1.先结构后样式. 2.能用CSS表现出来的效果,就尽量少用图像. ...