本文源码:GitHub·点这里 || GitEE·点这里

一、读写机制

1、数据写入

  • 客户端访问NameNode请求上传文件;
  • NameNode检查目标文件和目录是否已经存在;
  • NameNode响应客户端是否可以上传;
  • 客户端请求NameNode文件块Block01上传服务位置;
  • NameNode响应返回3个DataNode节点;
  • 客户端通过输入流建立DataNode01传输通道;
  • DataNode01调用DataNode02,DataNode02调用DataNode03,通信管道建立完成;
  • DataNode01、DataNode02、DataNode03逐级应答客户端。
  • 客户端向DataNode01上传第一个文件块Block;
  • DataNode01接收后传给DataNode02,DataNode02传给DataNode03;
  • Block01传输完成之后,客户端再次请求NameNode上传第二个文件块;

2、数据读取

  • 客户端通过向NameNode请求下载文件;
  • NameNode查询获取文件元数据并返回;
  • 客户端通过元数据信息获取文件DataNode地址;
  • 就近原则选择一台DataNode服务器,请求读取数据;
  • DataNode传输数据返回给客户端;
  • 客户端以本地处理目标文件;

二、基础API案例

1、基础演示接口

public interface HdfsFileService {

    // 创建文件夹
void mkdirs(String path) throws Exception ; // 文件判断
void isFile(String path) throws Exception ; // 修改文件名
void reName(String oldFile, String newFile) throws Exception ; // 文件详情
void fileDetail(String path) throws Exception ; // 文件上传
void copyFromLocalFile(String local, String path) throws Exception ; // 拷贝到本地:下载
void copyToLocalFile(String src, String dst) throws Exception ; // 删除文件夹
void delete(String path) throws Exception ; // IO流上传
void ioUpload(String path, String local) throws Exception ; // IO流下载
void ioDown(String path, String local) throws Exception ; // 分块下载
void blockDown(String path, String local1, String local2) throws Exception ;
}

2、命令API用法

@Service
public class HdfsFileServiceImpl implements HdfsFileService { @Resource
private HdfsConfig hdfsConfig ; @Override
public void mkdirs(String path) throws Exception {
// 1、获取文件系统
Configuration configuration = new Configuration();
FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),
configuration, "root");
// 2、创建目录
fileSystem.mkdirs(new Path(path));
// 3、关闭资源
fileSystem.close();
} @Override
public void isFile(String path) throws Exception {
// 1、获取文件系统
Configuration configuration = new Configuration();
FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),
configuration, "root");
// 2、判断文件和文件夹
FileStatus[] fileStatuses = fileSystem.listStatus(new Path(path));
for (FileStatus fileStatus : fileStatuses) {
if (fileStatus.isFile()) {
System.out.println("文件:"+fileStatus.getPath().getName());
}else {
System.out.println("文件夹:"+fileStatus.getPath().getName());
}
}
// 3、关闭资源
fileSystem.close();
} @Override
public void reName(String oldFile, String newFile) throws Exception {
// 1、获取文件系统
Configuration configuration = new Configuration();
FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),
configuration, "root");
// 2、修改文件名
fileSystem.rename(new Path(oldFile), new Path(newFile));
// 3、关闭资源
fileSystem.close();
} @Override
public void fileDetail(String path) throws Exception {
// 1、获取文件系统
Configuration configuration = new Configuration();
FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),
configuration, "root");
// 2、读取文件详情
RemoteIterator<LocatedFileStatus> listFiles =
fileSystem.listFiles(new Path(path), true);
while(listFiles.hasNext()){
LocatedFileStatus status = listFiles.next();
System.out.println("文件名:"+status.getPath().getName());
System.out.println("文件长度:"+status.getLen());
System.out.println("文件权限:"+status.getPermission());
System.out.println("所属分组:"+status.getGroup());
// 存储块信息
BlockLocation[] blockLocations = status.getBlockLocations();
for (BlockLocation blockLocation : blockLocations) {
// 块存储的主机节点
String[] hosts = blockLocation.getHosts();
for (String host : hosts) {
System.out.print(host+";");
}
}
System.out.println("==============Next==============");
}
// 3、关闭资源
fileSystem.close();
} @Override
public void copyFromLocalFile(String local, String path) throws Exception {
// 1、获取文件系统
Configuration configuration = new Configuration();
FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),
configuration, "root");
// 2、执行上传操作
fileSystem.copyFromLocalFile(new Path(local), new Path(path));
// 3、关闭资源
fileSystem.close();
} @Override
public void copyToLocalFile(String src,String dst) throws Exception {
// 1、获取文件系统
Configuration configuration = new Configuration();
FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),
configuration, "root");
// 2、执行下载操作
// src 服务器文件路径 ; dst 文件下载到的路径
fileSystem.copyToLocalFile(false, new Path(src), new Path(dst), true);
// 3、关闭资源
fileSystem.close();
} @Override
public void delete(String path) throws Exception {
// 1、获取文件系统
Configuration configuration = new Configuration();
FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),
configuration, "root");
// 2、删除文件或目录 是否递归
fileSystem.delete(new Path(path), true);
// 3、关闭资源
fileSystem.close();
} @Override
public void ioUpload(String path, String local) throws Exception {
// 1、获取文件系统
Configuration configuration = new Configuration();
FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),
configuration, "root");
// 2、输入输出流
FileInputStream fis = new FileInputStream(new File(local));
FSDataOutputStream fos = fileSystem.create(new Path(path));
// 3、流对拷
IOUtils.copyBytes(fis, fos, configuration);
// 4、关闭资源
IOUtils.closeStream(fos);
IOUtils.closeStream(fis);
fileSystem.close();
} @Override
public void ioDown(String path, String local) throws Exception {
// 1、获取文件系统
Configuration configuration = new Configuration();
FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),
configuration, "root");
// 2、输入输出流
FSDataInputStream fis = fileSystem.open(new Path(path));
FileOutputStream fos = new FileOutputStream(new File(local));
// 3、流对拷
IOUtils.copyBytes(fis, fos, configuration);
// 4、关闭资源
IOUtils.closeStream(fos);
IOUtils.closeStream(fis);
fileSystem.close();
} @Override
public void blockDown(String path,String local1,String local2) throws Exception {
readFileSeek01(path,local1);
readFileSeek02(path,local2);
} private void readFileSeek01(String path,String local) throws Exception {
// 1、获取文件系统
Configuration configuration = new Configuration();
FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),
configuration, "root");
// 2、输入输出流
FSDataInputStream fis = fileSystem.open(new Path(path));
FileOutputStream fos = new FileOutputStream(new File(local));
// 3、部分拷贝
byte[] buf = new byte[1024];
for(int i =0 ; i < 1024 * 128; i++){
fis.read(buf);
fos.write(buf);
}
// 4、关闭资源
IOUtils.closeStream(fos);
IOUtils.closeStream(fis);
fileSystem.close();
} private void readFileSeek02(String path,String local) throws Exception {
// 1、获取文件系统
Configuration configuration = new Configuration();
FileSystem fileSystem = FileSystem.get(new URI(hdfsConfig.getNameNode()),
configuration, "root");
// 2、输入输出流
FSDataInputStream fis = fileSystem.open(new Path(path));
// 定位输入数据位置
fis.seek(1024*1024*128);
FileOutputStream fos = new FileOutputStream(new File(local));
// 3、流拷贝
IOUtils.copyBytes(fis, fos, configuration);
// 4、关闭资源
IOUtils.closeStream(fos);
IOUtils.closeStream(fis);
fileSystem.close();
}
}

3、合并切割文件

cat hadoop-2.7.2.zip.block1 hadoop-2.7.2.zip.block2 > hadoop.zip

三、机架感知

Hadoop2.7的文档说明

第一个副本和client在一个节点里,如果client不在集群范围内,则这第一个node是随机选取的;第二个副本和第一个副本放在相同的机架上随机选择;第三个副本在不同的机架上随机选择,减少了机架间的写流量,通常可以提高写性能,机架故障的概率远小于节点故障的概率,因此该策略不会影响数据的稳定性。

四、网络拓扑

HDFS写数据的过程中,NameNode会选择距离待上传数据最近距离的DataNode接收数据,基于机架感知,NameNode就可以画出上图所示的datanode网络拓扑图。D1,R1都是交换机,最底层是datanode。

Distance(/D1/R1/N1,/D1/R1/N1)=0  相同的节点
Distance(/D1/R1/N1,/D1/R1/N2)=2 同一机架下的不同节点
Distance(/D1/R1/N1,/D1/R2/N1)=4 同一IDC下的不同datanode
Distance(/D1/R1/N1,/D2/R3/N1)=6 不同IDC下的datanode

五、源代码地址

GitHub·地址
https://github.com/cicadasmile/big-data-parent
GitEE·地址
https://gitee.com/cicadasmile/big-data-parent

推荐阅读:编程体系整理

序号 项目名称 GitHub地址 GitEE地址 推荐指数
01 Java描述设计模式,算法,数据结构 GitHub·点这里 GitEE·点这里 ☆☆☆☆☆
02 Java基础、并发、面向对象、Web开发 GitHub·点这里 GitEE·点这里 ☆☆☆☆
03 SpringCloud微服务基础组件案例详解 GitHub·点这里 GitEE·点这里 ☆☆☆
04 SpringCloud微服务架构实战综合案例 GitHub·点这里 GitEE·点这里 ☆☆☆☆☆
05 SpringBoot框架基础应用入门到进阶 GitHub·点这里 GitEE·点这里 ☆☆☆☆
06 SpringBoot框架整合开发常用中间件 GitHub·点这里 GitEE·点这里 ☆☆☆☆☆
07 数据管理、分布式、架构设计基础案例 GitHub·点这里 GitEE·点这里 ☆☆☆☆☆
08 大数据系列、存储、组件、计算等框架 GitHub·点这里 GitEE·点这里 ☆☆☆☆☆

Hadoop框架:HDFS读写机制与API详解的更多相关文章

  1. 大数据学习笔记——Spark工作机制以及API详解

    Spark工作机制以及API详解 本篇文章将会承接上篇关于如何部署Spark分布式集群的博客,会先对RDD编程中常见的API进行一个整理,接着再结合源代码以及注释详细地解读spark的作业提交流程,调 ...

  2. Hadoop(9)-HDFS的NameNode和SecondaryNameNode详解

    1.NN和2NN工作机制 首先,我们做个假设,如果存储在NameNode节点的磁盘中,因为经常需要进行随机访问,还有响应客户请求,必然是效率过低.因此,元数据需要存放在内存中.但如果只存在内存中,一旦 ...

  3. HDFS常用的Java Api详解

    转自:http://blog.csdn.net/michaelwubo/article/details/50879832 一.使用Hadoop URL读取数据 package hadoop; impo ...

  4. hibernate框架学习笔记3:API详解

    Configuration对象: package api; import org.hibernate.SessionFactory; import org.hibernate.cfg.Configur ...

  5. 百度地图API详解之事件机制,function“闭包”解决for循环和监听器冲突的问题:

    原文:百度地图API详解之事件机制,function"闭包"解决for循环和监听器冲突的问题: 百度地图API详解之事件机制 2011年07月26日 星期二 下午 04:06 和D ...

  6. 转】Mahout推荐算法API详解

    原博文出自于: http://blog.fens.me/mahout-recommendation-api/ 感谢! Posted: Oct 21, 2013 Tags: itemCFknnMahou ...

  7. SDN 网络系统之 Mininet 与 API 详解

    SDN 网络系统之 Mininet 与 API 详解 Mininet 是轻量级的软件定义网络系统平台,同时提供了对 OpenFlow 协议的支持.本文主要介绍了 Mininet 的相关概念与特性,并列 ...

  8. Webdriver之API详解(1)

    说明 Webdriver API详解,基于python3,unittest框架,driver版本和浏览器自行选择. 本内容需要对python3的unittest框架有一个简单的了解,这里不再赘述,不了 ...

  9. Java8学习笔记(五)--Stream API详解[转]

    为什么需要 Stream Stream 作为 Java 8 的一大亮点,它与 java.io 包里的 InputStream 和 OutputStream 是完全不同的概念.它也不同于 StAX 对 ...

随机推荐

  1. Python爬虫实战点触验证码, 模拟登陆bilibili

    爬虫思路如下: 利用自动化爬虫工具 Selenium 模拟点击输入等操作来进行登录 分析页面,获取点触验证码的点触图片,通过将图片发送给超级鹰打码平台识别后获取坐标信息 根据超级鹰返回的数据,模拟坐标 ...

  2. 整理最全的Android开发工程师面试题,面试题详解。java、Android程序员

    1.    请描述下Activity的生命周期. 必调用的三个方法:onCreate()--> onStart() --> onResume(),用AAA表示 (1)父Activity启动 ...

  3. rpc中的高并发

    手写一个高性能的rpc框架 模拟服务端,运行main函数,相当于启动服务器 public class ServerApplication { public static void main(Strin ...

  4. 深入理解 IoC、DI

    本文转载自博客:https://www.cnblogs.com/xinhuaxuan/p/6132372.html 1.控制反转:谁控制谁?控制什么?为何叫反转(对应于正向)?哪些方面反转了?为何需要 ...

  5. 未读消息(小红点),前端与 RabbitMQ实时消息推送实践,贼简单~

    前几天粉丝群里有个小伙伴问过:web 页面的未读消息(小红点)怎么实现比较简单,刚好本周手头有类似的开发任务,索性就整理出来供小伙伴们参考,没准哪天就能用得上呢. 之前在 <springboot ...

  6. WinForm使用Setuo Project打包安装包 (附带vs2019 InstallerProjects安装程序)

    vs2019 InstallerProjects安装程序地址: 链接:https://pan.baidu.com/s/1K5iDuQT4CBBw2dJjRLqhjg提取码:dfhy 转载至https: ...

  7. 区间查询与等效minus查询

    --表结构 create table hy_emp( id number(4,0) primary key, name nvarchar2(20) not null, edate date) --充值 ...

  8. BIO应用-RPC框架

    为什么要有RPC?  我们最开始开发的时候,一个应用一台机器,将所有功能都写在一起,比如说比较常见的电商场景. 随着我们业务的发展,我们需要提示性能了,我们会怎么做?将不同的业务功能放到线程里来实现异 ...

  9. python中使用mock模块返回数据

    mock是辅助单元测试的一个模块.它允许您用模拟对象替换您的系统的部分,并对它们已使用的方式进行断言. mock在python3中已经被集成到了unittest单元测试框架中,所以,可以直接使用. m ...

  10. [Leetcode]148. 排序链表(归并排序)

    题目 在 O(n log n) 时间复杂度和常数级空间复杂度下,对链表进行排序. 示例 1: 输入: 4->2->1->3 输出: 1->2->3->4 示例 2: ...