原来大数据 Hadoop 是这样存储数据的

HDFS概述

产生背景

随着数据量越来越大，在一个操作系统中存不下所有的数据。需要将这些数据分配到更多的操作系统中，带来的问题是多操作系统不方便管理和维护。需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS是分布式文件管理系统中的一种

定义

HDFS（Hadoop Distributed File System）它是一个文件系统，用于存储文件，通过目录树来定位文件。其次，他是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色

HDFS 的使用场景：适合一次写，多次读的场景，且不支持文件的修改。适合用来做数据分析

优缺点

优点

• 高容错
  • 数据自动保存多个副本，通过增加副本的形式，提高容错性
  • 某一个副本丢失以后，可以自动恢复
• 适合处理大数据
  • 数据规模：达到 GB、TB、甚至 PB 级别的数据
  • 文件规模：能够处理百万规模以上的文件数量
• 可以构建在廉价机器上

缺点

• 不适合低延时数据访问。比如毫秒级的存储数据，做不到
• 无法高效的对大量小文件进行存储
  • namenode 对每个文件至少需要消耗 150 字节去存储目录和块信息，小文件相比大文件更消耗 namenode 服务器内存
  • 小文件寻址时间会超过读取时间，违背 HDFS 设计初衷
• 不支持并发写入、文件随机修改
  • 一个文件只能有一个写，不允许多线程同时写
  • 仅支持数据追加，不支持修改

组成架构

HDFS 文件块大小

HDFS 中的文件在物理上是分块存储（Block），块的大小可以手动配置参数 dfs.blocksize 来修改（Hadoop 2.x 是 128m，之前是 64m）

为什么取 128m 呢？

普遍认为，寻址时间（即查找目标 block 的时间）为 10ms，而寻址时间为传输时间的 1% 时，为 HDFS 运行的理想最佳状态。此时传输时间为 10ms / 1% = 1000ms = 1s，而目前硬盘的传输速度普遍为 100m/s ，因此 block 的大小取 1s*100m/s = 100m。离它最近的 2 的次幂就是 128 了。这块可以看出，影响 block 大小的主要因素就是硬盘的读取速度。因此当采用固态硬盘的时候完全可以把数值调整到 256 m 甚至更多。

块太小的时候，会增加寻址时间

但当块变得很大时，就要想办法避免热点数据的频繁读取了。这一点在 Google 的论文中有提到，论文中给到的解决思路是客户端缓存，但是并没有提具体实现 https://www.cnblogs.com/zzjhn/p/3834729.html

HDFS 的 Shell 操作

基本语法

bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令

dfs是fs的实现类

常用命令

命令	解释	示例	备注
-ls	显示目录信息
-mkdir	在HDFS上创建目录	hadoop fs -mkdir -p /user/keats/love	-p 创建多级目录
-moveFromLocal	从本地剪切粘贴到HDFS	hadoop fs -moveFromLocal ./yaya.txt /user/keats/love/	前面是来源路径 后面是目标路径，下同
-appendToFile	追加一个文件到已经存在的文件末尾
-cat	显示文件内容
-chgrp 、-chmod、-chown	Linux文件系统中的用法一样，修改文件所属权限
-copyFromLocal	从本地文件系统中拷贝文件到HDFS路径去		同 -put
-copyToLocal	从HDFS拷贝到本地		同 -get
-getmerge	合并下载多个文件	hadoop fs -getmerge /user/keats/love/* ./yaya.txt
-tail	显示一个文件的末尾
-rm	删除文件或文件夹
-rmdir	删除空目录
-du	统计文件夹的大小信息		可以理解为 disk use
-setrep	设置HDFS中文件的副本数量		里设置的副本数只是记录在NameNode的元数据中，是否真的会有这么多副本，还得看DataNode的数量。因为目前只有3台设备，最多也就3个副本，只有节点数的增加到10台时，副本数才能达到10

HDFS 客户端操作

环境准备

1. 把之前下载的 hadoop 安装包解压，复制到一个不含中文路径的目录下（建议所有开发相关东西放在一个目录下，方便管理）
2. 配置环境变量 HADOOP_HOME 和 Path

项目准备

项目地址 https://github.com/keatsCoder/HdfsClientDemo

创建 maven 项目，引入依赖

 <dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>RELEASE</version>
        </dependency>
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-core</artifactId>
            <version>2.8.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.10.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.10.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.10.1</version>
        </dependency>
        <dependency>
            <groupId>jdk.tools</groupId>
            <artifactId>jdk.tools</artifactId>
            <version>1.8</version>
            <scope>system</scope>
            <systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>
        </dependency>
    </dependencies>

创建 Java 类，HdfsClient 主要进行了三步操作

1. 创建 FileSystem 对象
2. 通过 FileSystem 对象执行命令
3. 关闭 FileSystem

public class HdfsClient {
    static FileSystem fs;

    static {
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS", "hdfs://linux102:9000");

        try {
            fs = FileSystem.get(conf);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    public static void main(String[] args) throws IOException {
        // 执行操作
        mkDir();

        // 释放资源
        fs.close();
    }

    private static void mkDir() throws IOException {
        fs.mkdirs(new Path("/john/keats"));
    }
}

尝试运行，会得到第一个错误，大意是权限被拒绝，这个时候就需要配置 JVM 参数 -DHADOOP_USER_NAME=root 来告诉集群，使用 root 用户进行操作

配置好之后再运行，会遇到第二个错误

Could not locate Hadoop executable: D:\develop\hadoop\bin\winutils.exe -see https://wiki.apache.org/hadoop/WindowsProblems

这是因为我们之前配置环境的时候，解压的 hadoop 文件 bin 目录下没有 winutils.exe 这个文件，根据后面地址 wiki 百科的指示，可以下载该文件放在 bin 目录下。但是目前那个文件的最新版本是 2.8.1，也许会存在某些方面不兼容的问题，目前还暂时没有发现。因此可以直接下载该版本使用 https://github.com/steveloughran/winutils/releases

简化配置用户名和访问路径

FileSystem.get() 有一个重载方法，三个参数，第一个是 hadoop namenode 地址，第二个是 conf 对象，第三个是用户名。可以一次配好

测试方法详见示例代码 HdfsClient2.java 类

fs = FileSystem.get(new URI("hdfs://linux102:9000"), conf, "root");

上传文件

在项目 resource 目录下创建文件 zhangsan.txt

调用 copyFromLocalFile 方法上传文件

private static void uploadFile() throws IOException {
    URL systemResource = ClassLoader.getSystemResource("zhangsan.txt");
    String path = systemResource.getPath();

    fs.copyFromLocalFile(new Path(path), new Path("/john/keats/love"));
}

copyFromLocalFile 还有三个重载方法，分别提供以下功能

• 是否删除源文件
• 当目标文件存在时，是否覆盖目标文件
• 多文件批量上传，但目标路径必须是文件夹路径

配置文件优先级

之前我们在 hadoop 集群配置的副本数量是 3 ，而 hadoop client 也支持两种方式配置参数

1. conf 对象通过 key-value 形式配置
2. resources 目录下放置 xml 配置文件配置

加上默认的 default-xxxx.xml 一共四种配置的方式。他们的优先级是

conf > resources 下的配置文件 > hadoop 集群配置文件 > default

ConfigFileTest.java 类对此处的配置进行的说明与测试，读者可以运行体验

下载文件

fs.copyToLocalFile(new Path("/three.txt"), new Path("D://zhangsan.txt"));

copyToLocalFile 还有两个重载方法，分别添加了。具体代码可参考 DownLoadFileTest.java

// 是否删除源文件
boolean delSrc

// 是否使用RawLocalFileSystem作为本地文件系统
// 默认是 false，目前比较直观的就是 false 状态下下载文件会同时生成 .crc 格式的校验文件，设置为 true 时不会生成
boolean useRawLocalFileSystem

删除文件

删除文件的API，第二个参数表示是否递归删除。如果要删除的 Path 对应的是文件夹，recursive 需要设置为 true ，否则会抛异常。其实就相当于 rm -r 中的参数 -r

public abstract boolean delete(Path f, boolean recursive) throws IOException;

private static void deleteFile() throws IOException {
    // /john/keats 是文件夹目录，递归设置为 false 会报错 PathIsNotEmptyDirectoryException: ``/john/keats is non empty': Directory is not empty
    //  fs.delete(new Path("/john/keats"), false);

    // 先上传，再删除
    HdfsClient2.uploadFile(true);
    fs.delete(new Path("/john/keats/love/zhangsan.txt"), true);
}

这块我在删除之前添加了上传操作，目的是为了防止文件不存在。而上传又存在一种可能就是目标文件已存在。这是个薛定谔的文件- -，因此我查看了 FileSystem 的上传 API，他是提供 overwrite 开关的，默认是 true 即覆盖目标文件

文件重命名

private static void renameFile() throws IOException {

    String dstFileName = "wangwu.txt";
    HdfsClient2.uploadFile();
    deleteFile(dstFileName);
    // 目标文件不存在，则更名成功
    boolean rename = fs.rename(new Path("/john/keats/love/zhangsan.txt"), new Path("/john/keats/love/", dstFileName));
    Assert.assertTrue(rename);

    // 目标文件存在，则更名失败
    boolean renameButDstIsExist = fs.rename(new Path("/john/keats/love/zhangsan.txt"), new Path("/john/keats/love/", dstFileName));
    Assert.assertFalse(renameButDstIsExist);
}

读取文件详细信息

public static void listFiles() throws IOException {
    // 获取文件详情
    RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true);

    while (listFiles.hasNext()) {
        LocatedFileStatus status = listFiles.next();

        // 输出详情
        // 文件名称
        System.out.println(status.getPath().getName());
        // 长度
        System.out.println(status.getLen());
        // 权限
        System.out.println(status.getPermission());
        // 分组
        System.out.println(status.getGroup());

        // 获取存储的块信息
        BlockLocation[] blockLocations = status.getBlockLocations();

        for (BlockLocation blockLocation : blockLocations) {

            // 获取块存储的主机节点
            String[] hosts = blockLocation.getHosts();

            for (String host : hosts) {
                System.out.println(host);
            }
        }

        System.out.println("-----------分割线----------");
    }
}

判断某路径下的内容是文件还是文件夹

public static void isFile() throws IOException {
    // FileStatus[] listStatus = fs.listStatus(new Path("/"));
    FileStatus[] listStatus = fs.listStatus(new Path("/three.txt"));

    for (FileStatus fileStatus : listStatus) {
        // 如果是文件
        if (fileStatus.isFile()) {
            System.out.println("f:"+fileStatus.getPath().getName());
        }else {
            System.out.println("d:"+fileStatus.getPath().getName());
        }
    }
}

HDFS的I/O流操作

// 从本地上传到HDFS
public static void copyFileFromDiskByIO() throws IOException {
    // 2 创建输入流
    FileInputStream fis = new FileInputStream(new File("D:/zhangsan.txt"));

    // 3 获取输出流
    FSDataOutputStream fos = fs.create(new Path("/zhangsan.txt"));

    // 4 流对拷
    IOUtils.copyBytes(fis, fos, conf);
}

// 从HDFS拷贝到本地
public static void copyFileFromHDFSByIO() throws IOException {
    FSDataInputStream fis = fs.open(new Path("/zhangsan.txt"));

    // 3 获取输出流
    FileOutputStream fos = new FileOutputStream(new File("D:/zhangsan1.txt"));

    // 4 流的对拷
    IOUtils.copyBytes(fis, fos, conf);
}

文件的定位读取

/**
 * 从某个位置开始拷贝文件，用于读取某个完整文件的部分内容
 */
public static void copyFileSeek() throws Exception{
    // 2 打开输入流
    FSDataInputStream fis = fs.open(new Path("/hadoop-2.10.1.tar.gz"));

    // 3 定位输入数据位置
    fis.seek(1024*1024*128);

    // 4 创建输出流
    FileOutputStream fos = new FileOutputStream(new File("D:/hadoop-2.7.2.tar.gz.part2"));

    // 5 流的对拷
    IOUtils.copyBytes(fis, fos, conf);
}

HDFS 原理

HDFS的读写数据流程

写数据

1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在

2）NameNode返回是否可以上传

3）客户端请求第一个 Block上传到哪几个DataNode服务器上（根据服务器距离以及负载排序，取前副本数个服务器返回）

4）NameNode返回3个DataNode节点，分别为dn1、dn2、dn3

5）客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成

6）dn1、dn2、dn3逐级应答客户端

7）客户端开始往dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以Packet为单位，dn1收到一个Packet就会传给dn2，dn2传给dn3；dn1每传一个packet会放入一个应答队列等待应答

8）当一个Block传输完成之后，客户端再次请求NameNode上传第二个Block的服务器。（重复执行3-7步）

读数据

1）客户端通过Distributed FileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址

2）挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据

3）DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为单位来做校验）

4）客户端以Packet为单位接收，先在本地缓存，然后写入目标文件

网络拓扑图，节点距离计算

在HDFS写数据的过程中，NameNode会选择距离待上传数据最近距离的DataNode接收数据。那么这个最近距离怎么计算呢？

节点距离：两个节点到达最近的共同祖先的距离总和

机架感知，副本存储节点选择

机架感知说明

http://hadoop.apache.org/docs/r2.10.1/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#Data_Replication

For the common case, when the replication factor is three, HDFS’s placement policy is to put one replica on one node in the local rack, another on a different node in the local rack, and the last on a different node in a different rack.

这样布置，第一考虑的是速度，也兼顾了容灾的要求

NameNode和SecondaryNameNode

NameNode中的元数据是存储在哪里的？

首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage

这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsImage，就会导致效率过低，但如果不更新，就会发生一致性问题，一旦NameNode节点断电，就会产生数据丢失。因此，引入Edits文件(只进行追加操作，效率很高)。每当元数据有更新或者添加元数据时，修改内存中的元数据并追加到Edits中。这样，一旦NameNode节点断电，可以通过FsImage和Edits的合并，合成元数据。

但是，如果长时间添加数据到Edits中，会导致该文件数据过大，效率降低，而且一旦断电，恢复元数据需要的时间过长。因此，需要定期进行FsImage和Edits的合并，如果这个操作由NameNode节点完成，又会效率过低。因此，引入一个新的节点SecondaryNamenode，专门用于FsImage和Edits的合并

整体的操作机制和 Redis 差不多，FsImage 相当于 Redis 中的 RDB 快照，Edits 相当于 Redis 中的 AOF 日志，两者结合。而 Redis 合并两个文件是采用的 Fork 进程的方式

第一阶段：NameNode启动

（1）第一次启动NameNode格式化后，创建Fsimage和Edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存

（2）客户端对元数据进行增删改的请求

（3）NameNode记录操作日志，更新滚动日志

（4）NameNode在内存中对数据进行增删改

第二阶段：Secondary NameNode工作

​ （1）Secondary NameNode询问NameNode是否需要CheckPoint。直接带回NameNode是否检查结果

​ （2）Secondary NameNode请求执行CheckPoint

​ （3）NameNode滚动正在写的Edits日志

​ （4）将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode

​ （5）Secondary NameNode加载编辑日志和镜像文件到内存，并合并

​ （6）生成新的镜像文件fsimage.chkpoint

​ （7）拷贝fsimage.chkpoint到NameNode

​ （8）NameNode将fsimage.chkpoint重新命名成fsimage

DataNode 工作机制

1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳

2）DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息

3）心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用

4）集群运行中可以安全加入和退出一些机器

DataNode 多目录配置

DataNode 也可以配置成多个目录，每个目录存储的数据不一样。不同于 NameNode 多目录配置，NameNode 多个目录直接的数据是一样的，仅做备份和容灾用。我想是因为 DataNode 已经使用副本来做备份了，如果还继续在本机复制多份，不是很有必要。而 NameNode 在未做高可用之前并没有足够的备份，因此产生了差异

hdfs-site.xml

<property>
	<name>dfs.datanode.data.dir</name>
	<value>file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2</value>
</property>

添加新数据节点

（1）在hadoop104主机上再克隆一台hadoop105主机

（2）修改IP地址和主机名称

（3）删除原来HDFS文件系统留存的文件（/opt/module/hadoop/data和log）

（4）source一下配置文件

（5）直接启动DataNode，即可关联到集群

如果数据不均衡，可以使用 ./start-balancer.sh 命令实现集群的再均衡

但是这样存在一个问题：如果某些恶意分子知道了 NameNode 的地址，便可以连接集群并克隆出集群的数据，这样是极不安全的

添加白名单

只允许白名单内的地址连接 NameNode

在 NameNode 的 /opt/module/hadoop/etc/hadoop目录下创建 dfs.hosts 文件，并添加如下主机名称

linux102
linux103
linux104

在 NameNode 的 hdfs-site.xml 配置文件中增加 dfs.hosts 属性

<property>
    <name>dfs.hosts</name>
    <value>/opt/module/hadoop/etc/hadoop/dfs.hosts</value>
</property>

文件分发

xsync hdfs-site.xml

刷新NameNode

hdfs dfsadmin -refreshNodes

打开 Web 页面，可以看到不在白名单的 DataNode 会被下线

黑名单退役

在黑名单上的节点会被强制退出

黑名单的配置 key 如下

<property>
	<name>dfs.hosts.exclude</name>
	<value>/opt/module/hadoop/etc/hadoop/dfs.hosts.exclude</value>
</property>

需要注意

1. 退役节点时，需要等待退役节点状态为 decommissioned（所有块已经复制完成），停止该节点及节点资源管理器
2. 如果副本数是3，服役的节点小于等于3，是不能退役成功的，需要修改副本数后才能退役
3. 不允许黑白名单同时出现一个主机名

HDFS 2.X 新特性

集群间数据拷贝

bin/hadoop distcp
hdfs://linux102:9000/user/keats/hello.txt hdfs://linux103:9000/user/keats/hello.txt

小文件存档

回收站

开启回收站功能，可以将删除的文件在不超时的情况下，恢复原数据，起到防止误删除、备份等作用

快照管理

快照相当于对目录做一个备份，并不会立刻复制所有文件。而是记录文件变化

参考内容

B站尚硅谷大数据课程