异构存储主要解决，不同的数据，储存在不同类型的硬盘中，达到最佳性能的问题

1）存储类型

RAM_DISK：内存镜像文件系统

SSD：SSD固态硬盘

DISK：普通磁盘，在HDFS中，如果没有主动声明数据目录储存类型默认都是DISK

ARCHIVE：没有特指哪种存储介质，主要指的是计算能力比较弱而储存密度比较高的介质，用来解决数据容量扩增的问题，一般用于归档

原文：sw-code

2）储存策略

策略ID 策略名称 副本分布
15 Lazy_Persist RAM_DISK:1, DISK: n-1
12 All_SSD SSD :n
10 One_SSD SSD:1, DISK: n-1
7 Host(default) DISK: n
6 Warm DISK:1, ARCHIVE: n-1
2 Cold ARCHIVE: n

Shell操作

（1）查看当前有哪些存储策略可用。原文：sw-code

[hadoop@hadoop102 ~]$ hdfs storagepolicies -listPolicies

（2）为指定路径（数据存储目录或文件）的存储策略

hdfs storagepolicies -setStoragePolicy -path xxx -policy xxx

（3）获取指定路径（数据存储目录或文件）的存储策略

hdfs storagepolicies -getStoragePolicy -path xxx

（4）取消策略：执行该命令后该目录或文件，及其上级的目录为准，如果是根目录，那么就是HOT

hdfs storagepolicies -unsetStoragePolicy -path xxx

（5）查看文件块的分布

hdfs fsck xxx -files -blocks -locations

（6）查看集群节点

hadoop dfsadmin -report

测试环境准备

1）环境描述

服务器规模：5台

集群配置：副本数为2，创建好带有存储类型的目录（提前创建）

集群规划

节点 存储类型分配
hadoop102 RAM_DISK，SSD
hadoop103 SSD，DISK
hadoop104 DISK，RAM_DISK
hadoop105 ARCHIVE
hadoop106 ARCHIVE

2）配置文件信息

（1）为hadoop102节点的hdfs-site.xml添加如下信息

<property>

    <name>dfs.replication</name>

    <value>2</value>

</property>

<property>

    <name>dfs.storage.policy.enabled</name>

    <value>true</value>

</property>

<property>

    <name>dfs.datanode.data.dir</name>

    <value>[SSD]file:///opt/module/hadoop-3.1.3/hdfsdata/ssd,[RAM_DISK]file:///opt/module/hadoop-3.1.3/hdfsdata/ram_disk</value>

</property>

（3）为hadoop103节点的hdfs-site.xml添加如下信息

<property>

    <name>dfs.replication</name>

    <value>2</value>

</property>

<property>

    <name>dfs.storage.policy.enabled</name>

    <value>true</value>

</property>

<property>

    <name>dfs.datanode.data.dir</name>

    <value>[SSD]file:///opt/module/hadoop-3.1.3/hdfsdata/ssd,[DISK]file:///opt/module/hadoop-3.1.3/hdfsdata/disk</value>

</property>

（4）为hadoop104节点的hdfs-site.xml添加如下信息

<property>

    <name>dfs.replication</name>

    <value>2</value>

</property>

<property>

    <name>dfs.storage.policy.enabled</name>

    <value>true</value>

</property>

<property>

    <name>dfs.datanode.data.dir</name>

    <value>[RAM_DISK]file:///opt/module/hadoop-3.1.3/hdfsdata/ram_disk,[DISK]file:///opt/module/hadoop-3.1.3/hdfsdata/disk</value>

</property>

（5）为hadoop105节点的hdfs-site.xml添加如下信息

<property>

    <name>dfs.replication</name>

    <value>2</value>

</property>

<property>

    <name>dfs.storage.policy.enabled</name>

    <value>true</value>

</property>

<property>

    <name>dfs.datanode.data.dir</name>

    <value>[ARCHIVE]file:///opt/module/hadoop-3.1.3/hdfsdata/archive</value>

</property>

（6）为hadoop106节点的hdfs-site.xml添加如下信息

<property>

    <name>dfs.replication</name>

    <value>2</value>

</property>

<property>

    <name>dfs.storage.policy.enabled</name>

    <value>true</value>

</property>

<property>

    <name>dfs.datanode.data.dir</name>

    <value>[ARCHIVE]file:///opt/module/hadoop-3.1.3/hdfsdata/archive</value>

</property>

3）数据准备

（1）启动集群

[hadoop@hadoop102 hadoop-3.1.3]$ hdfs namenode -format

[hadoop@hadoop102 hadoop-3.1.3]$ myhadoop.sh start

（2）在HDFS上创建文件目录

[hadoop@hadoop102 hadoop-3.1.3]$ hadoop fs -mkdir /hdfsdata

（3）上传文件

[hadoop@hadoop102 hadoop-3.1.3]$ hadoop fs -put NOTICE.txt /hdfsdata

可在Browsing HDFS查看文件信息

HOT存储策略案例

（1）最开始我们未设置存储策略的情况下，我们获取该目录的存储策略

[hadoop@hadoop102 hadoop-3.1.3]$ hdfs storagepolicies -getStoragePolicy -path /hdfsdata

The storage policy of /hdfsdata is unspecified

（2）查看上传的文件块分布

[hadoop@hadoop102 hadoop-3.1.3]$ hdfs fsck /hdfsdata -files -blocks -locations

[DatanodeInfoWithStorage[192.168.10.104:9866,DS-e3ce2615-178f-4489-b58e-27a577f4b72f,DISK], DatanodeInfoWithStorage[192.168.10.103:9866,DS-e8c8d524-7005-4dc4-99ed-30820ff67ef5,DISK]]

未设置存储策略，所有文件都存储在DISK下。所以，默认存储策略为HOT。

WARM存储策略测试

（1）接下来为数据降温

[hadoop@hadoop102 ~]$ hdfs storagepolicies -setStoragePolicy -path /hdfsdata -policy WARM

（2）再次查看文件块分布，我们可以看到文件块依然放在原处

[hdoop@hadoop102 ~]$ hdfs fsck /hdfsdata -files -blocks -locations

（3）我们需要让他HDFS按照存储策略自行移动文件夹

[hadoop@hadoop102 ~]$ hdfs mover /hdfsdata

（4）再次查看文件块分布

[hdoop@hadoop102 ~]$ hdfs fsck /hdfsdata -files -blocks -locations

[DatanodeInfoWithStorage[192.168.10.106:9866,DS-a417ad5b-f80a-4f8c-a500-d6d5a6c52d6d,ARCHIVE], DatanodeInfoWithStorage[192.168.10.103:9866,DS-e8c8d524-7005-4dc4-99ed-30820ff67ef5,DISK]]

文件一半在DISK，一半在ARCHIVE，符合我们设置的WARM策略

COLD策略测试

（1）继续降温为clod

[hadoop@hadoop102 ~]$ hdfs storagepolicies -setStoragePolicy -path /hdfsdata -policy COLD

注意：当我们将目录设置为COLD并且我们未配置ARCHIVE存储目录的情况下，不可以直接向该目录直接上传文件，会报出异常。

（2）手动转移

[hadoop@hadoop102 ~]$ hdfs mover /hdfsdata

（3）检查文件快分布

[hdoop@hadoop102 ~]$ hdfs fsck /hdfsdata -files -blocks -locations

[DatanodeInfoWithStorage[192.168.10.106:9866,DS-a417ad5b-f80a-4f8c-a500-d6d5a6c52d6d,ARCHIVE], DatanodeInfoWithStorage[192.168.10.105:9866,DS-1c17f839-d8f5-4ca2-aa4c-eaebbdd7c638,ARCHIVE]]

ONE_SSD策略测试

（1）更改策略为ONE_SSD

[hadoop@hadoop102 ~]$ hdfs storagepolicies -setStoragePolicy -path /hdfsdata -policy ONE_SSD

（2）手动转移

[hadoop@hadoop102 ~]$ hdfs mover /hdfsdata

（3）检查文件快分布

[hdoop@hadoop102 ~]$ hdfs fsck /hdfsdata -files -blocks -locations

[DatanodeInfoWithStorage[192.168.10.104:9866,DS-e3ce2615-178f-4489-b58e-27a577f4b72f,DISK], DatanodeInfoWithStorage[192.168.10.103:9866,DS-0a858711-8264-4152-887a-9408e2f83c3a,SSD]]

ALL_SSD策略测试

（1）更改策略为ALL_SSD

[hadoop@hadoop102 ~]$ hdfs storagepolicies -setStoragePolicy -path /hdfsdata -policy ALL_SSD

（2）手动转移

[hadoop@hadoop102 ~]$ hdfs mover /hdfsdata

（3）检查文件快分布

[hdoop@hadoop102 ~]$ hdfs fsck /hdfsdata -files -blocks -locations

[DatanodeInfoWithStorage[192.168.10.102:9866,DS-b4a0eba9-0335-409a-aab5-2ebfe724fe0a,SSD], DatanodeInfoWithStorage[192.168.10.103:9866,DS-0a858711-8264-4152-887a-9408e2f83c3a,SSD]]

LAZY_PERSIST策略测试

（1）更改策略为LAZY_PERSIST

[hadoop@hadoop102 ~]$ hdfs storagepolicies -setStoragePolicy -path /hdfsdata -policy LAZY_PERSIST

（2）手动转移

[hadoop@hadoop102 ~]$ hdfs mover /hdfsdata

（3）检查文件快分布

[hdoop@hadoop102 ~]$ hdfs fsck /hdfsdata -files -blocks -locations

[DatanodeInfoWithStorage[192.168.10.104:9866,DS-e3ce2615-178f-4489-b58e-27a577f4b72f,DISK], DatanodeInfoWithStorage[192.168.10.103:9866,DS-e8c8d524-7005-4dc4-99ed-30820ff67ef5,DISK]]

文件块都存储在了DISK中，与预期的不一样，这是因为，还需要配置dfs.datanode.max.locked.memory和dfs.block.size参数。

当存储策略为LAZY_PERSIST时，文件块副本都存储在DISK上的原因有如下两点:

（1）当客户端所在节点没有RAM_DISK时，则会写入客户端所在的DataNode节点的DISK磁盘。其余副本会写入其他节点的DISK磁盘。

（2）当客户端所在的DataNode有RAM_DISK时，但dfs.datanode.max.locked.memory参数未设置或设置过小（小于dfs.block.size参数值）时，则会写入客户端所在的DataNode节点的DISK磁盘，其余会写入其他节点的DISK磁盘。

但是由于虚拟机的max locked memory为64KB，所以如果参数配置过大，会报错

我们可以通过该命令查看此参数的内存

[hadoop@hadoop102 ~]$ ulimit -a

max locked memory       (kbytes, -l) 64

max memory size         (kbytes, -m) unlimited

大数据之Hadoop的HDFS存储优化—异构存储（冷热数据分离）的更多相关文章

  1. Hadoop基础-HDFS分布式文件系统的存储

    Hadoop基础-HDFS分布式文件系统的存储 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.HDFS数据块 1>.磁盘中的数据块 每个磁盘都有默认的数据块大小,这个磁盘 ...

  2. 大数据笔记04：大数据之Hadoop的HDFS（基本概念）

    1.HDFS是什么? Hadoop分布式文件系统(HDFS),被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统.它和现有的分布式文件系统有很多共同点. 2.HDFS ...

  3. 大数据：Hadoop（HDFS 读写数据流程及优缺点）

    一.HDFS 写数据流程 写的过程: CLIENT(客户端):用来发起读写请求,并拆分文件成多个 Block: NAMENODE:全局的协调和把控所有的请求,提供 Block 存放在 DataNode ...

  4. 大数据笔记05：大数据之Hadoop的HDFS（数据管理策略）

            HDFS中数据管理与容错 1.数据块的放置       每个数据块3个副本,就像上面的数据库A一样,这是因为数据在传输过程中任何一个节点都有可能出现故障(没有办法,廉价机器就是这样的) ...

  5. 大数据：Hadoop（HDFS 的设计思路、设计目标、架构、副本机制、副本存放策略）

    一.HDFS 的设计思路 1)思路 切分数据,并进行多副本存储: 2)如果文件只以多副本进行存储,而不进行切分,会有什么问题 缺点 不管文件多大,都存储在一个节点上,在进行数据处理的时候很难进行并行处 ...

  6. 大数据笔记07：大数据之Hadoop的HDFS（特点）

    1. HDFS的特点: (1)数据冗余,硬件容错 (2)流式的数据访问(写一次读多次,不能直接修改已写入的数据,只能删除之后再去写入) (3)存储大文件 2. HDFS适用性和局限性 适用性:(1)适 ...

  7. 大数据笔记06：大数据之Hadoop的HDFS（文件的读写操作）

    1. 首先我们看一看文件读取: (1)客户端(java程序.命令行等等)向NameNode发送文件读取请求,请求中包含文件名和文件路径,让NameNode查询元数据. (2)接着,NameNode返回 ...

  8. 大数据笔记09：大数据之Hadoop的HDFS使用

    1. HDFS使用: HDFS内部中提供了Shell接口,所以我们可以以命令行的形式操作HDFS

  9. 软件架构设计学习总结（4）：大数据架构hadoop

    摘要:Admaster数据挖掘总监 随着互联网.移动互联网和物联网的发展,谁也无法否认,我们已经切实地迎来了一个海量数据的时代,数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB,对这些海 ...

  10. [置顶] 大数据架构hadoop

    摘要:Admaster数据挖掘总监 随着互联网.移动互联网和物联网的发展,谁也无法否认,我们已经切实地迎来了一个海量数据的时代,数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB,对这些海 ...

随机推荐

  1. Counter 1000

    From a 1000 Hz clock, derive a 1 Hz signal, called OneHertz, that could be used to drive an Enable s ...

  2. 如何保存/同步多架构容器 Docker 镜像

    前言 随着容器.芯片技术的进一步发展,以及绿色.节能.信创等方面的要求,多 CPU 架构的场景越来越常见.典型的应用场景包括: 信创:x86 服务器 + 鲲鹏 ARM 等信创服务器: 个人电脑:苹果 ...

  3. Leetcode-栈的压入弹出序列

    /* 输入:pushed = [1,2,3,4,5], popped = [4,5,3,2,1] 输出:true 解释:我们可以按以下顺序执行: push(1), push(2), push(3), ...

  4. 填报表中也可以添加 html 事件

    在实际的项目开发中,填报表的应用十分广泛. 多数情况下,填报表会作为整个项目的一部分配合需求灵活使用,但有时也会受大项目环境的影响,产生一些特别的要求.比如,通常报表单元格的数据类型大多是文本,有时却 ...

  5. python3中os.renames()和os.rename()区别

    renames源码:def renames(old, new): head, tail = path.split(new) # 作用是分割为两部分,head为路径,tail为文件名: if head ...

  6. js判断元素内文字是否超出元素宽度，溢出隐藏

    <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8&quo ...

  7. Oracle对一个字符串中的数字与非数字进行分割

    Oracle对一个字符串中的数字与非数字进行分割 Oracle中对一个字符串中的数字与非数字进行分割 思路很简单,就是将字符串分成数字与非数字 则只要将字符串中的数字全部换成空,就是分割后的非数字字符 ...

  8. 【Oracle】ORDER BY 2 DESC,1 ASC，同时对多个数据列进行不同的顺序排序&Oracle中的 (+)

    最初想对 travelled_distance 降序排列 ,如果有两个或者更多的用户旅行了相同的距离, 那么再以 name 升序排列 然后就写了下面的 SELECT U.NAME name, NVL( ...

  9. HarmonyOS NEXT应用开发案例——二级联动

    介绍 本示例主要介绍了List组件实现二级联动(Cascading List)的场景. 该场景多用于短视频中拍摄风格的选择.照片编辑时的场景的选择. 效果图预览 使用说明: 滑动二级列表侧控件,一级列 ...

  10. 如何实现一个 Paxos

    简介: Paxos 作为一个经典的分布式一致性算法(Consensus Algorithm),在各种教材中也被当做范例来讲解.但由于其抽象性,很少有人基于朴素 Paxos 开发一致性库,本文介绍的实现 ...