利用HDFS实现ElasticSearch7.2容灾方案

前言

​ Elasticsearch 副本提供了高可靠性，它们让你可以容忍零星的节点丢失而不会中断服务。但是，副本并不提供对灾难性故障的保护。对这种情况，就需要的是对集群真正的备份（在某些东西确实出问题的时候有一个完整的拷贝）。

​ 案例模拟ElasticSearch7.2集群环境，采用snapshot API基于快照的方式备份集群。

​ 案例演示HDFS分布式文件系统作为仓库举例。

快照版本兼容

备份集群

HDFS文件系统

软件下载

下载地址

hadoop-3.3.0.tar.gz

JDK环境

hadoop java编写，运行需依赖jvm

jdk-8u161-linux-x64.tar.gz

配置系统环境变量

#JAVA

export JAVA_HOME=/home/hadoop/jdk1.8.0_161

export CLASSPATH=$JAVA_HOME/libdt.jar:$JAVA_HOME/tools.jar

#hadoop

export HADOOP_HOME=/home/hadoop/hadoop-3.3.0

export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

hadoop配置

hadoop-3.3.0/etc/hadoop 的目录下

配置JAVA_HOME

hadoop-env.sh

export JAVA_HOME=/home/hadoop/jdk1.8.0_161

配置核心组件文件

core-site.xml需要在和之间添加

<property>

        <name>fs.defaultFS</name>

        <value>hdfs://172.16.176.103:9000</value>

</property>

<property>

        <name>hadoop.tmp.dir</name>

        <value>/data</value>

</property>

配置文件系统

hdfs-site.xml需要在和之间添加

<!--namenode-->

<property>

        <name>dfs.namenode.name.dir</name>

        <value>/data/namenode</value>

</property>

<!--datanode-->

<property>

        <name>dfs.datanode.data.dir</name>

        <value>/data/datanode</value>

</property>

<!--副本数,默认1-->

<property>

   		<name>dfs.replication</name>

        <value>1</value>

</property>

<!--禁用权限检查,配合es-->

<property>

  <name>dfs.permissions</name>

  <value>false</value>

</property>

配置mapred

mapred-site.xml

<property>

  <name>mapreduce.framework.name</name>

  <value>yarn</value>

</property>

配置 yarn-site.xml

yarn-site.xml

<property>

  <name>yarn.resourcemanager.hostname</name>

  <value>elasticsearch01</value>

</property>

格式化文件系统

hdfs namenode -format

启动hdfs

start-dfs.sh

$ start-dfs.sh

WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER. Using value of HADOOP_SECURE_DN_USER.

Starting namenodes on [host103]

Starting datanodes

Starting secondary namenodes [host103]

访问

http://localhost:9870/

ES插件安装

集群中每个节点都必须安装hdfs插件，安装后需重启ES

插件下载

插件版本和ES版本相对应

下载地址

repository-hdfs-7.2.0.zip

插件安装

提前下载软件包，离线安装

集群中各节点依次安装

sudo bin/elasticsearch-plugin install file:///path/to/plugin.zip

$ ./elasticsearch-plugin install file:///home/es/repository-hdfs-7.2.0.zip

-> Downloading file:///home/es/repository-hdfs-7.2.0.zip

[=================================================] 100%  

@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@

@     WARNING: plugin requires additional permissions     @

@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@

* java.lang.RuntimePermission accessClassInPackage.sun.security.krb5

* java.lang.RuntimePermission accessDeclaredMembers

* java.lang.RuntimePermission getClassLoader

* java.lang.RuntimePermission loadLibrary.jaas

* java.lang.RuntimePermission loadLibrary.jaas_nt

* java.lang.RuntimePermission loadLibrary.jaas_unix

* java.lang.RuntimePermission setContextClassLoader

* java.lang.RuntimePermission shutdownHooks

* java.lang.reflect.ReflectPermission suppressAccessChecks

* java.net.SocketPermission * connect,resolve

* java.net.SocketPermission localhost:0 listen,resolve

* java.security.SecurityPermission insertProvider.SaslPlainServer

* java.security.SecurityPermission putProviderProperty.SaslPlainServer

* java.util.PropertyPermission * read,write

* javax.security.auth.AuthPermission doAs

* javax.security.auth.AuthPermission getSubject

* javax.security.auth.AuthPermission modifyPrincipals

* javax.security.auth.AuthPermission modifyPrivateCredentials

* javax.security.auth.AuthPermission modifyPublicCredentials

* javax.security.auth.PrivateCredentialPermission javax.security.auth.kerberos.KerberosTicket * "*" read

* javax.security.auth.PrivateCredentialPermission javax.security.auth.kerberos.KeyTab * "*" read

* javax.security.auth.PrivateCredentialPermission org.apache.hadoop.security.Credentials * "*" read

* javax.security.auth.kerberos.ServicePermission * initiate

See http://docs.oracle.com/javase/8/docs/technotes/guides/security/permissions.html

for descriptions of what these permissions allow and the associated risks.

Continue with installation? [y/N]y

-> Installed repository-hdfs

$

创建仓库

  • 创建
PUT _snapshot/my_hdfs_repository

{

  "type": "hdfs",	--类型

  "settings": {

    "uri": "hdfs://172.16.176.103:9000/",	--hdfs访问url

    "path": "/data",

    "conf.dfs.client.read.shortcircuit": "false"

  }

}
  • 查看
GET /_snapshot

{

  "my_hdfs_repository" : {

    "type" : "hdfs",

    "settings" : {

      "path" : "/data",

      "uri" : "hdfs://172.16.176.103:9000/",

      "conf" : {

        "dfs" : {

          "client" : {

            "read" : {

              "shortcircuit" : "false"

            }

          }

        }

      }

    }

  }

}

创建快照

  • 创建快照

不等待快照完成，即刻返回结果

PUT _snapshot/my_hdfs_repository/snapshot_i_xfjbblxt_cxfw_xfj_d12

{

    "indices": "i_xfjbblxt_cxfw_xfj_d12"

}
  • 查看快照当前状态
GET _snapshot/my_hdfs_repository/snapshot_i_xfjbblxt_cxfw_xfj_d12

{

  "snapshots" : [

    {

      "snapshot" : "snapshot_i_xfjbblxt_cxfw_xfj_d12",

      "uuid" : "-BS9XjxvS1Sp6wW_bT02lA",

      "version_id" : 7020099,

      "version" : "7.2.0",

      "indices" : [

        "i_xfjbblxt_cxfw_xfj_d12"

      ],

      "include_global_state" : true,

      "state" : "IN_PROGRESS",	--正在做快照中

      "start_time" : "2020-10-12T14:04:49.425Z",	--开始时间

      "start_time_in_millis" : 1602511489425,

      "end_time" : "1970-01-01T00:00:00.000Z",

      "end_time_in_millis" : 0,

      "duration_in_millis" : -1602511489425,

      "failures" : [ ],

      "shards" : {

        "total" : 0,

        "failed" : 0,

        "successful" : 0

      }

    }

  ]

}
  • 完成状态
{

  "snapshots" : [

    {

      "snapshot" : "snapshot_i_xfjbblxt_cxfw_xfj_d12",	--快照名称

      "uuid" : "-BS9XjxvS1Sp6wW_bT02lA",

      "version_id" : 7020099,

      "version" : "7.2.0",

      "indices" : [

        "i_xfjbblxt_cxfw_xfj_d12"	--索引

      ],

      "include_global_state" : true,

      "state" : "SUCCESS",	--快照成功

      "start_time" : "2020-10-12T14:04:49.425Z",	--开始时间

      "start_time_in_millis" : 1602511489425,	--开始时间戳

      "end_time" : "2020-10-12T14:24:33.942Z",	--结束时间

      "end_time_in_millis" : 1602512673942,	--结束时间戳

      "duration_in_millis" : 1184517,	--耗时（毫秒）

      "failures" : [ ],

      "shards" : {

        "total" : 5,	--总分片

        "failed" : 0,

        "successful" : 5	--成功分片

      }

    }

  ]

}

恢复快照

快照恢复如果恢复到原索引中，需要先把原索引关闭或者先删除后，在进行快照恢复

  • 恢复快照
POST _snapshot/my_hdfs_repository/snapshot_i_xfjbblxt_cxfw_xfj_d12/_restore

{

  "indices": "i_xfjbblxt_cxfw_xfj_d12"	--快照备份索引名称

  ,"rename_pattern": "i_xfjbblxt_cxfw_xfj_d12"	--检索匹配到的索引名称

  , "rename_replacement": "restored_i_xfjbblxt_cxfw_xfj_d12"	--重命名索引

}
  • 状态查看
{

  "restored_i_xfjbblxt_cxfw_xfj_d12" : {

    "shards" : [

      {

        "id" : 4,

        "type" : "SNAPSHOT",

        "stage" : "INDEX",

        "primary" : true,

        "start_time_in_millis" : 1602571287856,

        "total_time_in_millis" : 1249147,

        "source" : {

          "repository" : "my_hdfs_repository",

          "snapshot" : "snapshot_i_xfjbblxt_cxfw_xfj_d12",

          "version" : "7.2.0",

          "index" : "i_xfjbblxt_cxfw_xfj_d12",

          "restoreUUID" : "KM1EaKsAQkO4OxB0PwKe0Q"

        },

        "target" : {

          "id" : "DWvUrfqQRxGLIWm6SQmunA",

          "host" : "172.16.176.104",

          "transport_address" : "172.16.176.104:9300",

          "ip" : "172.16.176.104",

          "name" : "node-104"

        },

        "index" : {

          "size" : {

            "total_in_bytes" : 8312825377,

            "reused_in_bytes" : 0,

            "recovered_in_bytes" : 6781859331,

            "percent" : "81.6%"

          },

          "files" : {

            "total" : 104,

            "reused" : 0,

            "recovered" : 86,

            "percent" : "82.7%"

          },

          "total_time_in_millis" : 1249039,

          "source_throttle_time_in_millis" : 0,

          "target_throttle_time_in_millis" : 0

        },

        "translog" : {

          "recovered" : 0,

          "total" : 0,

          "percent" : "100.0%",

          "total_on_start" : 0,

          "total_time_in_millis" : 0

        },

        "verify_index" : {

          "check_index_time_in_millis" : 0,

          "total_time_in_millis" : 0

        }

      },

      --部分省略

备份恢复时间

案例快照详情

第一次快照

节点数 主分片 副本分配 数据量 大小 快照大小 耗时(快照)
3 5 1 5149535 77.4gb 40gb 19.74195分钟

案例快照恢复详情

快照恢复过程为并行恢复

分片 耗时（恢复） 恢复字节
0（主） 27.42分钟 7.75G
1（主） 27.14分钟 7.72G
2（主） 27.45分钟 7.75G
3（主） 25.89分钟 7.74G
4（主） 25.5分钟 7.74G
0（副） 18.65分钟 7.75G
1（副） 10.3分钟 7.72G
2（副） 17.21分钟 7.75G
3（副） 10.6分钟 7.74G
4（副） 18.32分钟 7.74G

常见问题

启动hdfs

问题1

$ start-dfs.sh

WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER. Using value of HADOOP_SECURE_DN_USER.

Starting namenodes on [host103]

Last login: Sun Oct 11 22:32:11 CST 2020 from 172.16.176.46 on pts/1

host103: ERROR: JAVA_HOME is not set and could not be found.

Starting datanodes

Last login: Sun Oct 11 22:32:23 CST 2020 on pts/1

localhost: ERROR: JAVA_HOME is not set and could not be found.

Starting secondary namenodes [host103]

Last login: Sun Oct 11 22:32:24 CST 2020 on pts/1

host103: ERROR: JAVA_HOME is not set and could not be found.
  • 解决

配置java环境变量

export JAVA_HOME=/home/hadoop/jdk1.8.0_161

export CLASSPATH=$JAVA_HOME/libdt.jar:$JAVA_HOME/tools.jar

export PATH=$JAVA_HOME/bin:$PATH

问题2

$ start-dfs.sh

WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER. Using value of HADOOP_SECURE_DN_USER.

Starting namenodes on [host103]

host103: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).

Starting datanodes

localhost: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).

Starting secondary namenodes [host103]

host103: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).
  • 解决

hadoop用户执行

[hadoop@host103 ~]$ ssh-copy-id hadoop@host103

/usr/bin/ssh-copy-id: INFO: Source of key(s) to be installed: "/home/hadoop/.ssh/id_rsa.pub"

/usr/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed

/usr/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys

hadoop@host103's password: 

Number of key(s) added: 1

Now try logging into the machine, with:   "ssh 'hadoop@host103'"

and check to make sure that only the key(s) you wanted were added.

创建仓库

问题1

  • 创建
PUT _snapshot/my_hdfs_repository

{

  "type": "hdfs",

  "settings": {

    "uri": "hdfs://172.16.176.103:9000/",

    "path": "/",

    "conf.dfs.client.read.shortcircuit": "false"

  }

}
  • 错误
error": {

    "root_cause": [

      {

        "type": "repository_exception",

        "reason": "[my_hdfs_repository] cannot create blob store"

      }

    ],

    "type": "repository_exception",

    "reason": "[my_hdfs_repository] cannot create blob store",

    "caused_by": {

      "type": "unchecked_i_o_exception",

      "reason": "Cannot create HDFS repository for uri [hdfs://172.16.176.103:9000/]",

      "caused_by": {

        "type": "access_control_exception",

        "reason": "Permission denied: user=es, access=WRITE, inode=\"/\":hadoop:supergroup:drwxr-xr-x\n\tat org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:496)\n\tat org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:336)\n\tat org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermissionWithContext(FSPermissionChecker.java:360)\n\tat org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:239)\n\tat org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1909)\n\tat org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1893)\n\tat org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkAncestorAccess(FSDirectory.java:1852)\n\tat org.apache.hadoop.hdfs.server.namenode.FSDirMkdirOp.mkdirs(FSDirMkdirOp.java:60)\n\tat org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:3407)\n\tat org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs(NameNodeRpcServer.java:1161)\n\tat org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.mkdirs(ClientNamenodeProtocolServerSideTranslatorPB.java:739)\n\tat org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)\n\tat org.apache.hadoop.ipc.ProtobufRpcEngine2$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine2.java:532)\n\tat org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1070)\n\tat org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:1020)\n\tat org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:948)\n\tat java.security.AccessController.doPrivileged(Native Method)\n\tat javax.security.auth.Subject.doAs(Subject.java:422)\n\tat org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1845)\n\tat org.apache.hadoop.ipc.Server$Handler.run(Server.java:2952)\n",
  • 问题解决

新增hdfs-site.xml

<property>

  <name>dfs.permissions</name>

  <value>false</value>

</property>

参考文档

  • HDFS插件

https://www.elastic.co/guide/en/elasticsearch/plugins/7.2/repository-hdfs.html

  • HDFS SingleCluster

https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html

利用HDFS实现ElasticSearch7.2容灾方案的更多相关文章

  1. [Hbase]Hbase容灾方案

    介绍两种HBase的数据备份或者容灾方案:Snapshot,Replication: 一.Snapshot 开启快照功能,在hbase-site.xml文件中添加如下配置项: <property ...

  2. hbase数据备份或者容灾方案

    HBase的数据备份或者容灾方案有这几种:Distcp,CopyTable,Export/Import,Snapshot,Replication,以下分别介绍(以下描述的内容均是基于0.94.20版本 ...

  3. Hbase数据备份&&容灾方案

    Hbase数据备份&&容灾方案 标签(空格分隔): Hbase 一.Distcp 在使用distcp命令copy hdfs文件的方式实现备份时,需要禁用备份表确保copy时该表没有数据 ...

  4. MongDB集群容灾方案步骤

    MongoDB复制集优/特点支持大数据量.高扩展性.高性能.灵活数据模型.高可用性.同步机制数据复制的目的是使数据得到最大的可用性,避免单点故障引起的整站不能访问的情况的发生,Mongodb的副本集在 ...

  5. 【亲述】Uber容错设计与多机房容灾方案 - 高可用架构系列

    此文是根据赵磊在[QCON高可用架构群]中的分享内容整理而成.转载请事先联系赵磊及相关编辑. 赵磊,Uber高级工程师,08年上海交通大学毕业,曾就职于微软,后加入Facebook主要负责Messen ...

  6. keepalived容灾方案，实现nginx负载均衡主从架构（1）

    一:环境准备:4台nginx服务器,两台用yum安装,两台使用源码安装 第一步:使用yum安装nginx服务器,在浏览器输入ip,可以显示以下内容,这步比较简单,安装好修改/usr/share/ngi ...

  7. QQ 相册后台存储架构重构与跨 IDC 容灾实践

    欢迎大家前往云加社区,获取更多腾讯海量技术实践干货哦~ 作者简介:xianmau,2015 年加入腾讯 TEG 架构平台部,一直负责 QQ 相册平台的维护和建设,主导相册上传架构重构和容灾优化等工作. ...

  8. 华为云计算IE面试笔记-请描述华为容灾解决方案全景图，并解释双活数据中心需要从哪些角度着手考虑双活设计

    容灾全景图: 按照距离划分:分为本地容灾 同城容灾 异地容灾  本地容灾包括本地高可用和本地主备.(本数据中心的两机房.机柜) 本地高可用这个方案为了保持业务的连续性,从两个层面来考虑: ①一个是从主 ...

  9. 传统业务上云：跨AZ容灾架构解析

    本文由  网易云发布. 数字化转型浪潮之下,采用云计算服务提升业务敏捷性.降低运维成本,成为了传统企业的优选方案.网易云资深解决方案架构师张亮通过某物流企业客户的实际案例,分享了传统业务系统在云上的架 ...

随机推荐

  1. let与const认识

      es2015之前 在es2015之前JavaScript并没有块级作用域这个说法,只有全局和函数级的变量,let的出现使JavaScript语言有了块级作用域 在外面访问 { var a=5; l ...

  2. 单应用模式 - Layuiadmin单页版放入TP6.0的部署方案

    thinkphp6.0.3单应用模式.layuiadmin1.4.0单页版,不需要tp的视图驱动 1. 复制 src.start 两个文件夹 2. 粘贴到 thinkphp 的 public 目录下 ...

  3. Java链接db2套接字出错

    ### Error querying database. Cause: org.springframework.jdbc.CannotGetJdbcConnectionException: Could ...

  4. linux（centos）下密码有效期和密码复杂度设置

    1.密码有效期 方法一: chage -l 用户名 查看用户的过期时间 chage -M 99999 用户名 用命令修改过期时间为永久 chage -M 90 用户名 设置密码有效期为90天 chag ...

  5. [LeetCode]1083. 销售分析 II(Mysql,having+if)

    题目 编写一个 SQL 查询,查询购买了 S8 手机却没有购买 iPhone 的买家. 题解 使用having + sum+if,而不是自查询. 代码 # Write your MySQL query ...

  6. 基于DDD+微服务的开发实战(1)

    1 DDD是什么? DDD是领域驱动设计,是Eric Evans于2003年提出的,离现在有17年. 2 为什么需要DDD 当软件越来越复杂,实际开发中,大量的业务逻辑堆积在一个巨型类中的例子屡见不鲜 ...

  7. kolla部署openstack多节点高可用并对接ceph后端存储（17）

    部署节点执行: 安装基础包和docker yum install python-devel libffi-devel gcc openssl-devel git python-pip -y 升级一下 ...

  8. SpringBoot-02-原理初探之主启动类

    2. 原理初探 2.1 pom.xml 父依赖 主要依赖一个父项目,主要管理项目的资源过滤和插件 <parent> <groupId>org.springframework.b ...

  9. java四种修饰符的限制范围

    转自https://blog.csdn.net/lch_2016/article/details/81052343 访问权限 本类 本包 不同包子类 不同包非子类 public √ √ √ √ pro ...

  10. python文档翻译之python说明

    3.1使用Python进行计数 让我们来使用一些Python的简单命令,通过终端启动解释器等待出现>>>. 3.1.1数值类型 在终端中输入数学表达式,Python解释器会执行这些表 ...