通过将elasticsearch的data、ingest、master角色进行分离，搭建起高性能+高可用的ES架构

作者：“发颠的小狼”，欢迎转载与投稿

目录

▪ 用途

▪ 架构

▪ 步骤说明

▪ elasticsearch-data部署

▪ elasticsearch-ingest部署

▪ elasticsearch-master部署

用途

在第一篇《EFK教程 - 快速入门指南》中，阐述了EFK的安装部署，其中ES的架构为三节点，即master、ingest、data角色同时部署在三台服务器上。

在本文中，将进行角色分离部署，并且每个角色分别部署三节点，在实现性能最大化的同时保障高可用。

▷ elasticsearch的master节点：用于调度，采用普通性能服务器来部署

▷ elasticsearch的ingest节点：用于数据预处理，采用性能好的服务器来部署

▷ elasticsearch的data节点：用于数据落地存储，采用存储性能好的服务器来部署

若不知道去哪找《EFK教程 - 快速入门指南》，可在主流搜索引擎里搜索：

小慢哥 EFK教程 快速入门指南

或者

小慢哥 EFK教程 基于多节点ES的EFK安装部署配置

架构

服务器配置

注意：此处的架构是之前的文章《EFK教程 - 快速入门指南》的拓展，因此请先按照《EFK教程 - 快速入门指南》完成部署

步骤说明

1️⃣ 部署3台data节点，加入原集群

2️⃣ 部署3台ingest节点，加入原集群

3️⃣ 将原有的es索引迁移到data节点

4️⃣ 将原有的es节点改造成master节点

elasticsearch-data部署

之前已完成了基础的elasticsearch架构，现需要新增三台存储节点加入集群，同时关闭master和ingest功能

elasticsearch-data安装：3台均执行相同的安装步骤

tar -zxvf elasticsearch-7.3.2-linux-x86_64.tar.gz

mv elasticsearch-7.3.2 /opt/elasticsearch

useradd elasticsearch -d /opt/elasticsearch -s /sbin/nologin

mkdir -p /opt/logs/elasticsearch

chown elasticsearch.elasticsearch /opt/elasticsearch -R

chown elasticsearch.elasticsearch /opt/logs/elasticsearch -R

# 数据盘需要elasticsearch写权限

chown elasticsearch.elasticsearch /data/SAS -R

# 限制一个进程可以拥有的VMA(虚拟内存区域)的数量要超过262144，不然elasticsearch会报max virtual memory areas vm.max_map_count [65535] is too low, increase to at least [262144]

echo "vm.max_map_count = 655350" >> /etc/sysctl.conf

sysctl -p

elasticsearch-data配置

▷ 192.168.1.51 /opt/elasticsearch/config/elasticsearch.yml

cluster.name: my-application

node.name: 192.168.1.51

# 数据盘位置，如果有多个硬盘位置，用","隔开

path.data: /data/SAS

path.logs: /opt/logs/elasticsearch

network.host: 192.168.1.51

discovery.seed_hosts: ["192.168.1.31","192.168.1.32","192.168.1.33"]

cluster.initial_master_nodes: ["192.168.1.31","192.168.1.32","192.168.1.33"]

http.cors.enabled: true

http.cors.allow-origin: "*"

# 关闭master功能

node.master: false

# 关闭ingest功能

node.ingest: false

# 开启data功能

node.data: true

▷ 192.168.1.52 /opt/elasticsearch/config/elasticsearch.yml

cluster.name: my-application

node.name: 192.168.1.52

# 数据盘位置，如果有多个硬盘位置，用","隔开

path.data: /data/SAS

path.logs: /opt/logs/elasticsearch

network.host: 192.168.1.52

discovery.seed_hosts: ["192.168.1.31","192.168.1.32","192.168.1.33"]

cluster.initial_master_nodes: ["192.168.1.31","192.168.1.32","192.168.1.33"]

http.cors.enabled: true

http.cors.allow-origin: "*"

# 关闭master功能

node.master: false

# 关闭ingest功能

node.ingest: false

# 开启data功能

node.data: true

▷ 192.168.1.53 /opt/elasticsearch/config/elasticsearch.yml

cluster.name: my-application

node.name: 192.168.1.53

# 数据盘位置，如果有多个硬盘位置，用","隔开

path.data: /data/SAS

path.logs: /opt/logs/elasticsearch

network.host: 192.168.1.53

discovery.seed_hosts: ["192.168.1.31","192.168.1.32","192.168.1.33"]

cluster.initial_master_nodes: ["192.168.1.31","192.168.1.32","192.168.1.33"]

http.cors.enabled: true

http.cors.allow-origin: "*"

# 关闭master功能

node.master: false

# 关闭ingest功能

node.ingest: false

# 开启data功能

node.data: true

elasticsearch-data启动

sudo -u elasticsearch /opt/elasticsearch/bin/elasticsearch

elasticsearch集群状态

curl "http://192.168.1.31:9200/_cat/health?v"

elasticsearch-data状态

curl "http://192.168.1.31:9200/_cat/nodes?v"

elasticsearch-data参数说明

status: green  # 集群健康状态

node.total: 6  # 有6台机子组成集群

node.data: 6  # 有6个节点的存储

node.role: d  # 只拥有data角色

node.role: i  # 只拥有ingest角色

node.role: m  # 只拥有master角色

node.role: mid  # 拥master、ingest、data角色

elasticsearch-ingest部署

现需要新增三台ingest节点加入集群，同时关闭master和data功能

elasticsearch-ingest安装：3台es均执行相同的安装步骤

tar -zxvf elasticsearch-7.3.2-linux-x86_64.tar.gz

mv elasticsearch-7.3.2 /opt/elasticsearch

useradd elasticsearch -d /opt/elasticsearch -s /sbin/nologin

mkdir -p /opt/logs/elasticsearch

chown elasticsearch.elasticsearch /opt/elasticsearch -R

chown elasticsearch.elasticsearch /opt/logs/elasticsearch -R

# 限制一个进程可以拥有的VMA(虚拟内存区域)的数量要超过262144，不然elasticsearch会报max virtual memory areas vm.max_map_count [65535] is too low, increase to at least [262144]

echo "vm.max_map_count = 655350" >> /etc/sysctl.conf

sysctl -p

elasticsearch-ingest配置

▷ 192.168.1.41 /opt/elasticsearch/config/elasticsearch.yml

cluster.name: my-application

node.name: 192.168.1.41

path.logs: /opt/logs/elasticsearch

network.host: 192.168.1.41

discovery.seed_hosts: ["192.168.1.31","192.168.1.32","192.168.1.33"]

cluster.initial_master_nodes: ["192.168.1.31","192.168.1.32","192.168.1.33"]

http.cors.enabled: true

http.cors.allow-origin: "*"

# 关闭master功能

node.master: false

# 开启ingest功能

node.ingest: true

# 关闭data功能

node.data: false

▷ 192.168.1.42 /opt/elasticsearch/config/elasticsearch.yml

cluster.name: my-application

node.name: 192.168.1.42

path.logs: /opt/logs/elasticsearch

network.host: 192.168.1.42

discovery.seed_hosts: ["192.168.1.31","192.168.1.32","192.168.1.33"]

cluster.initial_master_nodes: ["192.168.1.31","192.168.1.32","192.168.1.33"]

http.cors.enabled: true

http.cors.allow-origin: "*"

# 关闭master功能

node.master: false

# 开启ingest功能

node.ingest: true

# 关闭data功能

node.data: false

▷ 192.168.1.43 /opt/elasticsearch/config/elasticsearch.yml

cluster.name: my-application

node.name: 192.168.1.43

path.logs: /opt/logs/elasticsearch

network.host: 192.168.1.43

discovery.seed_hosts: ["192.168.1.31","192.168.1.32","192.168.1.33"]

cluster.initial_master_nodes: ["192.168.1.31","192.168.1.32","192.168.1.33"]

http.cors.enabled: true

http.cors.allow-origin: "*"

# 关闭master功能

node.master: false

# 开启ingest功能

node.ingest: true

# 关闭data功能

node.data: false

elasticsearch-ingest启动

sudo -u elasticsearch /opt/elasticsearch/bin/elasticsearch

elasticsearch集群状态

curl "http://192.168.1.31:9200/_cat/health?v"

elasticsearch-ingest状态

curl "http://192.168.1.31:9200/_cat/nodes?v"

elasticsearch-ingest参数说明

status: green  # 集群健康状态

node.total: 9  # 有9台机子组成集群

node.data: 6  # 有6个节点的存储

node.role: d  # 只拥有data角色

node.role: i  # 只拥有ingest角色

node.role: m  # 只拥有master角色

node.role: mid  # 拥master、ingest、data角色

elasticsearch-master部署

首先，将上一篇《EFK教程 - 快速入门指南》中部署的3台es（192.168.1.31、192.168.1.32、192.168.1.33）改成只有master的功能， 因此需要先将这3台上的索引数据迁移到本次所做的data节点中

1️⃣ 索引迁移：一定要做这步，将之前的索引放到data节点上

curl -X PUT "192.168.1.31:9200/*/_settings?pretty" -H 'Content-Type: application/json' -d'

{

  "index.routing.allocation.include._ip": "192.168.1.51,192.168.1.52,192.168.1.53"

}'

2️⃣ 确认当前索引存储位置：确认所有索引不在192.168.1.31、192.168.1.32、192.168.1.33节点上

curl "http://192.168.1.31:9200/_cat/shards?h=n"

elasticsearch-master配置

注意事项：修改配置，重启进程，需要一台一台执行，要确保第一台成功后，再执行下一台。重启进程的方法：由于上一篇文章《EFK教程 - 快速入门指南》里，是执行命令跑在前台，因此直接ctrl - c退出再启动即可，启动命令如下

sudo -u elasticsearch /opt/elasticsearch/bin/elasticsearch

▷ 192.168.1.31 /opt/elasticsearch/config/elasticsearch.yml

cluster.name: my-application

node.name: 192.168.1.31

path.logs: /opt/logs/elasticsearch

network.host: 192.168.1.31

discovery.seed_hosts: ["192.168.1.31","192.168.1.32","192.168.1.33"]

cluster.initial_master_nodes: ["192.168.1.31","192.168.1.32","192.168.1.33"]

http.cors.enabled: true

http.cors.allow-origin: "*"

#开启master功能

node.master: true

#关闭ingest功能

node.ingest: false

#关闭data功能

node.data: false

▷ 192.168.1.32 /opt/elasticsearch/config/elasticsearch.yml

cluster.name: my-application

node.name: 192.168.1.32

path.logs: /opt/logs/elasticsearch

network.host: 192.168.1.32

discovery.seed_hosts: ["192.168.1.31","192.168.1.32","192.168.1.33"]

cluster.initial_master_nodes: ["192.168.1.31","192.168.1.32","192.168.1.33"]

http.cors.enabled: true

http.cors.allow-origin: "*"

#开启master功能

node.master: true

#关闭ingest功能

node.ingest: false

#关闭data功能

node.data: false

▷ 192.168.1.33 /opt/elasticsearch/config/elasticsearch.yml

cluster.name: my-application

node.name: 192.168.1.33

path.logs: /opt/logs/elasticsearch

network.host: 192.168.1.33

discovery.seed_hosts: ["192.168.1.31","192.168.1.32","192.168.1.33"]

cluster.initial_master_nodes: ["192.168.1.31","192.168.1.32","192.168.1.33"]

http.cors.enabled: true

http.cors.allow-origin: "*"

#开启master功能

node.master: true

#关闭ingest功能

node.ingest: false

#关闭data功能

node.data: false

elasticsearch集群状态

curl "http://192.168.1.31:9200/_cat/health?v"

elasticsearch-master状态

curl "http://192.168.1.31:9200/_cat/nodes?v"

至此，当node.role里所有服务器都不再出现“mid”，则表示一切顺利完成。

EFK教程 - ElasticSearch高性能高可用架构的更多相关文章

  1. EFK-2：ElasticSearch高性能高可用架构

    转载自:https://mp.weixin.qq.com/s?__biz=MzUyNzk0NTI4MQ==&mid=2247483811&idx=1&sn=a413dea65f ...

  2. Windows 环境搭建 PostgreSQL 物理复制高可用架构数据库服务

    PostgreSQL 高可用数据库的常见搭建方式主要有两种,逻辑复制和物理复制,上周已经写过了关于在Windows环境搭建PostgreSQL逻辑复制的教程,这周来记录一下 物理复制的搭建方法. 首先 ...

  3. 【转】单表60亿记录等大数据场景的MySQL优化和运维之道 | 高可用架构

    此文是根据杨尚刚在[QCON高可用架构群]中,针对MySQL在单表海量记录等场景下,业界广泛关注的MySQL问题的经验分享整理而成,转发请注明出处. 杨尚刚,美图公司数据库高级DBA,负责美图后端数据 ...

  4. [转载] 单表60亿记录等大数据场景的MySQL优化和运维之道 | 高可用架构

    原文: http://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=209406532&idx=1&sn=2e9b0cc02bdd ...

  5. 实现基于Haproxy+Keepalived负载均衡高可用架构

    1.项目介绍: 上上期我们实现了keepalived主从高可用集群网站架构,随着公司业务的发展,公司负载均衡服务已经实现四层负载均衡,但业务的复杂程度提升,公司要求把mobile手机站点作为单独的服务 ...

  6. 如何构建 Redis 高可用架构？

    温国兵 民工哥技术之路 今天 1 .题记 Redis 是一个开源的使用 ANSI C 语言编写.支持网络.可基于内存亦可持久化的日志型.Key-Value 数据库,并提供多种语言的 API. 如今,互 ...

  7. 单表60亿记录等大数据场景的MySQL优化和运维之道 | 高可用架构

    015-08-09 杨尚刚 高可用架构 此文是根据杨尚刚在[QCON高可用架构群]中,针对MySQL在单表海量记录等场景下,业界广泛关注的MySQL问题的经验分享整理而成,转发请注明出处. 杨尚刚,美 ...

  8. Redis|Sentinel 高可用架构

    一 前言 Redis-Sentinel是Redis官方推荐的高可用性(HA)解决方案,当用Redis做Master-slave的高可用方案时,假如master宕机了,Redis本身(包括它的很多客户端 ...

  9. Redis高可用架构

    前言 Redis是一个高性能的key-value数据库,现时越来越多企业与应用使用Redis作为缓存服务器.楼主是一枚JAVA后端程序员,也算是半个运维工程师了.在Linux服务器上搭建Redis,怎 ...

随机推荐

  1. 基于OAuth 2.0的第三方认证 -戈多编程

    引用(http://www.cnblogs.com/artech/p/oauth-01.html) OAuth 2.0的角色 获得资源拥有者授权的第三方应用请求受保护的资源采用的不是授权者的凭证,所有 ...

  2. 洛谷　1552 [APIO2012]派遣

    题目背景 在一个忍者的帮派里,一些忍者们被选中派遣给顾客,然后依据自己的工作获取报偿. 题目描述 在这个帮派里,有一名忍者被称之为Master.除了Master以外,每名忍者都有且仅有一个上级.为保密 ...

  3. MySQL的索引原理（图解）

    数据库的索引原理 0.什么是索引 ​ 索引是一种特殊的文件(InnoDB数据表上的索引是表空间的一个组成部分),它们包含着对数据表里所有记录的引用指针.更通俗的说,数据库索引好比是一本书前面的目录,能 ...

  4. PhantomJS not found on PATH

    使用vue-cli创建项目后,npm init常出现以下问题:PhantomJS not found on PATH 这是因为文件phantomjs-2.1.1-windows.zip过大,网络不好容 ...

  5. 攻防世界(XCTF)WEB(进阶区)write up(四)

    ics-07  Web_php_include  Zhuanxv Web_python_template_injection ics-07 题前半部分是php弱类型 这段说当传入的id值浮点值不能为1 ...

  6. c++11::std::optional

    std::optional还有一个类似于智能指针的接口, 它可以显式转化为bool来表示std::optional是否有一个值. 指针的解引用操作符*和->都实现了, 但是没有std::bad_ ...

  7. mongodb学习笔记系列一

    一.简介和安装 ./bin/mongod --dbpath /path/to/database --logpath /path/to/log --fork --port 27017 mongodb非常 ...

  8. @ConditionalOnProperty注解

    一 源码解析 查看ConditionalOnProperty的源码 package org.springframework.boot.autoconfigure.condition; import j ...

  9. 第一篇：版本控制git之仓库管理

    ---恢复内容开始--- 再开始这个话题之前,让我想起了一件很痛苦的事情,在我大学写毕业论文的时候,我当时的文件是这样保存的 毕业论文_初稿.doc 毕业论文_修改1.doc 毕业论文_修改2.doc ...

  10. (JavaScript) base64 字符串 和 ArrayBuffer 之间转换

    base64 --> ArrayBuffer function base64ToUint8Array(base64String) { const padding = '='.repeat((4 ...