通过将elasticsearch的data、ingest、master角色进行分离，搭建起高性能+高可用的ES架构

作者：“发颠的小狼”，欢迎转载与投稿

目录

▪ 用途

▪ 架构

▪ 步骤说明

▪ elasticsearch-data部署

▪ elasticsearch-ingest部署

▪ elasticsearch-master部署

用途

在第一篇《EFK教程 - 快速入门指南》中，阐述了EFK的安装部署，其中ES的架构为三节点，即master、ingest、data角色同时部署在三台服务器上。

在本文中，将进行角色分离部署，并且每个角色分别部署三节点，在实现性能最大化的同时保障高可用。

▷ elasticsearch的master节点：用于调度，采用普通性能服务器来部署

▷ elasticsearch的ingest节点：用于数据预处理，采用性能好的服务器来部署

▷ elasticsearch的data节点：用于数据落地存储，采用存储性能好的服务器来部署

若不知道去哪找《EFK教程 - 快速入门指南》，可在主流搜索引擎里搜索：

小慢哥 EFK教程 快速入门指南

或者

小慢哥 EFK教程 基于多节点ES的EFK安装部署配置

架构

服务器配置

注意：此处的架构是之前的文章《EFK教程 - 快速入门指南》的拓展，因此请先按照《EFK教程 - 快速入门指南》完成部署

步骤说明

1️⃣ 部署3台data节点，加入原集群

2️⃣ 部署3台ingest节点，加入原集群

3️⃣ 将原有的es索引迁移到data节点

4️⃣ 将原有的es节点改造成master节点

elasticsearch-data部署

之前已完成了基础的elasticsearch架构，现需要新增三台存储节点加入集群，同时关闭master和ingest功能

elasticsearch-data安装：3台均执行相同的安装步骤

tar -zxvf elasticsearch-7.3.2-linux-x86_64.tar.gz

mv elasticsearch-7.3.2 /opt/elasticsearch

useradd elasticsearch -d /opt/elasticsearch -s /sbin/nologin

mkdir -p /opt/logs/elasticsearch

chown elasticsearch.elasticsearch /opt/elasticsearch -R

chown elasticsearch.elasticsearch /opt/logs/elasticsearch -R

# 数据盘需要elasticsearch写权限

chown elasticsearch.elasticsearch /data/SAS -R

# 限制一个进程可以拥有的VMA(虚拟内存区域)的数量要超过262144，不然elasticsearch会报max virtual memory areas vm.max_map_count [65535] is too low, increase to at least [262144]

echo "vm.max_map_count = 655350" >> /etc/sysctl.conf

sysctl -p

elasticsearch-data配置

▷ 192.168.1.51 /opt/elasticsearch/config/elasticsearch.yml

cluster.name: my-application

node.name: 192.168.1.51

# 数据盘位置，如果有多个硬盘位置，用","隔开

path.data: /data/SAS

path.logs: /opt/logs/elasticsearch

network.host: 192.168.1.51

discovery.seed_hosts: ["192.168.1.31","192.168.1.32","192.168.1.33"]

cluster.initial_master_nodes: ["192.168.1.31","192.168.1.32","192.168.1.33"]

http.cors.enabled: true

http.cors.allow-origin: "*"

# 关闭master功能

node.master: false

# 关闭ingest功能

node.ingest: false

# 开启data功能

node.data: true

▷ 192.168.1.52 /opt/elasticsearch/config/elasticsearch.yml

cluster.name: my-application

node.name: 192.168.1.52

# 数据盘位置，如果有多个硬盘位置，用","隔开

path.data: /data/SAS

path.logs: /opt/logs/elasticsearch

network.host: 192.168.1.52

discovery.seed_hosts: ["192.168.1.31","192.168.1.32","192.168.1.33"]

cluster.initial_master_nodes: ["192.168.1.31","192.168.1.32","192.168.1.33"]

http.cors.enabled: true

http.cors.allow-origin: "*"

# 关闭master功能

node.master: false

# 关闭ingest功能

node.ingest: false

# 开启data功能

node.data: true

▷ 192.168.1.53 /opt/elasticsearch/config/elasticsearch.yml

cluster.name: my-application

node.name: 192.168.1.53

# 数据盘位置，如果有多个硬盘位置，用","隔开

path.data: /data/SAS

path.logs: /opt/logs/elasticsearch

network.host: 192.168.1.53

discovery.seed_hosts: ["192.168.1.31","192.168.1.32","192.168.1.33"]

cluster.initial_master_nodes: ["192.168.1.31","192.168.1.32","192.168.1.33"]

http.cors.enabled: true

http.cors.allow-origin: "*"

# 关闭master功能

node.master: false

# 关闭ingest功能

node.ingest: false

# 开启data功能

node.data: true

elasticsearch-data启动

sudo -u elasticsearch /opt/elasticsearch/bin/elasticsearch

elasticsearch集群状态

curl "http://192.168.1.31:9200/_cat/health?v"

elasticsearch-data状态

curl "http://192.168.1.31:9200/_cat/nodes?v"

elasticsearch-data参数说明

status: green  # 集群健康状态

node.total: 6  # 有6台机子组成集群

node.data: 6  # 有6个节点的存储

node.role: d  # 只拥有data角色

node.role: i  # 只拥有ingest角色

node.role: m  # 只拥有master角色

node.role: mid  # 拥master、ingest、data角色

elasticsearch-ingest部署

现需要新增三台ingest节点加入集群，同时关闭master和data功能

elasticsearch-ingest安装：3台es均执行相同的安装步骤

tar -zxvf elasticsearch-7.3.2-linux-x86_64.tar.gz

mv elasticsearch-7.3.2 /opt/elasticsearch

useradd elasticsearch -d /opt/elasticsearch -s /sbin/nologin

mkdir -p /opt/logs/elasticsearch

chown elasticsearch.elasticsearch /opt/elasticsearch -R

chown elasticsearch.elasticsearch /opt/logs/elasticsearch -R

# 限制一个进程可以拥有的VMA(虚拟内存区域)的数量要超过262144，不然elasticsearch会报max virtual memory areas vm.max_map_count [65535] is too low, increase to at least [262144]

echo "vm.max_map_count = 655350" >> /etc/sysctl.conf

sysctl -p

elasticsearch-ingest配置

▷ 192.168.1.41 /opt/elasticsearch/config/elasticsearch.yml

cluster.name: my-application

node.name: 192.168.1.41

path.logs: /opt/logs/elasticsearch

network.host: 192.168.1.41

discovery.seed_hosts: ["192.168.1.31","192.168.1.32","192.168.1.33"]

cluster.initial_master_nodes: ["192.168.1.31","192.168.1.32","192.168.1.33"]

http.cors.enabled: true

http.cors.allow-origin: "*"

# 关闭master功能

node.master: false

# 开启ingest功能

node.ingest: true

# 关闭data功能

node.data: false

▷ 192.168.1.42 /opt/elasticsearch/config/elasticsearch.yml

cluster.name: my-application

node.name: 192.168.1.42

path.logs: /opt/logs/elasticsearch

network.host: 192.168.1.42

discovery.seed_hosts: ["192.168.1.31","192.168.1.32","192.168.1.33"]

cluster.initial_master_nodes: ["192.168.1.31","192.168.1.32","192.168.1.33"]

http.cors.enabled: true

http.cors.allow-origin: "*"

# 关闭master功能

node.master: false

# 开启ingest功能

node.ingest: true

# 关闭data功能

node.data: false

▷ 192.168.1.43 /opt/elasticsearch/config/elasticsearch.yml

cluster.name: my-application

node.name: 192.168.1.43

path.logs: /opt/logs/elasticsearch

network.host: 192.168.1.43

discovery.seed_hosts: ["192.168.1.31","192.168.1.32","192.168.1.33"]

cluster.initial_master_nodes: ["192.168.1.31","192.168.1.32","192.168.1.33"]

http.cors.enabled: true

http.cors.allow-origin: "*"

# 关闭master功能

node.master: false

# 开启ingest功能

node.ingest: true

# 关闭data功能

node.data: false

elasticsearch-ingest启动

sudo -u elasticsearch /opt/elasticsearch/bin/elasticsearch

elasticsearch集群状态

curl "http://192.168.1.31:9200/_cat/health?v"

elasticsearch-ingest状态

curl "http://192.168.1.31:9200/_cat/nodes?v"

elasticsearch-ingest参数说明

status: green  # 集群健康状态

node.total: 9  # 有9台机子组成集群

node.data: 6  # 有6个节点的存储

node.role: d  # 只拥有data角色

node.role: i  # 只拥有ingest角色

node.role: m  # 只拥有master角色

node.role: mid  # 拥master、ingest、data角色

elasticsearch-master部署

首先，将上一篇《EFK教程 - 快速入门指南》中部署的3台es（192.168.1.31、192.168.1.32、192.168.1.33）改成只有master的功能， 因此需要先将这3台上的索引数据迁移到本次所做的data节点中

1️⃣ 索引迁移：一定要做这步，将之前的索引放到data节点上

curl -X PUT "192.168.1.31:9200/*/_settings?pretty" -H 'Content-Type: application/json' -d'

{

  "index.routing.allocation.include._ip": "192.168.1.51,192.168.1.52,192.168.1.53"

}'

2️⃣ 确认当前索引存储位置：确认所有索引不在192.168.1.31、192.168.1.32、192.168.1.33节点上

curl "http://192.168.1.31:9200/_cat/shards?h=n"

elasticsearch-master配置

注意事项：修改配置，重启进程，需要一台一台执行，要确保第一台成功后，再执行下一台。重启进程的方法：由于上一篇文章《EFK教程 - 快速入门指南》里，是执行命令跑在前台，因此直接ctrl - c退出再启动即可，启动命令如下

sudo -u elasticsearch /opt/elasticsearch/bin/elasticsearch

▷ 192.168.1.31 /opt/elasticsearch/config/elasticsearch.yml

cluster.name: my-application

node.name: 192.168.1.31

path.logs: /opt/logs/elasticsearch

network.host: 192.168.1.31

discovery.seed_hosts: ["192.168.1.31","192.168.1.32","192.168.1.33"]

cluster.initial_master_nodes: ["192.168.1.31","192.168.1.32","192.168.1.33"]

http.cors.enabled: true

http.cors.allow-origin: "*"

#开启master功能

node.master: true

#关闭ingest功能

node.ingest: false

#关闭data功能

node.data: false

▷ 192.168.1.32 /opt/elasticsearch/config/elasticsearch.yml

cluster.name: my-application

node.name: 192.168.1.32

path.logs: /opt/logs/elasticsearch

network.host: 192.168.1.32

discovery.seed_hosts: ["192.168.1.31","192.168.1.32","192.168.1.33"]

cluster.initial_master_nodes: ["192.168.1.31","192.168.1.32","192.168.1.33"]

http.cors.enabled: true

http.cors.allow-origin: "*"

#开启master功能

node.master: true

#关闭ingest功能

node.ingest: false

#关闭data功能

node.data: false

▷ 192.168.1.33 /opt/elasticsearch/config/elasticsearch.yml

cluster.name: my-application

node.name: 192.168.1.33

path.logs: /opt/logs/elasticsearch

network.host: 192.168.1.33

discovery.seed_hosts: ["192.168.1.31","192.168.1.32","192.168.1.33"]

cluster.initial_master_nodes: ["192.168.1.31","192.168.1.32","192.168.1.33"]

http.cors.enabled: true

http.cors.allow-origin: "*"

#开启master功能

node.master: true

#关闭ingest功能

node.ingest: false

#关闭data功能

node.data: false

elasticsearch集群状态

curl "http://192.168.1.31:9200/_cat/health?v"

elasticsearch-master状态

curl "http://192.168.1.31:9200/_cat/nodes?v"

至此，当node.role里所有服务器都不再出现“mid”，则表示一切顺利完成。

EFK教程 - ElasticSearch高性能高可用架构的更多相关文章

  1. EFK-2：ElasticSearch高性能高可用架构

    转载自:https://mp.weixin.qq.com/s?__biz=MzUyNzk0NTI4MQ==&mid=2247483811&idx=1&sn=a413dea65f ...

  2. Windows 环境搭建 PostgreSQL 物理复制高可用架构数据库服务

    PostgreSQL 高可用数据库的常见搭建方式主要有两种,逻辑复制和物理复制,上周已经写过了关于在Windows环境搭建PostgreSQL逻辑复制的教程,这周来记录一下 物理复制的搭建方法. 首先 ...

  3. 【转】单表60亿记录等大数据场景的MySQL优化和运维之道 | 高可用架构

    此文是根据杨尚刚在[QCON高可用架构群]中,针对MySQL在单表海量记录等场景下,业界广泛关注的MySQL问题的经验分享整理而成,转发请注明出处. 杨尚刚,美图公司数据库高级DBA,负责美图后端数据 ...

  4. [转载] 单表60亿记录等大数据场景的MySQL优化和运维之道 | 高可用架构

    原文: http://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=209406532&idx=1&sn=2e9b0cc02bdd ...

  5. 实现基于Haproxy+Keepalived负载均衡高可用架构

    1.项目介绍: 上上期我们实现了keepalived主从高可用集群网站架构,随着公司业务的发展,公司负载均衡服务已经实现四层负载均衡,但业务的复杂程度提升,公司要求把mobile手机站点作为单独的服务 ...

  6. 如何构建 Redis 高可用架构？

    温国兵 民工哥技术之路 今天 1 .题记 Redis 是一个开源的使用 ANSI C 语言编写.支持网络.可基于内存亦可持久化的日志型.Key-Value 数据库,并提供多种语言的 API. 如今,互 ...

  7. 单表60亿记录等大数据场景的MySQL优化和运维之道 | 高可用架构

    015-08-09 杨尚刚 高可用架构 此文是根据杨尚刚在[QCON高可用架构群]中,针对MySQL在单表海量记录等场景下,业界广泛关注的MySQL问题的经验分享整理而成,转发请注明出处. 杨尚刚,美 ...

  8. Redis|Sentinel 高可用架构

    一 前言 Redis-Sentinel是Redis官方推荐的高可用性(HA)解决方案,当用Redis做Master-slave的高可用方案时,假如master宕机了,Redis本身(包括它的很多客户端 ...

  9. Redis高可用架构

    前言 Redis是一个高性能的key-value数据库,现时越来越多企业与应用使用Redis作为缓存服务器.楼主是一枚JAVA后端程序员,也算是半个运维工程师了.在Linux服务器上搭建Redis,怎 ...

随机推荐

  1. Python爬虫工程师必学——App数据抓取实战 ✌✌

    Python爬虫工程师必学——App数据抓取实战 (一个人学习或许会很枯燥,但是寻找更多志同道合的朋友一起,学习将会变得更加有意义✌✌) 爬虫分为几大方向,WEB网页数据抓取.APP数据抓取.软件系统 ...

  2. vue中百度地图API的调用

    1.使用百度地图api需要使用jsonp,来获取百度api的返回,因为vue不自带jsonp所以需要下载 安装jsonp npm i vue-jsonp -S 引入jsop import Vue fr ...

  3. abp(net core)+easyui+efcore实现仓储管理系统——EasyUI之货物管理五 (二十三)

    abp(net core)+easyui+efcore实现仓储管理系统目录 abp(net core)+easyui+efcore实现仓储管理系统——ABP总体介绍(一) abp(net core)+ ...

  4. HOOK 技术

    在介绍 截获系统消息钩子 之前,这几个函数是密切相关的: SetWindowsHookEx() 介绍: 功能:将应用程序定义的挂钩过程安装到挂钩链中. 函数原型:HHOOK SetWindowsHoo ...

  5. JavaScript回调函数和递归函数

    一.回调函数--通过函数的指针来调用函数 把一个函数的指针作为另一个函数的参数,当调用这个参数的时候,这个函数就叫做回调函数 在链式运动上会用到回调函数,之后运动会见到 A.通过指针来调用函数 B.通 ...

  6. i春秋DMZ大型靶场实验(一)内网拓展

    更具提示 先下载工具包 ip  172.16.12.226  打开bp 进行代理发现 整个页面 没有请求 没有其页面通过 御剑,dir ,hscan   进行目录爆破未发现有用信息    对当前页面进 ...

  7. java代码实现MD5加密及验证方法

    MD5加密 在我们的程序中,不管是什么,都会有安全问题,今天就说的是MD5加密的方法 MD5是哈希算法,也就是 从明文A到密文B很容易,但是从密文B到明文A几乎不可能 也就是说,给你密文,是几乎无法通 ...

  8. LeetCode122——Best Time to Buy and Sell Stock II

    题目: Say you have an array for which the ith element is the price of a given stock on day i. Design a ...

  9. 设计模式（一）Iterator模式

    Iterator模式用于在数据集合中按照顺序遍历集合.即迭代器模式. 下面来看一段实现了迭代器模式的示例程序. 这段程序的作用是将书(Book)放置到书架(BookShelf)中,并将书的名字按顺序显 ...

  10. （乱入）FingerGesture

    偶然的机会遇到FingerGesture插件,此插件也有很多方便的功能,比如控制主相机查看模型以及缩放等功能,如Component-FingerGestures-Toolbox-Camera-Orbi ...