转载自：https://mp.weixin.qq.com/s?__biz=MzUyNzk0NTI4MQ==&mid=2247483816&idx=1&sn=bfaf70613bcb775ccf5d40c2871a05a8&chksm=fa769a86cd011390f22ff178071a580a8f17791e57166dfc8463984a5613c11875ef2ebb2ad7&mpshare=1&scene=1&srcid=11253n8AXjLegAeaoHiCssEs&sharer_sharetime=1574686178097&sharer_shareid=6ec87ec9a11a0c18d61cde7663a9ef87#rd

基于ElasticSearch多实例架构，实现资源合理分配、冷热数据分离。

ES多实例部署，将不同热度的数据存在不同的磁盘上，实现了数据冷热分离、资源合理分配。

在一个集群中部署多个ES实例，来实现资源合理分配。例如data服务器存在SSD与SAS硬盘，可以将热数据存放到SSD，而冷数据存放到SAS，实现数据冷热分离。

192.168.1.51 elasticsearch-data部署双实例

索引迁移

（此步不能忽略）：将192.168.1.51上的索引放到其它2台data节点上

    curl -X PUT "192.168.1.31:9200/*/_settings?pretty" -H 'Content-Type: application/json' -d'

    {

      "index.routing.allocation.include._ip": "192.168.1.52,192.168.1.53"

    }'

确认当前索引存储位置

确认所有索引不在192.168.1.51节点上

    curl "http://192.168.1.31:9200/_cat/shards?h=n"

停掉192.168.1.51的进程，修改目录结构及配置：请自行按SSD和SAS硬盘挂载好数据盘

    # 安装包下载和部署请参考第一篇《EFK-1: 快速指南》

    cd /opt/software/

    tar -zxvf elasticsearch-7.3.2-linux-x86_64.tar.gz

    mv /opt/elasticsearch /opt/elasticsearch-SAS

    mv elasticsearch-7.3.2 /opt/

    mv /opt/elasticsearch-7.3.2 /opt/elasticsearch-SSD

    chown elasticsearch.elasticsearch /opt/elasticsearch-* -R

    rm -rf /data/SAS/*

    chown elasticsearch.elasticsearch /data/* -R

    mkdir -p /opt/logs/elasticsearch-SAS

    mkdir -p /opt/logs/elasticsearch-SSD

    chown elasticsearch.elasticsearch /opt/logs/* -R

# SAS实例/opt/elasticsearch-SAS/config/elasticsearch.yml配置

    cluster.name: my-application

    node.name: 192.168.1.51-SAS

    path.data: /data/SAS

    path.logs: /opt/logs/elasticsearch-SAS

    network.host: 192.168.1.51

    http.port: 9200

    transport.port: 9300

    # discovery.seed_hosts和cluster.initial_master_nodes 一定要带上端口号，不然会走http.port和transport.port端口

    discovery.seed_hosts: ["192.168.1.31:9300","192.168.1.32:9300","192.168.1.33:9300"]

    cluster.initial_master_nodes: ["192.168.1.31:9300","192.168.1.32:9300","192.168.1.33:9300"]

    http.cors.enabled: true

    http.cors.allow-origin: "*"

    node.master: false

    node.ingest: false

    node.data: true

    # 本机只允行启2个实例

    node.max_local_storage_nodes: 2

# SSD实例/opt/elasticsearch-SSD/config/elasticsearch.yml配置

    cluster.name: my-application

    node.name: 192.168.1.51-SSD

    path.data: /data/SSD

    path.logs: /opt/logs/elasticsearch-SSD

    network.host: 192.168.1.51

    http.port: 9201

    transport.port: 9301

    # discovery.seed_hosts和cluster.initial_master_nodes 一定要带上端口号，不然会走http.port和transport.port端口

    discovery.seed_hosts: ["192.168.1.31:9300","192.168.1.32:9300","192.168.1.33:9300"]

    cluster.initial_master_nodes: ["192.168.1.31:9300","192.168.1.32:9300","192.168.1.33:9300"]

    http.cors.enabled: true

    http.cors.allow-origin: "*"

    node.master: false

    node.ingest: false

    node.data: true

    # 本机只允行启2个实例

    node.max_local_storage_nodes: 2

SAS实例和SSD实例启动方式

    sudo -u elasticsearch /opt/elasticsearch-SAS/bin/elasticsearch

    sudo -u elasticsearch /opt/elasticsearch-SSD/bin/elasticsearch

确认SAS和SSD已启2实例

    curl "http://192.168.1.31:9200/_cat/nodes?v"

192.168.1.52 elasticsearch-data部署双实例

索引迁移

（此步不能忽略）：将192.168.1.52上的索引放到其它2台data节点上

    curl -X PUT "192.168.1.31:9200/*/_settings?pretty" -H 'Content-Type: application/json' -d'

    {

      "index.routing.allocation.include._ip": "192.168.1.51,192.168.1.53"

    }'

确认当前索引存储位置

确认所有索引不在192.168.1.52节点上

    curl "http://192.168.1.31:9200/_cat/shards?h=n"

停掉192.168.1.52的进程，修改目录结构及配置：请自行按SSD和SAS硬盘挂载好数据盘

    # 安装包下载和部署请参考第一篇《EFK-1: 快速指南》

    cd /opt/software/

    tar -zxvf elasticsearch-7.3.2-linux-x86_64.tar.gz

    mv /opt/elasticsearch /opt/elasticsearch-SAS

    mv elasticsearch-7.3.2 /opt/

    mv /opt/elasticsearch-7.3.2 /opt/elasticsearch-SSD

    chown elasticsearch.elasticsearch /opt/elasticsearch-* -R

    rm -rf /data/SAS/*

    chown elasticsearch.elasticsearch /data/* -R

    mkdir -p /opt/logs/elasticsearch-SAS

    mkdir -p /opt/logs/elasticsearch-SSD

    chown elasticsearch.elasticsearch /opt/logs/* -R

# SAS实例/opt/elasticsearch-SAS/config/elasticsearch.yml配置

    cluster.name: my-application

    node.name: 192.168.1.52-SAS

    path.data: /data/SAS

    path.logs: /opt/logs/elasticsearch-SAS

    network.host: 192.168.1.52

    http.port: 9200

    transport.port: 9300

    # discovery.seed_hosts和cluster.initial_master_nodes 一定要带上端口号，不然会走http.port和transport.port端口

    discovery.seed_hosts: ["192.168.1.31:9300","192.168.1.32:9300","192.168.1.33:9300"]

    cluster.initial_master_nodes: ["192.168.1.31:9300","192.168.1.32:9300","192.168.1.33:9300"]

    http.cors.enabled: true

    http.cors.allow-origin: "*"

    node.master: false

    node.ingest: false

    node.data: true

    # 本机只允行启2个实例

    node.max_local_storage_nodes: 2

# SSD实例/opt/elasticsearch-SSD/config/elasticsearch.yml配置

    cluster.name: my-application

    node.name: 192.168.1.52-SSD

    path.data: /data/SSD

    path.logs: /opt/logs/elasticsearch-SSD

    network.host: 192.168.1.52

    http.port: 9201

    transport.port: 9301

    # discovery.seed_hosts和cluster.initial_master_nodes 一定要带上端口号，不然会走http.port和transport.port端口

    discovery.seed_hosts: ["192.168.1.31:9300","192.168.1.32:9300","192.168.1.33:9300"]

    cluster.initial_master_nodes: ["192.168.1.31:9300","192.168.1.32:9300","192.168.1.33:9300"]

    http.cors.enabled: true

    http.cors.allow-origin: "*"

    node.master: false

    node.ingest: false

    node.data: true

    # 本机只允行启2个实例

    node.max_local_storage_nodes: 2

SAS实例和SSD实例启动方式

    sudo -u elasticsearch /opt/elasticsearch-SAS/bin/elasticsearch

    sudo -u elasticsearch /opt/elasticsearch-SSD/bin/elasticsearch

确认SAS和SSD已启2实例

    curl "http://192.168.1.31:9200/_cat/nodes?v"

192.168.1.53 elasticsearch-data部署双实例

索引迁移

（此步不能忽略）：一定要做这步，将192.168.1.53上的索引放到其它2台data节点上

    curl -X PUT "192.168.1.31:9200/*/_settings?pretty" -H 'Content-Type: application/json' -d'

    {

      "index.routing.allocation.include._ip": "192.168.1.51,192.168.1.52"

    }'

确认当前索引存储位置

确认所有索引不在192.168.1.52节点上

    curl "http://192.168.1.31:9200/_cat/shards?h=n"

停掉192.168.1.53的进程，修改目录结构及配置：请自行按SSD和SAS硬盘挂载好数据盘

    # 安装包下载和部署请参考第一篇《EFK-1: 快速指南》

    cd /opt/software/

    tar -zxvf elasticsearch-7.3.2-linux-x86_64.tar.gz

    mv /opt/elasticsearch /opt/elasticsearch-SAS

    mv elasticsearch-7.3.2 /opt/

    mv /opt/elasticsearch-7.3.2 /opt/elasticsearch-SSD

    chown elasticsearch.elasticsearch /opt/elasticsearch-* -R

    rm -rf /data/SAS/*

    chown elasticsearch.elasticsearch /data/* -R

    mkdir -p /opt/logs/elasticsearch-SAS

    mkdir -p /opt/logs/elasticsearch-SSD

    chown elasticsearch.elasticsearch /opt/logs/* -R

# SAS实例/opt/elasticsearch-SAS/config/elasticsearch.yml配置

    cluster.name: my-application

    node.name: 192.168.1.53-SAS

    path.data: /data/SAS

    path.logs: /opt/logs/elasticsearch-SAS

    network.host: 192.168.1.53

    http.port: 9200

    transport.port: 9300

    # discovery.seed_hosts和cluster.initial_master_nodes 一定要带上端口号，不然会走http.port和transport.port端口

    discovery.seed_hosts: ["192.168.1.31:9300","192.168.1.32:9300","192.168.1.33:9300"]

    cluster.initial_master_nodes: ["192.168.1.31:9300","192.168.1.32:9300","192.168.1.33:9300"]

    http.cors.enabled: true

    http.cors.allow-origin: "*"

    node.master: false

    node.ingest: false

    node.data: true

    # 本机只允行启2个实例

    node.max_local_storage_nodes: 2

# SSD实例/opt/elasticsearch-SSD/config/elasticsearch.yml配置

    cluster.name: my-application

    node.name: 192.168.1.53-SSD

    path.data: /data/SSD

    path.logs: /opt/logs/elasticsearch-SSD

    network.host: 192.168.1.53

    http.port: 9201

    transport.port: 9301

    # discovery.seed_hosts和cluster.initial_master_nodes 一定要带上端口号，不然会走http.port和transport.port端口

    discovery.seed_hosts: ["192.168.1.31:9300","192.168.1.32:9300","192.168.1.33:9300"]

    cluster.initial_master_nodes: ["192.168.1.31:9300","192.168.1.32:9300","192.168.1.33:9300"]

    http.cors.enabled: true

    http.cors.allow-origin: "*"

    node.master: false

    node.ingest: false

    node.data: true

    # 本机只允行启2个实例

    node.max_local_storage_nodes: 2

SAS实例和SSD实例启动方式

    sudo -u elasticsearch /opt/elasticsearch-SAS/bin/elasticsearch

    sudo -u elasticsearch /opt/elasticsearch-SSD/bin/elasticsearch

确认SAS和SSD已启2实例

    curl "http://192.168.1.31:9200/_cat/nodes?v"

测试

将所有索引移到SSD硬盘上

    # 下面的参数会在后面的文章讲解，此处照抄即可

    curl -X PUT "192.168.1.31:9200/*/_settings?pretty" -H 'Content-Type: application/json' -d'

    {

      "index.routing.allocation.include._host_ip": "",

      "index.routing.allocation.include._host": "",

      "index.routing.allocation.include._name": "",

      "index.routing.allocation.include._ip": "",

      "index.routing.allocation.require._name": "*-SSD"

    }'

确认所有索引全在SSD硬盘上

    curl "http://192.168.1.31:9200/_cat/shards?h=n"

将nginx9月份的日志索引迁移到SAS硬盘上

    curl -X PUT "192.168.1.31:9200/nginx_*_2019.09/_settings?pretty" -H 'Content-Type: application/json' -d'

    {

      "index.routing.allocation.require._name": "*-SAS"

    }'

确认nginx9月份的日志索引迁移到SAS硬盘上

    curl "http://192.168.1.31:9200/_cat/shards"

EFK-3： ES多实例部署的更多相关文章

mysql 5.5多实例部署【图解】
mysql5.5数据库多实例部署,我们可以分以下几个步骤来完成. 1. mysql多实例的原理 2. mysql多实例的特点 3. mysql多实例应用场景 4. mysql5.5多实例部署方法一. ...
烂泥：mysql5.5多实例部署
本文由秀依林枫提供友情赞助,首发于烂泥行天下. mysql5.5数据库多实例部署,我们可以分以下几个步骤来完成. 1. mysql多实例的原理 2. mysql多实例的特点 3. mysql多实例应用 ...
Mysql 数据库单机多实例部署手记
最近的研发机器需要部署多个环境,包括数据库.为了管理方便考虑将mysql数据库进行隔离,即采用单机多实例部署的方式.找了会资料发现用的人也不是太多,一般的生产环境为了充分发挥机器性能都是单机单 ...
MySQL5.6多实例部署
原创作品,允许转载,转载时请务必以超链接形式标明文章原始出处 .作者信息和本声明.否则将追究法律责任.http://suifu.blog.51cto.com/9167728/1850560 无论是迫 ...
MySQL-5.6.36-多实例-部署(编译版)
MySQL多实例_沁贰百科注:部署双实例前,首先需要部署单实例,单实例部署详情如下: https://www.cnblogs.com/wangqiner/p/9081002.html 1.如已经安装 ...
Tomcat多实例部署
前言以前总是采用很Low的方式太同一台服务器上部署多个Web应用,步骤是这样的:Copy Tomcat目录-->更改conf/server.xml三个端口号----->部署war包--- ...
性能测试二十：环境部署之Tomcat多实例部署+日志监控
一个tomcat性能有限,所以需要部署等多个tomcat 单实例部署与windows下类似,项目包放到webapp目录下,启动bin目录下的startup.sh即可启动命令:./startup.sh启 ...
redis安装，修改配置文件，多实例部署 redis-server
redis 安装解压: [root@Aliyun software]# tar -xvf redis-3.2.11.tar.gz 进入redis根目录: [root@Aliyun software] ...
tomcat单机多实例部署
最近在面试的过程中,一家公司在面试时提到了有关tomcat单机多实例部署的提问, 正好, 之前使用IntelliJ IDEA 13.1.4这款IDE开发web项目,在开发的过程中,因为有多个web项目 ...

随机推荐

使用APICloud AVM框架开发预约应用
前段时间跟朋友一起搞了一个预约的项目,前端用的APICloud的AVM框架做的,后端用的php开发的,用的tp5框架,没几天就搞出来了.简单跟大家分享一下开发中的一些功能点的实现吧.也欢迎大家一起探讨 ...
零基础学Java（8）数组
数组数组存储相同类型值的序列. 声明数组数组是一种数据结构,用来存储同一类型值的集合.通过一个整型下标(index,或称索引)可以访问数组中的每一个值.例如,如果a是一个整型数组,a[i]就是数组 ...
NOI / 2.1基本算法之枚举 1749:数字方格
描述: 如上图,有3个方格,每个方格里面都有一个整数a1,a2,a3.已知0 <= a1, a2, a3 <= n,而且a1 + a2是2的倍数,a2 + a3是3的倍数, a1 + a2 ...
JavaScript进阶内容——jQuery
JavaScript进阶内容--jQuery 我们在前面的文章中已经掌握了JavaScript的全部内容,现在让我们了解一下JavaScript库这篇文章主要是为了为大家大致讲解JavaScript ...
解决线程安全问题_同步方法和解决线程安全问题_Lock锁
解决线程安全问题_同步方法 package com.yang.Test.ThreadStudy; import lombok.SneakyThrows; /** * 卖票案例出现了线程安全的问题 * ...
electron-vue打包出现问题汇总
打包过程中出现下载status code 404 1.可能是网络不好,导致相关electron包无法正常下载,也有可能是需要挂代理 2.可能是编译过程的链接出现错误,一般为网址中缺少或多了一个v,建议 ...
【Java线程池】 java.util.concurrent.ThreadPoolExecutor 分析
线程池概述线程池,是指管理一组同构工作线程的资源池. 线程池在工作队列(Work Queue)中保存了所有等待执行的任务.工作者线程(Work Thread)会从工作队列中获取一个任务并执行,然后返 ...
以寡治众各个击破，超大文件分片上传之构建基于Vue.js3.0+Ant-desgin+Tornado6纯异步IO高效写入服务
原文转载自「刘悦的技术博客」https://v3u.cn/a_id_218 分治算法是一种很古老但很务实的方法.本意即使将一个较大的整体打碎分成小的局部,这样每个小的局部都不足以对抗大的整体.战国时期 ...
Odoo env.ref()函数
python env.ref()函数作用是获取xml id记录. 1 action = self.env.ref('base.res_company_action').read()[0] 2 acti ...
.NET 6学习笔记(4)——解决VS2022中Nullable警告
很多小伙伴在升级到Visual Studio 2022后发现,如果我们去新建一个.NET 6的项目,和原先VS2019中一摸一样的写法,却会出现CS8618 Non-nullable property ...

EFK-3： ES多实例部署

192.168.1.51 elasticsearch-data部署双实例

索引迁移

确认当前索引存储位置

停掉192.168.1.51的进程，修改目录结构及配置：请自行按SSD和SAS硬盘挂载好数据盘

SAS实例和SSD实例启动方式

确认SAS和SSD已启2实例

192.168.1.52 elasticsearch-data部署双实例

索引迁移

确认当前索引存储位置

停掉192.168.1.52的进程，修改目录结构及配置：请自行按SSD和SAS硬盘挂载好数据盘

SAS实例和SSD实例启动方式

确认SAS和SSD已启2实例

192.168.1.53 elasticsearch-data部署双实例

索引迁移

确认当前索引存储位置

停掉192.168.1.53的进程，修改目录结构及配置：请自行按SSD和SAS硬盘挂载好数据盘

SAS实例和SSD实例启动方式

确认SAS和SSD已启2实例

测试

将所有索引移到SSD硬盘上

确认所有索引全在SSD硬盘上

将nginx9月份的日志索引迁移到SAS硬盘上

确认nginx9月份的日志索引迁移到SAS硬盘上

EFK-3： ES多实例部署的更多相关文章

随机推荐

热门专题