ES_CCS/R(二):跨集群搜索 Cross-cluster search (CCS)
跨集群搜索(cross-cluster search)使你可以针对一个或多个远程集群运行单个搜索请求。 例如,你可以使用跨集群搜索来筛选和分析存储在不同数据中心的集群中的日志数据。
示例 :在一个集群里访问多个云厂商所提供的集群,并对跨数据的数据进行搜索,如下图:
如上面所述,当 client 向集群 cluster_1 发送请求时,它可以搜索自己本身的集群,同时也可以向另外的两个集群 cluster_2 及 cluster_3 发送请求。最后的结果由 cluster_1 返回给客户端。
CCS方案:

每个采集渠道采集的数据可以位于不同的 Elasticsearch 中。从上面的结构中,它比较简单,直接。我们可以通过 CCS 的运用,可以同时针对几个集群进行搜索,并在搜索集群中得到最终的结果。
目前支持的 APIs:
跨集群搜索例子
1、注册 remote cluster: 要执行跨集群搜索,必须至少配置一个远程集群。在群集设置中配置了远程群集
- 使用 cluster.remote 属性
- 种子(seeds)是远程集群中的节点列表,用于在注册远程集群时检索集群状态
以下 cluster update settings API请求添加了三个远程集群:cluster_one,cluster_two 和 cluster_three

1 PUT _cluster/settings
2 {
3 "persistent": {
4 "cluster": {
5 "remote": {
6 "cluster_one": {
7 "seeds": [
8 "127.0.0.1:9300"
9 ]
10 },
11 "cluster_two": {
12 "seeds": [
13 "127.0.0.1:9301"
14 ]
15 },
16 "cluster_three": {
17 "seeds": [
18 "127.0.0.1:9302"
19 ]
20 }
21 }
22 }
23 }
24 }
动手实践
1、安装两个集群:cluster 1及cluster 2。它们位于同一个网络内,可以互相访问;安装好集群的 Elasticsearch 及 Kibana
2、搜索配置: 在 kibana_2,也既是端口地址为 5602 的 Kibana。打入如下的命令:
1 PUT _cluster/settings
2 {
3 "persistent": {
4 "cluster.remote": {
5 "remote_cluster": {
6 "seeds": [
7 "127.0.0.1:9300"
8 ]
9 }
10 }
11 }
在 cluster_2 里配置可以连接到 cluster_1 的这样设置。因为 cluster_1 的 transport 口地址是 9300
- 命令来检查我们的连接状态:GET _remote/info

在 Kibana_1 中创建 twitter 索引并插入数据;在 cluster_2 上如何对这个进行搜索呢?
在 Kibana_2 里,打入如下的命令:GET remote_cluster:twitter/_search
如果你配置了多个 remote 索引,可以使用如下的方法来进行搜索: GET *:twitter/_search
使用 *:twitter 来表示所有 remote cluster里含有 twitter 的集群
Flag:
- 关注跨云厂商多集群访问 (用华为云与Azure日志进行验证)
参考资料:
ES_CCS/R(二):跨集群搜索 Cross-cluster search (CCS)的更多相关文章
- Elasticsearch跨集群搜索(Cross Cluster Search)
1.简介 Elasticsearch在5.3版本中引入了Cross Cluster Search(CCS 跨集群搜索)功能,用来替换掉要被废弃的Tribe Node.类似Tribe Node,Cros ...
- Elasticsearch:跨集群搜索 Cross-cluster search (CCS)
转载自:https://blog.csdn.net/UbuntuTouch/article/details/104588232 跨集群搜索(cross-cluster search)使您可以针对一个或 ...
- Elasticsearch 搜索模块之Cross Cluster Search(跨集群搜索)
Cross Cluster Search简介 cross-cluster search功能允许任何节点作为跨多个群集的federated client(联合客户端),与tribe node不同的是cr ...
- Elasticsearch:跨集群搜索 Cross-cluster search(CCS)及安全
文章转载自:https://elasticstack.blog.csdn.net/article/details/116569527
- ES cross cluster search跨集群查询
ES 5.3以后出的新功能.测试demo如下: 下载ES 5.5版本,然后分别本机创建2个实例,配置如下: cluster.name: xx1 network.host: 127.0.0.1 http ...
- elasticsearch跨集群数据迁移
写这篇文章,主要是目前公司要把ES从2.4.1升级到最新版本7.8,不过现在是7.9了,官方的文档:https://www.elastic.co/guide/en/elasticsearch/refe ...
- Elasticsearch(二)--集群原理及优化
一.ES原理 1.索引结构ES是面向文档的 各种文本内容以文档的形式存储到ES中,文档可以是一封邮件.一条日志,或者一个网页的内容.一般使用 JSON 作为文档的序列化格式,文档可以有很多字段,在创建 ...
- 实现Kubernetes跨集群服务应用的高可用
在Kubernetes 1.3版本,我们希望降低跨集群跨地区服务部署相关的管理和运营难度.本文介绍如何实现此目标. 注意:虽然本文示例使用谷歌容器引擎(GKE)来提供Kubernetes集群,您可以在 ...
- SqlServer跨集群升级
SqlServer跨集群升级 1.新Server的IP要和旧的在同一网段. 2.安装SQL SERVER(注意:排序要和以前的一样,更改TempDB位置) 3.开启防火墙,并打开1433和5022端口 ...
- Hadoop跨集群迁移数据(整理版)
1. 什么是DistCp DistCp(分布式拷贝)是用于大规模集群内部和集群之间拷贝的工具.它使用Map/Reduce实现文件分发,错误处理和恢复,以及报告生成.它把文件和目录的列表作为map任务的 ...
随机推荐
- Java 多级文件夹创建
File类中的mkdir()和mkdirs(): mkdir():只能创建一层目录. mkdirs():可以创建多层目录 String path = "E:\\lxwtest\\test& ...
- logback 日志输出配置
application.properties文件中 logging.config=classpath:logback-spring-dev.xml logback-spring-dev.xml &l ...
- 工具推荐-sourcetree
工具推荐-sourcetree 简介 简单好用的win系统下的git可视化软件 支持ssh免密登录 一键暂存和上传到开源仓库 开源免费 安装 下载sourcetree sourcetree下载 下载g ...
- FPGA中与时序有关的概念
FPGA中与时序有关的概念 一.时序分析 时序分析是对整个时序进行分析的操作.作用就是了解设计的时序性能,一般而言就是最大时钟频率.时钟频率越高,设计的工作速度越快(忽略设计实现方法的不同导致的效率提 ...
- 探索多种数据格式:JSON、YAML、XML、CSV等数据格式详解与比较
1. 数据格式介绍 数据格式是用于组织和存储数据的规范化结构,不同的数据格式适用于不同的场景.常见的数据格式包括JSON.YAML.XML.CSV等. 数据可视化 | 一个覆盖广泛主题工具的高效在线平 ...
- Hybrid-PSC:基于对比学习的混合网络,解决长尾图片分类 | CVPR 2021
论文提出新颖的混合网络用于解决长尾图片分类问题,该网络由用于图像特征学习的对比学习分支和用于分类器学习的交叉熵分支组成,在训练过程逐步将训练权重调整至分类器学习,达到更好的特征得出更好的分类器的思想 ...
- Python爬虫爬取国家统计局网站【统计用区划和城乡划分代码】并存入MySQL数据库
国家统计局网站相关分级页面截图 基本思路 爬取每个页面的a标签内容,生成省市两级数据字典,最后合成区县对应的链接,爬取第三层区划代码和名字,结合省市两级名字生成最后的标准. 代码 1 import p ...
- #线段树#洛谷 4588 [TJOI2018]数学计算
题目传送门 分析 由于曾经做过原题 所以就直接说了,因为每个数最多被除掉一次 所以可以用线段树维护区间乘,也就很简单了,删除就单点修改就行了 代码 #include <cstdio> #i ...
- #树形dp,二分#UVA1407 Caves 洛谷 3698 [CQOI2017]小Q的棋盘
题目 给定一棵树,现在需要找到一条由节点1出发长度为\(x\)的路径, 问最多经过的节点数,重复经过只计算一次(不一定是简单路径) UVA的那道题多组数据多组询问,边权还不一定是1,\(n\leq 5 ...
- std::format 如何实现编译期格式检查
C++ 20 的 std::format 是一个很神奇.很实用的工具,最神奇的地方在于它能在编译期检查字符串的格式是否正确,而且不需要什么特殊的使用方法,只需要像使用普通函数那样传参即可. #incl ...




