[译]ES读写文档时shard-replication模型
官网页面:https://www.elastic.co/guide/en/elasticsearch/reference/current/docs-replication.html
本文是对官网页面的粗糙译文,哈哈,方便自己理解。
shard: 分片
replication: 副本
引言
ES的索引被划分成多个分片,并且每个分片可以有多个拷贝,当对索引作出更新(如添加、删除文档)操作时,需要保持分片与其副本同步。保持分片及其拷贝信息同步和提供读服务我们称之为数据副本模型。
数据副本模型基于主-备模型,需要从分片拷贝组中找出一个分片作为主分片,其他的作为副本分片。主分片承担索引操作主要的入口,负责校验操作并保证其正确性。若主分片接受索引操作,它也要负责将这些操作复制到它的副本分片上。
写模型
ES的索引操作首先要确定涉及的索引分片组,确定之后,在内部这个操作会被转发到分片组的主分片上,主分片校验操作,并转发到组内的副本分片上。可能有一些副本分片处于离线状态,主分片没有必要把操作发送到所有的副本分片上。替代方案是,ES的主节点维护一个列表,记录可靠的副本分片,主分片只需要把操作发送到列表中的副本分片即可。
主分片执行以下基本流程:
- 验证操作,如果有错误则拒绝;
- 在本地执行操作,若域数据有问题,则拒绝;
- 转发操作到队列中的其他副本分片,若有多个,则并发发送;
- 其他副本分片执行操作并响应主分片,主分片确认队列中所有副本分片成功执行,并响应客户端。
失败处理
在执行的过程中,主分片可能出错。这时,集群主节点会从分片列表中选出新的主分片,这个操作被转发到主分片继续执行。错误的分片会被移除副本队列,主节点会重新拷贝一份分片,并更新集群状态信息。
读模型
当一个节点收到读请求时,它会转发到所有包含相关分片的节点上,收集节点的响应并响应客户端。
读索引基本流程如下:
- 解析读请求到相关索引分片上;
- 从每个相关的分片所在组中,选取一个可用的副本分片,一般情况下,会在副本列表中进行轮询;
- 把读请求发送到选定的副本分片上;
- 合并查询结果并响应。
失败处理
当副本查询失败时,协调节点会选取所在组的其他副本节点来执行查询。
阅读参考:
[1] https://www.elastic.co/blog/tracking-in-sync-shard-copies
[2] https://codingexplained.com/coding/elasticsearch/understanding-replication-in-elasticsearch
[3] https://codingexplained.com/coding/elasticsearch/understanding-sharding-in-elasticsearch
[4] https://codingexplained.com/coding/elasticsearch/introduction-elasticsearch-architecture
[译]ES读写文档时shard-replication模型的更多相关文章
- Elasticsearch必知必会的干货知识一:ES索引文档的CRUD
若在传统DBMS 关系型数据库中查询海量数据,特别是模糊查询,一般我们都是使用like %查询的值%,但这样会导致无法应用索引,从而形成全表扫描效率低下,即使是在有索引的字段精确值查找,面对海量数 ...
- javadoc 生成帮助文档时,注意以下几点
参考:http://www.w3school.com.cn/tags/tag_pre.asp javadoc 生成帮助文档时,注意以下几点: 1.函数功能描述的结尾一定要有句号,英文句号或中文句号均可 ...
- 打开word文档时提示“Microsoft Office Word已停止工作”
我的电脑(Win10)有Office 2003和2013两个版本,可能由于之前超长待机等原因导致word 2003的文件(.doc)不能正常打开,没次都会提示“Microsoft Office Wor ...
- es删除文档或者删除索引
es删除文档或者删除索引 学习了:https://www.imooc.com/video/15771 删除文档: DELETE http://127.0.0.1:9200/people/man/1 删 ...
- notepad++新建文档时,会出现语法错误的红色下波浪线
notepad++新建文档时,会出现语法错误的红色下波浪线: 原因:新建文档时默认设置语言为PHP. 解决方法:修改默认语言为java或JavaScript,如下: 小结:打开文档时,也可能出现下波浪 ...
- 读写XML文档时,去掉新增加节点的“空命名空间”(xmlns=””)
在做对ReprotViewer编程时,想做一个用户可以更改显示/打印列的功能,大致看了下,只需要通过对rdlc文件中改变其<Hidden>节点值为false/true,即可实现对应某列的显 ...
- JSON方式提交文档时SOLR报:AtomicUpdateDocumentMerger Unknown operation for the an atomic update, operation ignored
文档是数组转成的json 原数组: array( 0 =>3, 1 =>3, 2 =>4, 3 =>5, 4 =>5, 5 =>6) 用array_unique去掉 ...
- Mongoose在向集合中插入文档时的集合命名问题
Mongoose使用结构化的模式应用到MongoDB集合,为MongoDB Node.js原生驱动程序提供了更多的功能和简化了数据库操作. 从创建连接到向数据库中写入一个条数据经历了以下步骤: 1.连 ...
- ES 父子文档查询
父子文档的特点 1. 父/子文档是完全独立的. 2. 父文档更新不会影响子文档. 3. 子文档更新不会影响父文档或者其它子文档. 父子文档的映射与索引 1. 父子关系 type 的建立必须在索引新建或 ...
随机推荐
- python读写xml文件
python读取xml文件 xml文件是具有树状结构的,如果想要访问某个叶子结点,必须逐层获取其父结点,要读取某个叶子结点内容用text成员 使用前先加载xml工具包 try: import xml. ...
- 数据库索引(Index)【未完待续】
数据库索引是啥?有什么用?原理是什么?最佳实践什么? 索引是啥 一个索引是这样的数据结构:从数据上来说,不仅包含了从表中某一列或多列的数据拷贝,同时,还包含了指向这列数据行的链接: 从结构上来说,索引 ...
- Eclipse的工程名有红色的感叹号,工程里面没有显示编译错误
在导入其他人或配套光盘中的工程时,经常会出现这种错误. 问题的原因: 通常是JRE的版本不同造成的. 解决的办法: 是选择工程名,然后通过在右键菜单中选择build path->configue ...
- [BZOJ5305][Haoi2018]苹果树 组合数
题目描述 小 C 在自己家的花园里种了一棵苹果树, 树上每个结点都有恰好两个分支. 经过细心的观察, 小 C 发现每一天这棵树都会生长出一个新的结点. 第一天的时候, 果树会长出一个根结点, 以后每一 ...
- 五十一 常用第三方模块virtualenv
在开发Python应用程序的时候,系统安装的Python3只有一个版本:3.4.所有第三方的包都会被pip安装到Python3的site-packages目录下. 如果我们要同时开发多个应用程序,那这 ...
- JDBC连接执行mysql存储过程报权限错误:User does not have access to metadata required to determine stored procedure parameter types. If rights can not be granted,
分析:JDBC在调用存储过程时不光用户要有execute的权限,还需要对mysql.proc具有访问权限.否则它无法访问metadata 解决方案:给数据库用户赋权,赋执行mysql.proc表的se ...
- 洛谷P1129 [ZJOI2007] 矩阵游戏
题目传送门 分析:看到这题呢,首先想到的就是搜索,数据范围也不大嘛.但是仔细思考发现这题用搜索很难做,看了大佬们的题解后学到了,这一类题目要用二分图匹配来做.可以知道,如果想要的话,每一个子都可以移动 ...
- Sqli-labs less 12
Less-12 本关和less11是类似的,只是在id 的参数的处理上有一定的不同 当输入username:admin" Password: (随便) 报错后的结果为: You have a ...
- css总结——position
CSS(Cascading Style Sheet),中文翻译为层叠样式表,是用于控制网页样式并允许将样式信息与网页内容分离的一种标记性语言.在css控制页面中,主要有四种样式:行内样式(style ...
- 【构造】【贪心】hdu6090 Rikka with Graph
给你n个点,让你连m条边,使得任意两两点对之间的最短路的和最小(两点若不可达,最短路记作n). 初始时ans=n*n*(n-1). 先尽量连成菊花图,每连一次让答案减小2*((n-2)*(i-1)+( ...