官网页面:https://www.elastic.co/guide/en/elasticsearch/reference/current/docs-replication.html

本文是对官网页面的粗糙译文,哈哈,方便自己理解。

shard: 分片

replication: 副本

引言

  ES的索引被划分成多个分片,并且每个分片可以有多个拷贝,当对索引作出更新(如添加、删除文档)操作时,需要保持分片与其副本同步。保持分片及其拷贝信息同步和提供读服务我们称之为数据副本模型。

  数据副本模型基于主-备模型,需要从分片拷贝组中找出一个分片作为主分片,其他的作为副本分片。主分片承担索引操作主要的入口,负责校验操作并保证其正确性。若主分片接受索引操作,它也要负责将这些操作复制到它的副本分片上。

写模型

  ES的索引操作首先要确定涉及的索引分片组,确定之后,在内部这个操作会被转发到分片组的主分片上,主分片校验操作,并转发到组内的副本分片上。可能有一些副本分片处于离线状态,主分片没有必要把操作发送到所有的副本分片上。替代方案是,ES的主节点维护一个列表,记录可靠的副本分片,主分片只需要把操作发送到列表中的副本分片即可。

  主分片执行以下基本流程:

  1. 验证操作,如果有错误则拒绝;
  2. 在本地执行操作,若域数据有问题,则拒绝;
  3. 转发操作到队列中的其他副本分片,若有多个,则并发发送;
  4. 其他副本分片执行操作并响应主分片,主分片确认队列中所有副本分片成功执行,并响应客户端。

失败处理

  在执行的过程中,主分片可能出错。这时,集群主节点会从分片列表中选出新的主分片,这个操作被转发到主分片继续执行。错误的分片会被移除副本队列,主节点会重新拷贝一份分片,并更新集群状态信息。

读模型

  当一个节点收到读请求时,它会转发到所有包含相关分片的节点上,收集节点的响应并响应客户端。

  读索引基本流程如下:

  1. 解析读请求到相关索引分片上;
  2. 从每个相关的分片所在组中,选取一个可用的副本分片,一般情况下,会在副本列表中进行轮询;
  3. 把读请求发送到选定的副本分片上;
  4. 合并查询结果并响应。

失败处理

  当副本查询失败时,协调节点会选取所在组的其他副本节点来执行查询。

阅读参考:

[1] https://www.elastic.co/blog/tracking-in-sync-shard-copies

[2] https://codingexplained.com/coding/elasticsearch/understanding-replication-in-elasticsearch

[3] https://codingexplained.com/coding/elasticsearch/understanding-sharding-in-elasticsearch

[4] https://codingexplained.com/coding/elasticsearch/introduction-elasticsearch-architecture

[译]ES读写文档时shard-replication模型的更多相关文章

  1. Elasticsearch必知必会的干货知识一:ES索引文档的CRUD

    ​ 若在传统DBMS 关系型数据库中查询海量数据,特别是模糊查询,一般我们都是使用like %查询的值%,但这样会导致无法应用索引,从而形成全表扫描效率低下,即使是在有索引的字段精确值查找,面对海量数 ...

  2. javadoc 生成帮助文档时,注意以下几点

    参考:http://www.w3school.com.cn/tags/tag_pre.asp javadoc 生成帮助文档时,注意以下几点: 1.函数功能描述的结尾一定要有句号,英文句号或中文句号均可 ...

  3. 打开word文档时提示“Microsoft Office Word已停止工作”

    我的电脑(Win10)有Office 2003和2013两个版本,可能由于之前超长待机等原因导致word 2003的文件(.doc)不能正常打开,没次都会提示“Microsoft Office Wor ...

  4. es删除文档或者删除索引

    es删除文档或者删除索引 学习了:https://www.imooc.com/video/15771 删除文档: DELETE http://127.0.0.1:9200/people/man/1 删 ...

  5. notepad++新建文档时,会出现语法错误的红色下波浪线

    notepad++新建文档时,会出现语法错误的红色下波浪线: 原因:新建文档时默认设置语言为PHP. 解决方法:修改默认语言为java或JavaScript,如下: 小结:打开文档时,也可能出现下波浪 ...

  6. 读写XML文档时,去掉新增加节点的“空命名空间”(xmlns=””)

    在做对ReprotViewer编程时,想做一个用户可以更改显示/打印列的功能,大致看了下,只需要通过对rdlc文件中改变其<Hidden>节点值为false/true,即可实现对应某列的显 ...

  7. JSON方式提交文档时SOLR报:AtomicUpdateDocumentMerger Unknown operation for the an atomic update, operation ignored

    文档是数组转成的json 原数组: array( 0 =>3, 1 =>3, 2 =>4, 3 =>5, 4 =>5, 5 =>6) 用array_unique去掉 ...

  8. Mongoose在向集合中插入文档时的集合命名问题

    Mongoose使用结构化的模式应用到MongoDB集合,为MongoDB Node.js原生驱动程序提供了更多的功能和简化了数据库操作. 从创建连接到向数据库中写入一个条数据经历了以下步骤: 1.连 ...

  9. ES 父子文档查询

    父子文档的特点 1. 父/子文档是完全独立的. 2. 父文档更新不会影响子文档. 3. 子文档更新不会影响父文档或者其它子文档. 父子文档的映射与索引 1. 父子关系 type 的建立必须在索引新建或 ...

随机推荐

  1. zookeeper编程入门系列之zookeeper实现分布式进程监控和分布式共享锁(图文详解)

    本博文的主要内容有 一.zookeeper编程入门系列之利用zookeeper的临时节点的特性来监控程序是否还在运行   二.zookeeper编程入门系列之zookeeper实现分布式进程监控 三. ...

  2. private是自己私有的,protected是可以让孩子知道的,public是公开的

    三种访问权限 public:可以被任意实体访问,数据成员和函数成员可在成员函数,友元,继承类中直接使用.亦可以作为接口,供类的用户使用 protected:只允许子类及本类的成员函数访问,在基类中用法 ...

  3. 从零开始做SSH项目(二)

    使用hibernate测试加载数据.删除数据和修改数据等功能时,针对的是与数据库表user对应的User. 为了简化对其他数据表对应的实体类的持久化操作,可以在项目中创建一个BaseHibernate ...

  4. Mindjet Mindmanager复制文件打不开

    概述 使用Mindjet软件画思维导图,保存后得到一个后缀为mmap的文件.复制到一个新的位置,却发现新的文件打不开,导致Mindjet崩溃.这里提供一个解决方案. 解决方案 复制的文件打不开 先打开 ...

  5. CSS页面排版的一点笔记

    CSS页面排版 字体族 字体族的值是一个字体备选列表,多个字体使用英文逗号隔开,字体名称如果有空格则需要引号. font-family: "Georgia Pro", " ...

  6. python strip() 函数和 split() 函数的详解及实例

    strip是删除的意思:split则是分割的意思.strip可以删除字符串的某些字符,split则是根据规定的字符将字符串进行分割. 1.Python strip()函数 介绍 函数原型 声明:s为字 ...

  7. POJ2505 A multiplication game 博弈论 找规律

    http://poj.org/problem?id=2505 感觉博弈论只有找规律的印象已经在我心中埋下了种子... 题目大意:两个人轮流玩游戏,Stan先手,数字 p从1开始,Stan乘以一个2-9 ...

  8. [SRM686]CyclesNumber

    题意:求$n$个数的所有排列形成的轮换个数的$m$次方之和 我以前只知道这是GDKOI的题,今天在ckw博客上发现它是TC题...原题真是哪里都有... 就是求$\sum\limits_{i=1}^n ...

  9. bzoj 2665: [cqoi2012]编号

    题目中说任意两个数至少要有3个位上数不相同,那么其实也就是从7个数中选出5个这样任意的组合全部不同,用数组f[i][j][k][l][m][n]记一下就好了,i为第几种组合,一共C(7,5)种,最后爆 ...

  10. 设置Eclipse编码方式

    1.windows->Preferences...打开"首选项"对话框,左侧导航树,导航到 general->Workspace,右侧Text file encodin ...