分布式搜索elasticsearch 基本概念
ElasticSearch官网:http://www.elasticsearch.org/
先上一张elasticsearch的整体框架图:
ElasticSearch是基于Lucene开发的分布式搜索框架,包括例如以下特性:
分布式索引、搜索
索引自己主动分片、负载均衡
自己主动发现机器、组建集群
支持Restful 风格接口
配置简单等。
下图是ElasticSearch的第三方插件管理工具。通过它能够非常清晰的看到它索引分布的情况:哪块分布在那里,占用空间多少都能够看到。而且能够管理索引。
当一台机挂了时。整个系统会对挂机里的内容又一次分配到其他机器上,当挂掉的机又一次增加集群时,又会又一次把索引分配给它。当然,这些规则都是能够依据參数进行设置的,很灵活。ElasticSearch是先把索引的内容保存到内存之中,当内存不够时再把索引持久化到硬盘中,同一时候它另一个队列。是在系统空暇时自己主动把索引写到硬盘中。
的后端存储方式能够有一下四种:
1. 像普通的 Lucene 索引,存储在本地文件系统中;
2. 存储在分布式文件系统中,如 freeds;
3. 存储在 Hadoop 的 hdfs中;
4. 存储在亚马逊的 S3 云平台中。
它支持插件机制,有丰富的插件。
比方和 mongoDB、couchDB 同步的river 插件。分词插件,Hadoop 插件。脚本支持插件等。
以下介绍elasticsearch的几个概念:
cluster
代表一个集群,集群中有多个节点,当中有一个为主节点。这个主节点是能够通过选举产生的。主从节点是对于集群内部来说的。es 的一个概念就是去中心化,字面上理解就是无中心节点。这是对于集群外部来说的。由于从外部来看 es 集群。在逻辑上是个总体,与不论什么一个节点的通信和与整个 es 集群通信是等价的。在配置文件里能够配置集群的名字,在同一局域网内的机器。配置同样的cluster名字,将会自己主动组建集群,不须要其他特殊配置。
shards
代表索引分片。es 能够把一个完整的索引分成多个分片。这种优点是能够把一个大的索引拆分成多个,分布到不同的节点上,构成分布式搜索。
分片的数量仅仅能在索引创建前指定。而且索引创建后不能更改。
replicas
代表索引副本。es 能够设置多个索引的副本,副本的作用一是提高系统的容错性,当某个节点某个分片损坏或丢失时能够从副本中恢复。二是提高es的查询效率。es 会自己主动对搜索请求进行负载均衡。
recovery
代表数据恢复或叫数据又一次分布,es 在有节点增加或退出时会依据机器的负载对索引分片进行又一次分配,挂掉的节点又一次启动时也会进行数据恢复。
river
代表 es 的一个数据源,也是其他存储方式(如:数据库)同步数据到es的一个方法。它是以插件方式存在的一个 es 服务,通过读取 river 中的数据并把它索引到 es 中,官方的 river 有 couchDB、RabbitMQ、Twitter、Wikipedia。
gateway
代表 es 索引的持久化存储方式,es默认是先把索引存放到内存中,当内存满了时再持久化到硬盘。当这个 es 集群关闭再又一次启动时就会从 gateway 中读取索引数据。es 支持多种类型的 gateway。有本地文件系统(默认)。分布式文件系统。Hadoop 的 HDFS 和 amazon 的 s3 云存储服务。
discovery.zen
代表 es 的自己主动发现节点机制,es是一个基于 p2p 的系统,它先通过广播寻找存在的节点。再通过多播协议来进行节点之间的通信,同一时候也支持点对点的交互。
Transport
代表es 内部节点或集群与client的交互方式,默认内部是使用 tcp 协议进行交互。同一时候它支持 http 协议(json格式)、thrift、servlet、memcached、zeroMQ等的传输协议(通过插件方式集成)。
分布式搜索elasticsearch 基本概念的更多相关文章
- 分布式搜索ElasticSearch单机与服务器环境搭建
从上方插件官网中下载适合的dist包,然后解压.进入bin目录,可以看到一堆sh脚本.在bin目录下创建一个test.sh: bin=/home/csonezp/Dev/elasticsearch-j ...
- 分布式搜索Elasticsearch——QueryBuilders.matchPhrasePrefixQuery
注:该文项目基础为分布式搜索Elasticsearch——项目过程(一)和分布式搜索Elasticsearch——项目过程(二),项目骨架可至这里下载. ES源代码中对matchPhrasePrefi ...
- 分布式搜索ElasticSearch构建集群与简单搜索实例应用
分布式搜索ElasticSearch构建集群与简单搜索实例应用 关于ElasticSearch不介绍了,直接说应用. 分布式ElasticSearch集群构建的方法. 1.通过在程序中创建一个嵌入es ...
- 分布式搜索elasticsearch几个概念解析
原文链接:http://blog.csdn.net/july_2/article/details/24367177 介绍下es的几个概念:cluster 代表一个集群,集群中有多个节点,其中有 ...
- 分布式搜索Elasticsearch增、删、改、查操作深入详解
引言: 对于刚接触ES的童鞋,经常搞不明白ES的各个概念的含义.尤其对“索引”二字更是与关系型数据库混淆的不行.本文通过对比关系型数据库,将ES中常见的增.删.改.查操作进行图文呈现.能加深你对ES的 ...
- 分布式搜索elasticsearch配置文件详解
elasticsearch的config文件夹里面有两个配置文件:elasticsearch.yml和logging.yml,第一个是es的基本配置文件,第二个是日志配置文件,es也是使用log4j来 ...
- (转)分布式搜索Elasticsearch——配置
配置文件位于%ES_HOME%/config/elasticsearch.yml文件中,用Editplus打开它,你便可以进行配置. 所有的配置都可以使用环境变量,例如: node.r ...
- 分布式搜索elasticsearch 文献检索索引 入门
1.首先,例如,下面的数据被提交给ES该指数 {"number":32768,"singer":"杨坤","size": ...
- 分布式搜索elasticsearch 环境搭建
1.elasticsearch安装 elasticsearch的安装超级easy,解压即用(要事先安装好java环境). 到官网 http://www.elasticsearch.org下载最新版的 ...
随机推荐
- 王小胖之 Base64编码/解码
使用场景:编码网址作为URL参数,简单编码或加密数据,下载地址生成或解析. 实现功能:BASE64在线编码和解码. 数据实例:王小胖好啊,王小胖顶呱呱!! ~~ english 123 !@#$%^& ...
- Ubuntu18.04 无法解析域名
解决方法: 首先先输入以下4条命令 1. sudo lshw -numeric -class network2. sudo ifconfig -a3. sudo route -nv4. sudo dh ...
- Python9-函数-day9
初识函数定义与调用 def my_len(): i = 0 for k in s1: i +=1 return i #返回值 # s = 'tim' s1 = '班主任阿娇' length =my_l ...
- 【04】图解JSON
[04]图解JSON 附件列表
- Eclipse截取android报错log
Eclipse截取android报错log: 1.前提条件:已安装eclipse 2. LogCat界面设置: Logcat是Android 编程中一个命令行工具,可以用于得到程序的 log 信息,可 ...
- appium之android_uiautomator定位
前言 appium就是封装android的uiautomator这个框架来的,所以uiautomator的一些定位方法也可以用 text 1.通过text文本定位语法 new UiSelector() ...
- 大数据学习——Storm集群搭建
安装storm之前要安装zookeeper 一.安装storm步骤 1.下载安装包 2.解压安装包 .tar.gz storm 3.修改配置文件 mv /root/apps/storm/conf/st ...
- Dell Omsa在Linux服务器上安装部署
前言 本页详述了在一台Linux(RHEL6.4 x86_64)服务器上部署安装OMSA的通用做法,包括OMSA软件的获取方法和安装步骤. 演示环境: PowerEdge R620, RHEL 6.4 ...
- BNUOJ 5227 Max Sum
Max Sum Time Limit: 1000ms Memory Limit: 32768KB This problem will be judged on HDU. Original ID: ...
- OSQL 用法
osql中的启动参数如下: -?:列出osql各个参数的语法摘要. -U login_id:用来指出登录名称,登录名区分大小写. -P password:用来指出登录名称所对应的密码. -E:表示采用 ...