Elasticsearch alias别名管理小结 By:授客 QQ:1033553122 建创测试数据 1 创建别名 2 移除别名 3 创建测试数据 4 批量操作 5 例1. 5 例2. 把多个索引添加到一个别名中 6 例3. 使用通配符 8   测试环境: Win elasticsearch-5.4.1 1. 别名管理 建创测试数据 PUT test1_index POST test1_index/doctype/1 { "name":"shouke", &qu…

在使用elasticsearch的时候,经常会遇到需要淘汰掉历史数据的场景. 为了方便数据淘汰,并使得数据管理更加灵活,我们经常会以时间为粒度建立索引,例如: 每个月建立一个索引:monthly-201709.monthly-201710.monthly-201711 每天建立一个索引:daily-20171015.daily-20171016.daily-20171017.daily-20171018 当不需要再继续使用历史数据的时候,我们就可以将索引删除,释放资源. 为了很好的支撑这个场景,…

在使用elasticsearch的时候,经常会遇到需要淘汰掉历史数据的场景. 为了方便数据淘汰,并使得数据管理更加灵活,我们经常会以时间为粒度建立索引,例如: 每个月建立一个索引:monthly-201709.monthly-201710.monthly-201711 每天建立一个索引:daily-20171015.daily-20171016.daily-20171017.daily-20171018 当不需要再继续使用历史数据的时候,我们就可以将索引删除,释放资源. 为了很好的支撑这个场景,…

背景 项目中使用的老的索引,由于数据冗余,会想影响性能.因此需要重新建立索引,但是这样必然需要更新服务中的索引名称,然后重新启动服务,可能会对服务的使用者产生一定的影响.因此,调研了Elasticsearch的索引别名,来解决这个问题. 简介 索引别名就像一个快捷方式或软连接,可以指向一个或多个索引,也可以给任何一个需要索引名的API来使用.别名 带给我们极大的灵活性,我们可以使用索引别名实现以下功能: 在运行的集群中可以无缝的从一个索引切换到另一个索引 给多个索引分组 (例如, last_th…

ElasticSearch-索引优化-自定义索引 es 指定 索引 字段_百度搜索 [es]创建索引和映射 - 匡子语 - 博客园 reindex,增加字段,并新增数据 - Elastic中文社区 elasticsearch 字段别名(创建索引并指定索引类型的mapping) - CSDN博客 Elasticsearch创建索引和映射结构详解 - 我是家宝 - 博客园 分布式搜索elasticsearch java API 之(二)------put Mapping定义索引字段属性 - 陈守璐的…

你有听说过 ContainerCache,ElastiCast 和 QR72 这些 AWS 的新服务吗? 没有就对了,这些都是我编的:) 不过,AWS 有 50 多个服务,从名称也不能看出这些服务是做什么的.下面我将为你通俗地介绍一下这些 AWS 服务的作用. 运行应用程序的服务 无论你使用 AWS 做什么,最终都会使用这些服务,因为其他的服务都与应用程序服务进行交互. EC2 别名:亚马逊虚拟服务器 用途:托管在你看来是计算机的东西. 类似于:你在 DigitalOcean 或 Rackspa…

Elasticsearch索引别名.Filtered索引别名.Template 在使用elasticsearch的时候,经常会遇到需要淘汰掉历史数据的场景. 为了方便数据淘汰,并使得数据管理更加灵活,我们经常会以时间为粒度建立索引,例如: 每个月建立一个索引:monthly-201709.monthly-201710.monthly-201711 每天建立一个索引:daily-20171015.daily-20171016.daily-20171017.daily-20171018 当不需要再继…

目录 1 索引模板概述 1.1 什么是索引模板 1.2 索引模板中的内容 1.3 索引模板的用途 2 创建索引模板 3 查看索引模板 4 删除索引模板 5 模板的使用建议 5.1 一个index中不能有多个type 5.2 设置_source = false 5.3 设置_all = false 5.4 设置dynamic = strict 5.5 使用keyword类型 1 索引模板概述 1.1 什么是索引模板 索引模板: 就是把已经创建好的某个索引的参数设置(settings)和索引映射(m…

为什么需要索引模板? 在实际工作中针对一批大量数据存储的时候需要使用多个索引库,如果手工指定每个索引库的配置信息(settings和mappings)的话就很麻烦了. 所以,这个时候,就存在创建索引模板的必要了!!1 索引可使用预定义的模板进行创建,这个模板称作Index templates.模板设置包括settings和mappings,通过模式匹配的方式使得多个索引重用一个模板. 更多,请见 https://www.elastic.co/guide/en/elasticsearch/refe…

业务问题 业务需求是不断变化迭代的,也许我们之前写的某个业务逻辑在下个版本就变化了,我们可能需要修改原来的设计,例如数据库可能需要添加一个字段或删减一个字段,而在搜索中也会发生这件事,即使你认为现在的索引设计已经很完美了,在生产环境中,还是有可能需要做一些修改的,需要添加映射字段或者需要修改字段类型等等. 数据库中我们可以直接修改原来的表设计语句,前提是需要做好数据迁移.但是在 Elasticsearch 中就没那么简单了.尽管可以增加新的类型到索引中,或者增加新的字段到类型中,但是不能添加新的…

一.快速入门 1. 查看集群的健康状况 http://localhost:9200/_cat http://localhost:9200/_cat/health?v 说明:v是用来要求在结果中返回表头 状态值说明 Green - everything is good (cluster is fully functional),即最佳状态Yellow - all data is available but some replicas are not yet allocated (cluster i…

一,写在前面的话,elasticsearch 建立索引时的Mapping 设置 建议你在设计索引的初期,就把索引的各个字段设计好,因为,elasticsearch 的各个字段,定义好类型后,就无法进行修改了. 另外需要注意的点有如下 注意1:不要在一个索引中定义多个type. 6.X版本已经不支持,7.X版本彻底不支持. 扩展问题:5.X版本的父子文档实际实现中是一个索引中定义了多个type,到了6.X中实现方式改变为:join方式. 注意2:将Set _source设置为false. 假设你只…

一.快速入门1. 查看集群的健康状况http://localhost:9200/_cat http://localhost:9200/_cat/health?v 说明:v是用来要求在结果中返回表头 状态值说明 Green - everything is good (cluster is fully functional),即最佳状态Yellow - all data is available but some replicas are not yet allocated (cluster is…

elasticsearch 滚动更新分词 国内用ik.hanlp.ansj或基于其二次开发的比较多 必然有分词变更的操作(主要是是加词) reindex+别名可以解决一部分问题,但在大集群上会影响业务 elasticsearch写入数据时会对原始数据作分词,检索时会对查询条件作分词,以两次的分词算匹配度打分 以加词为例 加词后会导致数据大幅波动(因为查询语句的的分词结果变了,但原始数据的分词信息并没有变,同样一条查询条件,在加词前后的结果并不一致),影响产品应用和聚合统计结果,轻微的波动,可以解…

文章转载自: https://mp.weixin.qq.com/s?__biz=MzI2NDY1MTA3OQ==&mid=2247484454&idx=1&sn=43e95a27bd8635b73d78a23db79407fe&chksm=eaa82c0edddfa518e979b4b4fe5f6b6cf933b30f6177c663bb006148e5a1ef0d47684a8aac92&scene=21#wechat_redirect 1.别名分类 别名在Ela…

创建模板(模板名和索引名一样都不能有大写) PUT http://222.108.x.x:9200/_template/templateds { "template": "dsideal*", "order": 0, "settings": { "number_of_shards": 5 }, "aliases": { "dsideal-query": {} #起个别…

1.为什么要重建索引? 总结,一个type下的mapping中的filed不能被修改,所以如果需要修改,则需要重建索引 2.怎么zero time重建索引? 一个field的设置是不能被修改的,如果要修改一个Field,那么应该重新按照新的mapping,建立一个index,然后将数据批量查询出来,重新用bulk api写入index中 批量查询的时候,建议采用scroll api,并且采用多线程并发的方式来reindex数据,每次scoll就查询指定日期的一段数据,交给一个线程即可. 过程:…

项目中经常出现的问题,例如添加字段.修改字段,那原先的索引规则就要跟着改变,最好是一开始就给索引一个别名,修改字段时新增映射,然后将笔名指向新的映射,当然需要将之前的索引搬迁到新的映射当中. 1.获取映射信息(例如索引库是db_student) GET http://localhost:/db_student/_mapping 这时可以看到返回结果: { "db_student": { "mappings": { "properties": {…

  ES中可以为索引添加别名,一个别名可以指向到多个索引中,同时在添加别名时可以设置筛选条件,指向一个索引的部分数据,实现在关系数据库汇总的视图功能,这就是ES中别名的强大之处.别名是一个非常实用的功能,为我们使用索引提供了极大的灵活性,许多ES的API都支持用别名来代替真实索引名.通过索引我们可以方便的进行以下操作: 实现正在云心的集群上的一个索引到另一个索引之间的无缝切换.试想一下这种藏进,由于业务变换,我们需要将业务数据有索引1变换到新的索引2上,如果没有别名,我们必须修改和总段业务系统,…

背景 公司里面现在有es集群,由于时间过长,es集群中的某个索引过大但是未删除,一直在写入的情况下,昨天写入突然停止了,发现是索引超时的问题,这时想到通过创建一个新的索引来进行索引切换 操作 es 集群中旧索引的名称为testlogs,准备新建一个索引userlogs5,通过别名进行切换,前提是数据是通过别名来进行写入索引的,如果没有别名需要提前创建. 具体操作步骤如下: 查看当前别名对应的索引 curl -s -X GET "http://localhost:9200/_cat/aliases…

curl -XPOST 'http://localhost:9200/_aliases' -d '    {        "actions": [            {"add": {"index": "test1", "alias": "alias1"}}        ]    }'…

一 前言 ElasticiSearch 简介 ElasticSearch是一个基于Lucene的搜索服务器.它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口.Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎.设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便. 因为在工作的项目中有使用到所以写下相关的内容,并附带源码 感兴趣的朋友可以自己玩一玩,整个项目都是在Linux上跑的,所以安装步…

公司ELK系统目前的设置是每月自动将日志信息记录至新的索引中,将日志数据按月分索引保存,在扩展的ELK架构中,利Logstash对接rabbitmq,获取日志消息,自动持久化至Elasticsearch.而Elasticsearch存在一个关键问题就是索引的设置及字段的属性指定,最常见的问题就是,某个字段我们并不希望ES对其进行分词,但如果使用自动模板创建索引,那么默认是所有string类型的字段都会被分词的,因此必须要显式指定字段的not_analyzed属性,其它的比如控制索引的备份数,分片…

Elasticsearch 的坑爹事 本文记录一次Elasticsearch mapping field修改过程 团队使用Elasticsearch做日志的分类检索分析服务,使用了类似如下的_mapping { "settings" : { "number_of_shards" : 20 }, "mappings" : { "client" : { "properties" : { "ip&quo…

阅读目录: 背景 安装 查找.下载rpm包 .执行rpm包安装 配置elasticsearch专属账户和组 设置elasticsearch文件所有者 切换到elasticsearch专属账户测试能否成功启动 安装自启动elasticsearch servicewrapper包 下载elasticsearch servicewrapper 包 elasticsearch servicewrapper开源包的配置小bug servicewrapper安装 chkconfig -add 加入linux…

总体思路是: 利用json序列化的别名方法,反序列化到不同的字段上: 因为别名方法不支持多个别名,所以不得不根据不同的type,定义了多套适配内容. 最终在属性上进行选择. 本示例ElasticSearch返回的json串形如: { , "timed_out": false, "_shards": { , , }, "hits": { , "max_score": 3.4698925, "hits": […

本博文讲述的ES获取系统数据的API是基于Elasticsearch 2.4.1版本的. 0. overview a. 下面将要介绍的所有的指令,都支持一个查询参数v(verbose),用来显示详细的查询结果. b. cat的所有指令,都支持一个help参数查询,帮助用户了解cat相关指令都支持那些功能. c. cat的所有指令,都支持一个h参数的查询,指定指定的列信息进行输出. 例子: 查询输出master的ip以及node name [elastic@t0-tkonline-cms-sear…

elasticsearch中常用的API分类如下: 文档API: 提供对文档的增删改查操作 搜索API: 提供对文档进行某个字段的查询 索引API: 提供对索引进行操作,查看索引信息等 查看API: 按照更直观的形式返回数据,更适用于控制台请求展示 集群API: 对集群进行查看和操作的API 下面简单的一一介绍记录一下. 文档类API Index API: 创建并建立索引 PUT twitter/tweet/1{ "user" : "kimchy", "p…

资料 官网: http://www.elasticsearch.org 中文资料:http://www.learnes.net/ .Net驱动: http://nest.azurewebsites.net/ 教程: http://www.jianshu.com/p/05cff717563c 三级: 索引/类型/ID或操作符 对应: 数据库/表/ID 配置 启动服务: /es/elasticsearch -d 添加认证: http://segmentfault.com/a/119000000280…

在学习Elasticsearch的过程中,必不可少需要通过一些工具查看es的运行状态以及数据.如果都是通过rest请求,未免太过麻烦,而且也不够人性化. 此时,head可以完美的帮助你快速学习和使用es. Head插件可以实现基本信息的查看,rest请求的模拟,数据的检索等等. 安装 在网络畅通的情况下(需要能访问github),可以直接通过plugin进行安装.即在es的bin目录下运行: F:\software\elasticsearch-2.2.1\bin>plugin.bat insta…