Elasticsearch必知必会的干货知识二:ES索引操作技巧
该系列上一篇文章《Elasticsearch必知必会的干货知识一:ES索引文档的CRUD》 讲了如何进行index的增删改查,本篇则侧重讲解说明如何对index进行创建、更改、迁移、查询配置信息等。
仅创建索引:PUT index
PUT /index
添加字段设置(mappings):PUT index/_mapping/type,如:(properties下均为索引字段)
PUT /index/_mapping/_doc {
"properties": {
"email": {
"type": "keyword"
}
}
}
添加索引设置(settings):PUT /index/_settings,如:
PUT /index/_settings {
"number_of_shards":"8",
"max_inner_result_window":"130000",
"max_result_window":"130000",
"analysis":{
"analyzer":{
"ngram_analyzer":{
"tokenizer":"ngram_tokenizer"
}
},
"tokenizer":{
"ngram_tokenizer":{
"token_chars":[
"letter",
"digit",
"punctuation"
],
"type":"ngram",
"max_gram":"1"
}
}
}
}
添加别名或删除别名:POST /_aliases 或 PUT /index/_alias/name ,如:(remove表示删除别名,add表示添加别名)
POST /_aliases
{
"actions" : [
{ "remove" : { "index" : "test1", "alias" : "alias1" } },
{ "add" : { "index" : "test2", "alias" : "alias1" } }
]
}
PUT /index/_alias/name exp:/index/_alias/index100
一次性创建包含完整的别名(alias)、字段(mappings)、设置(settings)的索引,如:
PUT /index_name
{
"index_name":{
"aliases":{
"index_alias_name":{ }
},
"mappings":{
"index_type":{
"dynamic":"false",
"properties":{
"doubleField1":{
"type":"double",
"null_value":0
},
"keywordField2":{
"type":"keyword",
"null_value":""
},
"longField3":{
"type":"long",
"null_value":0
},
"textField4":{
"type":"text",
"fields":{
"raw":{
"type":"keyword",
"null_value":""
}
},
"analyzer":"ngram_analyzer"
},
"dateField5":{
"type":"date",
"null_value":"-62167420800000",
"format":"yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
}
}
}
},
"settings":{
"number_of_shards":"3",
"number_of_replicas":"2",
"max_inner_result_window":"130000",
"max_result_window":"130000",
"analysis":{
"analyzer":{
"ngram_analyzer":{
"tokenizer":"ngram_tokenizer"
}
},
"tokenizer":{
"ngram_tokenizer":{
"token_chars":[
"letter",
"digit",
"punctuation"
],
"type":"ngram",
"max_gram":"1"
}
}
}
}
}
}
index自动滚动【Rollover】,即:当索引达到预设的滚动条件时,会自动创建新的索引(index),并将别名(alias)指向最新的索引,原索引将被自动删除映射,如:(先创建索引并指名索引别名,然后执行_rollover API 且设定滚动的条件值,最后正常的插入文档数,当达到滚动条件后,则会自动触发index _rollover)
POST index_alias_name/_rollover/
{
"conditions": {
"max_age": "7d", //设置:最大时间7天
"max_docs": 10000,//设置:最大文档记录数
"max_size": "5gb" //设置:索引最大容量
}
} //Response:
{
"old_index": "旧索引名",
"new_index": "新索引名",
"rolled_over": true,
"dry_run": false,
"acknowledged": true,
"shards_acknowledged": true,
"conditions": {
"[max_docs: 10000]": true,
"[max_age: 7d]": false,
"[max_size: 5gb]": false
}
} //POST index_alias_name/_doc -d {index文档JSON} 插入10000以上的文档记录
重建索引(_reindex),即:一旦索引被创建,则无法直接修改索引字段的mapping属性,必需要重建索引然后将旧的索引数据迁移到新的索引中才行(迁移过程底层使用了scroll API ),如:
POST _reindex
{
"conflicts": "proceed",//发生冲突继续执行
"source": {
"index": "old_index",
"type": "_doc",
"size": 5000, //设置每批迁移的文档记录数
"_source": ["user", "_doc"], //可设置要迁移的索引字段,不设置则默认所有字段
"query": { //可设置要迁移的文档记录过滤条件
"match_all": { }
}
},
"dest": {
"index": "new_index",
"type": "_doc",
"version_type": "internal" //"internal"或者不设置,则Elasticsearch强制性的将文档转储到目标中,覆盖具有相同类型和ID的任何内容
}
}
其它说明可参见:ES数据库重建索引——Reindex(数据迁移)
查询index的完整定义信息:GET /index ,如:
GET /index
只查询mapping字段信息:GET /index/_mapping (带s也可以)
GET /index/_mapping OR /index/_mappings
OR /index/_mapping/_doc【如有多个type可以加上指定type】
只查询settings信息:GET /index/_settings
GET /index/_settings
Elasticsearch必知必会的干货知识二:ES索引操作技巧的更多相关文章
- Elasticsearch必知必会的干货知识一:ES索引文档的CRUD
若在传统DBMS 关系型数据库中查询海量数据,特别是模糊查询,一般我们都是使用like %查询的值%,但这样会导致无法应用索引,从而形成全表扫描效率低下,即使是在有索引的字段精确值查找,面对海量数 ...
- python网络爬虫,知识储备,简单爬虫的必知必会,【核心】
知识储备,简单爬虫的必知必会,[核心] 一.实验说明 1. 环境登录 无需密码自动登录,系统用户名shiyanlou 2. 环境介绍 本实验环境采用带桌面的Ubuntu Linux环境,实验中会用到桌 ...
- 脑残式网络编程入门(三):HTTP协议必知必会的一些知识
本文原作者:“竹千代”,原文由“玉刚说”写作平台提供写作赞助,原文版权归“玉刚说”微信公众号所有,即时通讯网收录时有改动. 1.前言 无论是即时通讯应用还是传统的信息系统,Http协议都是我们最常打交 ...
- 《SQL必知必会》学习笔记(一)
这两天看了<SQL必知必会>第四版这本书,并照着书上做了不少实验,也对以前的概念有得新的认识,也发现以前自己有得地方理解错了.我采用的数据库是SQL Server2012.数据库中有一张比 ...
- 2015 前端[JS]工程师必知必会
2015 前端[JS]工程师必知必会 本文摘自:http://zhuanlan.zhihu.com/FrontendMagazine/20002850 ,因为好东东西暂时没看懂,所以暂时保留下来,供以 ...
- [ 学习路线 ] 2015 前端(JS)工程师必知必会 (2)
http://segmentfault.com/a/1190000002678515?utm_source=Weibo&utm_medium=shareLink&utm_campaig ...
- mysql必知必会系列(一)
mysql必知必会系列是本人在读<mysql必知必会>中的笔记,方便自己以后查看. MySQL. Oracle以及Microsoft SQL Server等数据库是基于客户机-服务器的数据 ...
- crypto必知必会
crypto必知必会 最近参加了个ctf比赛,在i春秋,南邮方面刷了一些crypto密码学题目,从中也增长了不少知识,在此关于常见的密码学知识做个小总结! Base编码 Base编码中用的比较多的是b ...
- Android程序员必知必会的网络通信传输层协议——UDP和TCP
1.点评 互联网发展至今已经高度发达,而对于互联网应用(尤其即时通讯技术这一块)的开发者来说,网络编程是基础中的基础,只有更好地理解相关基础知识,对于应用层的开发才能做到游刃有余. 对于Android ...
随机推荐
- 进度条的使用 Progress控件
MFC编程实例二:进度条的使用 2011-03-22 09:09:09| 分类: C++(C语言) | 标签:进度 nlower nupper 添加 mfc |字号 订阅 本人用的 ...
- Glusterfs读写性能测试与分析
一.测试目的: 1.测试分布卷(Distributed).分布式复制卷(Distributed-Replicate).条带卷(Strip)和分布式条带复制卷(Distributed-Strip-Rep ...
- 一.3.序列化使用之idc资源与api文档
前后端分离,前端写前端的,后端写后端的,但是它们中间得有一个api文档 1.idc资源 (1)models.py: from django.db import models class Idc(mod ...
- 简单几步让CentOS系统时间同步
在使用CentOS系统的时候,我们可能会遇到时间不准的问题,那我们如何解决这个我问题呢,下面就来教大家一个CentOS系统时间同步的方法,希望大家可以解决自己所存在的疑问. CentOS系统时间同步的 ...
- 【Oracle】如何模拟resmgr:cpu quantum
看完该篇文章你可以了解如下问题:resmgr:cpu quantum等待事件的知识,如何模拟该等待事件,如何避免该事件. 数据库版本: SYS@zkm> select banner from v ...
- Python 简明教程 --- 22,Python 闭包与装饰器
微信公众号:码农充电站pro 个人主页:https://codeshellme.github.io 当你选择了一种语言,意味着你还选择了一组技术.一个社区. 目录 本节我们来介绍闭包与装饰器. 闭包与 ...
- Cypress与TestCafe WebUI端到端测试框架简介
近期接触了Cypress和TestCafe,两个测试框架都基于Node.js,都不再使用Selenium+WebDriver,而且开箱即用,非常轻量级,就冲着不再使用WebDriver这一点,极大地勾 ...
- axure8.0实现tab切换
这两天帮忙做产品原型图,tab切换做一次忘一次,这次索性记录一下,免得下次再忘了. 1.在元件库中拉出来一个动态面板,双击动态面板,添加状态,添加完成之后,点击红色标注的地方,开始编辑每个面板状态: ...
- mac篇---mac安装jupyter
1.Jupyter搭建 pip install --user jupyter 如果是在python3中,则用如下命令: pip3 install --user jupyter 如下图所示: 2. Ju ...
- 二分查找&二叉排序树
首先我们先来复习一下二分查找的算法 对于正向序列的二分查找 递归实现: bool binary_search(vector<int> &sort_arry,int begin,in ...