Elasticsearch必知必会的干货知识二:ES索引操作技巧
该系列上一篇文章《Elasticsearch必知必会的干货知识一:ES索引文档的CRUD》 讲了如何进行index的增删改查,本篇则侧重讲解说明如何对index进行创建、更改、迁移、查询配置信息等。
仅创建索引:PUT index
PUT /index
添加字段设置(mappings):PUT index/_mapping/type,如:(properties下均为索引字段)
PUT /index/_mapping/_doc {
"properties": {
"email": {
"type": "keyword"
}
}
}
添加索引设置(settings):PUT /index/_settings,如:
PUT /index/_settings {
"number_of_shards":"8",
"max_inner_result_window":"130000",
"max_result_window":"130000",
"analysis":{
"analyzer":{
"ngram_analyzer":{
"tokenizer":"ngram_tokenizer"
}
},
"tokenizer":{
"ngram_tokenizer":{
"token_chars":[
"letter",
"digit",
"punctuation"
],
"type":"ngram",
"max_gram":"1"
}
}
}
}
添加别名或删除别名:POST /_aliases 或 PUT /index/_alias/name ,如:(remove表示删除别名,add表示添加别名)
POST /_aliases
{
"actions" : [
{ "remove" : { "index" : "test1", "alias" : "alias1" } },
{ "add" : { "index" : "test2", "alias" : "alias1" } }
]
}
PUT /index/_alias/name exp:/index/_alias/index100
一次性创建包含完整的别名(alias)、字段(mappings)、设置(settings)的索引,如:
PUT /index_name
{
"index_name":{
"aliases":{
"index_alias_name":{ }
},
"mappings":{
"index_type":{
"dynamic":"false",
"properties":{
"doubleField1":{
"type":"double",
"null_value":0
},
"keywordField2":{
"type":"keyword",
"null_value":""
},
"longField3":{
"type":"long",
"null_value":0
},
"textField4":{
"type":"text",
"fields":{
"raw":{
"type":"keyword",
"null_value":""
}
},
"analyzer":"ngram_analyzer"
},
"dateField5":{
"type":"date",
"null_value":"-62167420800000",
"format":"yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
}
}
}
},
"settings":{
"number_of_shards":"3",
"number_of_replicas":"2",
"max_inner_result_window":"130000",
"max_result_window":"130000",
"analysis":{
"analyzer":{
"ngram_analyzer":{
"tokenizer":"ngram_tokenizer"
}
},
"tokenizer":{
"ngram_tokenizer":{
"token_chars":[
"letter",
"digit",
"punctuation"
],
"type":"ngram",
"max_gram":"1"
}
}
}
}
}
}
index自动滚动【Rollover】,即:当索引达到预设的滚动条件时,会自动创建新的索引(index),并将别名(alias)指向最新的索引,原索引将被自动删除映射,如:(先创建索引并指名索引别名,然后执行_rollover API 且设定滚动的条件值,最后正常的插入文档数,当达到滚动条件后,则会自动触发index _rollover)
POST index_alias_name/_rollover/
{
"conditions": {
"max_age": "7d", //设置:最大时间7天
"max_docs": 10000,//设置:最大文档记录数
"max_size": "5gb" //设置:索引最大容量
}
} //Response:
{
"old_index": "旧索引名",
"new_index": "新索引名",
"rolled_over": true,
"dry_run": false,
"acknowledged": true,
"shards_acknowledged": true,
"conditions": {
"[max_docs: 10000]": true,
"[max_age: 7d]": false,
"[max_size: 5gb]": false
}
} //POST index_alias_name/_doc -d {index文档JSON} 插入10000以上的文档记录
重建索引(_reindex),即:一旦索引被创建,则无法直接修改索引字段的mapping属性,必需要重建索引然后将旧的索引数据迁移到新的索引中才行(迁移过程底层使用了scroll API ),如:
POST _reindex
{
"conflicts": "proceed",//发生冲突继续执行
"source": {
"index": "old_index",
"type": "_doc",
"size": 5000, //设置每批迁移的文档记录数
"_source": ["user", "_doc"], //可设置要迁移的索引字段,不设置则默认所有字段
"query": { //可设置要迁移的文档记录过滤条件
"match_all": { }
}
},
"dest": {
"index": "new_index",
"type": "_doc",
"version_type": "internal" //"internal"或者不设置,则Elasticsearch强制性的将文档转储到目标中,覆盖具有相同类型和ID的任何内容
}
}
其它说明可参见:ES数据库重建索引——Reindex(数据迁移)
查询index的完整定义信息:GET /index ,如:
GET /index
只查询mapping字段信息:GET /index/_mapping (带s也可以)
GET /index/_mapping OR /index/_mappings
OR /index/_mapping/_doc【如有多个type可以加上指定type】
只查询settings信息:GET /index/_settings
GET /index/_settings
Elasticsearch必知必会的干货知识二:ES索引操作技巧的更多相关文章
- Elasticsearch必知必会的干货知识一:ES索引文档的CRUD
若在传统DBMS 关系型数据库中查询海量数据,特别是模糊查询,一般我们都是使用like %查询的值%,但这样会导致无法应用索引,从而形成全表扫描效率低下,即使是在有索引的字段精确值查找,面对海量数 ...
- python网络爬虫,知识储备,简单爬虫的必知必会,【核心】
知识储备,简单爬虫的必知必会,[核心] 一.实验说明 1. 环境登录 无需密码自动登录,系统用户名shiyanlou 2. 环境介绍 本实验环境采用带桌面的Ubuntu Linux环境,实验中会用到桌 ...
- 脑残式网络编程入门(三):HTTP协议必知必会的一些知识
本文原作者:“竹千代”,原文由“玉刚说”写作平台提供写作赞助,原文版权归“玉刚说”微信公众号所有,即时通讯网收录时有改动. 1.前言 无论是即时通讯应用还是传统的信息系统,Http协议都是我们最常打交 ...
- 《SQL必知必会》学习笔记(一)
这两天看了<SQL必知必会>第四版这本书,并照着书上做了不少实验,也对以前的概念有得新的认识,也发现以前自己有得地方理解错了.我采用的数据库是SQL Server2012.数据库中有一张比 ...
- 2015 前端[JS]工程师必知必会
2015 前端[JS]工程师必知必会 本文摘自:http://zhuanlan.zhihu.com/FrontendMagazine/20002850 ,因为好东东西暂时没看懂,所以暂时保留下来,供以 ...
- [ 学习路线 ] 2015 前端(JS)工程师必知必会 (2)
http://segmentfault.com/a/1190000002678515?utm_source=Weibo&utm_medium=shareLink&utm_campaig ...
- mysql必知必会系列(一)
mysql必知必会系列是本人在读<mysql必知必会>中的笔记,方便自己以后查看. MySQL. Oracle以及Microsoft SQL Server等数据库是基于客户机-服务器的数据 ...
- crypto必知必会
crypto必知必会 最近参加了个ctf比赛,在i春秋,南邮方面刷了一些crypto密码学题目,从中也增长了不少知识,在此关于常见的密码学知识做个小总结! Base编码 Base编码中用的比较多的是b ...
- Android程序员必知必会的网络通信传输层协议——UDP和TCP
1.点评 互联网发展至今已经高度发达,而对于互联网应用(尤其即时通讯技术这一块)的开发者来说,网络编程是基础中的基础,只有更好地理解相关基础知识,对于应用层的开发才能做到游刃有余. 对于Android ...
随机推荐
- POJ 3463 Sightseeing 【最短路与次短路】
题目 Tour operator Your Personal Holiday organises guided bus trips across the Benelux. Every day the ...
- JavaScript基础对象创建模式之沙盘模式(026)
沙盘模式可以弥补命名空间模式中的两项不足之处: 使用唯一全局对象作为程序的全局变量入口,使得无法在同一程序中使用两个不同版本的API,因此它们使用的是同一个唯一的全局对象名,如MYAPP: 较长的嵌套 ...
- 自描述C++部分面试题集
1.谈谈啥叫对象成员以及对象成员的构造函数调用调用方式. 在类中定义的数据成员一般都是基本的数据类型.但是类中的成员也可以是对象,叫做对象成员. C++中对对象的初始化时非常重要的操作,当创建一个对象 ...
- CSS-界面滚动时不显示滚动条
设置滚动条的样式: div::-webkit-scrollbar { width: ; } 关于::-webkit-scrollbar ::-webkit-scrollbar CSS伪类选择器影响 ...
- day55 js进阶
目录 引子 一.BOM操作 1 window对象 2 window子对象 3 history对象 4 location对象(掌握) 5 弹出框 6 计时器相关 二.DOM操作 1 查找标签 1.1 直 ...
- Hadoop集群之浅析安全模式
集群启动顺序: NameNode启动 NameNode启动时,首先将镜像文件(Fsimage)载入内存,并执行编辑日志(Edits)中的各项操作.一旦在内存中成功建立文件系统元数据的映像,则创建一个新 ...
- 简单shellcode学习
本文由“合天智汇”公众号首发 作者:hope 引言 之前遇到没开启NX保护的时候,都是直接用pwtools库里的shellcode一把梭,也不太懂shellcode代码具体做了些什么,遇到了几道不能一 ...
- python 爬虫写入txt:UnicodeEncodeError: ‘gbk’ codec can’t encode character 错误的解决办法
原链接:https://blog.csdn.net/vito21/article/details/53490435 今天爬一个网站的内容,在写入TXT文件时,某些页面总是报UnicodeEncodeE ...
- EM算法的收敛性
https://blog.csdn.net/kevinoop/article/details/80522477
- [ArcEngine二次开发]为Feature的属性赋值
在创建FeatureClass之后,需要为FeatureClass添加Features,在为Feature的字段赋值时,代码大致如下: 在这里赋值的时候,出现了一个错误: The operation ...