Elasticsearch的mapping讲解
映射是定义文档及其包含的字段的存储和索引方式的过程。
映射定义具有:
- 元字段
元字段用于自定义如何处理关联的文档元数据。包括文档 _index,_id和 _source领域。 - 字段或属性
映射包含properties与文档相关的字段列表。
字段数据类型
每个字段都有一个数据type,可以是:
- 简单类型等text,keyword,date,long, double,boolean或ip。
- 支持JSON的层次结构性质的类型,如 object或nested。
- 或一种特殊类型的像geo_point, geo_shape或completion。
为不同的目的以不同的方式为同一字段建立索引通常很有用。例如,一个string字段可以被索引为text全文搜索的字段,也可以被索引keyword为排序或聚合的字段。或者,您可以使用standard分析器, english分析器和 french分析器为字符串字段建立索引。
防止映射爆炸的设置
在索引中定义太多字段的情况可能导致映射爆炸,从而可能导致内存不足错误和难以恢复的情况。此问题可能比预期的更常见。例如,考虑一种情况,其中插入的每个新文档都引入了新字段。这在动态映射中很常见。每次文档包含新字段时,这些字段最终都会出现在索引的映射中。对于少量数据,这并不担心,但是随着映射的增长,它可能会成为问题。以下设置允许您限制可以手动或动态创建的字段映射的数量,以防止不良文档导致映射爆炸:
index.mapping.total_fields.limit:索引中的最大字段数。字段和对象的映射以及字段别名都计入此限制。默认值为1000。
该限制已到位,以防止映射和搜索变得太大。较高的值可能导致性能下降和内存问题,尤其是在负载较高或资源很少的群集中。
如果增加此设置,建议您也增加该 indices.query.bool.max_clause_count设置,这将限制查询中布尔子句的最大数量。
index.mapping.depth.limit:字段的最大深度,以内部对象的数量衡量。例如,如果所有字段都在根对象级别定义,则深度为1。如果存在一个对象映射,则深度为 2,等等。默认值为20。
index.mapping.nested_fields.limit:nested索引中 最大不同映射的数量,默认为50。
index.mapping.nested_objects.limit:nested单个文档中所有嵌套类型 中JSON对象的最大数量,默认为10000。
index.mapping.field_name_length.limit:设置字段名称的最大长度。默认值为Long.MAX_VALUE(无限制)。此设置实际上不能解决映射爆炸问题,但是如果您想限制字段长度,该设置可能仍然有用。通常不需要设置此设置。除非用户开始添加大量名称很长的字段,否则默认设置是可以的。
动态映射
字段和映射类型在使用之前不需要定义。通过动态映射,仅通过索引文档即可自动添加新的字段名称。可以将新字段添加到顶级映射类型以及内部object 和nested字段中。
可以将动态映射规则配置为自定义用于新字段的映射。
显式映射
您对数据的了解超出了Elasticsearch的猜测,因此尽管动态映射对于入门非常有用,但有时您仍需要指定自己的显式映射。
当你可以创建字段映射创建索引和 字段添加到现有的索引。
使用显式映射创建索引
您可以使用create index API创建带有显式映射的新索引。
PUT /my-index
{
"mappings": {
"properties": {
"age": {
"type": "integer"
},
"email": {
"type": "keyword"
},
"name": {
"type": "text"
}
}
}
}
将字段添加到现有映射
您可以使用放置映射 API将一个或多个新字段添加到现有索引。
以下示例添加employee-id了keyword一个index映射参数值为的字段 false。这意味着该employee-id字段的值已存储,但未索引或不可搜索。
PUT /my-index/_mapping
{
"properties": {
"employee-id": {
"type": "keyword",
"index": false
}
}
}
更新字段的映射
除了支持的映射参数外,您无法更改现有字段的映射或字段类型。更改现有字段可能会使已经建立索引的数据无效。
如果您需要更改字段映射,创建具有正确映射一个新的索引和重新索引的数据转换成指数。
重命名字段会使在旧字段名称下已建立索引的数据无效。而是添加一个alias字段以创建备用字段名称。
查看索引的映射
您可以使用get mapping API查看现有索引的映射。
GET my-index/_mapping
API返回以下响应:
{
"my-index" : {
"mappings" : {
"properties" : {
"age" : {
"type" : "integer"
},
"email" : {
"type" : "keyword"
},
"employee-id" : {
"type" : "keyword",
"index" : false
},
"name" : {
"type" : "text"
}
}
}
}
}
查看特定字段的映射
如果您只想查看一个或多个特定字段的映射,则可以使用get字段映射 API。
如果您不需要索引的完整映射或索引包含大量字段,这将很有用。
以下请求检索该employee-id字段的映射。
GET /my-index/_mapping/field/employee-id
API返回以下响应:
{
"my-index" : {
"mappings" : {
"employee-id" : {
"full_name" : "employee-id",
"mapping" : {
"employee-id" : {
"type" : "keyword",
"index" : false
}
}
}
}
}
}
Elasticsearch的mapping讲解的更多相关文章
- elasticsearch 之mapping
搭好elk 后,有时候会发现kibana 统计数据时,数据类型不对,这个时候就和elasticsearch的mapping有关,虽然我们可以用logstash修改传入es里的数据类型,比如 float ...
- curl方式创建elasticsearch的mapping
curl方式创建elasticsearch的mapping curl -XPUT 'http://192.168.1.105:9200/bank/item2/_mapping' -d '{ " ...
- elasticsearch的mapping映射
Mapping简述 Elasticsearch是一个schema-less的系统,但并不代表no shema,而是会尽量根据JSON源数据的基础类型猜测你想要的字段类型映射.Elasticsearch ...
- ELK学习总结(4-1)elasticsearch更改mapping(不停服务重建索引)
elasticsearch更改mapping(不停服务重建索引)原文 http://donlianli.iteye.com/blog/1924721Elasticsearch的mapping一旦创建, ...
- elasticsearch更改mapping(不停服务重建索引)
转载地址:http://donlianli.iteye.com/blog/1924721?utm_source=tuicool&utm_medium=referral Elasticsearc ...
- elasticsearch更改mapping,不停服务重建索引(转)
原文:http://donlianli.iteye.com/blog/1924721?utm_source=tuicool&utm_medium=referral Elasticsearch的 ...
- 通过Java的Domain类构建ElasticSearch的mapping
通过给定一个Java的class类自行创建ElasticSearch的mapping Order的domain类 public class Order { public String system_i ...
- elasticsearch 修改 mapping
Elasticsearch的mapping一旦创建,只能增加字段,而不能修改已经mapping的字段.但现实往往并非如此啊,有时增加一个字段,就好像打了一个补丁,一个可以,但是越补越多,最后自己都觉得 ...
- ElasticSearch(5)-Mapping
一.Mapping概述 映射 为了能够把日期字段处理成日期,把数字字段处理成数字,把字符串字段处理成全文本(Full-text)或精确的字符串值,Elasticsearch需要知道每个字段里面都包含了 ...
随机推荐
- Hadoop - MapReduce 过程
Hadoop - MapReduce 一.MapReduce设计理念 map--->映射 reduce--->归纳 mapreduce必须构建在hdfs之上的一种大数据离线计算框架 在线: ...
- macOS Monterey 12.5 (21G72) 正式版 ISO、IPSW、PKG 下载
今日(2022-07-21)凌晨,Apple 终于发布了 macOS Monterey 12.5,包括功能增强.错误修复和安全性更新.macOS Monterey 12.5 自 2022 年 5 月 ...
- SpringBoot集成文件 - 集成POI之Excel导入导出
Apache POI 是用Java编写的免费开源的跨平台的 Java API,Apache POI提供API给Java程序对Microsoft Office格式档案读和写的功能.本文主要介绍通过Spr ...
- C# 给Word每一页设置不同文字水印
Word中设置水印时,可预设的文字或自定义文字设置为水印效果,但通常添加水印效果时,会对所有页面都设置成统一效果,如果需要对每一页或者某个页面设置不同的水印效果,则可以参考本文中的方法.下面,将以C# ...
- 丽泽普及2022交流赛day14
目录 A 题面 题解 B 题面 题解 C 题面 题解 D 题面 题解 A 题面 一个 \(1\dots n\) 的排列 \(p\) 和一个 \(1\dots n-1\) 的排列 \(q\) 满足 对排 ...
- 浅谈 Lucas 定理
Lucas 定理是用来求 \(C^n_m\bmod p\) 的. 定理 \[C^n_m\equiv C^{n\bmod p}_{m\bmod p}\cdot C^{\lfloor n/p\rfloor ...
- 7 行代码搞崩溃 B 站,原因令人唏嘘!
前不久,哔哩哔哩(一般常称为 B 站)发布了一篇文章<2021.07.13 我们是这样崩的>,详细回顾了他们在 2021.07.13 晚上全站崩溃约 3 小时的至暗时刻,以及万分紧张的故障 ...
- CMake库搜索函数居然不搜索LD_LIBRARY_PATH
摘要: 本文通过编译后运行找不到库文件的问题引入,首先分析了find_package(JNI)的工作流程,而后针对cmake不搜索LD_LIBRARY_PATH的问题,提出了一种通用的解决办法. 本文 ...
- 【转载】一封面向社会,关于对近日来 CCF 不当行为之抗议的公开信
原文链接:https://101001011.github.io/2022/06/11/zhi-ccf-de-yi-feng-gong-kai-xin/ 原文作者:CCA(CCA's Blog) 前天 ...
- vue2与vue3实现响应式的原理区别和提升
区别: vue2.x: 实现原理: 对象类型:Object.defineProperty()对属性的读取,修改进行拦截(数据劫持): 数组类型:通过重写更新数组的一系列方法来进行拦截(对数组的变更方法 ...