ElasticSearch学习问题记录——nested查询不到数据

通过代码创建了索引名称为demoindex,索引类型为school,以下是索引类型的数据映射结构: { "state": "open", "settings": { "index.number_of_replicas": "1", "index.number_of_shards": "5", "index.version.created": &qu…

ElasticSearch学习问题记录——Invalid shift value in prefixCoded bytes (is encoded value really an INT?)

最近在做一个电商项目,其中商品搜索中出现一个奇怪的现象,根据某个字段排序的时候会出现商品数量减少的情况.按照一般路要么查不出来,要么正常显示,为什么增加了按照销量排序就会出现查询结果减少的情况. 查了下ES日志发现有报错:nested: NumberFormatException[Invalid shift value in prefixCoded bytes (is encoded value really an INT?) 看得出是数据类型转换错误,但是为什么错还是不清楚.求助GOOGLE.…

ElasticSearch 学习记录之ES查询添加排序字段和使用missing或existing字段查询

ES添加排序在默认的情况下,ES 是根据文档的得分score来进行文档额排序的.但是自己可以根据自己的针对一些字段进行排序.就像下面的查询脚本一样.下面的这个查询是根据productid这个值进行排序的,而且进行了双字段的排序.当productid 相同时的文档是根据下面的那个排序字段进行的排序 POST /product/_search { "query": { "bool": { "filter": { "term":…

ElasticSearch 学习记录之父子结构的查询

父子结构父亲type属性查询子type 的类型父子结构的查询,可以通过父亲类型的字段,查询出子类型的索引信息 POST /product/_search { "query": { "has_parent": { "parent_type": "base", "query": { "term": { "productId": { "value":…

ElasticSearch 学习记录之ES几种常见的聚合操作

ES几种常见的聚合操作普通聚合 POST /product/_search { "size": 0, "aggs": { "agg_city": { "terms": { "field": "departureCitys" //字段 } } } } 父子结构的索引的聚合 POST product/_search { "size": 0, "aggs&quo…

ElasticSearch 学习记录之ES短语匹配基本用法

短语匹配短语匹配故名思意就是对分词后的短语就是匹配,而不是仅仅对单独的单词进行匹配下面就是根据下面的脚本例子来看整个短语匹配的有哪些作用和优点 GET /my_index/my_type/_search { "query": { "match_phrase": { "title": "quick brown fox" } } } //查询分词之后连续的 //例如 brown fox 可以查询到,但是quick fox 查询…

ElasticSearch 学习记录之分布式文档存储往ES中存数据和取数据的原理

分布式文档存储 ES分布式特性屏蔽了分布式系统的复杂性集群内的原理垂直扩容和水平扩容真正的扩容能力是来自于水平扩容–为集群添加更多的节点,并且将负载压力和稳定性分散到这些节点中 ES集群特点一个集群拥有相同的cluster.name 配置的节点组成, 它们共同承担数据和负载的压力主节点负责管理集群的变更例如增加.删除索引,或者增加.删除节点等. 而主节点并不需要涉及到文档级别的变更和搜索等操作集群健康 1.GET /_cluster/health 返回值中的status 是我们关注…

ElasticSearch 学习记录之如任何设计可扩容的索引结构

扩容设计扩容的单元一个分片即一个 Lucene 索引 ,一个 Elasticsearch 索引即一系列分片的集合一个分片即为扩容的单元 . 一个最小的索引拥有一个分片. 一个只有一个分片的索引无扩容因子 - 如何判断一个请求过来,我的信息在哪个分片上面 shard = hash(routing) % number_of_primary_shards routing 大致是指文档的id 分片预分配一个分片存在于单个节点, 但一个节点可以持有多个分片一个拥有两个分片的索引可以利用第二个节…

ElasticSearch 学习记录之ES高亮搜索

高亮搜索 ES 通过在查询的时候可以在查询之后的字段数据加上html 标签字段,使文档在在web 界面上显示的时候是由颜色或者字体格式的 GET /product/_search { "size": 200, "query": { "match_phrase": { "name": "上海" } }, "highlight": { "fields": { "…

2018/2/13 ElasticSearch学习笔记三自动映射以及创建自动映射模版，ElasticSearch聚合查询

终于把这些命令全敲了一遍,话说ELK技术栈L和K我今天花了一下午全部搞定,学完后还都是花式玩那种...E却学了四天(当然主要是因为之前上班一直没时间学,还有安装服务时出现的各种error真是让我扎心了,这绝对是我学编程以来针对某个特定技术花的时间最长的一次学习). #删除school索引DELETE /school#静态映射#format日期格式默认:strict_date_optional_time||epoch_millisPUT /school{"settings": {&quo…

Elasticsearch学习总结 (Centos7下Elasticsearch集群部署记录)

一. ElasticSearch简单介绍 ElasticSearch是一个基于Lucene的搜索服务器.它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口.Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎. ElasticSearch不但包括了全文搜索功能,还可以进行以下工作:-> 分布式实时文件存储,并将每一个字段都编入索引,使其可以被搜索.-> 实时分析的分布式搜索引擎.-> 可以扩展到上百…

ElasticSearch 学习记录之Text keyword 两种基本类型区别

ElasticSearch 系列文章 1 ES 入门之一安装ElasticSearcha 2 ES 记录之如何创建一个索引映射 3 ElasticSearch 学习记录之Text keyword 两种基本类型区别 4 ES 入门记录之 match和term查询的区别 5 ElasticSearch 学习记录之ES几种常见的聚合操作 6 ElasticSearch 学习记录之父子结构的查询 7 ElasticSearch 学习记录之ES查询添加排序字段和使用missing或existing字段查…

Elasticsearch学习记录(入门篇)

Elasticsearch学习记录(入门篇) 1. Elasticsearch的请求与结果请求结构 curl -X<VERB> '<PROTOCOL>://<HOST>:<PORT>/<PATH>?<QUERY_STRING>' -d '<BODY>' VERB HTTP方法:GET, POST, PUT, HEAD, DELETE PROTOCOL http或者https协议(只有在Elasticsearch前面有ht…

全文搜索引擎ElasticSearch学习记录：mac下安装

最近开发组培训了ElasticSearch,准备开展新项目,我也去凑了下热闹,下面把学习过程记录一下. 一.安装 1.环境需要jdk1.8; 2.下载:http://www.elastic.co/downloads/elasticsearch 3.下载完成后在端终解压,解压命令:tar -vxf elasticsearch-6.2.4.tar 二.启动elasticSearch 进入文件夹:cd elasticsearch-6.2.4 启动命令:sh ./bin/elasticsearch 如下…

Elasticsearch学习记录(分布式的特性)

Elasticsearch学习记录(分布式的特性) 分布式的特性我们提到Elasticsearch可以扩展到上百(甚至上千)的服务器来处理PB级的数据.然而我们的例子只给出了一些使用Elasticsearch的例子,并未涉及相关机制.Elasticsearch为分布式而生,而且它的设计隐藏了分布式本身的复杂性. Elasticsearch在分布式概念上做了很大程度上的透明化,在教程中你不需要知道任何关于分布式系统.分片.集群发现或者其他大量的分布式概念.所有的教程你既可以运行在你的笔记本上,也…

031 Spring Data Elasticsearch学习笔记---重点掌握第5节高级查询和第6节聚合部分

Elasticsearch提供的Java客户端有一些不太方便的地方: 很多地方需要拼接Json字符串,在java中拼接字符串有多恐怖你应该懂的需要自己把对象序列化为json存储查询到结果也需要自己反序列化为对象因此,我们这里就不讲解原生的Elasticsearch客户端API了. 而是学习Spring提供的套件:Spring Data Elasticsearch. 1.简介 Spring Data Elasticsearch是Spring Data项目下的一个子模块. Spring Dat…

Elasticsearch学习笔记——安装、数据导入和查询

到elasticsearch网站下载最新版本的elasticsearch 6.2.1 ? 1 https://www.elastic.co/downloads/elasticsearch 中文文档请参考 ? 1 https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html 英文文档及其Java API使用方法请参考,官方文档比任何博客都可信 ? 1 https://www.elastic.co/guide/en/el…

Elasticsearch学习系列之term和match查询

lasticsearch查询模式一种是像传递URL参数一样去传递查询语句,被称为简单查询 GET /library/books/_search //查询index为library,type为books的全部内容 GET /library/books/_search?q=price:10 //查询index为library,type为books中price等于10的另一种是DSL语句来进行查询,被称为DSL查询,term和match就属于DSL term查询 term是代表完全匹配,即不进行分…

Elasticsearch学习系列之term和match查询实例

Elasticsearch查询模式一种是像传递URL参数一样去传递查询语句,被称为简单查询 GET /library/books/_search //查询index为library,type为books的全部内容 GET /library/books/_search?q=price:10 //查询index为library,type为books中price等于10的另一种是DSL语句来进行查询,被称为DSL查询,term和match就属于DSL term查询 term是代表完全匹配,即不进行…

elasticsearch学习（1）简单查询与聚合

elastic 被用作全文搜索.结构化搜索.分析以及这三个功能的组合一个ElasticSearch集群可以包含多个索引, 每个索引包含多个类型一个类型存储着多个文档每个文档又有多个属性索引(名词) 一个索引类似于传统关系数据库中的一个数据库 , 是一个存储关系型文档的地方. 索引 (index) 的复数词为 indices 或 indexes . 索引(动词) 索引一个文档就是存储一个文档到一个索引 (名词) 中以便它可以被检索和查询到. 这非常类似于 SQL语句中的 INSE…

log4net.NoSql +ElasticSearch 实现日志记录

前言: 前两天在查找如何扩展log4net的日志格式时找到一个开源项目Log4net.NoSql,它通过扩展Appender实现了把日志输出到ElasticSearch里面.顺藤摸瓜,发现涉及的项目还挺多,于是打算学习一下,记录在此. 项目一句话简介,详情点击链接去项目主页查看,最后提供打包下载: 1.log4net.nosql A collection of log4net Appenders to NoSQL data stores. Currently only ElasticSearch…

Lucene.net(4.8.0) 学习问题记录六：Lucene 的索引系统和搜索过程分析

前言:目前自己在做使用Lucene.net和PanGu分词实现全文检索的工作,不过自己是把别人做好的项目进行迁移.因为项目整体要迁移到ASP.NET Core 2.0版本,而Lucene使用的版本是3.6.0 ,PanGu分词也是对应Lucene3.6.0版本的.不过好在Lucene.net 已经有了Core 2.0版本(4.8.0 bate版),而PanGu分词,目前有人正在做,貌似已经做完,只是还没有测试~,Lucene升级的改变我都会加粗表示. Lucene.net 4.8.0 https…

elasticsearch学习笔记--原理介绍

前言:上一篇中我们对ES有了一个比较大概的概念,知道它是什么,干什么用的,今天给大家主要讲一下他的工作原理介绍:ElasticSearch是一个基于Lucene的搜索服务器.它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口.Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎.设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便. 揭面架构图架构各模块介绍 Lucence Directo…

【转】Elasticsearch学习笔记

一.常用术语索引(Index).类型(Type).文档(Document) 索引Index是含有相同属性的文档集合.索引在ES中是通过一个名字来识别的,且必须是英文字母小写,且不含中划线(-):可类比于 MySQL 中的 database :在 7.0中,由于类型(Type)的移除,我们可以理解为,一个索引就是一张 table. 一个索引中可以定义一个或多个类型Type,文档必须属于一个类型:可类比于 MySQL 中的 table: 文档Document是可以被索引的基本数据单位.文档是Ela…

【Elasticsearch学习】文档搜索全过程

在ES执行分布式搜索时,分布式搜索操作需要分散到所有相关分片,若一个索引有3个主分片,每个主分片有一个副本分片,那么搜索请求会在这6个分片中随机选择3个分片,这3个分片有可能是主分片也可能是副本分片,然后收集所有分片的查询结果.所以ES的搜索过程分为两个阶段,Query阶段和Fetch阶段:ES有两种搜索类型:query_then_fetch,dfs_query_then_fetch. 1.Query阶段 1)转发请求.在Query阶段客户端向ES节点发送,搜索请求,Coordinate节点接受…

ElasticSearch学习笔记（超详细）

文章目录初识ElasticSearch 什么是ElasticSearch ElasticSearch特点 ElasticSearch用途 ElasticSearch底层实现 ElasticSearch和Solr的区别 Solr是什么不同场景时两个的对比总结 ElasticSearch体系结构倒排索引什么是Term Dictionary 什么是Term Index 为什么 Elasticsearch/Lucene 检索可以比 MySQL快什么是ELK 安装ElasticSearch 安…

Lucene.net(4.8.0) 学习问题记录五: JIEba分词和Lucene的结合，以及对分词器的思考

Elasticsearch学习笔记一

Elasticsearch Elasticsearch(以下简称ES)是一款Java语言开发的基于Lucene的高效全文搜索引擎.它提供了一个分布式多用户能力的基于RESTful web接口的全文搜索和分析服务,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎.设计用于云计算中,能够实现实时搜索,可以搜索日志或者交易数据,用来分析商业趋势.搜集日志.分析系统瓶颈或者运行发展等等,可以提供预警功能(持续的查询分析某个数据,如果超过一定的值,就进行警告),分析商业信息,在百万级…

Elasticsearch 学习总结 - 相关配置补充说明

一. Elasticsearch的基本概念 term索引词,在elasticsearch中索引词(term)是一个能够被索引的精确值.foo,Foo Foo几个单词是不相同的索引词.索引词(term)是可以通过term查询进行准确的搜索. text文本是一段普通的非结构化文字,通常,文本会被分析称一个个的索引词,存储在elasticsearch的索引库中,为了让文本能够进行搜索,文本字段需要事先进行分析:当对文本中的关键词进行查询的时候,搜索引擎应该根据搜索条件搜索出原文本. analysi…

elasticSearch学习安装

资料: 1.Elasticsearch学习,请先看这一篇! https://blog.csdn.net/laoyang360/article/details/52244917 2. linux下elasticsearch 安装.配置及示例 https://blog.csdn.net/sinat_28224453/article/details/51134978 3.Linux下Elasticsearch-2.4.1的安装与简单配置(单节点) https://blog.csdn.net/yx062…

【ElasticSearch学习问题记录——nested查询不到数据】的更多相关文章