ES 20 - 查询Elasticsearch中的数据 (基于DSL查询, 包括查询校验match + bool + term)
1 什么是DSL
DSL: Domain Specific Language, 领域特定语言, 指的是专注于某个应用程序领域的、具有高度针对性的计算机语言.
Query String 与 Query DSL之间的区别:
Query String: 在请求的URL后直接拼接查询条件;
Query DSL: 在请求的Request Body中携带查询条件.
DSL功能强大, 可以构建复杂的查询、过滤、聚合条件, 所以这种查询方式的用途最广.
2 _validate - 校验查询语句是否合法
对于复杂的查询, 很有必要在查询前使用validate API
进行验证, 保证DSL语句的正确有效:
// 要查询name中包含"java"的文档:
GET shop/it_book/_validate/query?explain
{
"query": {
"math": { // 错误的查询名称, 应该是match
"name": "java"
}
}
}
// 校验结果:
{
"valid": false,
"error": "org.elasticsearch.common.ParsingException: no [query] registered for [math]"
}
// 修改math为match后, 校验结果为:
{
"valid": true,
"_shards": {
"total": 1,
"successful": 1,
"failed": 0
},
"explanations": [
{
"index": "shop",
"valid": true, // 校验通过, DSL有效
"explanation": "+name:java #_type:it_book" // 查询条件, +表示必须存在
}
]
}
3 match query - 匹配查询
3.1 简单功能示例
3.1.1 查询所有文档
GET shop/it_book/_search
{
"query": {
"match_all": {}
}
}
3.1.2 查询满足一定条件的文档
查询name中包含"java"的文档, 同时按照价格升序排序:
GET shop/it_book/_search
{
"query": {
"match": {
"name": "java"
}
},
"sort": [
{
"price": {"order": "asc"}
}
]
}
3.1.3 分页查询文档
GET shop/it_book/_search
{
"query": {
"match_all": {}
},
"from": 0, // 开始记录数, 起始数为0
"size": 1 // 页大小, 即每页显示的记录数
}
3.1.4 指定返回的结果中包含的字段
GET shop/it_book/_search
{
"query": {
"match_all": {}
},
"_source": [
"name", // 显示商品名称
"price" // 显示商品价格
]
}
3.2 精确查询 - match_phrase
不同的数据类型在建立倒排索引时, 有的会作为full text处理, 有的作为exact value处理.
对查询串分词时, 使用的分析器(analyzer)必须和创建index时使用的相同, 否则将检索不到准确的数据.
3.2.1 精确匹配 - exact value
常见的exact value类型有date - 日期类型.
ES检索时, 不会对String进行分词, 而是完全根据String的值去精确匹配, 查找相应的文档.
在DSL中, 通过match_phrase
短语匹配达到精确匹配的目的 —— 不会对查询串进行分词, 而是直接精确匹配查找.
示例: 查询name中包含"thinking in java"的文档, 不会对查询串进行分词:
GET shop/_search
{
"query": {
"match_phrase": {
"name": "thinking in java"
}
}
}
3.2.2 全文搜索 - full text
常见的full text类型有: text - 文本串.
ES检索时, 会对检索串进行分词, 包括缩写、时态、同义词等转换手段, 然后根据分词结果与倒排索引进行匹配, 查找相应的文档.
索引中只要有任意一个相关field的分词 匹配拆分后的词, 这个文档就可以出现在结果中, 只是匹配度越高的排名越靠前.
示例: 查询name中包含"thinking in java"的文档, 会将查询串拆分为"think", "in", "java"三个词:
GET shop/_search
{
"query": {
"match": {
"name": "thinking in java"
}
}
}
3.3 控制匹配规则 - operator
operator
操作符, 用来指定ES对分词后的词项如何进行检索过滤. 选项有:
and, 作用 == match_phrase, 即全部匹配;
or, 作用 == match, 即部分匹配.
使用示例:
GET shop/_search
{
"query": {
"match": {
"name": { // 要查询的field
"query": "编程思想",
"operator": "or" // 操作符
}
}
}
}
3.4 指定命中的百分比 - minimum_should_match
minimum_should_match
用来指定最少要匹配多少比例的分词, 才算符合条件并返回结果.
示例: 搜索name中包含"并发编程的艺术", 被拆分成"并发", "编程", "艺术"等词, 现在要求至少匹配50%的分词, 可以这样:
GET shop/_search
{
"query": {
"match": {
"name": {
"query": "并发编程的艺术",
"minimum_should_match": "50%"
}
}
}
}
当然这种需求也可以用 must、must_not、should 匹配同一个字段的方式进行组合查询.
3.5 多字段的匹配 - multi_match
multi_match
用来对多个字段同时进行匹配: 任意一个字段中存在相应的分词, 就可作为结果返回.
示例 ① : 查询 name 或 desc 字段中包含 "面试经典" 的文档 —— 会对查询串进行分词:
GET shop/_search
{
"query": {
"multi_match": {
"query": "面试经典",
"fields": [
"name",
"desc"
]
}
}
}
示例 ② : 查询 name 或 desc 字段中同时包含 "面试经典" 的文档 —— 不对查询串进行分词:
GET shop/_search
{
"query": {
"multi_match": {
"query": "面试经典",
"type": "cross_fields", // 还有best_fields、most_fields、phrase、phrase_prefix选项
"operator": "and", // 全部匹配, or是部分匹配
"fields": [
"name",
"desc"
]
}
}
}
4 bool query - 布尔查询(真假查询)
bool query, 顾名思义, 就是 真假/有无 查询. 包括4个子查询:
① must - 必须匹配, 类似于SQL中的
=
;
② must_not - 必须不匹配, 类似于SQL中的!=
;
③ should - 不强制匹配, 类似于SQL中的or
;
④ filter - 过滤, 将满足一定条件的文档筛选出来.
除filter之外, 每个子查询都会根据自己的条件计算出每个文档的相关度分数, 然后bool综合所有分数, 合并为一个.
4.1 简单功能示例
GET shop/_search
{
"query": {
"bool": {
"must":[
{ "match": { "name": "Java" } }
],
"must_not": [
{ "match": { "desc": "编程" } }
],
"should": [
{ "match": { "publisher": "机械工业" } }
],
"filter": {
"bool": {
"must": [
{ "range": { "date": { "gte": "2010-01-01" }}},
{ "range": { "price": { "lte": 99.00 }}}
]
}
}
}
}
}
4.2 嵌套使用bool query
GET shop/_search
{
"query": {
"bool": {
"should": [
{ "term": { "name.keyword": "Java编程思想" } },
{
"bool": {
"must": [
{ "term": { "product_desc": "刷头" } }
]
}
}
]
}
}
}
4.3 直接filter操作 - 使用constant_score
如果不指定query条件而直接filter, 将抛出
no [query] registered for [filter]
, 此时通过constant_score
即可实现直接filter.
GET shop/_search
{
"query": {
"constant_score": {
"filter": {
"range": { "price": { "gte": 80 } }
}
}
}
}
4.4 指定should的匹配个数 - minimum_should_match
如果组合查询中没有must
, 就会至少匹配一个should
.
可以通过 minimum_should_match
指定匹配的should
的个数.
GET shop/_search
{
"query": {
"bool": {
"should": [
{ "match": { "name": "java" } },
{ "match": { "desc": "编程"} },
{ "match": { "price": 109 } }
],
"minimum_should_match": 2
}
}
}
参考资料
版权声明
出处: 博客园 马瘦风的博客(https://www.cnblogs.com/shoufeng)
感谢阅读, 如果文章有帮助或启发到你, 点个[好文要顶
ES 20 - 查询Elasticsearch中的数据 (基于DSL查询, 包括查询校验match + bool + term)的更多相关文章
- 使用Hive或Impala执行SQL语句,对存储在Elasticsearch中的数据操作(二)
CSSDesk body { background-color: #2574b0; } /*! zybuluo */ article,aside,details,figcaption,figure,f ...
- 使用Hive或Impala执行SQL语句,对存储在Elasticsearch中的数据操作
http://www.cnblogs.com/wgp13x/p/4934521.html 内容一样,样式好的版本. 使用Hive或Impala执行SQL语句,对存储在Elasticsearch中的数据 ...
- 使用Hive读取ElasticSearch中的数据
本文将介绍如何通过Hive来读取ElasticSearch中的数据,然后我们可以像操作其他正常Hive表一样,使用Hive来直接操作ElasticSearch中的数据,将极大的方便开发人员.本文使用的 ...
- Elasticsearch:如何把Elasticsearch中的数据导出为CSV格式的文件
本教程向您展示如何将数据从Elasticsearch导出到CSV文件. 想象一下,您想要在Excel中打开一些Elasticsearch中的数据,并根据这些数据创建数据透视表. 这只是一个用例,其中将 ...
- ES 16 - 对Elasticsearch中的索引数据进行增删改查 (CRUD)
目录 1 创建document 1.1 创建时手动指定id 1.2 创建时自动生成id 2 查看document 2.1 根据id查询文档 2.2 通过_source字段控制查询结果 3 修改docu ...
- ES之六:ElasticSearch中Filter和Query的异同
如下例子,查找性别是女,所在的州是PA,过滤条件是年龄是39岁,balance大于等于10000的文档: { "query": { "bool": { &quo ...
- 如何用Excel直接查询Oracle中的数据
将Oracle中查询的数据保存为Excel文件,通常使用的是PL/SQL Developer. 其实,Excel可直接写SQL语句查询Oracle中数据,在这里,用到ODBC驱动.详细步骤如下: 一. ...
- 如何用Excel直接查询Oracle中的数据(转)
将Oracle中查询的数据保存为Excel文件,通常使用的是PL/SQL Developer. 其实,Excel可直接写SQL语句查询Oracle中数据,在这里,用到ODBC驱动.详细步骤如下: 一. ...
- MySQL_(Java)分页查询MySQL中的数据
MySQL_(Java)使用JDBC向数据库发起查询请求 传送门 MySQL_(Java)使用JDBC创建用户名和密码校验查询方法 传送门 MySQL_(Java)使用preparestatement ...
随机推荐
- js typeof instanceof
一般都是用typeof推断变量存在 例如if(typeof a!="undefined"){}.不是要去使用if(a)因为假定a不存在(未申报)将是错误的. 由于typeof经验n ...
- Mysql主从复制,读写分离(mysql-proxy)
Mysql主从复制,读写分离(mysql-proxy) 下面介绍MySQL主从复制,读写分离,双主结构完整构建过程,不涉及过多理论,只有实验和配置的过程. Mysql主从复制(转载请注明出处,博文地址 ...
- SqlBulkCopy快速插入datatable到数据库中参考代码,以及要注意的问题
参考代码如下: public class Examination { #region 批量插入一个sheet的专业对应的学科 /// <summary> /// 批量插入一个sheet的专 ...
- HDU 1598 find the most comfortable road (罗列+Kruskal) 并检查集合
Problem Description XX星有很多城市,城市之间通过一种奇怪的快速公路SARS(Super Air Roam Structure---超级空中漫游结构)进行交流.每条SARS都对行驶 ...
- oracle备份和升级数据库
同oracle用户登录数据库驻留server.例如,主文件夹/home./oracle.运行以下命令来执行备份操作. sqlplus /nolog connect /as sysdba sql> ...
- Git撤销对远程仓库的push&commit提交
撤销push 1. 执行 git log查看日志,获取需要回退的版本号 2. 执行 git reset –soft <版本号> ,如 git reset -soft 4f5e9a90ed ...
- JDK10下安装Eclipse photon 提示Java for Windows Missing
这两天把服务器清理了一下,操作系统也重新装了,没办法啊,就是喜欢倒腾...在重新安装软件的时候,我又到各个官网去看了软件的最新版本,其中就去了JDK和Eclipse的官网溜达了一圈. 很久没有更新过自 ...
- 网络库Asio交叉编译(Linux生成ARM)
1. Asio是一个跨平台的C++库,用于网络和底层I/O编程.Asio使用先进的C++方式提供了一系列的异步模型 2. 官方网址:http://think-async.com 3. 由于Asio库 ...
- WPF数据模板的数据触发器的使用
<Window x:Class="CollectionBinding.MainWindow" xmlns="http://schemas.micros ...
- 重启网卡的几种方法(命令行,API,
1.重启windows网卡命令 rem 禁用网卡netsh interface set interface 本地连接 disabledrem 启用网卡 netsh interface set inte ...