Elasticsearch的CRUD:REST与Java API
CRUD(Create, Retrieve, Update, Delete)是数据库系统的四种基本操作,分别表示创建、查询、更改、删除,俗称“增删改查”。Elasticsearch作为NoSQL数据库(虽然ES是为搜索引擎而生的,但我更愿意将其看作带有强大文本搜索功能的NoSQL)。
以下示例基于Elasticsearch 2.4版本。
Create
在默认情况下,ES的REST接口的端口号为9200,对接Java client的端口号为9300。
Create操作为向index中索引文档,若index不存在则ES会自动创建;
$ curl -XPUT 'http://localhost:9200/twitter/tweet/1' -d '{<json data>}'
Java API("org.elasticsearch" % "elasticsearch" % "2.4.1")通过TransportClient
与ES集群连接,CRUD操作便是基于此而实现的。
final Settings settings = Settings.settingsBuilder()
.put("client.transport.sniff", true)
.put("client.transport.ping_timeout", 20, TimeUnit.SECONDS)
.put("client", true)
.put("data", false)
.put("cluster.name", "<cluster name>")
.build();
Client client = TransportClient.builder()
.settings(settings).build()
.addTransportAddresses(
new InetSocketTransportAddress(InetAddress.getByName("host1"), 9300),
new InetSocketTransportAddress(InetAddress.getByName("host2"), 9300));
Index Java API创建index或索引document:
import org.elasticsearch.action.index.IndexResponse;
IndexResponse response = client.prepareIndex("twitter", "tweet")
.setSource(documentJson)
.get();
Retrieve
ES的查询DSL大致可以分为两种:
- Query DSL,主要配合bool、match等使用,相当于SQL中的where子句;
- Aggregations,相当于SQL中的group by部分,细分为如下三类:
- Bucketing,聚合函数只能是
count(*)
,表示的是doc命中数,可以嵌套子aggs; - Metric,相比于Bucketing其非常灵活,可配合
avg
、max
、sum
等聚合函数,但是不能嵌套子aggs; - Pipeline,以其他aggs的结果作为输入,而不是直接在文档集合上进行操作。
ES的Query DSL功能实在是强大,在本文短短的篇幅中很难阐述完全,故只列举了两个简单实例。在以前的项目中,我使用过1.7
版本ES,后来发现2.0.0-beta1
版本及之后DSL语法发生很大的变化,比如filtered
、and
、or
等被废弃掉了,而被bool
取而代之;对应的Java API支持链式操作,与Java 8配合写起来非常舒服。
REST通过_search
接口进行DSL查询:
$ curl -XGET 'localhost:9200/<index>/_search?pretty' -d'{<dsl>}'
实战:List<List<String>> idsList
作为过滤条件,其中内一层为and关系、内二层为or关系;然后多字段(为bucketSizeMap
的key)aggs,Java 8实现:
BoolQueryBuilder mustQueryBuilder = boolQuery();
if (!(idsList.size() == 1 && idsList.get(0).isEmpty())) {
mustQueryBuilder = idsList.stream().reduce(
boolQuery(),
(mustQB, ids) -> {
BoolQueryBuilder shouldQB = ids.stream().reduce(boolQuery(),
(qb, id) -> qb.should(termQuery(SearchSystem.getEsType(id, idMap), id)),
BoolQueryBuilder::should);
return mustQB.must(shouldQB);
},
BoolQueryBuilder::must);
}
SearchRequestBuilder searchRequestBuilder = client.prepareSearch(indexName)
.setSearchType(SearchType.DFS_QUERY_THEN_FETCH)
.setQuery(mustQueryBuilder);
for (Map.Entry<String, Integer> entry : bucketSizeMap.entrySet()) {
AggregationBuilder aggregationBuilder = AggregationBuilders
.terms(entry.getKey())
.field(entry.getKey()).size(entry.getValue());
searchRequestBuilder.addAggregation(aggregationBuilder);
}
SearchResponse response = searchRequestBuilder.execute().actionGet();
Bucket Aggregations支持filter aggs,即满足过滤条件后做aggs,
aggs:
<aggs_name>:
filter:
aggs:
其与filter query + aggs在功能上是等价的,
query:
bool:
filter:
aggs:
但是,经测试发现filter query + aggs是比filter aggs查询要快。
Update
update为document级别的操作,即仅支持对某个具体document进行更新;REST通过_update
接口:
$ curl -XPOST 'localhost:9200/<_index>/<_type>/<_id>/_update' -d '{<data>}'
Java API则有两种实现方式:UpdateRequest
+ update
与prepareUpdate
,
// case 1
UpdateRequest updateRequest = new UpdateRequest();
updateRequest.index("index");
updateRequest.type("type");
updateRequest.id("1");
updateRequest.doc(jsonBuilder()
.startObject()
.field("gender", "male")
.endObject());
client.update(updateRequest).get();
// case 2
client.prepareUpdate("ttl", "doc", "1")
.setDoc(jsonBuilder()
.startObject()
.field("gender", "male")
.endObject())
.get();
Delete
delete操作通常都伴随着检查index是否存在(exist),exist的RESTful接口与Java API分别如下:
$ curl -XHEAD -i 'http://localhost:9200/twitter'
client.admin().indices()
.prepareExists(indexName)
.execute().actionGet().isExists();
ES提供了三种粗细粒度的删除操作:
- 删除整个index;
- 删除index中某一type;
- 删除特定的document.
RESTful接口:
-- delete complete index
$ curl -XDELETE 'http://localhost:9200/<indexname>'
-- delete a type in index
$ curl -XDELETE 'http://localhost:9200/<indexname>/<typename>'
-- delete a particular document
$ curl -XDELETE 'http://localhost:9200/<indexname>/<typename>/<documentId>
Java API实现:
// delete complete index
client.admin().indices().delete(new DeleteIndexRequest("<indexname>")).actionGet();
// delete a type in index
client.prepareDelete().setIndex("<indexname>").setType("<typename>").setId("*").execute().actionGet();
// delete a particular document
client.prepareDelete().setIndex("<indexname>").setType("<typename>").setId("<documentId>").execute().actionGet();
// or
DeleteResponse response = client.prepareDelete("twitter", "tweet", "1")
.execute()
.actionGet();
Elasticsearch的CRUD:REST与Java API的更多相关文章
- Elasticsearch 5.4.3实战--Java API调用:索引mapping创建
因为项目开发使用的是Java语言, 项目的开发架构是Spring MVC+ maven的jar包管理, 所以今天重点说说ES 5.4.3 的Java API的源码实战 1. pom.xml文件增加依 ...
- elasticsearch(一):JAVA api操作
1.创建一个mavan项目,项目的以来配置如下. <?xml version="1.0" encoding="UTF-8"?> <projec ...
- Elasticsearch 5.4.3实战--Java API调用:搜索建议
通常的搜索引擎,都会根据用户的输入,实时给予匹配的提示. 那么这个功能在elasticsearch中如何实现呢? Elasticsearch里设计了4种类别的Suggester,分别是: Term S ...
- Elasticsearch 5.4.3实战--Java API调用:搜索
ES有多种查询方式,我自己的业务是需要对多个字段进行查询,具体实现类代码如下. package com.cs99lzzs.elasticsearch.service.imp; import java. ...
- Elasticsearch 5.4.3实战--Java API调用:批量写入数据
这个其实比较简单,直接上代码. 注意部分逻辑可以换成你自己的逻辑 package com.cs99lzzs.elasticsearch.service.imp; import java.sql.Tim ...
- ElasticSearch入门-增删改查(java api)
1.增加Index PutMappingRequest mapping = Requests.putMappingRequest(indices).type(mappingType).source(g ...
- [搜索]ElasticSearch Java Api(一) -添加数据创建索引
转载:http://blog.csdn.net/napoay/article/details/51707023 ElasticSearch JAVA API官网文档:https://www.elast ...
- Elasticsearch 2.3.3 JAVA api说明文档
原文地址:https://www.blog-china.cn/template\documentHtml\1484101683485.html 翻译作者:@青山常在人不老 加入翻译:cdcnsuper ...
- 第08章 ElasticSearch Java API
本章内容 使用客户端对象(client object)连接到本地或远程ElasticSearch集群. 逐条或批量索引文档. 更新文档内容. 使用各种ElasticSearch支持的查询方式. 处理E ...
随机推荐
- TODO:Laravel 内置简单登录
TODO:Laravel 内置简单登录 1. 激活Laravel的Auth系统Laravel 利用 PHP 的新特性 trait 内置了非常完善好用的简单用户登录注册功能,适合一些不需要复杂用户权限管 ...
- 算法与数据结构(十三) 冒泡排序、插入排序、希尔排序、选择排序(Swift3.0版)
本篇博客中的代码实现依然采用Swift3.0来实现.在前几篇博客连续的介绍了关于查找的相关内容, 大约包括线性数据结构的顺序查找.折半查找.插值查找.Fibonacci查找,还包括数结构的二叉排序树以 ...
- C++ 事件驱动型银行排队模拟
最近重拾之前半途而废的C++,恰好看到了<C++ 实现银行排队服务模拟>,但是没有实验楼的会员,看不到具体的实现,正好用来作为练习. 模拟的是银行的排队叫号系统,所有顾客以先来后到的顺序在 ...
- 微信小程序开发日记——高仿知乎日报(上)
本人对知乎日报是情有独钟,看我的博客和github就知道了,写了几个不同技术类型的知乎日报APP 要做微信小程序首先要对html,css,js有一定的基础,还有对微信小程序的API也要非常熟悉 我将该 ...
- 一些关于Linux入侵应急响应的碎碎念
近半年做了很多应急响应项目,针对黑客入侵.但疲于没有时间来总结一些常用的东西,寄希望用这篇博文分享一些安全工程师在处理应急响应时常见的套路,因为方面众多可能有些杂碎. 个人认为入侵响应的核心无外乎四个 ...
- 微信小程序服务范围重大更新
12.29日,小程序服务范围做了重大更新,增对富媒体和工具类型的小程序,增加了很多细分领域 富媒体:增加资讯,FM电台,有声读物等,媒体平台可上小程序了 工具:信息查询,网络代理,健康,企业管理等 , ...
- Android开发学习——画横线竖线
画横线/竖线 竖线 <View android:layout_width="1dp" android:layout_height="match_parent&quo ...
- Atitit.研发管理软件公司的软资产列表指南
Atitit.研发管理软件公司的软资产列表指南 1. Isv模型下的软资产1 2. 实现层面implet1 3. 规范spec层1 4. 法则定律等val层的总结2 1. Isv模型下的软资产 Sof ...
- git图像化界面GUI的使用
GIT学习笔记 一. 基础内容 1.git是一个版本控制软件,与svn类似,特点是分布式管理,不需要中间总的服务器,可以增加很多分支. 2.windows下的git叫msysgit,下载 ...
- 项目自动化建构工具gradle 入门1——输出helloWorld
先来一个简单的例子,4个步骤: 1.进入D:\work\gradle\java 目录 ,您电脑没这目录? 那辛苦自己一级一级建立起来吧 新建文件build.gradle,文件内容是: apply p ...