按照计划,这篇开始尝试用elastic4s来做一系列索引管理和搜索操作示范。前面提过,elastic4s的主要功能之一是通过组合Dsl语句形成json请求。那么我们先试试组合一些Dsl语句,再想办法产生出json请求文本,然后在kibana控制台中验证它的正确性。

首先看看elastic4s提供的一个show函数:

    def show(implicit handler: Handler[T, _]): String = Show[ElasticRequest].show(handler.build(t))

又见到了这个Handler[T, _],作为show的一个隐式参数。前面说过这个Handler[T, _]是个代表构建T类型json请求的typeclass。具体构建函数就是上面的这个build(t)函数。我们先看看CreateIndexRequest类型的show函数示范:

  val jsCreate = createIndex("company")
.shards().replicas().show
println(jsCreate)

产生了json如下:

PUT:/company?
StringEntity({"settings":{"index":{"number_of_shards":,"number_of_replicas":}}},Some(application/json))

在kibana里是如下表达的:

PUT /company
{
"settings":{
"index":{
"number_of_shards":,
"number_of_replicas":
}
}
}

可能是历史原因吧,elastic4s与ES7.6还有很多不兼容的地方,或者说是elastic4s还有许多没来得及更新的地方。具体有问题的语句或参数都可以通过把json body放在kibana里进行验证,如果elastic4s还有地方没有完成覆盖ES7.6功能的话,我们可以把一个正确的ES7.6 json脚本直接通过source传人到操作类型中去:

  val js =
"""
|{
| "settings":{
| "index":{
| "number_of_shards":,
| "number_of_replicas":
| }
| }
|}
|""".stripMargin
val createFromJs = (createIndex("company").source(js)).show
println(createFromJs)

下面的例子是一套完整的索引创建过程:先删除同名称索引、创建索引、构建mapping:

import com.sksamuel.elastic4s.ElasticClient
import com.sksamuel.elastic4s.akka._
import akka.actor._
import com.sksamuel.elastic4s.requests.mappings.{KeywordField, MappingDefinition, NestedField, SearchAsYouTypeField}
import scala.concurrent.ExecutionContext.Implicits.global object Lesson03 extends App { import com.sksamuel.elastic4s.ElasticDsl._
//akka客户端
private implicit lazy val system: ActorSystem = ActorSystem()
val akkaClient = AkkaHttpClient(AkkaHttpClientSettings(List("localhost:9200")))
val client = ElasticClient(akkaClient)
//删除索引
val idxDelete = client.execute(deleteIndex("company")).await
//构建索引
val idxCreate = client.execute(createIndex("company")
.shards().replicas()).await
//创建表结构
if(idxCreate.isSuccess) {
val compMapping = client.execute(
putMapping("company").fields(
KeywordField("code"),
SearchAsYouTypeField("name")
.fielddata(true)
.fields(KeywordField("keyword")),
textField("biztype"),
NestedField("addr").fields(
textField("district"),
textField("address"),
KeywordField("zipcode")
),
dateField("regdate")
.ignoreMalformed(true)
.format("strict_date_optional_time||epoch_millis"),
textField("contact")
)).await
if(compMapping.isSuccess)
println(s"mapping successfully created.")
else
println(s"mapping creation error: ${compMapping.error.reason}")
} else {
println(s"index creation error: ${idxCreate.error.reason}")
} system.terminate()
client.close()
}

以上代码有几个地方值得提一下:

1、这上面使用了一个基于akka-stream的客户端。优点是响应式标准兼容,用队列queue来缓冲密集请求

2、在删除索引前为甚么不先检查一下同名索引是否存在?elastic4s ExistApi还是ES7以前版本,不能用

3、client.execute(...)返回Future, 为什么不用for-yield?试过了,一是deleteIndex,createIndex返回结果与实际删除、构建操作可能有些延迟,createIndex会返回索引已经存在错误, mapping会出现索引不存在错误。

search(5)- elastic4s-构建索引的更多相关文章

  1. 构建NCBI本地BLAST数据库 (NR NT等) | blastx/diamond使用方法 | blast构建索引 | makeblastdb

    参考链接: FTP README 如何下载 NCBI NR NT数据库? 下载blast:ftp://ftp.ncbi.nlm.nih.gov/blast/executables/blast+ 先了解 ...

  2. 【Lucene】Apache Lucene全文检索引擎架构之构建索引2

    上一篇博文中已经对全文检索有了一定的了解,这篇文章主要来总结一下全文检索的第一步:构建索引.其实上一篇博文中的示例程序已经对构建索引写了一段程序了,而且那个程序还是挺完善的.不过从知识点的完整性来考虑 ...

  3. 如何使用Spark大规模并行构建索引

    使用Spark构建索引非常简单,因为spark提供了更高级的抽象rdd分布式弹性数据集,相比以前的使用Hadoop的MapReduce来构建大规模索引,Spark具有更灵活的api操作,性能更高,语法 ...

  4. 【Lucene实验1】构建索引

    一.实验名称:构建索引 二.实验日期:2013/9/21 三.实验目的: 1)        能理解Lucene中的Document-Field结构的数据建模过程: 2)        能编针对特定数 ...

  5. 如何提高Lucene构建索引的速度

    如何提高Lucene构建索引的速度 hans(汉斯) 2013-01-27 10:12 对于Lucene>=2.3:IndexWriter可以自行根据内存使用来释放缓存.调用writer.set ...

  6. Xapian构建索引说明

    Reference: http://www.totogoo.com/article/115/xapian-desc.html Xapian与开源 Xapian的官方网站是http://www.xapi ...

  7. Lucene实战构建索引

    搭建lucene的步骤这里就不详细介绍了,无外乎就是下载相关jar包,在eclipse中新建java工程,引入相关的jar包即可 本文主要在没有剖析lucene的源码之前实战一下,通过实战来促进研究 ...

  8. Lucene构建索引时的一些概念和索引构建的过程

    在搜索文档内容之前要做的事情就是对从各种不同来源(网页,数据库,电子邮件等)的文档进行索引,索引的过程就是对内容进行提取,规范化(通过对内容进行建模来实现),然后存储. 在索引的过程中有几个基本的概念 ...

  9. Elastic Search Java Api 创建索引结构,添加索引

    创建TCP客户端 Client client = new TransportClient() .addTransportAddress(new InetSocketTransportAddress( ...

  10. [leetcode]109. Convert Sorted List to Binary Search Tree链表构建二叉搜索树

    二叉树的各种遍历方式都是可以建立二叉树的,例如中序遍历,就是在第一步建立左子树,中间第二步建立新的节点,第三步构建右子树 此题利用二叉搜索树的中序遍历是递增序列的特点,而链表正好就是递增序列,从左子树 ...

随机推荐

  1. 3000字编程入门--附带Java学习路线及视频

    Title: 编程入门 GitHub: BenCoper Reference: 尚硅谷-2019 Study: 文字版+视频+实战(第一个自学的网站) Explain: 文末附带Java学习视频以及项 ...

  2. 「每日五分钟,玩转JVM」:两种算法

    前言 上篇文章,我们了解了GC 的相关概念,这篇文章我们通过两个算法来了解如何去确定堆中的对象实例哪些是我们需要去回收的垃圾对象. 引用计数算法 引用计数法的原理很简单,就是在对象中维护一个计数器,当 ...

  3. Swift 4.0 数组(Array)之过滤器(filter)的使用

    我们先来定义一个常量整型数组 let array = [5, 4, 3, 1, 2] 过滤器(filter)使用之筛选出大于3的值 let resultArray = array.filter { ( ...

  4. eclipse操作快捷键

    Eclipse最全快捷键,熟悉快捷键可以帮助开发事半功倍,节省更多的时间来用于做有意义的事情. Ctrl+1 快速修复(最经典的快捷键,就不用多说了) Ctrl+D: 删除当前行 Ctrl+Alt+↓ ...

  5. 【codeforces】Educational Codeforces Round 80 D. Minimax Problem——二分+二进制处理

    题目链接 题目大意 有n个维度为m的向量,取其中两个进行合并,合并时每个维度取两者之间的较大者,得到的新的向量中,维度值最小者最大为多少 分析 首先最需要注意的是m的取值,m最大只有8 那么我们可以二 ...

  6. Contest 160

    2019-10-29 16:36:24 总体感受:有一段时间没有打比赛,手居然有生疏的感觉,这次肯定是要掉分了,然后在做combination问题的时候没有敲对代码,很伤. 注意点:依然需要多练习,很 ...

  7. C#获取设备话筒主峰值(实时音频输出分贝量)

    1.引用类库NAudio,Git地址 https://github.com/naudio/NAudio 2.添加如下代码和引用: public float GetVoicePeakValue() { ...

  8. 从JSON中自动生成对应的对象模型

    编程的乐趣和挑战之一,就是将体力活自动化,使效率成十倍百倍的增长. 需求 做一个项目,需要返回一个很大的 JSON 串,有很多很多很多字段,有好几层嵌套.前端同学给了一个 JSON 串,需要从这个 J ...

  9. java NIO理解分析与基本使用

    我前段时间的一篇博客java网络编程--多线程数据收发并行总结了服务端与客户端之间的收发并行实践.原理很简单,就是针对单一客户端,服务端起两个线程分别负责read和write操作,然后线程保持阻塞等待 ...

  10. [noip2016]蚯蚓<单调队列+模拟>

    题目链接:https://vijos.org/p/2007 题目链接:https://www.luogu.org/problem/show?pid=2827#sub 说实话当两个网站给出AC后,我很感 ...