Smart Chinese Analysis插件将Lucene的Smart Chinese分析模块集成到Elasticsearch中,用于分析中文或中英文混合文本. 支持的分析器在大型训练语料库上使用基于隐马尔可夫(Markov)模型的概率知识来查找简体中文文本的最佳分词. 它使用的策略是首先将输入文本分解为句子,然后对句子进行切分以获得单词. 该插件提供了一个称为smartcn分析器的分析器,以及一个称为smartcn_tokenizer的标记器. 请注意,两者均不能使用任何参数进行配置. 要…

Elastic的Medcl提供了一种搜索Pinyin搜索的方法.拼音搜索在很多的应用场景中都有被用到.比如在百度搜索中,我们使用拼音就可以出现汉字: 对于我们中国人来说,拼音搜索也是非常直接的.那么在Elasticsearch中我们该如何使用pinyin来进行搜索呢?答案是我们采用Medcl所创建的elasticsearch-analysis-pinyin分析器.下面我们简单介绍一下如何进行安装和测试. 下载Pinyin分析器源码进行编译及安装 由于elasticsearch-analysis-…

Elasticsearch内置的分词器对中文不友好,只会一个字一个字的分,无法形成词语,比如: POST /_analyze { "text": "我爱北京天安门", "analyzer": "standard" } 如果我们使用的是standard的分词器,那么结果就是: { "tokens" : [ { "token" : "我", "start_off…

ElasticSearch入门 第七篇:分析器 这是ElasticSearch 2.4 版本系列的第七篇: ElasticSearch入门 第一篇:Windows下安装ElasticSearch ElasticSearch入门 第二篇:集群配置 ElasticSearch入门 第三篇:索引 ElasticSearch入门 第四篇:使用C#添加和更新文档 ElasticSearch入门 第五篇:使用C#查询文档 ElasticSearch入门 第六篇:复合数据类型——数组,对象和嵌套 Elasti…

Elasticsearch 通常用于字符串,数字,日期等数据类型的检索,但是在 HCM.ERP 和电子商务等应用程序中经常存在对办公文档进行搜索的需求.今天的这篇文章中我们来讲一下如何实现 PDF.DOC.XLS 等办公文件的搜索,本解决方案适用于 Elasticsearch 5.0 以后的版本. 实现原理 首先把我们的 .pdf 文件进行 Base64 处理,然后上传到 Elasticsearch 中的 ingest node 中进行处理.我们可以通过 Ingest attachment pl…

转载自:https://elasticstack.blog.csdn.net/article/details/114278163 在许多的情况下,我们使用现有的分词器已经足够满足我们许多的业务需求,但是也有许多的情况,我们需要定制一个特定的分词器来满足我们特定的需求.我们知道要实现全文搜索,在文档被导入到 Elasticsearch 后,每个字段都需要被分析.这里就涉及到分词.如果你对分词器还不是很了解的话,那么请参考我之前的文章 "Elasticsearch: analyzer".…

转摘自:https://elasticstack.blog.csdn.net/article/details/114261636 Elasticsearch 是一个应用非常广泛的搜索引擎.它可以对文字进行分词,从而实现全文搜索.在实际的使用中,我们会发现有一些文字中包含一些表情符号,比如笑脸,动物等等,那么我们该如何对这些表情符号来进行搜索呢? => , light skin tone, skin tone, type 1–2 => , medium-light skin tone, skin…

DBA应用技巧:如何升级InnoDB Plugin 2011-03-23 10:09 康凯 ITPUB 字号:T | T 本文中,我们将向读者详细介绍如何升级动态InnoDB Plugin和升级静态编译的InnoDB Plugin,以及如何转换由1.0.2以前版本创建的压缩表. AD:51CTO 网+首届APP创新评选大赛火热启动——超百万资源等你拿! 本文中,我们将向读者详细介绍如何升级动态InnoDB Plugin和升级静态编译的InnoDB Plugin,以及如何转换由1.0.2以前版本创…

在上一篇文章 "Elasticsearch:运用scroll接口对大量数据实现更好的分页",我们讲述了如何运用scroll接口来对大量数据来进行有效地分页.在那篇文章中,我们讲述了两种方法: from加上size的方法来进行分页 运用scroll接口来进行分页 对于大量的数据而言,我们尽量避免使用from+size这种方法.这里的原因是index.max_result_window的默认值是10K,也就是说from+size的最大值是1万.搜索请求占用堆内存和时间与from+size成…

如果您要处理时间序列数据,则不想将所有内容连续转储到单个索引中. 取而代之的是,您可以定期将数据滚动到新索引,以防止数据过大而又缓慢又昂贵. 随着索引的老化和查询频率的降低,您可能会将其转移到价格较低的硬件上,并减少分片和副本的数量. 要在索引的生命周期内自动移动索引,可以创建策略来定义随着索引的老化对索引执行的操作. 索引生命周期策略在与Beats数据发件人一起使用时特别有用,Beats数据发件人不断将运营数据(例如指标和日志)发送到Elasticsearch. 当现有索引达到指定的大小或期限…