前面写了个cassandra-appender,一个基于cassandra的logback插件.正是cassandra的分布式数据库属性才合适作为akka-cluster-sharding分布式应用的logger.所以,cassandra-appender核心功能就是对logback消息的存写部分了.同样,基于ES的logback-appender核心部分就是对ES的存写过程了.在ES里这个过程还附带了索引indexing过程.将来对历史消息的搜索.分析会更加方便.直接看看消息存写这部分elas…

[CF528D]Fuzzy Search(FFT) 题面 给定两个只含有\(A,T,G,C\)的\(DNA\)序列 定义一个字符\(c\)可以被匹配为:它对齐的字符,在距离\(K\)以内,存在一个字符\(c\),问给定串\(T\)在\(S\)中出现了几次. \(|S|,|T|,K<=200000\) 题解 字符集很小,可以分开进行\(FFT\). 现在的匹配的定义为距离当前位置\(K\)以内的所有字符中是否含有这个字符,如果有设置为\(1\),没有就是\(0\),把字符分开做\(FFT\)然后相…

计划研究一下搜索search,然后写个学习过程系列博客.开动之前先说说学习搜索的目的:不是想开发个什么搜索引擎,而是想用现成的搜索引擎在传统信息系统中引进搜索的概念和方法.对我来说,传统的管理系统legacy i.t system已经走到了尽头.根本原因是信息在量上的爆发增长,传统数据管理方式已经无法兼顾了.在我看来,除了交易管理,传统的关系数据库方式在业务管理的其它方面,特别是业务相关的数据分析.决策支持等肯定是力不从心了,这些从持续多年我所经历的数据库红色锁标记就很有说服力了.无可否认,必须…

从SQL领域来的用户,对于ES的文件关系维护方式会感到很不习惯.毕竟,ES是分布式数据库只能高效处理独个扁平类型文件,无法支持关系式数据库那样的文件拼接.但是,任何数据库应用都无法避免树型文件关系,因为这是业务模式需要的表现形式.在ES里,无论nested或join类型的数据,父-子关系的数据文件实际上是放在同一个索引index里的.在ES里已经没有数据表(doc_type)的概念.但从操作层面上ES提供了relation类型来支持父-子数据关系操作.所以,nested数据类型一般用来表达比较固…

如果我们把ES作为某种数据库来使用的话,必须熟练掌握ES的CRUD操作.在这之前先更正一下上篇中关于检查索引是否存在的方法:elastic4s的具体调用如下: //删除索引 val rspExists = client.execute(indexExists("company")).await if (rspExists.result.exists) client.execute(deleteIndex("company")).await 在下面我们还会示范如何检查…

现在我们可以开始探讨ES的核心环节:搜索search了.search又分filter,query两种模式.filter模式即筛选模式:将符合筛选条件的记录作为结果找出来.query模式则分两个步骤:先筛选,然后对每条符合条件记录进行相似度计算.就是多了个评分过程.如果我们首先要实现传统数据库的查询功能的话,那么用filter模式就足够了.filter模式同样可以利用搜索引擎的分词功能产生高质量的查询结果,而且filter是可以进缓存的,执行起来效率更高.这些功能数据库管理系统是无法达到的.ES的…

ABSTRACT: 此文在相关性方面介绍三项关键技术:ranking functions, semantic matching features, query rewriting: 此文内容基于拥有百亿url索引的yahoo搜素引擎: Keywords: learning to rank; query rewriting; semantic matching; deep learning; 1. INTRODUCTION 1)搜索相关性的发展: 早期 - concentrated on text…

很多时候搜索用户对查询语句具有模糊感觉,他们只能提供大约的描述.比如一个语句的部分,或者字句顺序颠倒等.通过模糊查询可以帮助用户更准确的找出他们希望搜索的结果. 模糊查询包括前后缀,语句(phrase)查询.前缀查询在非文本查询和全文查询字段中使用是有着不同的效果:在非文本字段查询中我们需要严格按照词字顺序进行匹配,而全文查询中由于目标字段在构建索引时已经进行了分词处理,所以匹配是在分词中进行匹配的.下面是一些非文本前后缀查询的例子: POST /bank/_search { "query&qu…

这篇我们介绍一下ES的聚合功能(aggregation).聚合是把索引数据可视化处理成可读有用数据的主要工具.聚合由bucket桶和metrics度量两部分组成. 所谓bucket就是SQL的GROUPBY,如下: GET /cartxns/_search { , "aggs": { "color": { "terms": {"field": "color.keyword"} } } } ... "…

上篇提到选择了elasticsearch ES作为专业化搜索引擎的核心,这篇讨论一下ES的基本结构和应用概念.首先,从硬结构方面来讲:ES是在一个集群(cluster)环境里运行的,所以ES应该具备高可用和高扩展特性,因为系统可以分布在机器内无数个节点(node)服务器上运行.ES的索引(index)分布在集群中各node上.ES的index又可以向下分成多个shard分片.因为ES是基于lucent的,ES的shard就是一个完整的lucent index.所以,ES index是一个shar…