从零搭建 ES 搜索服务（三）同义词搜索

一.前言上篇介绍了 ES 的基础搜索,能满足我们基本的需求,然而在实际使用中还可能希望搜索「番茄」能将包含「西红柿」的结果也罗列出来,本篇将介绍如何实现同义词之间的搜索. 二.安装 ES 同义词插件 2.1 同义词插件简介 GitHub 地址:https://github.com/ginobefun/elasticsearch-dynamic-synonym 定时从 MySQL 中获取自定义词库,支持「扩展词」及「停用词」 2.2 安装步骤参考 GitHub 中的项目说明三.自定义分析器…

从零搭建 ES 搜索服务（二）基础搜索

一.前言上篇介绍了 ES 的基本概念及环境搭建,本篇将结合实际需求介绍整个实现过程及核心代码. 二.安装 ES ik 分析器插件 2.1 ik 分析器简介 GitHub 地址:https://github.com/medcl/elasticsearch-analysis-ik 提供两种分词模式:「 ik_max_word 」及「 ik_smart 」分词模式描述 ik_max_word 会将文本做最细粒度的拆分,比如会将"中华人民共和国国歌"拆分为"中华人民共和国,中华…

从零搭建ES搜索服务（一）基本概念及环境搭建

一.前言本系列文章最终目标是为了快速搭建一个简易可用的搜索服务.方案并不一定是最优,但实现难度较低. 二.背景近期公司在重构老系统,需求是要求知识库支持全文检索. 我们知道普通的数据库 like 方式效果及性能都不好,所以另寻出路,确定通过 Elasticsearch (下文简称「 ES 」)搜索引擎实现. 三.技术选型因公司之前购买了阿里云的ES服务且版本为 5.5.3 ,下文选用的技术框架均基于此版本. ① Elasticsearch 5.5.3 一个基于Lucene的搜索服务器,提供…

从零搭建 ES 搜索服务（四）拼音搜索

一.前言上篇介绍了 ES 的同义词搜索,使我们的搜索更强大了,然而这还远远不够,在实际使用中还可能希望搜索「fanqie」能将包含「番茄」的结果也罗列出来,这就涉及到拼音搜索了,本篇将介绍如何具体实现. 二.安装 ES 拼音插件 2.1 拼音插件简介 GitHub 地址:https://github.com/medcl/elasticsearch-analysis-pinyin 2.2 安装步骤 ① 进入 ES 的 bin 目录 $ cd /usr/local/elasticsearch/bi…

从零搭建 ES 搜索服务（六）相关性排序优化

一.前言上篇介绍了搜索结果高亮的实现方法,本篇主要介绍搜索结果相关性排序优化. 二.相关概念 2.1 排序默认情况下,返回结果是按照「相关性」进行排序的--最相关的文档排在最前. 2.1.1 相关性排序(默认) 在 ES 中相关性评分由一个浮点数表示,并在搜索结果中通过「 _score 」参数返回,默认是按照 _score 降序排列. 2.1.2 按照字段值排序使用「 sort 」参数实现,可指定一个或多个字段.然而使用 sort 排序过于绝对,它会直接忽略文档本身的相关度,因此仅适合在…

从零搭建 ES 搜索服务（五）搜索结果高亮

一.前言在实际使用中搜索结果中的关键词前端通常会以特殊形式展示,比如标记为红色使人一目了然.我们可以通过 ES 提供的高亮功能实现此效果. 二.代码实现前文查询是通过一个继承 ElasticsearchRepository 的接口实现的,但是如果要实现高亮,这种方式就满足不了了,这里我们需要通过 ElasticsearchTemplate 来完成. 2.1 注入 ElasticsearchTemplate ① ElasticsearchTemplate 类简介 public class El…

从零搭建一个Redis服务

前言自己在搭建redis服务的时候碰到一些问题,好多人只告诉你怎么成功搭建,但是并没有整理过程中遇到的问题,所有楼主就花了点时间来整理下. linux环境安装redis 安装中的碰到的问题和解决办法怎么在代码中使用安装的redis 设置用户名和密码程序应用中碰到的问题介绍 redis是一个key-value存储系统.和Memcached类似,它支持存储的value类型相对更多,包括string(字符串).list(链表).set(集合).zset(sorted set --有序集合)和h…

从零搭建SSM框架（三）SSM框架整合

整合思路 1.Dao层: Mybatis的配置文件:SqlMapConfig.xml 不需要配置任何内容,需要有文件头.文件必须存在. applicationContext-dao.xml: mybatis整合spring,通过由spring创建数据库连接池,spring管理SqlSessionFactory.mapper代理对象.需要mybatis和spring的整合包. 2.Service层: applicationContext-service.xml: 所有的service实现类都放到s…

开放搜索服务OpenSearch

开放搜索服务系统架构:从系统.平台到开放服务搜索是各类网站和数据类APP的标配功能.目前开发者一般基于开源搜索系统,例如ElasticSearch.Solr.Sphinx等自己搭建搜索服务,系统定制.开发和维护成本都非常高.云搜索是一种结构化数据搜索托管服务,开发者将数据上传至云端,云端进行数据处理和索引构建,开发者再通过API使用云端搜索服务.云搜索极大降低了搜索服务使用门槛,也极大降低开发运维成本.开放搜索服务OpenSearch是阿里巴巴研发的一款云搜索服务,允许开发者对索引结构.数据处…

Sharepoint 2013搜索服务配置总结（实战）

分享人:广州华软星尘一. 前言 SharePoint 2013集成了Fast搜索,相对于以前版本搜索的配置有了一些改变,在安装部署Sharepoint 2013时可以选择默认创建搜索服务,但有时候会遇到搜索服务异常可能需要重新创建搜索服务,创建搜索服务并最终在Sharepoint 2013网站中应用大致步骤如:新建搜索服务应用程序.关联Web应用程序.创建内容源.完全爬网.创建爬网计划. 二. 目录 1.新建搜索服务应用程序 2.关联Web应用程序 3.创建内容源 4.完全爬网 5.创建爬网…

Sharepoint2013搜索学习笔记之修改搜索拓扑(三)

搜索服务新建好之后可以从管理中心,应用程序管理页面,进入搜索服务的管理页面,进入管理页面之后可以看到当前sharepoint场的搜索拓扑结构. 如果sharepoint场内有多台服务器,需要将搜索组件部署到这些服务器上,可以在装有sharepoint管理中心的服务器上启动sharepoint命令行管理程序,通过口令的方式对搜索拓扑进行更改. 注意: 向新的服务器添加搜索组件之前,必须先启动新增服务器上的搜索服务实例.搜索服务实例将启动搜索服务(OSearch15 和 SPSearchHostCo…

云搜索服务在APP搜索场景的应用

搜索无处不在,尤其是在移动互联的今天.无论是社交,电商,还是视频等APP中,搜索都已经在其中扮演了重要的角色.作为信息的入口,搜索能帮用户从海量信息中找到想要的信息.在APP搜索的典型场景如下: ● 查找用户:根据输入匹配用户昵称,依据用户属性对搜索结果进行排序: ● 搜索话题:根据用户输入匹配话题,依据话题属性对搜索结果排序: ● 搜索帖子:根据用户输入匹配帖子内容,依据内容属性对搜索结果排序: ● 按照地理位置搜索或推荐:根据用户输入地址信息,转换为经纬度,在一定距离范围内匹配话题.内容中的…

Maven 仓库搜索服务和私服搭建

Maven 仓库搜索服务使用maven进行日常开发的时候,一个常见问题就是如何寻找需要的依赖,我们可能只知道需要使用类库的项目名称,但是添加maven依赖要求提供确切的maven坐标,这时就可以使用仓库搜索服务来根据关键字得到maven坐标. Sonatype Nexus 地址: http://repository.sonatype.org/ Nexus是当前最流行的开源Maven仓库管理软件,Nexus提供了关键字搜索,类名搜索,左边搜索,校验和搜索等功能.搜索后,页面清晰地列出了结果构件的…

使用AWS亚马逊云搭建Gmail转发服务（三）

title: 使用AWS亚马逊云搭建Gmail转发服务(三) author:青南 date: 2015-01-02 15:42:22 categories: [Python] tags: [log,Gmail,Python,Flask] --- 在上一篇文章使用AWS亚马逊云搭建Gmail转发服务(二)中,我们已经介绍了如何把邮件转发程序部署在服务器上.但是这样还不够.还需要实时监控程序的运行状态.于是,给程序增加日志记录功能是非常重要的. 日志这里使用Python的logging库,实现日志…

openstack-r版(rocky)搭建基于centos7.4 的openstack swift对象存储服务三

openstack-r版(rocky)搭建基于centos7.4 的openstack swift对象存储服务一 openstack-r版(rocky)搭建基于centos7.4 的openstack swift对象存储服务二 openstack-r版(rocky)搭建基于centos7.4 的openstack swift对象存储服务三 openstack-r版(rocky)搭建基于centos7.4 的openstack swift对象存储服务四以下操作在控制节点执行control…

手动从零使用ELK构建一套搜索服务

前言这两天需要对接一个新的搜索业务,由于测试机器还没到位,所以就自己创造条件,通过在Windows上安装VM虚拟机,模拟整套环境,从而能快速进入核心业务的开发测试状态中. 系统环境安装配置虚拟机VMware Workstation Pro 12 云盘下载地址:https://pan.baidu.com/s/1hrWx76k 序列号:FF1JR-AZGE6-480UP-1PPXV-W38TA Centos7 minimal镜像iso 下载地址:http://mirror.bit.edu.cn/…

搜索服务solr 一二事(1) - solr-5.5 使用自带Jetty或者tomcat 搭建单机版搜索服务器

solr,什么是solr,就是你要吃的东西“馊了”,不能吃了,out of date~ 嘛...开个玩笑,发音就是‘搜了’,专门用于搜索的一个开源框架,lunce就不说了,不好用,麻烦来讲讲solr吧目前最新更新的是6.0,4月7-8号更新的,哥不太喜欢用新出来的版本,多多少少会有bug,centos7出来后我至今使用的是6.5(实在无法忍受7啊...西吧) 6.0我也试着装了,但是会报错,日志文件找不到,自己新建一个也不行,去官方的jira看看,发现的确有这么一个bug,但是已经close…

【高德地图API】从零開始学高德JS API（四）搜索服务——POI搜索|自己主动完毕|输入提示|行政区域|交叉路口|自有数据检索

地图服务.大家能想到哪些?POI搜素,输入提示,地址解析,公交导航,驾车导航,步行导航,道路查询(交叉口),行政区划等等.假设说覆盖物Marker是地图的骨骼,那么服务,就是地图的气血. 有个各种各样的地图服务.我们的地图应用才干变得有血有肉,活灵活现.第四篇拆成了几个要点,本篇主要讲搜索服务.包含周边搜索.关键词搜索.范围搜索.搜索提示(自己主动完毕,输入提示).行政区域.交叉路口.检索自有数据(云图). demo:http://zhaoziang.com/amap/zero_4_1.html…

docker微服务部署之：三，搭建Zuul微服务项目

docker微服务部署之:二.搭建文章微服务项目一.新增demo_eureka模块,并编写代码右键demo_parent->new->Module->Maven,选择Module SK为jdk8->ArtifactId:demo_zuul 1.修改pom.xml文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apach…

从零搭建Pytorch模型教程（三）搭建Transformer网络

前言本文介绍了Transformer的基本流程,分块的两种实现方式,Position Emebdding的几种实现方式,Encoder的实现方式,最后分类的两种方式,以及最重要的数据格式的介绍. 本文来自公众号CV技术指南的技术总结系列欢迎关注公众号CV技术指南,专注于计算机视觉的技术总结.最新技术跟踪.经典论文解读.CV招聘信息. 在讲如何搭建之前,先回顾一下Transformer在计算机视觉中的结构是怎样的.这里以最典型的ViT为例. 如图所示,对于一张图像,先将其分割成NxN个…

使用AWS亚马逊云搭建Gmail转发服务（一）

title: 使用AWS亚马逊云搭建Gmail转发服务(一) author:青南 date: 2014-12-30 15:41:35 categories: Python tags: [Gmail,AWS,API,Flask] --- 故事背景 2014年12月28号开始,Gmail被伟大的墙从协议上封禁,POP3.SMTP.IAMP全部阵亡.于是不仅网页不能打开Gmail,连邮件客服端都不能使用Gmail收发邮件了. Gmail在国内的用户相当的广泛,难道就真的不用了吗?当然不是.虽然使用VP…

【阿里云产品公测】高大上的搜索服务OpenSearch，你值得拥有！

[阿里云产品公测]高大上的搜索服务OpenSearch,你值得拥有! 作者:阿里云用户trcher 一.前言: 在OpenSearch没出来之前,就一直想给网站做个搜索功能,虽然网站本身自带搜索功能,但是程序自身的搜索功能太弱了,根本不能达到自己想要和客户想要的效果,况且网站数据一天天在增加,搜索功能的升级是必然的.随着互联网的发展,大数据和云时代的来临,搜索引擎怎么变身?这个时候阿里云的开放搜索服务OpenSearch划破深邃黑夜一般横空出世,震撼着众多站长的敏感神经. 二.体验:1.申请…

神马小说：使用opensearch打造高性能搜索服务

神马小说--- 使用opensearch打造高性能搜索服务 [使用背景] 神马小说是最早使用opensearch的用户,和opensearch一起成长.目前神马小说每天2亿搜索pv,1000w 用户.产品形态分全网sc,垂搜,app三大块. opensearch在使用中表现稳定可靠,每天平均latency 40ms,平均qps 2500. [使用过程] 神马小说团队有着资深的搜索背景,在小说产品刚起步的时候,面临着自己搭建引擎或者选用opensearch的基础方向问题.当时选择opensearc…

Centos7安装ES 和 Docker搭建ES

本文版权归博客园和作者吴双本人共同所有转载和爬虫请注明原文地址 www.cnblogs.com/tdws 一.linux centos7.x安装ES 1.下载java sudo yum install java-1.8.0-openjdk.x86_64 java -version 确认安装结果 2.下载和安装ES wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.6.2.rpm rpm -ivh…

百度谷歌雅虎三大搜索引擎比较和如何配置谷歌访问助手访问Google搜索服务

引言: 由于近期网上盛传”百度搜索引擎已死“的消息,引发个人对于搜索引擎的思考.百度作为最大的中文搜索引擎,确实有着很大声誉,再加上本地化的优势,正成为国人们的首选,但是作为一名技术开发人员,使用搜索引擎的频率较高,以至获取到所需的知识.个人使用体验来说百度一下的商业广告太多,感觉更适用于国内生产厂商.贸易商:而Google搜索则不一样,Google特有的匹配度技术.网页相关度分析技术,提供的检索结果更优质,而且无广告,因此使用起来更简洁.好用.我们可以根据各自的生活.工作.学习的需要, 选择一…