Golang与Elasticsearch搭配检索运用
一、简介下:
Elasticsearch 是一个高性能、分布式、全文搜索与分析引擎,它的核心优势在于 对结构化和非结构化数据进行高效搜索、统计与分析,远远超出传统关系数据库(如 MySQL)的全文检索能力。
让你能在海量数据中,毫秒级地进行智能搜索和实时分析。
核心模块:全文检索、结构化查询、聚合分析、实时写入/搜索、分布式扩展、高可用性、可视化分析。
常见应用场景 :博客/文档搜索、电商搜索推荐、日志分析、指标分析、审计等
二、运用(举例博客系统中)
用户写博客
↓
➤ API Server (Golang)
↓
数据写入 MySQL 数据库
↓
同步写入 Elasticsearch
1)Blog 模型(models/blog.go)
type Blog struct {
ID int64 `gorm:"primaryKey" json:"id"`
Title string `json:"title"`
Content string `json:"content"`
Tags string `json:"tags"` // JSON string
Author string `json:"author"`
CreatedAt time.Time `json:"created_at"`
UpdatedAt time.Time `json:"updated_at"`
}
2)写入博客(MySQL + Elasticsearch 同步)
️services/blog_service.go
func CreateBlog(blog *models.Blog) error {
if err := db.Create(blog).Error; err != nil {
return err
}
return elastic.IndexBlog(blog) // 同步到 ES
}
func UpdateBlog(blog *models.Blog) error {
if err := db.Save(blog).Error; err != nil {
return err
}
return elastic.IndexBlog(blog) // 重新索引
}
func DeleteBlog(blogID int64) error {
if err := db.Delete(&models.Blog{}, blogID).Error; err != nil {
return err
}
return elastic.DeleteBlog(blogID)
}
️elastic/client.go
var es *elasticsearch.Client func InitES() {
cfg := elasticsearch.Config{Addresses: []string{"http://localhost:9200"}}
//搭配pwd使用 :
//cfg := elasticsearch.Config{Addresses: []string{eshost}, Username: esname,Password: espwd}
client, err := elasticsearch.NewClient(cfg)
if err != nil {
log.Fatalf("ES init error: %v", err)
}
es = client
} func IndexBlog(blog *models.Blog) error {
body, _ := json.Marshal(blog)
req := esapi.IndexRequest{
Index: "blogs",
DocumentID: strconv.FormatInt(int64(blog.ID), 10),
Body: bytes.NewReader(body),
Refresh: "true",
}
res, err := req.Do(context.Background(), esct)
if err != nil {
return err
}
defer res.Body.Close()
return nil
}
func DeleteBlog(blogID int64) error {
req := esapi.DeleteRequest{
Index: "blogs",
DocumentID: fmt.Sprintf("%d", blogID),
Refresh: "true",
}
res, err := req.Do(context.Background(), esct)
if err != nil {
return err
}
defer res.Body.Close()
return nil
}
引入官方库
go get github.com/elastic/go-elasticsearch/v8
3)数据流转方式
用户访问 Web/前端
│
┌─────────▼──────────┐
│ Golang 后端服务 │
└─────────┬──────────┘
│
┌──────────┼────────────┐
│ │
▼ ▼
MySQL 关系型数据库 Elasticsearch 搜索引擎
️ 存储结构化数据 存储可检索文档数据
- title - title(分词)
- content - content(分词 + 高亮)
- created_by - 拼音/模糊匹配
- tag_id 等业务字段 - 自定义字段聚合、排序
4)搜索实现
type BlogHit struct {
ID string `json:"id"`
Source map[string]interface{} `json:"source"`
}
// 搜索博客(支持标题和内容)
func SearchBlogs(keyword string) ([]BlogHit, error) {
query := fmt.Sprintf(`
{
"query": {
"multi_match": {
"query": "%s",
"fields": ["title", "content"]
}
},
"highlight": {
"fields": {
"title": {},
"content": {}
}
}
}`, keyword)
res, err := es.Search(
esct.Search.WithContext(context.Background()),
esct.Search.WithIndex("blogs"),
esct.Search.WithBody(strings.NewReader(query)),
esct.Search.WithTrackTotalHits(true),
esct.Search.WithPretty(),
)
if err != nil {
return nil, err
}
defer res.Body.Close()
if res.IsError() {
return nil, fmt.Errorf("error response from ES: %s", res.String())
}
var r struct {
Hits struct {
Hits []struct {
ID string `json:"_id"`
Source map[string]interface{} `json:"_source"`
} `json:"hits"`
} `json:"hits"`
}
if err := json.NewDecoder(res.Body).Decode(&r); err != nil {
return nil, err
}
var results []BlogHit
for _, hit := range r.Hits.Hits {
results = append(results, BlogHit{
ID: hit.ID,
Source: hit.Source,
})
}
return results, nil
}
IKSSr">可视化执行逻辑图如下
[ 用户输入关键词 "golang" ]
↓
[ Vue 前端 ]
↓
/search/blog?q=golang
↓
[ Golang 后端调用 ES 查询 + 高亮]
↓
[ Elasticsearch 返回文档列表 ]
↓
[ Vue 展示博客标题 + 摘要 + 图片 ]
前端调取方式如下
//vue调用golang api
axios({
method: "get",
url: "http://127.0.0.1:2023/GetSearchBlogs?title="+event,
})
.then((res) => {
if(res.data.data.lists==null){
//ElMessage.error("没有相关记录")
searchcount.value=0
blogData.values=[]
return
}else{
searchcount.value=res.data.lists.length
blogData.values=res.data.lists
}
})
三、效果演示

四、更多可扩展性
- 搜索智能:模糊匹配、同义词、拼写纠错、词根分析
- 实时统计:统计聚合性能强(如 PV、UV、热词排行)
- 多语言支持:内置中文、英文、日文等分词器(可使用 IK、jieba 等)
- 高并发场景:使用 Kafka 或rabbitmq做异步同步
Golang与Elasticsearch搭配检索运用的更多相关文章
- Elasticsearch原理学习--为什么Elasticsearch/Lucene检索可以比MySQL快?
转载于:http://vlambda.com/wz_wvS2uI5VRn.html 同样都可以对数据构建索引并通过索引查询数据,为什么Lucene或基于Lucene的Elasticsearch会比关系 ...
- ElasticSearch进阶检索
ElasticSearch进阶检索 入门检索中讲了如何导入elastic提供的样本测试数据,下面我们用这些数据进一步检索 一.SearchAPI ES 支持两种基本方式检索 : 1.一种是通过使用 R ...
- 分布式搜索elasticsearch 文献检索索引 入门
1.首先,例如,下面的数据被提交给ES该指数 {"number":32768,"singer":"杨坤","size": ...
- 搭建ElasticSearch+MongoDB检索系统
ElasticSearch是一个基于Lucene的搜索服务器.它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口.Elasticsearch是用Java开发的,并作为Apach ...
- ES 19 - Elasticsearch的检索语法(_search API的使用)
目录 1 Search API的基本用法 1.1 查询所有数据 1.2 响应信息说明 1.3 timeout超时机制 1.4 查询多索引和多类型中的数据 2 URI Search的用法 2.1 GET ...
- ElasticSearch入门检索
前面简介说到 elsatic是通过RestFul API接口操作数据的,可以通过postman模拟接口请求测试一下 一._cat 1.GET /_cat/nodes:查看所有节点 2.GET /_ca ...
- Elasticsearch高级检索之使用单个字母数字进行分词N-gram tokenizer(不区分大小写)【实战篇】
一.前言 小编最近在做到一个检索相关的需求,要求按照一个字段的每个字母或者数字进行检索,如果是不设置分词规则的话,英文是按照单词来进行分词的. 小编以7.6.0版本做的功能哈,大家可以根据自己的版本去 ...
- golang基础- ElasticSearch搜索引擎、kibana可视化工具、向ES输出数据
转载自:https://blog.csdn.net/u013210620/article/details/78647366 安装ElasticSearch ElasticSearch是一个基于Luce ...
- elasticsearch 拼音检索能力研究
gitchennan/elasticsearch-analysis-lc-pinyin 配置参数少,功能满足需求. 对应版本 elasticsearch2.3.2 对应 elasticsearch-a ...
- ElasticSearch 分页检索
在ElasticSearch的多索引和多类别里说到我们在集群中有14个文档匹配我们的(空)搜索语句.单数仅仅有10个文档在hits数组中.我们怎样看到其它文档? 和SQL使用LIMITkeyword返 ...
随机推荐
- ABC393C题解
大概评级:橙. 送分题. 题意就是让你统计有多少条边是重边或自环. 设 \(u_i\) 表示第 \(i\) 条边的左端点,\(v_i\) 表示第 \(i\) 条边的右端点. 那么如果 \(u_i = ...
- 工作面试必备:SQL 中的各种连接 JOIN 的区别总结!
前言 尽管大多数开发者在日常工作中经常用到Join操作,如Inner Join.Left Join.Right Join等,但在面对特定查询需求时,选择哪种Join类型以及如何使用On和Where子句 ...
- 基础指令:grep、wc、管道符( | )、head、tail、less、more、sort、uniq、Linux软件安装、重定向及
目录 3.0 dd读取.转换并输出数据 3.1 压缩 (tar.zip).解压缩(tar xf.unzip) 3.2 ln软硬链接 3.2.1 软链接: 3.2.2 硬链接: 3.3 find文件查找 ...
- docker常见问题修复方法
一.运行容器报错:Error response from daemon: Error running DeviceCreate (createSnapDevice) dm_task_run faile ...
- 记CentOs服务器内存使用满的解决办法
使用的一个应用服务器,weblogic部署,nginx分配,在使用了半个月的时间里,服务器内存达到杀掉服务器进程之后查看被删除但是仍然被应用程序占用的文件列表由于我删掉了日志里所以东西,所以导致后来我 ...
- 阿里Java开发手册泰山版来袭
阿里Java开发手册自2016年12月7日发布公开版以来,距今已发布7个版本,被越来越多的公司拿来直接或略微修改后作为公司的Java开发规范手册,嫣然成为行业的标杆. 就在昨天早上8点,阿里Java开 ...
- 深入理解Hadoop读书笔记-4
背景 公司的物流业务系统目前实现了使用storm集群进行过门事件的实时计算处理,但是还有一个需求,我们需要存储每个标签上传的每条明细数据,然后进行定期的标签报表统计,这个是目前的实时计算框架无法满足的 ...
- 【SpringCloud】SpringCloud Alibaba Seata处理分布式事务
SpringCloud Alibaba Seata处理分布式事务 分布式事务问题 分布式前 单机库存没这个问题 O(∩_∩)O 从1:1->1:N->N:N 分布式之后 单体应用被拆分成微 ...
- 【数据结构与算法】找出最小的k个数:三路快速排序算法思想实现
找出最小的k个数:三路快速排序算法思想实现 Java https://leetcode-cn.com/problems/zui-xiao-de-kge-shu-lcof/solution/zui-xi ...
- 流式计算(四)-Flink Stream API 篇二
个人原创文章,禁止任何形式转载,否则追究法律责任! 本文只发表在"公众号"和"博客园",其他均属复制粘贴!如果觉得排版不清晰,请查看公众号文章. 话说看图看核心 ...