一、简介下:

Elasticsearch 是一个高性能、分布式、全文搜索与分析引擎,它的核心优势在于 对结构化和非结构化数据进行高效搜索、统计与分析,远远超出传统关系数据库(如 MySQL)的全文检索能力。

让你能在海量数据中,毫秒级地进行智能搜索和实时分析。

核心模块:全文检索、结构化查询、聚合分析、实时写入/搜索、分布式扩展、高可用性、可视化分析。

常见应用场景 :博客/文档搜索、电商搜索推荐、日志分析、指标分析、审计等

二、运用(举例博客系统中)

      用户写博客

API Server (Golang)

数据写入 MySQL 数据库

同步写入 Elasticsearch

1)Blog 模型(models/blog.go)

type Blog struct {
ID int64 `gorm:"primaryKey" json:"id"`
Title string `json:"title"`
Content string `json:"content"`
Tags string `json:"tags"` // JSON string
Author string `json:"author"`
CreatedAt time.Time `json:"created_at"`
UpdatedAt time.Time `json:"updated_at"`
}

2)写入博客(MySQL + Elasticsearch 同步)

️services/blog_service.go

func CreateBlog(blog *models.Blog) error {
if err := db.Create(blog).Error; err != nil {
return err
}
return elastic.IndexBlog(blog) // 同步到 ES
}
func UpdateBlog(blog *models.Blog) error {
if err := db.Save(blog).Error; err != nil {
return err
}
return elastic.IndexBlog(blog) // 重新索引
}
func DeleteBlog(blogID int64) error {
if err := db.Delete(&models.Blog{}, blogID).Error; err != nil {
return err
}
return elastic.DeleteBlog(blogID)
}

️elastic/client.go

var es *elasticsearch.Client

func InitES() {
cfg := elasticsearch.Config{Addresses: []string{"http://localhost:9200"}}
//搭配pwd使用 :
//cfg := elasticsearch.Config{Addresses: []string{eshost}, Username: esname,Password: espwd}
client, err := elasticsearch.NewClient(cfg)
if err != nil {
log.Fatalf("ES init error: %v", err)
}
es = client
} func IndexBlog(blog *models.Blog) error {
body, _ := json.Marshal(blog)
req := esapi.IndexRequest{
Index: "blogs",
DocumentID: strconv.FormatInt(int64(blog.ID), 10),
Body: bytes.NewReader(body),
Refresh: "true",
}
res, err := req.Do(context.Background(), esct)
if err != nil {
return err
}
defer res.Body.Close()
return nil
}
func DeleteBlog(blogID int64) error {
req := esapi.DeleteRequest{
Index: "blogs",
DocumentID: fmt.Sprintf("%d", blogID),
Refresh: "true",
}
res, err := req.Do(context.Background(), esct)
if err != nil {
return err
}
defer res.Body.Close()
return nil
}

引入官方库

go get github.com/elastic/go-elasticsearch/v8

3)数据流转方式

            用户访问 Web/前端

┌─────────▼──────────┐
│ Golang 后端服务 │
└─────────┬──────────┘

┌──────────┼────────────┐
│ │
▼ ▼
MySQL 关系型数据库 Elasticsearch 搜索引擎
️ 存储结构化数据 存储可检索文档数据
- title - title(分词)
- content - content(分词 + 高亮)
- created_by - 拼音/模糊匹配
- tag_id 等业务字段 - 自定义字段聚合、排序

4)搜索实现

type BlogHit struct {
ID string `json:"id"`
Source map[string]interface{} `json:"source"`
}
// 搜索博客(支持标题和内容)
func SearchBlogs(keyword string) ([]BlogHit, error) {
query := fmt.Sprintf(`
{
"query": {
"multi_match": {
"query": "%s",
"fields": ["title", "content"]
}
},
"highlight": {
"fields": {
"title": {},
"content": {}
}
}
}`, keyword)
res, err := es.Search(
esct.Search.WithContext(context.Background()),
esct.Search.WithIndex("blogs"),
esct.Search.WithBody(strings.NewReader(query)),
esct.Search.WithTrackTotalHits(true),
esct.Search.WithPretty(),
)
if err != nil {
return nil, err
}
defer res.Body.Close()
if res.IsError() {
return nil, fmt.Errorf("error response from ES: %s", res.String())
}
var r struct {
Hits struct {
Hits []struct {
ID string `json:"_id"`
Source map[string]interface{} `json:"_source"`
} `json:"hits"`
} `json:"hits"`
}
if err := json.NewDecoder(res.Body).Decode(&r); err != nil {
return nil, err
}
var results []BlogHit
for _, hit := range r.Hits.Hits {
results = append(results, BlogHit{
ID: hit.ID,
Source: hit.Source,
})
}
return results, nil
}

IKSSr">可视化执行逻辑图如下

[ 用户输入关键词 "golang" ]

[ Vue 前端 ]

/search/blog?q=golang

[ Golang 后端调用 ES 查询 + 高亮]

[ Elasticsearch 返回文档列表 ]

[ Vue 展示博客标题 + 摘要 + 图片 ]

前端调取方式如下

//vue调用golang api
axios({
method: "get",
url: "http://127.0.0.1:2023/GetSearchBlogs?title="+event,
})
.then((res) => {
if(res.data.data.lists==null){
//ElMessage.error("没有相关记录")
searchcount.value=0
blogData.values=[]
return
}else{
searchcount.value=res.data.lists.length
blogData.values=res.data.lists
}
})

三、效果演示

 

四、更多可扩展性

  • 搜索智能:模糊匹配、同义词、拼写纠错、词根分析
  • 实时统计:统计聚合性能强(如 PV、UV、热词排行)
  • 多语言支持:内置中文、英文、日文等分词器(可使用 IK、jieba 等)
  • 高并发场景:使用 Kafka 或rabbitmq做异步同步

Golang与Elasticsearch搭配检索运用的更多相关文章

  1. Elasticsearch原理学习--为什么Elasticsearch/Lucene检索可以比MySQL快?

    转载于:http://vlambda.com/wz_wvS2uI5VRn.html 同样都可以对数据构建索引并通过索引查询数据,为什么Lucene或基于Lucene的Elasticsearch会比关系 ...

  2. ElasticSearch进阶检索

    ElasticSearch进阶检索 入门检索中讲了如何导入elastic提供的样本测试数据,下面我们用这些数据进一步检索 一.SearchAPI ES 支持两种基本方式检索 : 1.一种是通过使用 R ...

  3. 分布式搜索elasticsearch 文献检索索引 入门

    1.首先,例如,下面的数据被提交给ES该指数 {"number":32768,"singer":"杨坤","size": ...

  4. 搭建ElasticSearch+MongoDB检索系统

    ElasticSearch是一个基于Lucene的搜索服务器.它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口.Elasticsearch是用Java开发的,并作为Apach ...

  5. ES 19 - Elasticsearch的检索语法(_search API的使用)

    目录 1 Search API的基本用法 1.1 查询所有数据 1.2 响应信息说明 1.3 timeout超时机制 1.4 查询多索引和多类型中的数据 2 URI Search的用法 2.1 GET ...

  6. ElasticSearch入门检索

    前面简介说到 elsatic是通过RestFul API接口操作数据的,可以通过postman模拟接口请求测试一下 一._cat 1.GET /_cat/nodes:查看所有节点 2.GET /_ca ...

  7. Elasticsearch高级检索之使用单个字母数字进行分词N-gram tokenizer(不区分大小写)【实战篇】

    一.前言 小编最近在做到一个检索相关的需求,要求按照一个字段的每个字母或者数字进行检索,如果是不设置分词规则的话,英文是按照单词来进行分词的. 小编以7.6.0版本做的功能哈,大家可以根据自己的版本去 ...

  8. golang基础- ElasticSearch搜索引擎、kibana可视化工具、向ES输出数据

    转载自:https://blog.csdn.net/u013210620/article/details/78647366 安装ElasticSearch ElasticSearch是一个基于Luce ...

  9. elasticsearch 拼音检索能力研究

    gitchennan/elasticsearch-analysis-lc-pinyin 配置参数少,功能满足需求. 对应版本 elasticsearch2.3.2 对应 elasticsearch-a ...

  10. ElasticSearch 分页检索

    在ElasticSearch的多索引和多类别里说到我们在集群中有14个文档匹配我们的(空)搜索语句.单数仅仅有10个文档在hits数组中.我们怎样看到其它文档? 和SQL使用LIMITkeyword返 ...

随机推荐

  1. CF889E题解

    \(\text{Problem - 889E - Codeforces}\) \(\text{*3000}\) 修正 感谢学长 \(\text{fs}\) 指出状态数原因解释的错误. 题意 给一个序列 ...

  2. Spring Boot创建完项目运行Cannot determine embedded database driver class for database type NONE

    spring boot 创建项目引用mybatis后,直接运行会提示: Cannot determine embedded database driver class for database typ ...

  3. FastAPI路由与请求处理进阶指南:解锁企业级API开发黑科技 🔥

    title: FastAPI路由与请求处理进阶指南:解锁企业级API开发黑科技 date: 2025/3/3 updated: 2025/3/3 author: cmdragon excerpt: 5 ...

  4. Oracle 23ai TPC-H 测试环境部署

    最近,我在 Oracle Database 23ai 上进行了 TPC-H 100GB 测试,并整理了完整的实施步骤和优化经验.如果你也想评估 Oracle 数据库在决策支持场景下的性能,可以参考我的 ...

  5. 探秘Transformer系列之(11)--- 掩码

    探秘Transformer系列之(11)--- 掩码 目录 探秘Transformer系列之(11)--- 掩码 0x00 概述 0x01 需求 1.1 避免偏差 实际情况 问题所在 解决方案 1.2 ...

  6. VRRP+BFD实验

    VRRP(Virtual Router Redundancy Protocol,虚拟路由器冗余协议)的工作原理主要涉及多个路由器(或具备路由功能的设备)协同工作,通过VRRP报文和优先级机制来选举出一 ...

  7. Linux 实现OpenSSL 服务器端客户端通信

    1.OpenSSL安装 详情参考博文:https://blog.csdn.net/qq_39521181/article/details/96457673 2.SSL 在学习openssl编程之前,先 ...

  8. BUUCTF---unencode

    1.题目 2.知识 UUENCODE是将二进制文件转换为文本文件的过程,转换后的文件可以通过纯文本e-mail进行传输,在接收方对该文件进行uudecode,即将其转换为初始的二进制文件. 3.解题 ...

  9. 【Python】import模块和包

    模块和包 一. 模块 Python 模块(Module),是一个 Python 文件,以 .py 结尾,包含了 Python 对象定义和Python语句. 模块能定义函数,类和变量,模块里也能包含可执 ...

  10. BaseMultiTableInnerInterceptor源码解读

    本文首发在我的博客:https://blog.liuzijian.com/post/mybatis-plus-source-multi-table-inner-interceptor.html 一.概 ...