golang微服务实践:服务注册与服务发现 - Etcd的使用
为什么?
为什么会有服务注册和服务发现?在它以前我们是怎么做的?
举个例子:
比如我们做MySQL读写分离,就在本地配置一个文件,然后程序读取这个配置文件里的数据进行数据库读写分离的设置。
但是随着业务发展迅速,业务模块越来越多,数据也越来越多,MySQL数据库也越来越多,需要读取MySQL服务的业务模块也越来越多。每次增加MySQL实例,每个业务模块都要手动去写一次本地配置。
想一想这里有什么问题?可以改进吗?
每次手动写配置,是不是很浪费时间,能不能做到自动一些?能不能做到只配置一次,业务模块就可以自动读取更新后的配置?于是我们就开始动脑筋了,就开始琢磨解决的办法了。
在计算机领域,没有什么是增加一个中间层解决不了的问题,有的话,“那就在增加一层”,对,最后那句是我说的- -!。
于是就想:能不能把所有的配置集中存放,程序模块的配置更新由各个程序自动的来配置中心读取,更新配置。而不是每次手动的增加每个程序模块的配置。
于是我们就增加了一个“中间层”- 配置中心,集中存储,管理分散在各个程序中的配置。配置中心就向外面提供配置服务。
不过Etcd应该属于服务配置中心,属于更加细化的配置中心。
还有更加专注的配置中心,比如Apollo,Nacos,disconf等等。
是什么?
什么是服务注册和服务发现?
- 服务注册 :就是向配置中心注册一个配置的功能。
- 服务发现:就是发现配置中心增加、修改、删除了配置的功能。发现配置的异动情况,让更新配置。
会遇到哪些问题?
服务发现和服务注册怎么解决问题以及会遇到哪些问题?
- 怎么标识一个服务?
在计算机里,标识一个计算机中运行的程序可以用ip+端口形式来标识,配置服务也可以用这种方式。 - 怎么发现一个配置服务的异动?
配置更新,删除(下线),增加了,怎么发现配置的这些异动情况?一种是长轮询,一种是心跳,每隔多长时间检查一次,还有发布订阅模式。 - 服务是否可用?
这种就要检查服务的可用情况了,一般是健康检查。
... ...
等等问题
怎么解决
业内主要的几个解决方案ZooKeeper,Etcd,Consul ,等。我们介绍etcd的使用。
etcd介绍
etcd是CoreOS团队于2013年6月发起的开源项目,它的目标是构建一个高可用的分布式键值(key-value)数据库。etcd内部采用raft协议作为一致性算法,etcd基于Go语言实现。
我前面博客文章也有一些它的使用情况。
它是一个kv键值的数据库:
所以可以存储数据,那么就可以存储配置数据。
它有watch功能:
所以可以发现配置的异动情况。变化时候可以起到通知作用。
它有key TTL功能:
etcdv3可以通过lease租约,设置服务生存周期TTL,让key自动过期,通过KeepAlive定期续租,避免过期。
当然,它还可以做分布式锁、分布式队列等等其他功能,你可以google去学习它的其他功能。
例子
- 注册服务和获取服务
// PutValueDemo 插入值demo,配置里面put相当于注册一个服务(服务注册),get相当于获取一个服务(服务发现)
func (demo EtcdDemo) PutValueDemo(client *clientv3.Client) {
fmt.Println("\n...put value demo...")
fmt.Println("put value: ", demo)
_, err := demo.PutValue(client)
if err != nil {
fmt.Println("failed to put value, err: ", err)
return
}
getVal, err := demo.GetValue(client)
if err != nil {
fmt.Println("get val err: ", err)
return
}
fmt.Println("get key:",string(getVal.Kvs[0].Key),",value:", string(getVal.Kvs[0].Value), ", Revision: ", getVal.Header.Revision)
}
如果你单独在main函数里测试PutValueDemo(),
client, err := clientv3.New(clientv3.Config{
Endpoints: []string{"127.0.0.1:2379"},
DialTimeout: time.Second * 5,
})
if err != nil {
fmt.Println("failed to connect etcd: ", err)
return
}
defer client.Close()
demo := EtcdDemo{Key: "test1", Val: "val1"}
demo.PutValueDemo(client)
你会发现:
Revision 的值,每次都是增加的。
get val: val1 ,key: test1 , Revision: 1
get val: val1 ,key: test1 , Revision: 2
这也是etcd的一个特性,可以用个来做分布式锁。
- watch 监测服务变化
// watchDemo 监听key的变化
func (demo EtcdDemo) WatchDemo(client *clientv3.Client) {
fmt.Println("\n...watch demo...")
stopChan := make(chan interface{}) // 是否停止信号
go func() {
watchChan := client.Watch(context.TODO(), demo.Key, clientv3.WithPrefix())
for {
select {
case result := <- watchChan:
for _, event := range result.Events {
fmt.Printf("%s %q : %q\n", event.Type, event.Kv.Key, event.Kv.Value)
}
case <-stopChan:
fmt.Println("stop watching...")
return
}
}
}()
for i := 0; i < 5; i++ {
var demo EtcdDemo
demo.Key = fmt.Sprintf("key_%02d", i)
demo.Val = strconv.Itoa(i)
demo.PutValue(client)
}
time.Sleep(time.Second * 1)
stopChan <- 1 //停止watch,在插入就不会监听到了
}
运行后:
...watch demo...
putResp Revision: 13
PUT "key_00" : "0"
PUT "key_01" : "1"
putResp Revision: 14
PUT "key_02" : "2"
putResp Revision: 15
PUT "key_03" : "3"
putResp Revision: 16
PUT "key_04" : "4"
putResp Revision: 17
stop watching...
Revision单调递增变化的。
watch 可以监测到put变化的情况。
- 租约lease
// LeaseDemo 租约
func (demo EtcdDemo) LeaseDemo(client *clientv3.Client) {
fmt.Println("\n...lease demo...")
lease, err := client.Grant(context.TODO(), 2) //创建一个租约
if err != nil {
fmt.Println("grant err: ", err)
return
}
testKey := "testleasekey"
// 给这个testkey一个 2秒的TTL租约
client.Put(context.TODO(), testKey, "testvalue", clientv3.WithLease(lease.ID))
getVal, err := client.Get(context.TODO(), testKey)
if err != nil {
fmt.Println("get val err: ", err)
return
}
vallen := len(getVal.Kvs)
fmt.Println("before time sleep, val len: ", vallen)
fmt.Println("sleep 4 seconds")
time.Sleep(4 * time.Second) //睡眠4秒,让租约过期
getVal, _ = client.Get(context.TODO(), testKey)
vallen = len(getVal.Kvs)
fmt.Println("after 4 seconds, val len: ", vallen)
}
运行:
...lease demo...
before time sleep, val len: 1
sleep 4 seconds
after 4 seconds, val len: 0 //这里租约到期,删掉了这个key和val
完整代码在这里github
参考
golang微服务实践:服务注册与服务发现 - Etcd的使用的更多相关文章
- .Net微服务实践(五)[服务发现]:Consul介绍和环境搭建
目录 介绍 服务发现 健康检查.键值存储和数据中心 架构 Consul模式 环境安装 HTTP API 和Command CLI 示例API介绍 最后 在上篇.Net微服务实践(四)[网关]:Ocel ...
- .Net微服务实践(四)[网关]:Ocelot限流熔断、缓存以及负载均衡
目录 限流 熔断 缓存 Header转化 HTTP方法转换 负载均衡 注入/重写中间件 后台管理 最后 在上篇.Net微服务实践(三)[网关]:Ocelot配置路由和请求聚合中我们介绍了Ocelot的 ...
- Golang微服务实践
背景 在之前的文章<漫谈微服务>我已经简单的介绍过微服务,微服务特性是轻量级跨平台和跨语言的服务,也列举了比较了集中微服务通信的手段的利弊,本文将通过RPC通信的方式实现一个增删查Redi ...
- Node.js微服务实践(一)
什么是微服务 微服务是一种架构风格,一个大型复杂软件应用由一个或多个微服务组成.系统中的各个微服务可被独立部署,各个微服务之间是松耦合的.每个微服务仅关注于完成一件任务并很好地完成该任务.在所有情况下 ...
- 【GoLang】golang 微服务框架 介绍
原文如下: rpcx是一个类似阿里巴巴 Dubbo 和微博 Motan 的分布式的RPC服务框架,基于Golang net/rpc实现. 谈起分布式的RPC框架,比较出名的是阿里巴巴的dubbo,包括 ...
- 【GoLang】GoLang 微服务、开源库等参考资料
参考资料: GoLang书籍: https://github.com/dariubs/GoBooksGo名库: https://github.com/Unknwon/go-rock-libraries ...
- ASP.NET Core OceLot 微服务实践
1.OceLot中间件介绍 在传统的BS应用中,随着业务需求的快速发展变化,需求不断增长,迫切需要一种更加快速高效的软件交付方式.微服务可以弥补单体应用不足,是一种更加快速高效软件架构风格.单体应用被 ...
- QCon技术干货:个推基于Docker和Kubernetes的微服务实践
2016年伊始,Docker无比兴盛,如今Kubernetes万人瞩目.在这个无比需要创新与速度的时代,由容器.微服务.DevOps构成的云原生席卷整个IT界.在近期举办的QCon全球软件开发大会上, ...
- 基于SpringCloud的微服务实践
微服务不同于单一架构应用, 是典型的分布式场景, 各服务之间通过IPC进行通信. 实现微服务的过程中, 我们需要解决以下问题: 服务注册和服务发现. 根据应用选择合适的通信协议和数据协议. 例如可以选 ...
- .NET CORE微服务实践
.NET CORE微服务实践 https://www.cnblogs.com/zengqinglei/p/9570343.html .NET CORE 实践部署架构图 实践源码:https://git ...
随机推荐
- [转帖]INSERT IGNORE INTO 与 INSERT INTO
INSERT IGNORE INTO 会忽略数据库中已经存在 的数据,如果数据库没有数据,就插入新的数据,如果有数据的话就跳过当前插入的这条数据.这样就可以保留数据库中已经存在数据,达到在间隙中插入数 ...
- [转帖]CentOS-7-x86_64-Everything-2009 rpm包列表(CentOS7.9)
CentOS-7-x86_64-Everything-2009 rpm包列表(CentOS7.9) 共10073个文件 复制389-ds-base-1.3.10.2-6.el7.x86_64.rpm ...
- [转帖]必看!PostgreSQL参数优化
https://zhuanlan.zhihu.com/p/333201734 前不久,一个朋友所在的公司,业务人员整天都喊慢. 朋友是搞开发的,不是很懂DB,他说他们应用的其实没什么问题,但是就是每天 ...
- [转帖]Linux文件夹对比并提取的差分文件技巧-rsync的妙用
https://www.xitongjiaocheng.com/linux/2017/45720.html 需求 最近团队正在开发一个版本对比工具,要求是把A1文件夹与A2对比,将A2中的增量部分 ...
- [转帖]shell 实现行转列、列转行的几种方法
目录 shell 实现行转列.列转行的几种方法 awk 行转列 xargs 行转列 tr 列转行 参考资料 shell 实现行转列.列转行的几种方法 awk 行转列 以空格为分隔符 awk -F &q ...
- rfc7230 Message Syntax and Routing
rfc7230 目录 rfc7230 2 Architecture 2.6 Protocol Versioning 3 Message Format 3.1 Start Line 3.1.1 Requ ...
- 用户 'NT Service\SSISScaleOutMaster140' 登录失败
用户 'NT Service\SSISScaleOutMaster140' 登录失败. 原因: 找不到与提供的名称匹配的登录名. 项目情况: 用户 'NT Service\SSISScaleOutMa ...
- vim 从嫌弃到依赖(14)——快速跳转
之前介绍过众多的motion,根据移动范围来排序的话有 l.e.w.j等等,但是面对那么长的代码文件,仅仅使用这几个简单的motion不知道要移动多少次才能找到我想要的代码,这个速度有时候还不如我用鼠 ...
- C++ Boost 实现异步端口扫描器
端口扫描是一种用于识别目标系统上哪些网络端口处于开放.关闭或监听状态的网络活动.在计算机网络中,端口是一个虚拟的通信端点,用于在计算机之间传输数据.每个端口都关联着特定类型的网络服务或应用程序.端口扫 ...
- C# 笔记之基本语法
C#是一种现代的.通用的编程语言,由微软公司开发和推广.它于2000年发布,是一种结构化.面向对象和组件化的语言,旨在为Windows操作系统和Microsoft .NET框架提供强大的支持.可用于开 ...