莫想到有一天得重新写个 etcd client
莫想到有一天得重新写个 etcd client
其实8年前搞过一个,
不过经过8年时间,etcd 多了很多功能 ,原来的多半不行了
虽然暂时我也没啥需求,但是怕kv和watch有变化
而且其实通过 grpc api 访问 etcd 没啥技术难度,搞client 也没啥意思的 (只要有.proto
文件,可以直接生成grpc client代码, 参见微软文档)
现成的也很多
所以本来不想写, 直接从 nuget 上找了个下载量最高的 https://www.nuget.org/packages/dotnet-etcd
最开始使用也ok,能读能写
但是当我使用watch
时, 居然没有任何变更触发
当然也有其他人发现这个bug 对应issue: https://github.com/shubhamranjan/dotnet-etcd/issues/238(不过我遇见问题时还没人提issue,我看了源码,找到问题原因之后,这位同志已经写了issue了,)
如下是 issue 内容
using dotnet_etcd;
using Etcdserverpb;
EtcdClient etcdClient = new EtcdClient("http://localhost:2379");
etcdClient.Watch(
"test",
(WatchResponse response) =>
{
if (!response.Events.Any())
return;
var value = response.Events[0].Kv.Value.ToStringUtf8();
Console.WriteLine(value);
}
);
If you run this sample with 8.0.0, the watch callback never triggers if you modify the key test. If you run it with 6.0.1 it triggers correctly.
为什么 Watch
没用呢?
不是etcd版本问题, 不是网络访问有限制,不是你们第一直觉想到的问题
而是 作者没实现
在 https://github.com/shubhamranjan/dotnet-etcd/commit/4ba94d0a174fec42d190bffda733ded3a24055e0 这次代码提交中
watch 的 核心处理代码被删了, 但是package 依然水灵灵提交到了nuget上, 所以 当然不可能监听变更啦 囧 (issue 上我也加了描述,以免其他人遇见迷茫)
然后查看其原来实现, 还发现有个问题: 根本没有处理异常重连
更别提 etcd mvcc 避免变更丢失时要特别注意的 revsion
了
然后作者记录显示,已经近一个月没有更新
所以也不可能指望作者修正问题了
算了,还是自己来吧,
没想到 8年之后还得再次生成 etcd 的 grpc client
根据 最新的 etcd .proto
文件 生成了最新的 grpc client
然后为 DependencyInjection
以及使用 简单封装了一下, 源码放在了 https://github.com/fs7744/etcdcsharp
如下是简单的使用文档
ETCD V3 Client
base code all Generate by grpc tools.
Quick start
Install package
- Package Manager
Install-Package etcd.v3 -Version 0.0.2
Install-Package etcd.v3.Configuration -Version 0.0.2
- .NET CLI
dotnet add package etcd.v3 --version 0.0.2
dotnet add package etcd.v3.Configuration --version 0.0.2
new client
new client with DI
ServiceCollection services = new();
services.UseEtcdClient();
services.AddEtcdClient("test", new EtcdClientOptions() { Address = ["http://xxx:2379"] });
var p = services.BuildServiceProvider();
var client = p.GetRequiredKeyedService<IEtcdClient>("test");
// you also can create client by factory
var factory = p.GetRequiredService<IEtcdClientFactory>();
var client2 = factory.CreateClient(new EtcdClientOptions() { Address = ["http://xxx:2379"] });
// get all config
foreach (var i in await client.GetRangeValueUtf8Async("/ReverseProxy/"))
{
Console.WriteLine($"{i.Key} : {i.Value}");
}
// OR get client in ctor
public class Testt
{
private readonly IEtcdClient client;
public Testt([FromKeyedServices("test")] IEtcdClient client)
{
this.client = client;
}
}
new client without DI
var factory = EtcdClientFactory.Create();
var client = factory.CreateClient(new EtcdClientOptions() { Address = ["http://xxx:2379"] });
// get all config
foreach (var i in await client.GetRangeValueUtf8Async("/ReverseProxy/"))
{
Console.WriteLine($"{i.Key} : {i.Value}");
}
use with Configuration
var b = new ConfigurationBuilder();
b.UseEtcd(new Etcd.Configuration.EtcdConfigurationOptions()
{
Prefix = "/ReverseProxy/",
RemovePrefix = true,
EtcdClientOptions = new EtcdClientOptions() { Address = ["http://xxx:2379"] }
});
var c = b.Build();
// test watch change
Test(c);
private static void Test(IConfigurationRoot c)
{
foreach (var i in c.GetChildren())
{
Console.WriteLine($"{i.Key} : {i.Value}");
}
c.GetReloadToken().RegisterChangeCallback(i =>
{
Test(i as IConfigurationRoot);
}, c);
}
Address
Address just parse by GrpcChannel.ForAddress
, so support
- http://xxx:port
- https://xxx:port
- dns://xxx:port
KV
get one by key
string v = await client.GetValueUtf8Async("/ReverseProxy/");
//or
string v = (await client.GetAsync("/ReverseProxy/")).Kvs?.First().Value.ToStrUtf8();
//or
string v = (await client.RangeAsync(new RangeRequest() { Key = ByteString.CopyFromUtf8("/ReverseProxy/") })).Kvs?.First().Value.ToStrUtf8();
get all IDictionary<string, string>
foreach (var i in await client.GetRangeValueUtf8Async("/ReverseProxy/"))
{
Console.WriteLine($"{i.Key} : {i.Value}");
}
//or
foreach (var i in (await client.GetRangeAsync("/ReverseProxy/")).Kvs)
{
Console.WriteLine($"{i.Key.ToStrUtf8()} : {i.Value.ToStrUtf8()}");
}
//or
foreach (var i in (await client.RangeAsync(new RangeRequest() { Key = ByteString.CopyFromUtf8("/ReverseProxy/"), RangeEnd = ByteString.CopyFromUtf8("/ReverseProxy/".GetRangeEnd()) })).Kvs)
{
Console.WriteLine($"{i.Key.ToStrUtf8()} : {i.Value.ToStrUtf8()}");
}
Put
await client.PutAsync("/ReverseProxy/test", "1");
//or
await client.PutAsync(new PutRequest() { Key = ByteString.CopyFromUtf8("/ReverseProxy/test"), Value = ByteString.CopyFromUtf8("1") });
Delete one
await client.DeleteAsync("/ReverseProxy/test");
//or
await client.DeleteRangeAsync(new DeleteRangeRequest() { Key = ByteString.CopyFromUtf8("/ReverseProxy/test") });
Delete all
await client.DeleteRangeAsync("/ReverseProxy/test");
//or
await client.DeleteRangeAsync(new DeleteRangeRequest() { Key = ByteString.CopyFromUtf8("/ReverseProxy/test"), RangeEnd = ByteString.CopyFromUtf8("/ReverseProxy/test".GetRangeEnd())) });
Watch
await client.WatchRangeBackendAsync("/ReverseProxy/", i =>
{
if (i.Events.Count > 0)
{
foreach (var item in i.Events)
{
Console.WriteLine($"{item.Type} {item.Kv.Key.ToStrUtf8()}");
}
}
return Task.CompletedTask;
}, startRevision: 6, reWatchWhenException: true);
// or
await Task.Factory.StartNew(async () =>
{
long startRevision = 6;
while (true)
{
try
{
using var watcher = await client.WatchRangeAsync("/ReverseProxy/", startRevision: startRevision);
await watcher.ForAllAsync(i =>
{
startRevision = i.FindRevision(startRevision);
foreach (var item in i.Events)
{
Console.WriteLine($"{item.Type} {item.Kv.Key.ToStrUtf8()}");
}
return Task.CompletedTask;
});
}
catch (Exception ex)
{
Console.WriteLine($"Exception: {ex.Message}");
}
}
});
all grpc client
if IEtcdClient Missing some grpc method , you can just use grpc client to do
public partial interface IEtcdClient
{
public AuthClient AuthClient { get; }
public Cluster.ClusterClient ClusterClient { get; }
public ElectionClient ElectionClient { get; }
public KV.KVClient KVClient { get; }
public LeaseClient LeaseClient { get; }
public LockClient LockClient { get; }
public MaintenanceClient MaintenanceClient { get; }
public Watch.WatchClient WatchClient { get; }
}
api doc
Main api doc please see
https://fs7744.github.io/etcdcsharp/api/Etcd.html
https://fs7744.github.io/etcdcsharp/api/Microsoft.Extensions.Configuration.EtcdConfigurationExtensions.html
All api doc ( include code generate by grpc tool ) please see
https://fs7744.github.io/etcdcsharp/api/index.html
莫想到有一天得重新写个 etcd client的更多相关文章
- 从头写个http client(java)
不熟悉java,但我熟悉http,然后从头打造个简单的httpclient,支持get/post,支持gzip,支持重定向,支持encoding,支持transfer-encoding,支持ssl,支 ...
- 一个手写的 http client
public class HTTPClient { public static final String GET = "GET"; public static final Stri ...
- (填坑系列) 用aio写server与client进行通信的坑
最近闲来无事,就估摸着自己写个“服务注册中心”来玩,当然因为是个人写的,所以一般都是简洁版本. 代码地址在:https://gitee.com/zhxs_code/my-service-registe ...
- netty写Echo Server & Client完整步骤教程(图文)
1.创建Maven工程 1.1 父节点的pom.xml代码(root pom文件) 1 <?xml version="1.0" encoding="UTF-8&qu ...
- 一个轻client,多语言支持,去中心化,自己主动负载,可扩展的实时数据写服务的实现方案讨论
背景 背景是设计一个实时数据接入的模块,负责接收client的实时数据写入(如日志流,点击流),数据支持直接下沉到HBase上(兴许提供HBase上的查询),或先持久化到Kafka里.方便兴许进行一些 ...
- 使用client对象模型回写SharePoint列表
使用client对象模型回写SharePoint列表 client对象模型是一个有效的方式回写SharePoint列表. 1. 管理员身份打开VS,新建WPF应用程序SPWriteListApp,确保 ...
- boost--asio--读写大总结
NO.1 ASIO 读操作大总结: A. Boos::asio::read 同步读方式 void client::read_data(char * sourse , int num ) { bo ...
- HBase写请求分析
HBase作为分布式NoSQL数据库系统,不单支持宽列表.而且对于随机读写来说也具有较高的性能.在高性能的随机读写事务的同一时候.HBase也能保持事务的一致性. 眼下HBase仅仅支持行级别的事务一 ...
- [转帖]我花了10个小时,写出了这篇K8S架构解析
我花了10个小时,写出了这篇K8S架构解析 https://www.toutiao.com/i6759071724785893891/ 每个微服务通过 Docker 进行发布,随着业务的发展,系统 ...
- zookeeper源码 — 五、处理写请求过程
目录 处理写请求总体过程 客户端发起写请求 follower和leader交互过程 follower发送请求给客户端 处理写请求总体过程 zk为了保证分布式数据一致性,使用ZAB协议,在客户端发起一次 ...
随机推荐
- kali linux脚本小子速成
$如果你耐心看十分钟,你会惊奇的发现我讲的是一堆废话,别急.kali linux博大精深,绝对不是十分钟就能学的完,真正的好东西永远都是夹在屎里,想学你想要的,拿出你的决心来. kali linux用 ...
- C#实现文件的压缩和解压缩
原文链接:https://www.cnblogs.com/sunyaling/archive/2009/04/13/1434602.html 在C#中实现文件的压缩和解压缩,需要使用第三方的组建完成. ...
- [JOI 2020 Final] 火事 题解
给一篇题解.(下面这张图是从 luogu 上粘贴的,因为不太会画图) 其中纵坐标为 \(t\),横坐标为 \(a_i\). 发现同颜色块只有平行四边形和直角梯形(等腰直角三角形)两种情况. 可以将直角 ...
- 若依-Vue 单体版本 更换mybatisPlus
1.单体模块在pom.xml ; 多模块版本在ruoyi-common\pom.xml.模块添加整合依赖 <!-- mybatis-plus 增强CRUD --> <dependen ...
- Lombok 只会用@Setter @Getter @Data ? 老鸟带你玩转lombok
lombok的官网 官方网址 : https://projectlombok.org lombok 稳定特性文档:https://projectlombok.org/features/ lombok ...
- Deepin搭建git仓库服务gogs,debian也可用
我尝试了gitlab.gitblit搭建均失败,deepin版本20.03 1. 步骤 访问gogs官网下载&安装页面 数据库(选择以下一项): MySQL:版本 >= 5.7. Pos ...
- Javascript 显示当前滚动条滚动的百分比
<!DOCTYPE html> <html> <head> <meta charset="utf-8"> <title> ...
- MySQL Q&A - [01] root密码忘记了怎么办
题记部分 Windows 场景下 1.先使用管理员身份打开两个命令提示符窗口(winA和winB) 2.在命令提示符窗口winA中将MySQL服务停掉net stop mysql Microsoft ...
- . net core 项目创建和发布
1.发布和部署到IIS https://www.cnblogs.com/loverwangshan/p/11284169.html https://www.cnblogs.com/wangjiegua ...
- 音视频SDK对比|K歌App中的实时合唱功能如何进行技术选型
摘要 在线K歌软件的开发有许多技术难点,需考虑到音频录制和处理.实时音频传输和同步.音频压缩和解压缩.设备兼容性问题等技术难点外,此外,开发者还应关注音乐版权问题,确保开发的应用合规合法. 前言 前面 ...