莫想到有一天得重新写个 etcd client

其实8年前搞过一个,

不过经过8年时间,etcd 多了很多功能 ,原来的多半不行了

虽然暂时我也没啥需求,但是怕kv和watch有变化

而且其实通过 grpc api 访问 etcd 没啥技术难度,搞client 也没啥意思的 (只要有.proto文件,可以直接生成grpc client代码, 参见微软文档

现成的也很多

所以本来不想写, 直接从 nuget 上找了个下载量最高的 https://www.nuget.org/packages/dotnet-etcd

最开始使用也ok,能读能写

但是当我使用watch时, 居然没有任何变更触发

当然也有其他人发现这个bug 对应issue: https://github.com/shubhamranjan/dotnet-etcd/issues/238(不过我遇见问题时还没人提issue,我看了源码,找到问题原因之后,这位同志已经写了issue了,)

如下是 issue 内容

using dotnet_etcd;
using Etcdserverpb; EtcdClient etcdClient = new EtcdClient("http://localhost:2379");
etcdClient.Watch(
"test",
(WatchResponse response) =>
{
if (!response.Events.Any())
return;
var value = response.Events[0].Kv.Value.ToStringUtf8();
Console.WriteLine(value);
}
);

If you run this sample with 8.0.0, the watch callback never triggers if you modify the key test. If you run it with 6.0.1 it triggers correctly.

为什么 Watch 没用呢?

不是etcd版本问题, 不是网络访问有限制,不是你们第一直觉想到的问题

而是 作者没实现

https://github.com/shubhamranjan/dotnet-etcd/commit/4ba94d0a174fec42d190bffda733ded3a24055e0 这次代码提交中

watch 的 核心处理代码被删了, 但是package 依然水灵灵提交到了nuget上, 所以 当然不可能监听变更啦 囧 (issue 上我也加了描述,以免其他人遇见迷茫)

然后查看其原来实现, 还发现有个问题: 根本没有处理异常重连

更别提 etcd mvcc 避免变更丢失时要特别注意的 revsion

然后作者记录显示,已经近一个月没有更新

所以也不可能指望作者修正问题了

算了,还是自己来吧,

没想到 8年之后还得再次生成 etcd 的 grpc client

根据 最新的 etcd .proto文件 生成了最新的 grpc client

然后为 DependencyInjection 以及使用 简单封装了一下, 源码放在了 https://github.com/fs7744/etcdcsharp

如下是简单的使用文档

ETCD V3 Client

base code all Generate by grpc tools.

Quick start

Install package

  • Package Manager
Install-Package etcd.v3 -Version 0.0.2
Install-Package etcd.v3.Configuration -Version 0.0.2
  • .NET CLI
dotnet add package etcd.v3 --version 0.0.2
dotnet add package etcd.v3.Configuration --version 0.0.2

new client

new client with DI

 ServiceCollection services = new();
services.UseEtcdClient();
services.AddEtcdClient("test", new EtcdClientOptions() { Address = ["http://xxx:2379"] });
var p = services.BuildServiceProvider(); var client = p.GetRequiredKeyedService<IEtcdClient>("test"); // you also can create client by factory
var factory = p.GetRequiredService<IEtcdClientFactory>();
var client2 = factory.CreateClient(new EtcdClientOptions() { Address = ["http://xxx:2379"] }); // get all config
foreach (var i in await client.GetRangeValueUtf8Async("/ReverseProxy/"))
{
Console.WriteLine($"{i.Key} : {i.Value}");
} // OR get client in ctor
public class Testt
{
private readonly IEtcdClient client; public Testt([FromKeyedServices("test")] IEtcdClient client)
{
this.client = client;
}
}

new client without DI

 var factory = EtcdClientFactory.Create();
var client = factory.CreateClient(new EtcdClientOptions() { Address = ["http://xxx:2379"] }); // get all config
foreach (var i in await client.GetRangeValueUtf8Async("/ReverseProxy/"))
{
Console.WriteLine($"{i.Key} : {i.Value}");
}

use with Configuration

var b = new ConfigurationBuilder();
b.UseEtcd(new Etcd.Configuration.EtcdConfigurationOptions()
{
Prefix = "/ReverseProxy/",
RemovePrefix = true,
EtcdClientOptions = new EtcdClientOptions() { Address = ["http://xxx:2379"] }
});
var c = b.Build(); // test watch change
Test(c); private static void Test(IConfigurationRoot c)
{
foreach (var i in c.GetChildren())
{
Console.WriteLine($"{i.Key} : {i.Value}");
}
c.GetReloadToken().RegisterChangeCallback(i =>
{
Test(i as IConfigurationRoot);
}, c);
}

Address

Address just parse by GrpcChannel.ForAddress, so support

KV

get one by key

string v = await client.GetValueUtf8Async("/ReverseProxy/");
//or
string v = (await client.GetAsync("/ReverseProxy/")).Kvs?.First().Value.ToStrUtf8();
//or
string v = (await client.RangeAsync(new RangeRequest() { Key = ByteString.CopyFromUtf8("/ReverseProxy/") })).Kvs?.First().Value.ToStrUtf8();
get all IDictionary<string, string>
foreach (var i in await client.GetRangeValueUtf8Async("/ReverseProxy/"))
{
Console.WriteLine($"{i.Key} : {i.Value}");
}
//or
foreach (var i in (await client.GetRangeAsync("/ReverseProxy/")).Kvs)
{
Console.WriteLine($"{i.Key.ToStrUtf8()} : {i.Value.ToStrUtf8()}");
}
//or
foreach (var i in (await client.RangeAsync(new RangeRequest() { Key = ByteString.CopyFromUtf8("/ReverseProxy/"), RangeEnd = ByteString.CopyFromUtf8("/ReverseProxy/".GetRangeEnd()) })).Kvs)
{
Console.WriteLine($"{i.Key.ToStrUtf8()} : {i.Value.ToStrUtf8()}");
}

Put

await client.PutAsync("/ReverseProxy/test", "1");
//or
await client.PutAsync(new PutRequest() { Key = ByteString.CopyFromUtf8("/ReverseProxy/test"), Value = ByteString.CopyFromUtf8("1") });

Delete one

await client.DeleteAsync("/ReverseProxy/test");
//or
await client.DeleteRangeAsync(new DeleteRangeRequest() { Key = ByteString.CopyFromUtf8("/ReverseProxy/test") });

Delete all

await client.DeleteRangeAsync("/ReverseProxy/test");
//or
await client.DeleteRangeAsync(new DeleteRangeRequest() { Key = ByteString.CopyFromUtf8("/ReverseProxy/test"), RangeEnd = ByteString.CopyFromUtf8("/ReverseProxy/test".GetRangeEnd())) });

Watch

 await client.WatchRangeBackendAsync("/ReverseProxy/", i =>
{
if (i.Events.Count > 0)
{
foreach (var item in i.Events)
{
Console.WriteLine($"{item.Type} {item.Kv.Key.ToStrUtf8()}");
}
}
return Task.CompletedTask;
}, startRevision: 6, reWatchWhenException: true); // or
await Task.Factory.StartNew(async () =>
{
long startRevision = 6;
while (true)
{
try
{
using var watcher = await client.WatchRangeAsync("/ReverseProxy/", startRevision: startRevision);
await watcher.ForAllAsync(i =>
{
startRevision = i.FindRevision(startRevision);
foreach (var item in i.Events)
{
Console.WriteLine($"{item.Type} {item.Kv.Key.ToStrUtf8()}");
}
return Task.CompletedTask;
});
}
catch (Exception ex)
{
Console.WriteLine($"Exception: {ex.Message}");
}
}
});

all grpc client

if IEtcdClient Missing some grpc method , you can just use grpc client to do

public partial interface IEtcdClient
{
public AuthClient AuthClient { get; }
public Cluster.ClusterClient ClusterClient { get; }
public ElectionClient ElectionClient { get; }
public KV.KVClient KVClient { get; }
public LeaseClient LeaseClient { get; }
public LockClient LockClient { get; }
public MaintenanceClient MaintenanceClient { get; }
public Watch.WatchClient WatchClient { get; }
}

api doc

Main api doc please see

https://fs7744.github.io/etcdcsharp/api/Etcd.html

https://fs7744.github.io/etcdcsharp/api/Microsoft.Extensions.Configuration.EtcdConfigurationExtensions.html

All api doc ( include code generate by grpc tool ) please see

https://fs7744.github.io/etcdcsharp/api/index.html

莫想到有一天得重新写个 etcd client的更多相关文章

  1. 从头写个http client(java)

    不熟悉java,但我熟悉http,然后从头打造个简单的httpclient,支持get/post,支持gzip,支持重定向,支持encoding,支持transfer-encoding,支持ssl,支 ...

  2. 一个手写的 http client

    public class HTTPClient { public static final String GET = "GET"; public static final Stri ...

  3. (填坑系列) 用aio写server与client进行通信的坑

    最近闲来无事,就估摸着自己写个“服务注册中心”来玩,当然因为是个人写的,所以一般都是简洁版本. 代码地址在:https://gitee.com/zhxs_code/my-service-registe ...

  4. netty写Echo Server & Client完整步骤教程(图文)

    1.创建Maven工程 1.1 父节点的pom.xml代码(root pom文件) 1 <?xml version="1.0" encoding="UTF-8&qu ...

  5. 一个轻client,多语言支持,去中心化,自己主动负载,可扩展的实时数据写服务的实现方案讨论

    背景 背景是设计一个实时数据接入的模块,负责接收client的实时数据写入(如日志流,点击流),数据支持直接下沉到HBase上(兴许提供HBase上的查询),或先持久化到Kafka里.方便兴许进行一些 ...

  6. 使用client对象模型回写SharePoint列表

    使用client对象模型回写SharePoint列表 client对象模型是一个有效的方式回写SharePoint列表. 1. 管理员身份打开VS,新建WPF应用程序SPWriteListApp,确保 ...

  7. boost--asio--读写大总结

    NO.1 ASIO 读操作大总结: A. Boos::asio::read 同步读方式 void client::read_data(char   * sourse  , int num ) { bo ...

  8. HBase写请求分析

    HBase作为分布式NoSQL数据库系统,不单支持宽列表.而且对于随机读写来说也具有较高的性能.在高性能的随机读写事务的同一时候.HBase也能保持事务的一致性. 眼下HBase仅仅支持行级别的事务一 ...

  9. [转帖]我花了10个小时,写出了这篇K8S架构解析

    我花了10个小时,写出了这篇K8S架构解析 https://www.toutiao.com/i6759071724785893891/   每个微服务通过 Docker 进行发布,随着业务的发展,系统 ...

  10. zookeeper源码 — 五、处理写请求过程

    目录 处理写请求总体过程 客户端发起写请求 follower和leader交互过程 follower发送请求给客户端 处理写请求总体过程 zk为了保证分布式数据一致性,使用ZAB协议,在客户端发起一次 ...

随机推荐

  1. [IOI2020] 连接擎天树 题解

    第一道函数交互 \(+\ luogu\) 最劣解,这不得发篇博客鼓励一下. 引理 \(1\):若 \(p_{i,j}>0,p_{i,k}>0,p_{j,k}=0(i\ne j\ne k)\ ...

  2. JS实现隐藏手机号码中间4位数

    代码COPY 3. 使用正则 function geTel(tel){ var reg = /^(\d{3})\d{4}(\d{4})$/; return tel.replace(reg, " ...

  3. 开启 Typecho 的 gzip 压缩

    简介 GZip压缩,是一种网站速度优化技术,也是一把SEO优化利器,许多网站都采用了这种技术,以达到提升网页打开速度.缩短网页打开时间的目的. 网站采用Gzip压缩,还有一个好处,就是让你少了一份流量 ...

  4. Go红队开发—并发编程

    目录 并发编程 go协程 chan通道 无缓冲通道 有缓冲通道 创建⽆缓冲和缓冲通道 等协程 sync.WaitGroup同步 Runtime包 Gosched() Goexit() 区别 同步变量 ...

  5. Scala面向对象之创建对象,重载构造方法,继承抽象类实现接口

    package com.wyh.day01 object ScalaClass { def main(args: Array[String]): Unit = { val student = new ...

  6. 大数据之路Week08_day03 (Hive优化)

    Hive优化(下面的红色标记是十分重要的,大部分情况是需要开启的) 优化1:hive的抓取策略理论上来说,Hive中的所有sql都需要进行mapreduce,但是hive的抓取策略帮我们省略掉了这个过 ...

  7. CF1793E题解

    \(\text{Problem - 1793E - Codeforces}\) \(\text{*2600}\) 备注 2024.10.19 考试 T2.考场未能想出正解,找到性质但没有根据性质往 d ...

  8. wangeditor编辑器

    官网  https://www.wangeditor.com/ 在线体验DEMO   https://codepen.io/xiaokyo-the-bold/pen/ZEpWByR

  9. 【配置化】C# dapper是怎么实现的?精短ORM

    目录 一.什么是dapper 二.实现问题与思路 & 源码参考 三.小结 一.什么是dapper dapper是个组件,一个dll文件,可以通过NuGet下载. 作用:快速访问数据库并自动完成 ...

  10. Unable to Connect: sPort: 0 C# ServiceStack.Redis 访问 redis

    需求:  对数据库中的不断抓取的文章进行缓存,因此需要定时访问数据,写入缓存中 在捕获到的异常日志发现错误:Unable to Connect: sPort: 0 使用的访问方式是线程池的方式:Poo ...