前言

你知道etcd吗?随着k8s的使用广泛之后,etcd被非常多的人所知道,同时又因为它可靠的分布式特性被很多人喜欢。所以,我准备有几篇博文来记录一下,从基本使用到线上部署再到原理分析,做一个系列。那么,今天先来说说它的简介与命令行的使用。

简介

ETCD是什么

我个人总结为下面用几个要点:

  • 高可用K-V存储,就类似于redis一样的键值对存储。
  • 允许应用实时监听存储中的K-V变化。
  • 能够容忍单点故障,能够应对网络分区。
  • etcd利用raft在集群中同步K-V信息,raft是强一致的集群日志同步算法。

总结:etcd是一个分布式高可用k-v存储,通过复制达到每个节点存储的信息一致,从而保证高可用。

数据复制

这里简单说一下复制的具体流程:

(client为我们的客户端,用来发出存储请求,leader和follower都是etcd的节点)
就如图上所看到的,我叫它两段式提交:

  1. 客户端请求leader发送存储的数据,然后leader节点要将信息通过日志复制给大多数的follower节点,如上图所示,只需要复制给两个(加上它自己是三个)那么就是大多数节点。
  2. leader当复制完成之后才会本地提交,然后返回给客户端成功,(如果没有或者不能复制给大多数节点,那么则存储失败)此时再同时其他follower去他们自己本地提交。
    是不是有一种分布式事务的感觉?分布式的解决通常都是这种感觉。

我们也可以看到,etcd通过先将数据存放在大多数节点上面从而保证数据不会出错并且效率较高,最终所有节点数据还是会同步一致的。

  • 官方给出写入的性能:1000/s

PS:这里因为是简介,所以就简单提一下,有关如何选举出leader还有raft协议的一些具体细节,以及当出现网络分区或者节点异常问题的恢复会在之后的博客中给出。

存储结构

底层存储key是有序排列的
'key' -> 'value'

aaa/bbb -> 111
aaa/bbc -> 3333
bbb/aaa -> 1321
ccc -> 24
就是按照key的顺序依次排列,相同前缀的key会被放在一起,这样到存储结构,当查询时可以通过key的前缀将一系列的value都取出来

watch机制和lease租约

etcd有一个很棒的机制要单独提一句,就是watch,它允许你去监控一个key的变化。当你监控了之后,这个key的添加修改删除都会被监控到。
lease租约,这个机制和redis中的key过期机制一样,可以申请一个租约,这个租约有一个时间限制,比如60秒,你可以将这个租约设置到一个key上,那么这个key过60秒就会被自动删除。当然也可以进行续租。

具体使用情况,可以从后面的命令行操作中看到。

还有一些小点

  • etcd使用grpc,所以网络性能会高
  • 部署节点数量要求是2N+1个
  • 选举leader需要半数以上的节点参与
  • etcd是支持事务操作的,可以if第一次a提交正常,then提交b,else不提交b

本地单节点部署

我们一开始学习和测试的时候只需要在本地部署一个单节点就可以了,单节点的部署比较方便这边简单说明一下。
首先下载对应的版本:https://github.com/etcd-io/etcd/releases
我这边使用的mac对应的darwin-amd64的版本,其他版本应该类似。
下载解压之后有两个文件比较重要:

  • etcd 这个是节点
  • etcdctl 这个是客户端
    进入所在目录使用命令进行启动和使用

使用节点命令

➜  ./etcd

使用客户端命令

➜ ./etcdctl
NAME:
etcdctl - A simple command line client for etcd. WARNING:
Environment variable ETCDCTL_API is not set; defaults to etcdctl v2.
Set environment variable ETCDCTL_API= to use v3 API or ETCDCTL_API= to use v2 API.

之后会出现上述类似警告,告诉你,默认使用的是v2版本的API,你需要设置环境变量ETCDCTL_API=3就能使用v3版本的API了,这里我们使用命令export ETCDCTL_API=3

或者你可以手动修改环境变量添加export ETCDCTL_API=3就可以了,当不出现警告的时候证明环境变量设置正确。

简单命令行操作

下面介绍几个最基本的etcd的操作,其实非常简单。主要与redis不同的是拥有独特的watch机制,这个机制非常棒。

put

➜ ./etcdctl put /aaa/a
OK
➜ ./etcdctl put /aaa/b
OK

get

➜ ./etcdctl get /aaa/a
/aaa/a ➜ ./etcdctl get --prefix /aaa
/aaa/a /aaa/b

--prefix意思是取出所有前缀为/aaa的key

watch

新开一个窗口使用命令watch进行监听

➜ ./etcdctl watch /aaa/a

然后对/aaa/a这个key的操作全部都会被监听到

➜ ./etcdctl put /aaa/a
OK
➜ ./etcdctl del /aaa/a ➜ ./etcdctl watch /aaa/a
PUT
/aaa/a DELETE
/aaa/a

lease

创建一个60s的租约

➜ ./etcdctl lease grant
lease 694d6b2b7d7e6a0c granted with TTL(60s)
➜ ./etcdctl put /aaa/a --lease=694d6b2b7d7e6a0c
OK

put的时候使用租约注意,这里需要输入上面租约的16进制标识符
然后监听的地方会发现,60秒后,/aaa/a这个key被自动删除了

当然你可以使用keep-alive进行续租,如:

➜ ./etcdctl lease keep-alive 694d6b2ac4a35625

总结

以上简单说明了etcd的一些基本信息,单节点部署,以及一些基本用法,从上述信息我们总结可知:

  1. etcd是分布式的,能保证在单点故障下也能正常使用
  2. 分布式也会导致问题,etcd写入性能相较redis肯定有所不及
  3. etcd独特的watch机制可以用于很多场景,如配置更新分发等

那这里就说这么多,看完你就应该大致知道etcd是个啥玩意了,从现在看来你可能还没有感觉它有什么厉害的地方,后面我们结合实际的场景使用就能更加明白了。

http://www.linkinstar.wiki/

浅入深出ETCD之【简介与命令行使用】的更多相关文章

  1. 浅入深出ETCD之【集群部署与golang客户端使用】

    前言 之前说了etcd的简介,命令行使用,一些基本原理.这次来说说现实一点的集群部署和golang版本的客户端使用.因为在实际使用过程中,etcd的节点肯定是需要2N+1个进行部署的,所以有必要说明一 ...

  2. 浅入深出ETCD之【raft原理】

    前言 这次我们来说说,有关于etcd原理的一些事情.之前我们已经了解到了etcd是一个分布式的k-v存储,那么它究竟是如何保证数据是如何复制到每个节点上面去的呢?又是如何保证在网络分区的情况下能正常工 ...

  3. 浅入深出之Java集合框架(中)

    Java中的集合框架(中) 由于Java中的集合框架的内容比较多,在这里分为三个部分介绍Java的集合框架,内容是从浅到深,如果已经有java基础的小伙伴可以直接跳到<浅入深出之Java集合框架 ...

  4. 浅入深出之Java集合框架(下)

    Java中的集合框架(下) 由于Java中的集合框架的内容比较多,在这里分为三个部分介绍Java的集合框架,内容是从浅到深,哈哈这篇其实也还是基础,惊不惊喜意不意外 ̄▽ ̄ 写文真的好累,懒得写了.. ...

  5. 浅入深出之Java集合框架(上)

    Java中的集合框架(上) 由于Java中的集合框架的内容比较多,在这里分为三个部分介绍Java的集合框架,内容是从浅到深,如果已经有java基础的小伙伴可以直接跳到<浅入深出之Java集合框架 ...

  6. 浅入深出Vue:环境搭建

    浅入深出Vue:环境搭建 工欲善其事必先利其器,该搭建我们的环境了. 安装NPM 所有工具的下载地址都可以在导航篇中找到,这里我们下载的是最新版本的NodeJS Windows安装程序 下载下来后,直 ...

  7. 浅入深出Vue:工具准备之PostMan安装配置及Mock服务配置

    浅入深出Vue之工具准备(二):PostMan安装配置 由于家中有事,文章没顾得上.在此说声抱歉,这是工具准备的最后一章. 接下来就是开始环境搭建了~尽情期待 工欲善其事必先利其器,让我们先做好准备工 ...

  8. 浅入深出Vue:工具准备之WebStorm安装配置

    浅入深出Vue之工具准备(一):WebStorm安装配置 工欲善其事必先利其器,让我们先做好准备工作吧 导航篇 WebStorm安装配置 所有工具的下载地址都可以在导航篇中找到,这里我们下载的是最新版 ...

  9. 浅入深出Vue系列

    浅入深出Vue导航 导航帖,直接点击标题即可. 文中所有涉及到的资源链接均在最下方列举出来了. 前言 基础篇 浅入深出Vue:工具准备之WebStorm搭建及配置 浅入深出Vue之工具准备(二):Po ...

随机推荐

  1. K8s管理机密信息

    1. 启动应用安全信息的保护 Secret介绍 应用启动过程中可能需要一些敏感信息,比如访问数据库的用户名密码或者秘钥.将这些信息直接保存在容器镜像中显然不妥,Kubernetes 提供的解决方案是 ...

  2. 2019年杭电多校第二场 1008题Harmonious Army(HDU6598+最小割+建图)

    题目链接 传送门 题意 有\(n\)个士兵,要你给他们分配职业.有\(m\)对关系,对于某一对关系\(u,v\),如果同为勇士则总能力增加\(a\),同法师则增加\(c\),一个勇士一个法师增加\(\ ...

  3. jmeter 测试带token的请求

    https://blog.csdn.net/wd1282988143/article/details/88048114 如果有一个登录接口需要服务端返回参数,再带着这个参数去请求才能完成登录,请问jm ...

  4. python预课01 turtle学习

    Turtle命令: import turtle # 导入模块 t = turtle.Pen() # 生成画笔 t.speed() #设置速度0-10:0最快 t.forward() # 前进 t.ba ...

  5. 阿里巴巴Java开发手册(格式规约篇)——查自己的漏-补自己的缺

    (三) 格式规约 1. [强制]大括号的使用约定.如果是大括号内为空,则简洁地写成{}即可,不需要换行:如果是非空代码块则: 1) 左大括号前不换行.行. 2) 左大括号后换行. 3) 右大括号前换行 ...

  6. 谷歌浏览器打开不了Axure生成的html文件

    1.首先要进行翻墙.https://www.google.com 搜索Axure chrome软件 2. 3.安装axure插件即可. 4.管理扩展程序,允许访问文件网址.

  7. Mac 上 brew 安装Tomcat

    首先保证brew命令能够正常使用: 搜索tomcat是否存在:brew search tomcat 安装tomcat:brew install tomcat 检查是否安装成功:catalina -h ...

  8. webapi HttpGet标签

    该标签可以指定路由如HttpGet["Test"],以前用的很顺,后来加了Area后,按照area/controller/Test的路径去访问报404,原因是HTTPGet指定路由 ...

  9. ID 迭代加深搜索 模板 埃及分数

    #include <bits/stdc++.h> using namespace std; #define LL long long int Maxd; LL Ans[10], now[1 ...

  10. 删除ubuntu旧内核的方法

    https://www.jianshu.com/p/75edb9a5fbab 磁盘满了 需要清理系统盘 1,先用uname -a 查看当前内核版本: uname -a Linux 10-9-37-13 ...