欢迎访问我的GitHub

https://github.com/zq2599/blog_demos

内容:所有原创文章分类汇总及配套源码,涉及Java、Docker、Kubernetes、DevOPS等;

系列文章链接

  1. kubebuilder实战之一:准备工作
  2. kubebuilder实战之二:初次体验kubebuilder
  3. kubebuilder实战之三:基础知识速览
  4. kubebuilder实战之四:operator需求说明和设计
  5. kubebuilder实战之五:operator编码
  6. kubebuilder实战之六:构建部署运行
  7. kubebuilder实战之七:webhook
  8. kubebuilder实战之八:知识点小记

本篇概览

  • 作为《kubebuilder实战》系列的第四篇,经历了前面的充分准备,从本篇开始,咱们来开发一个有实际作用的operator,该operator名为elasticweb,既弹性web服务;
  • 这将是一次完整的operator开发实战,设计、编码、部署等环节都会参与到,与《kubebuilder实战之二:初次体验kubebuilder》的不同之处在于,elasticweb从CRD设计再到controller功能都有明确的业务含义,能执行业务逻辑,而《kubebuilder实战之二》仅仅是一次开发流程体验;
  • 为了做好这个operator,本篇不急于编码,而是认真的做好设计工作,咱们的operator有什么功能,解决了什么问题,有哪些核心内容,都将在本篇整理清楚,有了这样的准备,才能在下一章写出符合要求的代码;
  • 接下来咱们先聊一些背景知识,以便更好的进入正题;

需求背景

  • QPS:Queries-per-second,既每秒查询率,就是说服务器在一秒的时间内处理了多少个请求;
  • 背景:做过网站开发的同学对横向扩容应该都了解,简单的说,假设一个tomcat的QPS上限为500,如果外部访问的QPS达到了600,为了保障整个网站服务质量,必须再启动一个同样的tomcat来共同分摊请求,如下图所示(简单起见,假设咱们的后台服务是无状态的,也就是说不依赖宿主机的IP、本地磁盘之类):

  • 以上是横向扩容常规做法,在kubernetes环境,如果外部请求超过了单个pod的处理极限,我们可以增加pod数量来达到横向扩容的目的,如下图:

  • 以上就是背景信息,接下来咱们聊聊elasticweb这个operator的具体功能;

需求说明

  • 为了说清楚需求,这里虚构一个场景:小欣是个java开发者,就是下图这个妹子:

  • 现在小欣要将springboot应用部署到kubernetes上,她的现状和面临的问题如下:
  1. springboot应用已做成docker镜像;
  2. 通过压测得出单个pod的QPS为500;
  3. 估算得出上线后的总QPS会在800左右;
  4. 随着运营策略变化,QPS还会有调整;
  5. 总的来说,小欣手里只有三个数据:docker镜像、单个pod的QPS、总QPS,她对kubernetes不了解,需要有个方案来帮她将服务部署好,并且在运行期间能支撑外部的高并发访问;

以上就是小欣的需求了,咱们来小结一下:

  1. 咱们为小欣开发一个operator(名为elasticweb),对小欣来说,她只要将手里的三个参数(docker镜像、单个pod的QPS、总QPS)告诉elasticweb就完事儿了;
  2. elasticweb在kubernetes创建pod,至于pod数量当然是自动算出来的,要确保能满足QPS要求,以前面的情况为例,需要两个pod才能满足800的QPS;
  3. 单个pod的QPS和总QPS都随时可能变化,一旦有变,elasticweb也要自动调整pod数量,以确保服务质量;
  4. 为了确保服务可以被外部调用,咱们再顺便帮小欣创建好service(她对kubernetes了解不多,这事儿咱们就顺手做了吧);

自保声明

  • 看过上述需求后,聪明的您一定会对我投来鄙视的眼光,其实kubernetes早就有现成的QPS调节方案了,例如修改deployment的副本数、单个pod纵向扩容、autoscale等都可以,本次使用operator来实现仅仅是为了展示operator的开发过程,并不是说自定义operator是唯一的解决方案;

  • 所以,如果您觉得我这种用operator实现扩容的方式很low,请不要把我骂得太惨,我这也只是为了展示operator开发过程而已,况且咱这个operator也不是一无是处,用了这个operator,您就不用关注pod数量了,只要聚焦单实例QPS和总QPS即可,这两个参数更贴近业务;

  • 为了不把事情弄复杂,假设每个pod所需的CPU和内存是固定的,直接在operator代码中写死,其实您也可以自己改代码,改成可以在外部配置,就像镜像名称参数那样;

  • 把需求都交代清楚了,接下来进入设计环节,先把CRD设计出来,这可是核心的数据结构;

CRD设计之Spec部分

Spec是用来保存用户的期望值的,也就是小欣手里的三个参数(docker镜像、单个pod的QPS、总QPS),再加上端口号:

  1. image:业务服务对应的镜像
  2. port:service占用的宿主机端口,外部请求通过此端口访问pod的服务
  3. singlePodQPS:单个pod的QPS上限
  4. totalQPS:当前整个业务的总QPS
  • 对小欣来说,输入这四个参数就完事儿了;

CRD设计之Status部分

  • Status用来保存实际值,这里设计成只有一个字段realQPS,表示当前整个operator实际能支持的QPS,这样无论何时,只要小欣用kubectl describe命令就能知道当前系统实际上能支持多少QPS;

CRD源码

  • 把数据结构说明白的最好方法就是看代码:
package v1

import (
"fmt"
metav1 "k8s.io/apimachinery/pkg/apis/meta/v1"
"strconv"
) // 期望状态
type ElasticWebSpec struct {
// 业务服务对应的镜像,包括名称:tag
Image string `json:"image"`
// service占用的宿主机端口,外部请求通过此端口访问pod的服务
Port *int32 `json:"port"` // 单个pod的QPS上限
SinglePodQPS *int32 `json:"singlePodQPS"`
// 当前整个业务的总QPS
TotalQPS *int32 `json:"totalQPS"`
} // 实际状态,该数据结构中的值都是业务代码计算出来的
type ElasticWebStatus struct {
// 当前kubernetes中实际支持的总QPS
RealQPS *int32 `json:"realQPS"`
} // +kubebuilder:object:root=true // ElasticWeb is the Schema for the elasticwebs API
type ElasticWeb struct {
metav1.TypeMeta `json:",inline"`
metav1.ObjectMeta `json:"metadata,omitempty"` Spec ElasticWebSpec `json:"spec,omitempty"`
Status ElasticWebStatus `json:"status,omitempty"`
} func (in *ElasticWeb) String() string {
var realQPS string if nil == in.Status.RealQPS {
realQPS = "nil"
} else {
realQPS = strconv.Itoa(int(*(in.Status.RealQPS)))
} return fmt.Sprintf("Image [%s], Port [%d], SinglePodQPS [%d], TotalQPS [%d], RealQPS [%s]",
in.Spec.Image,
*(in.Spec.Port),
*(in.Spec.SinglePodQPS),
*(in.Spec.TotalQPS),
realQPS)
} // +kubebuilder:object:root=true // ElasticWebList contains a list of ElasticWeb
type ElasticWebList struct {
metav1.TypeMeta `json:",inline"`
metav1.ListMeta `json:"metadata,omitempty"`
Items []ElasticWeb `json:"items"`
} func init() {
SchemeBuilder.Register(&ElasticWeb{}, &ElasticWebList{})
}

业务逻辑设计

  • CRD的完成代表核心数据结构已经确定,接下来是业务逻辑的设计,主要是理清楚controller的Reconcile方法里面做些啥,其实核心逻辑还是非常简单的:算出需要多少个pod,然后通过更新deployment让pod数量达到要求,在此核心的基础上再把创建deployment和service、更新status这些琐碎的事情做好,就完事儿了;

  • 这里将整个业务逻辑的流程图给出来如下所示,用于指导开发:

  • 至此,咱们完成了整个elasticweb的需求和设计,聪明的您肯定已经胸有成竹,而且迫不及待的想启动开发了,好的,下一篇咱们正式开始编码!

参考资料

  • 您可能会奇怪,小欣对kubernetes不了解,怎么会知道docker镜像的制作,还有单个pod的QPS她是怎么测的呢?
  • 其实她是程序员欣宸的粉丝,已经阅读过以下博客:
  1. 《SpringBoot-2.3镜像方案为什么要做多个layer》
  2. 《体验SpringBoot(2.3)应用制作Docker镜像(官方方案)》
  3. 《详解SpringBoot(2.3)应用制作Docker镜像(官方方案)》
  4. 《Kubernetes下web服务的性能测试三部曲之一:准备工作》
  5. 《Kubernetes下web服务的性能测试三部曲之二:纵向扩容》
  6. 《Kubernetes下web服务的性能测试三部曲之三:横向扩容》

你不孤单,欣宸原创一路相伴

  1. Java系列
  2. Spring系列
  3. Docker系列
  4. kubernetes系列
  5. 数据库+中间件系列
  6. DevOps系列

欢迎关注公众号:程序员欣宸

微信搜索「程序员欣宸」,我是欣宸,期待与您一同畅游Java世界...

https://github.com/zq2599/blog_demos

kubebuilder实战之四:operator需求说明和设计的更多相关文章

  1. kubebuilder实战之五:operator编码

    欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,涉及Java.Docker.Kubernetes.DevOPS ...

  2. kubebuilder实战之一:准备工作kubebuilder实战之一:准备工作

    欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,涉及Java.Docker.Kubernetes.DevOPS ...

  3. kubebuilder实战之二:初次体验kubebuilder

    欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,涉及Java.Docker.Kubernetes.DevOPS ...

  4. kubebuilder实战之三:基础知识速览

    欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,涉及Java.Docker.Kubernetes.DevOPS ...

  5. kubebuilder实战之六:构建部署运行

    欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,涉及Java.Docker.Kubernetes.DevOPS ...

  6. kubebuilder实战之八:知识点小记

    欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,涉及Java.Docker.Kubernetes.DevOPS ...

  7. 仿联想商城laravel实战---1、仿联想商城需求和数据库设计(lavarel如何搭建项目)

    仿联想商城laravel实战---1.仿联想商城需求和数据库设计(lavarel如何搭建项目) 一.总结 一句话总结: composer引入lavarel.配置域名.配置apache 1.项目名 le ...

  8. kubebuilder实战之七:webhook

    欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容:所有原创文章分类汇总及配套源码,涉及Java.Docker.Kubernetes.DevOPS ...

  9. [原创].NET 分布式架构开发实战之四 构建从理想和实现之间的桥梁(前篇)

    原文:[原创].NET 分布式架构开发实战之四 构建从理想和实现之间的桥梁(前篇) .NET 分布式架构开发实战之四 构建从理想和实现之间的桥梁(前篇) 前言:上一篇文章讲述了一些实现DAL的理论,本 ...

随机推荐

  1. CentOS 8 已经不再支持,Rocky Linux 才是未来

    2020年12月8日,红帽公司宣布,他们将停止开发CentOS,而在此之前CentOS一直作为红帽企业Linux的生产型分支及下游版本,此后他们将转而开发该操作系统的一个更新的上游开发变种,即 &qu ...

  2. C语言:模拟密码输入显示星号

    一个安全的程序在用户输入密码时不应该显示密码本身,而应该回显星号或者点号,例如······或******,这在网页.PC软件.ATM机.POS机上经常看到.但是C语言没有提供类似的功能,控制台上只能原 ...

  3. Java 将Word转为Tiff

    本文以Java代码示例展示如何将Word文档转换为Tiff格式.代码方法比较简单,加载Word文档,并通过saveToTiff(tiffFilename)方法直接保存为tiff格式即可. 1.Java ...

  4. Oracle19c 如何用rman duplicate 克隆一个数据库。(Backup-Based, no achive log)

    Oracle19c 如何用rman duplicate 克隆一个数据库. 首先克隆有两种方法,一种是Backup-Based,一种是Active方式.官网文档链接https://docs.oracle ...

  5. java内存模型——重排序

    线程安全问题概括来说表现为三个方面:原子性,可见性和有序性. 在多核处理器的环境下:编译器可能改变两个操作的先后顺序:处理器可能不是完全依照程序的目标代码所指定的顺序执行命令:一个处理器执行的多个操作 ...

  6. 前端构建第1篇之---引入elementUI

    张艳涛 写于2021-1-19 HOW:如何引入elementui? 在项目根目录package.json引入,在重新执行npm install "dependencies": { ...

  7. element UI rules prop对应关系

  8. vue源码阅读笔记

    1.yarn test [文件名]  -t [name-of-spec(describe or test )] 直接运行yarn test,会测试所有测试文件:yarn test 后面只跟文件名的话会 ...

  9. 正则:支持6-20位数字、字母和特殊字符(仅限!@#$%^&*())

    checkpwd(newpsd); function checkpwd() { var newpsd = $(":input[name='newpsd']").val(); var ...

  10. java小程序之随机任务发布器

    需求 自定义任务 随机定时 随机排序 集合输出 搭建 简单项目,所以我使用java 的maven来搭建一个控制台程序,并且使用excel来记录任务 创建任务类(sub) package com.mic ...