《k8s-1.13版本源码分析》- 调度器设计
本文原始地址:https://farmer-hutao.github.io/k8s-source-code-analysis/core/scheduler/desigh.html
github项目地址:https://github.com/farmer-hutao/k8s-source-code-analysis
1. 概述
我们先整体了解一下Scheduler的设计原理,然后再看这些过程是如何用代码实现的。关于调度器的设计在官网有介绍,我下面结合官网给的说明,简化掉不影响理解的复杂部分,和大家介绍一下Scheduler的工作过程。
英文还可以的小伙伴们可以看一下官网的介绍先:scheduler.md
官网有一段描述如下:
The Kubernetes scheduler runs as a process alongside the other master components such as the API server. Its interface to the API server is to watch for Pods with an empty PodSpec.NodeName, and for each Pod, it posts a binding indicating where the Pod should be scheduled.
简单翻译一下,也就是说Scheduler是一个跑在其他组件边上的独立程序,对接Apiserver寻找PodSpec.NodeName为空的Pod,然后用post的方式发送一个api调用,指定这些pod应该跑在哪个node上。
通俗地说,就是scheduler是相对独立的一个组件,主动访问api server,寻找等待调度的pod,然后通过一系列调度算法寻找哪个node适合跑这个pod,然后将这个pod和node的绑定关系发给api server,从而完成了调度的过程。
2. 源码层级
从高level看,scheduler的源码可以分为3层:
cmd/kube-scheduler/scheduler.go
: main() 函数入口位置,在scheduler过程开始被调用前的一系列初始化工作。pkg/scheduler/scheduler.go
: 调度框架的整体逻辑,在具体的调度算法之上的框架性的代码。pkg/scheduler/core/generic_scheduler.go
: 具体的计算哪些node适合跑哪些pod的算法。
3. 调度算法
调度过程整体如下图所示(官文里这个图没对齐,逼疯强迫症了!!!当然由于中文显示的问题,下图有中文的行也没法完全对齐,这个地方让我很抓狂。。。):
对于一个给定的pod
+---------------------------------------------+
| 可用于调度的nodes如下: |
| +--------+ +--------+ +--------+ |
| | node 1 | | node 2 | | node 3 | |
| +--------+ +--------+ +--------+ |
+----------------------+----------------------+
|
v
+----------------------+----------------------+
初步过滤: node 3 资源不足
+----------------------+----------------------+
|
v
+----------------------+----------------------+
| 剩下的nodes: |
| +--------+ +--------+ |
| | node 1 | | node 2 | |
| +--------+ +--------+ |
+----------------------+----------------------+
|
v
+----------------------+----------------------+
优先级算法计算结果: node 1: 分数=2
node 2: 分数=5
+----------------------+----------------------+
|
v
选择分值最高的节点 = node 2
Scheduler为每个pod寻找一个适合其运行的node,大体分成三步:
- 通过一系列的“predicates”过滤掉不能运行pod的node,比如一个pod需要500M的内存,有些节点剩余内存只有100M了,就会被剔除;
- 通过一系列的“priority functions”给剩下的node排一个等级,分出三六九等,寻找能够运行pod的若干node中最合适的一个node;
- 得分最高的一个node,也就是被“priority functions”选中的node胜出了,获得了跑对应pod的资格。
4. Predicates 和 priorities 策略
Predicates是一些用于过滤不合适node的策略 . Priorities是一些用于区分node排名(分数)的策略(作用在通过predicates过滤的node上). K8s默认内建了一些predicates 和 priorities 策略,官方文档介绍地址: scheduler_algorithm.md. Predicates 和 priorities 的代码分别在:
- pkg/scheduler/algorithm/predicates/predicates.go
- pkg/scheduler/algorithm/priorities.
5. Scheduler 的拓展性
我们可以选择哪些预置策略生效,也可以添加自己的策略。几个月前我司有个奇葩调度需求,当时我就是通过增加一个priorities策略,然后重新编译了一个Scheduler来实现的需求。
6. 调度策略的修改
默认调度策略是通过defaultPredicates()
和 defaultPriorities()函数
定义的,源码在 pkg/scheduler/algorithmprovider/defaults/defaults.go
,我们可以通过命令行flag --policy-config-file
来覆盖默认行为。所以我们可以通过配置文件的方式或者修改pkg/scheduler/algorithm/predicates/predicates.go
/pkg/scheduler/algorithm/priorities
,然后注册到defaultPredicates()
/defaultPriorities()
来实现。配置文件类似下面这个样子:
{
"kind" : "Policy",
"apiVersion" : "v1",
"predicates" : [
{"name" : "PodFitsHostPorts"},
{"name" : "PodFitsResources"},
{"name" : "NoDiskConflict"},
{"name" : "NoVolumeZoneConflict"},
{"name" : "MatchNodeSelector"},
{"name" : "HostName"}
],
"priorities" : [
{"name" : "LeastRequestedPriority", "weight" : 1},
{"name" : "BalancedResourceAllocation", "weight" : 1},
{"name" : "ServiceSpreadingPriority", "weight" : 1},
{"name" : "EqualPriority", "weight" : 1}
],
"hardPodAffinitySymmetricWeight" : 10,
"alwaysCheckAllPredicates" : false
}
ok,看到这里大伙应该在流程上对Scheduler的原理有个感性的认识了,下一节我们就开始看一下Scheduler源码是怎么写的。
《k8s-1.13版本源码分析》- 调度器设计的更多相关文章
- 《k8s-1.13版本源码分析》-调度器初始化
源码分析系列文章已经开源到github,地址如下: github:https://github.com/farmer-hutao/k8s-source-code-analysis gitbook:ht ...
- 《k8s-1.13版本源码分析》-调度预选
本文大纲 预选流程 predicate的并发 一个node的predicate predicates的顺序 单个predicate执行过程 具体的predicate函数 本系列文章已经开源到githu ...
- 《k8s-1.13版本源码分析》-抢占调度
源码分析系列文章已经开源到github,地址如下: github:https://github.com/farmer-hutao/k8s-source-code-analysis gitbook:ht ...
- 《k8s-1.13版本源码分析》-调度器框架
本文原始地址(gitbook格式):https://farmer-hutao.github.io/k8s-source-code-analysis/core/scheduler/scheduler-f ...
- 《k8s-1.13版本源码分析》-调度优选
源码分析系列文章已经开源到github,地址如下: github:https://github.com/farmer-hutao/k8s-source-code-analysis gitbook:ht ...
- 《k8s-1.13版本源码分析》-源码调试
源码分析系列文章已经开源到github,地址如下: github:https://github.com/farmer-hutao/k8s-source-code-analysis gitbook:ht ...
- 《k8s-1.13版本源码分析》- Scheduler启动前逻辑
本文原始地址(gitbook格式):https://farmer-hutao.github.io/k8s-source-code-analysis/core/scheduler/before-sche ...
- 《k8s-1.13版本源码分析》- Informer 机制
源码分析系列文章已经开源到github,地址如下: github:https://github.com/farmer-hutao/k8s-source-code-analysis gitbook:ht ...
- 《k8s-1.13版本源码分析》上github
要干嘛? 猪年新气象,今年开始,kubernetes源码分析系列文章主战场从微信公众号转至github,完全使用Markdown重写,使用gitbook生成web页面,支持在线阅读,导出pdf等各种玩 ...
随机推荐
- seek()对中文偏移测试
当前目录下创建"中文测试.txt"文件,写入: 我是大好人aaa我是大坏人bbb f = open('中文测试.txt', 'r+', encoding='utf-8') # f. ...
- SpringCloud实战-Hystrix请求熔断与服务降级
我们知道大量请求会阻塞在Tomcat服务器上,影响其它整个服务.在复杂的分布式架构的应用程序有很多的依赖,都会不可避免地在某些时候失败.高并发的依赖失败时如果没有隔离措施,当前应用服务就有被拖垮的风险 ...
- 单片机开发——02工欲善其事必先利其器(Proteus软件安装破解)
在单片机开发工程中,博主经常通过模拟软件Proteus进行模拟仿真,将编译生成的"HEX"文件下载在单片机芯片中,然后进行后期的debug工作,当模拟仿真完成之后,进行硬件测试部分 ...
- java I/O流详解
概况 I/O流主要分为二大类别:字符流和字节流. 字节流(基本流) 1.字节输入流 类名:FileInputStream 特点:读(对文件进行读取操作) 父类:InputStream ...
- 洛谷 P1450 解题报告
P1450.硬币购物 题目描述 硬币购物一共有\(4\)种硬币.面值分别为\(c1,c2,c3,c4\).某人去商店买东西,去了\(tot\)次.每次带\(d_i\)枚\(c_i\)硬币,买\(s_i ...
- python 关于操作文件的相关模块(os,sys,shutil,subprocess,configparser)
一:os模块 os模块提供了许多允许你程序与操作系统直接交互的功能 os.getcwd() 获取当前工作目录,即当前python脚本工作的目录路径 os.chdir("dirname&quo ...
- grub rescue 主引导修复
使用windows 和 ubuntu 双系统的人,很有可能碰到重装某一个系统,或者另外添加分区,导致系统重启出现 : GRUB loading error:unknow filesystem grub ...
- Myeclipse按包装SVN
最简单步骤:把features和plugins直接放到Myeclipse安装包的dropins中,从新启动eclipse即可 features和plugins下载地址:http://pan.baidu ...
- 简述spring的工作原理
建议不要硬着头皮看spring代码,本身的代码800多m,就是不上班开始看也不知道什么时候看完.如果想学学ioc,控制反转这些建议看看jodd项目,比较简练,但是我仍然不建议过多的看这些框架的代码,因 ...
- Struts2中的值栈
一 什么是值栈 值栈: struts2中提供的一种类似于域对象的工具, 用于struts2中的存值和取值. 每次访问Action的时候, 都会创建一个action对象, 而每个action对象中都存在 ...