商用版Jenkins(CloudBee)提供HA插件,开源版本可以借助etcd服务发现+心跳脚本+sync的方式实现高可用.

前言 这篇写好一段时间了,一直也没发布上来,今天稍微整理下了交下作业,部分内容偷懒引用了一些别人的内容.使用Jenkins做持续集成/持续交付,当业务达到一定规模的时候,Jenkins本身就很容易成为整条流水线的瓶颈,各个业务端都依靠Jenkins,部署Jenkins服务时如何保障服务的高可用变得尤为重要.以微医为例,目前Jenkins的业务承载量:>1,000 Build Jobs,>5,000 Buils/Day,光依靠单master已经无法承载高并发的性能压力,瓶颈来自多方面,不仅仅是J

K8S集群Master高可用实践    https://blog.51cto.com/ylw6006/2164981 本文将在前文基础上介绍k8s集群的高可用实践,一般来讲,k8s集群高可用主要包含以下几个内容:1.etcd集群高可用2.集群dns服务高可用3.kube-apiserver.kube-controller-manager.kube-scheduler等master组件的高可用 其中etcd实现的办法较为容易,具体实现办法可参考前文:https://blog.51cto.com/y

关于Kubernetes Master高可用的一些策略 Kubernetes高可用也许是完成了初步的技术评估,打算将生产环境迁移进Kubernetes集群之前普遍面临的问题. 为了减少因为服务器当机引起的业务中断,生产环境中的业务系统往往已经做好了高可用,而当引入Kubernetes这一套新的集群管理系统之后, 服务器不再是单一的个体,位于中央位置的Kubernetes Master一旦中断服务,将导致所有Node节点均不可控,有可能造成严重的事故. 总体来讲这是一个被多次讨论,但暂时没有形成统

Master高可用安装 VIP负载均衡可以使用haproxy+keepalive实现,云上用户可以使用对应的ULB实现 准备kubeadm-init.yaml文件 apiVersion: kubeadm.k8s.io/v1beta2 bootstrapTokens: - groups: - system:bootstrappers:kubeadm:default-node-token token: k60p22.go0fadibgqm2xcx8 ttl: 24h0m0s usages: - si

机器列表,配置域名解析 cat /etc/hosts192.168.200.210 k8s-master1192.168.200.211 k8s-master2192.168.200.212 k8s-node1192.168.200.213 k8s-node2192.168.200.214 k8s-master-vip环境版本 centos 7.1docker 19.03.4kubernetes 1.16.2前期准备 1.Linux查看版本当前操作系统内核信息 uname -a输出 Linux

HMaster没有单点问题,HBase中可以启动多个HMaster,通过Zookeeper的Master Election机制保证总有一个Master运行. 所以这里要配置HBase高可用的话,只需要启动两个HMaster,让Zookeeper自己去选择一个Master Acitve. HBase配置: 在$HBASE_HOME/conf目录下 1.hbase-site.xml  export HBASE_OPTS="$HBASE_OPTS -XX:+HeapDumpOnOutOfMemoryE

#地址见:https://github.com/SILLKY/kubernetes-pro/tree/master/Master-HA#包括其他一些文件,适当版本1.6.1#!/bin/bash host=master.k8s host1=master1.k8s host2=master2.k8s ip0=192.168.255.125 ip1=192.168.255.126 ip2=192.168.255.127 #etcd数据备份 kube::etcd_backup() { docker s

前面两篇文章已经配置好了etcd和flannel的网络,现在开始配置k8s master集群. etcd集群配置参考:二进制搭建kubernetes多master集群[一.使用TLS证书搭建etcd集群] flannel网络配置参考:二进制搭建kubernetes多master集群[二.配置flannel网络] 本文在以下主机上操作部署k8s集群 k8s-master1:192.168.80.7 k8s-master2:192.168.80.8 k8s-master3:192.168.80.9

部署master节点 kubernetes master 节点包含的组件: kube-apiserver kube-scheduler kube-controller-manager 本文档介绍部署一个三节点高可用 master 集群的步骤,分别命名为k8s-host1.k8s-host2.k8s-host3: k8s-host1:172.16.120.154 k8s-host2:172.16.120.155 k8s-host3:172.16.120.156 安装docker 在每台主机安装do

环境: 192.168.30.20 VIP(虚拟) 192.168.30.21 master1 192.168.30.22 master2 192.168.30.23 node1 192.168.30.24 node2 192.168.30.25 k8s-LB1 (master) 192.168.30.26 k8s-LB2 (backup) 关闭swap   swapoff -a 临时     永久 注释:vim /etc/fstab 关闭防火墙和selinux 关闭防火墙: systemctl

涉及到的内容 LVS HAProxy Harbor etcd Kubernetes (Master Worker) 整体拓补图 以上是最小生产可用的整体拓补图(相关节点根据需要进行增加,但不能减少) 按功能组划分 SLB LVS HAProxy etcd K8S Node (Master / Worker) SLB LVS .HAProxy 被规划为基础层,主要提供了一个高可用的7层负载均衡器. 由LVS keepalived 提供一个高可用的VIP(虚拟IP). 这个VIP DR模式转发到后端

用途 对MySQL主从复制集群的Master的健康监控. 当Master宕机后把写VIP迁移到新Master. 重新配置集群中的其他Slave从新Master同步 MMM架构 主服务器发生故障时, 1.主备服务器切换为新的主服务器: (1)主备服务器设置read_only=off. (2)主备服务器迁移写VIP到自己. 2.从服务器切换指向新的主服务器: (1)完成原主服务器上已复制日志的恢复. (2)使用Change Master to命令连接指向新的主服务器. MMM架构优点 提供了读写VI

1. 获取spark下载链接 登录官网:http://spark.apache.org/downloads.html 选择要下载的版本 2. 执行命令下载并安装 cd /usr/local/src/ wget http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.4/spark-2.4.4-bin-hadoop2.7.tgz -bin-hadoop2..tgz -bin-hadoop2. /usr/local/spark cd /u

一.前置知识点 1.1 生产环境可部署Kubernetes集群的两种方式 目前生产部署Kubernetes集群主要有两种方式: kubeadm Kubeadm是一个K8s部署工具,提供kubeadm init和kubeadm join,用于快速部署Kubernetes集群. 官方地址:https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/ 二进制包 从github下载发行版的二进制包,手动部署每个组件,组成Kuberne

七.高可用架构(扩容多Master架构) Kubernetes作为容器集群系统,通过健康检查+重启策略实现了Pod故障自我修复能力,通过调度算法实现将Pod分布式部署,并保持预期副本数,根据Node失效状态自动在其他Node拉起Pod,实现了应用层的高可用性. 针对Kubernetes集群,高可用性还应包含以下两个层面的考虑:Etcd数据库的高可用性和Kubernetes Master组件的高可用性. 而Etcd我们已经采用3个节点组建集群实现高可用,本节将对Master节点高可用进行说明和实施

kubeadm介绍 kubeadm概述 Kubeadm 是一个工具,它提供了 kubeadm init 以及 kubeadm join 这两个命令作为快速创建 kubernetes 集群的最佳实践. kubeadm 通过执行必要的操作来启动和运行一个最小可用的集群.kubeadm 只关心启动集群,而不关心其他工作,如部署前的节点准备工作.安装各种Kubernetes Dashboard.监控解决方案以及特定云提供商的插件,这些都不属于 kubeadm 关注范围. kubeadm功能 kubead

虚拟机选择 Win10 Hyper-V 总体架构 三个master,三个node master的组件 etcd kube-apiserver kube-controller-manager kube-scheduler kubelet kube-proxy docker nginx node组件 kubelet kube-proxy docker nginx 环境准备 在所有节点操作 所有主机统一hosts cat /etc/hosts 127.0.0.1 apiserver.k8s.local

1 概述 1.1 MHA 简介 MHA - Master High Availability 是由 Perl 实现的一款高可用程序,出现故障时,MHA 以最小的停机时间(通常10-30秒)执行 master 的故障转移以及 slave 的升级.MHA 可防止复制一致性问题,并且易于安装,不需要改变现有部署. MHA 由MHA manager和MHA node组成, MHA manager是一个监控管理程序,用于监控MySQL master状态; MHA node是具有故障转移的工具脚本,如解析

关于 kubernetes master 多节点以及高可用,网上的方法多采取 Active-Standby 方式,即: 通过 pacemaker 等软件使得某种 master 服务(apiserver,scheduler,controller-manager)同一时间只运行一个实例.具体来说,如果有多台master node,上面都安装了scheduler,controller-manager, apiserver: 对于schduler服务,同一时间只在一台master 节点上运行, 对于co