这个问题,困绕了团队一段时间, 因为暂时没有用到master的外网网络, 没有引起重视,但总归要解决. 上周五,刚好有点小空,就深入调查了一下. 最后,定位到了问题点:k8s master节点的flannel, 网络连接比node节点要多一个数量及, 消耗的内存比普通节点要高, 当超过flannel yaml文件中定位的资源配额时, 就有可能发生重启. 之前的限额cpu和内存为100m, 50Mi. 改成如下之后,搞定问题.当然,还要持续观察. "resources": { "

非常抱歉,今天下午14:20-14:55期间,由于同一个负载均衡中的2台服务器都出现CPU 100%问题,造成博客后台无法正常访问,由此给您带来了很大很大的麻烦,请您谅解. 博客后台是CPU消耗很低的应用,这2台服务器通常CPU占用在5%左右,之前从来没有出现CPU 100%的问题(所以连云监控都没添加CPU监控报警).这次问题很突然,我们发现问题后,远程连接不上服务器,只能重启,重启后立马恢复正常. 对于问题的具体原因,目前还没找到.我们正在进一步排查,也反馈给了阿里云,阿里云也在排查.

情况详细描述; k8s集群,一台master,两台worker 在master节点上部署一个单节点的nacos,导致master节点状态不在线(不论是否修改nacos的默认端口号都会导致master节点不在线). 但是在worker节点上就可以. 报错信息如下: Message from syslogd@localhost at Jun 2 11:08:51 ... haproxy[1127]: proxy kube-master has no server available! Message

本次将记录[利用etcd选主sdk实践master/slave高可用], 并利用etcdctl原生脚本验证选主sdk的工作原理. master/slave高可用集群 本文目标 在异地多机房部署节点,slave作为备用实例启动,但不接受业务流量, 监测到master宕机,slave节点自动提升为master并接管业务流量. 基本思路 各节点向etcd注册带租约的节点信息, 并各自维持心跳保活,选主sdk根据目前存活的.最早创建的节点信息键值对 来判断leader, 并通过watch机制通知业务代码

写在前面 最近在研究K8S,今天就输出部分研究成果吧,后续也会持续更新. 集群规划 IP 主机名 节点 操作系统版本 192.168.175.101 binghe101 Master CentOS 8.0.1905 192.168.175.102 binghe102 Worker CentOS 8.0.1905 192.168.175.103 binghe103 Worker CentOS 8.0.1905 基础配置 在三台服务器上的/etc/hosts文件中添加如下配置项. 192.168.1

Kubernetes容器集群中的日志系统集成实践 Kubernetes是原生的容器编排管理系统,对于负载均衡.服务发现.高可用.滚动升级.自动伸缩等容器云平台的功能要求有原生支持.今天我分享一下我们在Kubernetes集群中日志管理的实践方案.在这个方案中,除了Docker和Kubernetes,主要还涉及的技术包括:Fluentd.Elasticsearch.Kibana和Swift. Fig00-Kubernetes日志系统中涉及的技术 评估容器云平台日志系统的标准: 易扩展:能够支撑集群

前面我们二进制部署K8S集群时,三台master节点仅仅作为集群管理节点,所以master节点上中并未部署docker.kubelet.kube-proxy等服务.后来我在部署mertics-server.istio组件服务时,发现无法正常运行,后来尝试把master节点也加入集群进行调度,这些组件才能够正常部署,并可以正确获取集群资源.所以本篇文章主要介绍如何在已经部署好集群的master节点部署docker.kubelet.kube-proxy等服务. 注意:本篇文章操作是基于我之前部署集群

部署环境: master.node:centos7虚拟机 网络使用本地网卡共享到VMnet1(仅主机),虚拟机使用VMnet1. 准备文件: CentOS-7-x86_64-Minimal-1810.iso kubeadm-basic.images.tar.gz 网卡配置: VMnet1配置: vmware网络配置: 关闭DHCP,网段改为192.168.66.0 master.node虚拟机配置: 安装过程略过,最小化安装,全部默认,设置root密码. master01网络配置 node01

今天凌晨我们用阿里云服务器自建的 kubernetes 集群出现突发异常情况,博客站点(blog-web)与博客 web api(blog-api)的 pod 无法正常启动(CrashLoopBackOff). kubectl get pods -l app=blog-web NAME READY STATUS RESTARTS AGE blog-web-79d579cd94-5t8w4 0/1 CrashLoopBackOff 10 34h blog-web-79d579cd94-gjwct

设备:2台路由器,网线若干 首先,设置好一个路由器,让它可以拨号上网.网关设置为192.168.1.1,子网掩码为255.255.255.0,dns为61.177.7.1 然后,设置第二台路由器.设置为静态ip192.168.1.2 ,lan口设置为192.168.2.1,网关设置为192.168.1.1,子网掩码为255.255.255.0,dns为61.177.7.1 最后,一根网线从第一台路由器的lan口,插入第二台路由器的wan口. 连接进入第一个网络的ip应该是192.168.1.X,

注明:原文来自 Mike Cohn的邮件推送,我已将原文贴在最后供参考,翻译的目的是为了锻炼自己的能力和理解水平,如有版权侵犯,请告之. Scrum Master 和 产品经理应该是领域专家吗?让我们来看看他们各自的角色. 产品经理通常被期待为开发团队安排工作,并为他们的工作排优先级.为了让团队更高效,产品经理需要理解用户,他们的目标,竞争格局,行业趋势以及他们之间的影响. 那就意味着产品经理应该是在团队开发的这个产品领域里面的专家.假设一个伟大的产品经理正在为金融行业开发产品,然后我们让他去为

一次在k8s集群中创建实例发现etcd集群状态出现连接失败状况,导致创建实例失败.于是排查了一下原因. 问题来源 下面是etcd集群健康状态: [root@docker01 ~]# cd /opt/kubernetes/ssl/ [root@docker01 ssl]# /opt/kubernetes/bin/etcdctl \ > --ca-file=ca.pem --cert-file=server.pem --key-file=server-key.pem \ > --endpoints

XenServer pool 移除server 设置master 这分为Pool Master是正常还是异常2种情况: 正常情况下可能要对Pool Master做一些停机维护,比如换内存条啥的,此时在Pool Master正常工作的情况下执行以下命令: [root@xenserver02 ~]#xe pool-ha-disable [root@xenserver02 ~]# xe host-list  uuid ( RO)                : 8723de1d-76ad-445c-

apiserver的部署 api-server的部署脚本 [root@mast-1 k8s]# cat apiserver.sh #!/bin/bash MASTER_ADDRESS=$1 主节点IP ETCD_SERVERS=$2 etcd地址 cat <<EOF >/opt/kubernetes/cfg/kube-apiserver KUBE_APISERVER_OPTS="--logtostderr=true \\ --v=4 \\ --etcd-servers=${ET

#部署node节点 ,将kubelet-bootstrap用户绑定到系统集群角色中(颁发证书的最小权限) kubectl create clusterrolebinding kubelet-bootstrap --clusterrole=system:node-bootstrapper --user=kubelet-bootstrap ,master节点执行 root@k8s-master: ~/k8s :: $ cat kubeconfig.sh # 创建 TLS Bootstrapping

试了不亚于二十种方法,绝望的时候,回到了家. 想手工安装,又遇到flannel在手工下,会更改docker启动项的不完善. cni,或许就是k8s的大方向吧. 最后,抱着试一试的态度,将flannel升到了v0.8.0 XXXXXXXXXXXXXXXX... 好了,,终于可以睡好觉了.. XXXXXXXXXXXXXXXX... 说明一下情况,我的k8s是基于1.7.0版本的.. 当然,如果kubeadm,最好reset之后,还要清干净.[应该不会是这个问题吧~~~~~~~~~:(] 然后,,da

前面两篇文章已经配置好了etcd和flannel的网络,现在开始配置k8s master集群. etcd集群配置参考:二进制搭建kubernetes多master集群[一.使用TLS证书搭建etcd集群] flannel网络配置参考:二进制搭建kubernetes多master集群[二.配置flannel网络] 本文在以下主机上操作部署k8s集群 k8s-master1:192.168.80.7 k8s-master2:192.168.80.8 k8s-master3:192.168.80.9

K8s多节点部署+负载均衡+keepalived --囊萤映雪 1.多节点master2 部署 2.负载均衡部署+keepalived 1.多节点master2部署: #从master01节点上拷贝证书文件.各master组件的配置文件和服务管理文件到master02节点 scp -r /opt/etcd/ 20.0.0.20:/opt/ scp -r /opt/kubernetes/ 20.0.0.20:/opt/ scp /usr/lib/systemd/system/{kube-apise

一.k8s的二进制部署 1.环境准备: IP                               节点 172.16.10.1         k8s-master01 172.16.10.3         k8s-master02 172.16.10.10       k8s-node01 172.16.10.20       k8s-node02 172.16.10.11           master 172.16.10.12          backup 所有节点关闭防火墙

之前已经详细介绍了Mysql基于GTID主从复制的概念,原理和配置,下面整体记录下MySQL5.7基于GTID主从复制+并行复制+增强半同步复制+读写分离环境的实现过程,以便加深对mysql新特性GTID复制的理解和实际业务场景中部署应用. 一.实验环境 [root@mysql-master ~]# cat /etc/redhat-release CentOS Linux release 7.5.1804 (Core) 为了方便实验,关闭所有节点的防火墙 [root@mysql-master ~

keepalived: HTTP_GET        //使用keepalived获取后端real server健康状态检测 SSL_GET(https)  //这里以为这后端使用的是http协议 TCP_CHECK 下面演示基于TCP_CHECK做检测 # man keepalived    //查看TCP_CHECK配置段 # TCP healthchecker TCP_CHECK { # ======== generic connection options # Optional IP