环境概况 自建k8s集群,主机操作系统ubuntu16.04,k8s版本v1.14, 集群网络方案calico-3.3.6. worker节点数50+,均为GPU物理服务器,服务器类型异构,如Nvidia P4/T4/V100等. 异常现象 故障起因是k8s集群新增加了一台worker节点机器server-n1,该机器上带有8张网卡eth0~eth7, 其中eth0~eth3没有配置ip地址,eth4~eth7配置了ip地址,默认使用eth4网卡. 调度到server-n1节点上的pod,无法访

文章目录 排查过程 本地宿主机网络检查 pod网络检查 tcpdump检查网络 检查flannel网卡 检查宿主机网卡 iptables检查 解决方法 测试环境服务出现问题,服务一直报错认证超时,检查pod,发现如下情况: 异常节点的pod可以ping通本地宿主机的ip,但是ping本地宿主机的网关没有回显(通过tcpdump发现的) 异常节点的pod可以ping通正常节点的pod 异常节点的pod去ping正常节点的宿主机ip,正常节点使用tcpdump抓包,发现返回是正常,但是pod内部还是

1.需求情景:机房网络调整,突然要回收我k8s集群上一台node节点机器的ip,并调予新的ip到这台机器上,所以有了k8s集群节点更换ip一说:同时,k8s集群节点更换ip也相当于k8s集群添加新节点,他们的操作流程是一样的. 2.机器更换ip后发生的现象: (1)查看节点状态,kubectl get node ,还是原来的节点名称和Ready状态,但事实上它已经不工作了: (2)查看集群pods,运行在已更换ip node节点的pod已处于Terminating,已无法正常工作 3.修复nod

目录 1. k8s核心资源之Pod 1.1 什么是Pod? 1.2 Pod如何管理多个容器? 1.3 Pod网络 1.4 Pod存储 1.5 Pod工作方式 1.5.1 自主式Pod 1.5.2 控制器管理的Pod 1.6 创建Pod流程 2.如何编写资源清单YAML文件? 1. k8s核心资源之Pod 1.1 什么是Pod? 官方文档:https://kubernetes.io/docs/concepts/workloads/pods/ Pod是Kubernetes中的最小调度单元,k8s是通

一.通过Service访问Pod 每个Pod都有自己的IP地址,当Controller用新的Pod替换发生故障的Pod时,新Pod会分配到新的IP地址,例如:有一组Pod对外提供HTTP服务,它们的IP很可能发生变化,那么客户端如何找到并访问这个服务呢,Service由此而生.Service从逻辑上代表了一组Pod,具体是哪些则由label来挑选,Service有自己的IP,并且这个IP是不变的,客户端只需要访问Service IP,无论后端Pod如何变化,对客户端访问不会有任何影响,k8s负责

目录: Pod的调度 Pod的扩容和缩容 Pod的滚动升级 一.Pod的调度 Pod只是容器的载体,通常需要通过RC.Deployment.DaemonSet.Job等对象来完成Pod的调度和自动控制功能. 1.RC.Deployment全自动调度 RC的主要功能之一就是自动部署一个容器应用的多份副本,以及持续监控副本的数量,在集群内始终维持用户指定的副本数量. 2.NodeSelector:定向调度 Master上的Schedule负责实现Pod的调度,但无法知道Pod会调度到哪个节点上.可以

k8s集群Job Pod 容器可能因为多种原因失效,想要更加稳定的使用Job负载,有哪些需要注意的地方? 面试官:"计数性Job默认完成模式是什么?Indexed模式如何发布自定义索引呢?" 面试官:"k8s的Job Pod 中的容器可能因为多种不同原因失效,想要更加稳定的使用Job负载,有哪些可以注意的地方?" 面试官:"为什么k8s建议在调试 Job 时将 `restartPolicy` 设置为 "Never"?" 面试官

0.前言 参考文档:https://github.com/containernetworking/cni Pod网络插件,为了实现Pod网络而需要的插件.组件.由于Kubernetes通过开放的CNI接口来允许插件的接入,所以它又称之为CNI网络插件. 为了解决跨主机容器间通信问题,市面上存在很多解决方案,为了兼容和规范这些解决方案,Kubernetes仅设计了网络模型,却将Pod网络的实现交给了CNI网络插件,并允许网络插件通过标准的CNI(Container Network Interfac

k8s运维之pod排错 K8S是一个开源的,用于管理云平台中多个主机上的容器化应用,Kubernetes的目标是让部署容器化变得简单并且高效 K8S的核心优势: 1,基于yaml文件实现容器的自动创建.删除 2,更快速实现业务的弹性横向扩容 3,动态发现新扩容的容器并自动对用户提供访问 4,更简单.更快速的实现业务代码升级和回滚一般来说pod处于异常状态,都可以执行以下命令查看pod状态kubectl get pod <pod-name> -o yaml   #查看pod配置kubcctl g

点击下载<不一样的 双11 技术:阿里巴巴经济体云原生实践> 本文节选自<不一样的 双11 技术:阿里巴巴经济体云原生实践>一书,点击上方图片即可下载! 作者 | 张振(守辰)阿里云云原生应用平台高级技术专家 导读:2019 年阿里巴巴核心系统 100% 以云原生方式上云,完美地支撑了 双11 大促.这次上云的姿势很不一般,不仅是拥抱了 Kubernetes,而且还以拥抱 Kubernetes 为契机进行了一系列对运维体系的深度改造. Kubernetes 作为云原生的最佳实践,已

Kubernetes K8S之固定节点nodeName和nodeSelector调度详解与示例 主机配置规划 服务器名称(hostname) 系统版本 配置 内网IP 外网IP(模拟) k8s-master CentOS7.7 2C/4G/20G 172.16.1.110 10.0.0.110 k8s-node01 CentOS7.7 2C/4G/20G 172.16.1.111 10.0.0.111 k8s-node02 CentOS7.7 2C/4G/20G 172.16.1.112 10.

需求场景:原有的pxc环境数据量已经比较大,新买的服务器要加入此集群中,如何让其用IST的方式传输,而不是SST. PXC传输数据有两种方式: IST: Incremental State Transfer 增量同步    SST:State Snapshot Transfer 全量同步 IST 发生的条件:This is done using caching mechanism on nodes (即只发生在之前集群里的节点数据还有在缓存中) 判断方法: mysql> show global

在一套两节点的rac上增加一个新的节点,详细的操作记录如下:   已有节点RAC1,RAC2 一,环境及版本: 公司环境:Vmware Esxi 5.5  操作系统:Redhat 5.8 x86_64 数据库版本:oracle 11g release 2 11.2.0.1   二,安装操作系统 1.准备一套全新的操作系统   三,挂载共享存储   四,安装前准备   1.一些参数文件的配置 /etc/hosts   --- 三个节点一致 # Do not remove the following

使用percona xtradb cluster的IST(Incremental State Transfer)特性添加新节点,防止新节点加入时使用SST(State SnapShop Transfer)传输全量数据   环境:两台虚拟机 192.168.0.48 node1 192.168.0.49 新加入节点 注意事项:测试环境建议关掉iptables,selinux     1.两个节点都先下载并安装好xtrabackup shell > rpm -ivh http://dl.fedora

1.在新节点中进行操作系统配置,包括主机名.网络.防火墙和无密码登录等. 2.在所有节点/etc/host文件中添加新节点 3.把namenode的有关配置文件复制到该节点 4.修改master节点slaves文件,增加改节点 5.单独启动该节点上的datanode和nodemanager $hadoop-daemon.sh start datanode(在新增加节点启动 datanode) $yarn-daemon.sh start nodemanager 运行start-balancer.s

hadoop集群支持动态扩展,不需要停止原有集群节点就可以实现新节点的加入. 我是使用docker搭建的进群环境,制作了镜像文件,这里以我的工作基础为例子介绍集群中添加集群的方法 一.制作一个新节点 1.为新节点搭建hadoop环境 如果是一般情况下,将一个新物理机添加到集群中,参照集群中其他节点,在新机器上安装与集群中其他节点相同版本的jdk.hadoop等必要程序,安装路径最好一致,这样比较容易管理.这里我使用docker搭建的环境,所以只需要启动一个容器即可. 2.修改新节点主机名映射 v

先拉数据,再启用节点,可以避免SST 拉数据 [root@pxc_node1_172.16.11.132 ~]# /usr/bin/innobackupex --defaults-file=/etc/my.cnf --user=root --password=*** --galera-info --stream=xbstream --compress --compress-threads=8 --parallel=4 . | ssh -p 22 -o StrictHostKeyChecking=

Hadoop-HBASE 热添加新节点 环境:192.168.137.101 hd1192.168.137.102 hd2192.168.137.103 hd3192.168.137.104 hd4四节点hadoop和hbase 1.设置hostnamevi /etc/sysconfig/networkhostname hd5设置完毕后需要退出重新登录下方可生效查看防火墙状态:service iptables status停用防火墙:service iptables stop 2.hd5中修改/

[转]https://blog.csdn.net/shiyu1157758655/article/details/60877076 前期准备: 操作系统设置OS版本必须相同,检查内核参数,系统内存.CPU.文件系统大小.swap空间等.创建必要的用户及组用户及用户组UID及GID必须跟其他节点相同,同时对这些用户环境变量进行设置.网络配置网络规划,Public及private网络名称必须相同.共享存储配置对于共享存储,必须保证在新的节点上是可以访问的,而且对软件安装者必须有读写权限.创建相关目录

上一篇文章,把节点删除了.这次新增加一个节点 .新增加的节点是host03.如下: #Public IP192.168.16.45 racdb1192.168.16.46 racdb2192.168.16.47 racdb3 #Private IP10.10.16.45 racdb1-priv10.10.16.46 racdb2-priv10.10.16.47 racdb3-priv #Virtual IP192.168.16.55 racdb1-vip192.168.16.56 racdb2-

0.说明 Hadoop集群已经运行正常,现在新买了一些机子,要加入到集群里面增加新的节点.以下就是增加的过程. 1.配置运行环境 安装与master和其他slave相同的java环境,jdk版本要相同.具体安装过程这里不再赘述. 修改新节点的ip和主机名对应关系,修改/etc/hosts配置文件,定义ip与hostname的映射. 关闭新节点防火墙,因为Hadoop集群是在内网环境运行,可以关闭防火墙. 配置新节点ssh免密码登录,使得master可以免密码登录到新节点主机.过程这里不再赘述.