一.版本介绍 linux : CentOS7 Hadoop : 2.7.6 zookeeper : 3.4.6 hbase : 1.4.6 jdk : jdk1.8.0_171 三个节点的主机名分别为:master.node1.node2 二.安装Hadoop HBase 是在 Hadoop 这种分布式框架中提供持久化的数据存储与管理的工具.在使用 HBase 的分布式集群模式时,前提是必须有 Hadoop 系统,所以我们需要先安装Hadoop,进行到这一步相信大家已经安装过Hadoop环境了,

情况详细描述; k8s集群,一台master,两台worker 在master节点上部署一个单节点的nacos,导致master节点状态不在线(不论是否修改nacos的默认端口号都会导致master节点不在线). 但是在worker节点上就可以. 报错信息如下: Message from syslogd@localhost at Jun 2 11:08:51 ... haproxy[1127]: proxy kube-master has no server available! Message

应用背景: 使用kubeadm部署的kubernetes集群,其master节点默认拒绝将pod调度运行于其上的,加点官方的术语就是:master默认被赋予了一个或者多个“污点(taints)”,“污点”的作用是让该节点拒绝将pod调度运行于其上.那么存在某些情况,比如想让master也成为工作节点可以调度pod运行怎么办呢? 两种方式:①去掉“污点”(taints)[生产环境不推荐]:②让pod能够容忍(tolerations)该节点上的“污点”. 测试环境: 节点名称 节点类型 版本号 部署

这个问题,困绕了团队一段时间, 因为暂时没有用到master的外网网络, 没有引起重视,但总归要解决. 上周五,刚好有点小空,就深入调查了一下. 最后,定位到了问题点:k8s master节点的flannel, 网络连接比node节点要多一个数量及, 消耗的内存比普通节点要高, 当超过flannel yaml文件中定位的资源配额时, 就有可能发生重启. 之前的限额cpu和内存为100m, 50Mi. 改成如下之后,搞定问题.当然,还要持续观察. "resources": { "

等待中的任务编辑 有一些任务只能由主节点去处理,比如创建一个新的 索引或者在集群中移动分片.由于一个集群中只能有一个主节点,所以只有这一节点可以处理集群级别的元数据变动.在 99.9999% 的时间里,这不会有什么问题.元数据变动的队列基本上保持为零. 在一些 罕见 的集群里,元数据变动的次数比主节点能处理的还快.这会导致等待中的操作会累积成队列. 等待中的任务 API 会给你展示队列中(如果有的话)等待的集群级别的元数据变更操作: GET _cluster/pending_tasks 通常,响

1. 安装配置Master节点上的Kubernetes服务 1.1 安装Master节点上的Kubernetes服务 yum -y install kubernetes 1.2 修改kube-apiserver服务配置文件 vim /etc/kubernetes/apiserver KUBE_API_ADDRESS="--insecure-bind-address=0.0.0.0" KUBE_API_PORT="--port=8080" KUBE_ETCD_SERV

参考:Kubernetes官方文档 Kubernetes安装方案选择    Centos 7 配置科学上网 安装Calico网络插件 kubernetes-dashboard部署 Kubernetes安装,遇到的问题,很大部分是无法获取官方依赖镜像造成.可以选择合适的方式避开镜像获取失败问题. 比如: 1. 服务器http proxy科学上网[本文使用] 2. 服务器使用的网关可以科学上网 3. 将Kubernetes安装涉及到的docker镜像提前下载至私库(比如docker hub), 并修

写在前面 最近在研究K8S,今天就输出部分研究成果吧,后续也会持续更新. 集群规划 IP 主机名 节点 操作系统版本 192.168.175.101 binghe101 Master CentOS 8.0.1905 192.168.175.102 binghe102 Worker CentOS 8.0.1905 192.168.175.103 binghe103 Worker CentOS 8.0.1905 基础配置 在三台服务器上的/etc/hosts文件中添加如下配置项. 192.168.1

1.master节点上执行: yum -y install kubernetes flannel etcd 2.修改etcd配置为: [root@k8s-master ~]# vi /etc/etcd/etcd.conf ETCD_NAME=default ETCD_DATA_DIR="/var/lib/etcd/default.etcd" ETCD_LISTEN_CLIENT_URLS="http://0.0.0.0:2379" ETCD_ADVERTISE_CL

一般,k8s的master为了保持高性能,在这个主节点上只运行一些管理必须的POD. 如果我们限于资源,或是一些监控类的pod要部署到master节点呢? 昨天遇到这个问题,按网上通用的方法,未解决,于是仔细研究了一下, 后解决. 一般来说,“污点”和“忍受”是成对应用的.master节点上打一个污点taints,部署的yaml文件里声明容忍tolerations. 标准用法如下: ... nodeSelector: node-role.kubernetes.io/master: "true&q

部署master 节点 上一遍是CA证书和etcd的部署,这一篇继续搭建k8s,废话不多说.开始部署. kubernetes master 节点包含的组件有: kube-apiserver kube-scheduler kube-controller-manager 目前这3个组件需要部署到同一台机器上:(后面再部署高可用的master) kube-scheduler.kube-controller-manager 和 kube-apiserver 三者的功能紧密相关: 同时只能有一个 kube

前面我们二进制部署K8S集群时,三台master节点仅仅作为集群管理节点,所以master节点上中并未部署docker.kubelet.kube-proxy等服务.后来我在部署mertics-server.istio组件服务时,发现无法正常运行,后来尝试把master节点也加入集群进行调度,这些组件才能够正常部署,并可以正确获取集群资源.所以本篇文章主要介绍如何在已经部署好集群的master节点部署docker.kubelet.kube-proxy等服务. 注意:本篇文章操作是基于我之前部署集群

0. 前言 紧接上一篇,本篇文章我们尝试学习多节点部署 kubernetes 集群 并通过 haproxy+keepalived 实现 Master 节点的负载均衡 1. 实验环境 实验环境主要为 5 台虚拟机,IP 地址分别为:192.168.1.65.192.168.1.66.192.168.1.67.192.168.1.68.192.168.1.69 1.1 节点分配 LB 节点: lb1:192.168.1.65 lb2:192.168.1.66 Master 节点: master1:1

一,安装kubernetes前的准备工作      安装前的准备工作(master\worker都要进行)      参见: https://www.cnblogs.com/architectforest/p/13141743.html      说明:以上这些准备工作需要在worker 节点机器上操作一遍        kubernetes的master节点的安装(需在master节点机器上操作):      参见: https://www.cnblogs.com/architectfores

1.安装要求 在开始之前,部署Kubernetes集群机器需要满足以下几个条件: 五台机器,操作系统 CentOS7.5+(mini) 硬件配置:2GBRAM,2vCPU+,硬盘30GB+ 集群中所有机器之间网络互通,且可访问外网. 2.安装步骤 角色 IP k8s-lb 192.168.50.100 master1 192.168.50.128 master2 192.168.50.129 master3 192.168.50.130 node1 192.168.50.131 node2 19

PS:所有机器主机名请提前设置好 在上一篇,ETCD集群我们已经搭建成功了,下面我们需要搭建master相关组件,apiverser需要与etcd通信并操作 1.配置证书 将etcd证书上传到master节点,在etcd01上操作 USER=root export K8SHOST1=192.168.1.27 for HOST in ${K8SHOST1} do ssh ${USER}@${HOST} 'mkdir -p /etc/kubernetes/pki/etcd' scp -r /etc/

再次明确下架构:  三台虚拟机 centos 7.4系统,docker为17版本,ip为10.10.90.105到107,其中105位master,接下来的master相关组件安装到此机器上. etcd集群为3台,分别复用这3台虚拟机. 作为k8s的核心,master节点主要包含三个组件,分别是: 三个组件:kube-apiserver kube-scheduler kube-controller-manager 这个三个组件密切联系,再次提醒关闭selinux,关闭防火墙,最好禁用掉. 1.创

要想深入的学习hadoop数据分析技术,首要的任务是必须要将hadoop集群环境搭建起来,可以将hadoop简化地想象成一个小软件,通过在各个物理节点上安装这个小软件,然后将其运行起来,就是一个hadoop分布式集群了. 说来简单,但是应该怎么做呢?不急,本文的主要目的就是让新手看了之后也能够亲自动手实施这些过程.由于本人资金不充裕,只能通过虚拟机来实施模拟集群环境,虽然说是虚机模拟,但是在虚机上的hadoop的集群搭建过程也可以使用在实际的物理节点中,思想是一样的.也如果你有充裕的资金,自己不

centos7.4安装k8s-.11版本,二进制 安装 配置系统相关参数 如下操作在所有节点操作 # 临时禁用selinux # 永久关闭 修改/etc/sysconfig/selinux文件设置 sed -i 's/SELINUX=permissive/SELINUX=disabled/' /etc/sysconfig/selinux setenforce # 临时关闭swap # 永久关闭 注释/etc/fstab文件里swap相关的行 swapoff -a # 开启forward # Do

安装和配置计算节点这个章节描述如何在计算节点上安装和配置计算服务. 计算服务支持几种不同的 hypervisors.为了简单起见,这个配置在计算节点上使用 :KVM <kernel-based VM (KVM)>`扩展的:QEMU <Quick EMUlator (QEMU)>`作为hypervisor,支持虚拟机的硬件加速.在旧的硬件上,这个配置使用通用的QEMU作为hypervisor.你可以根据这些说明进行细微的调整,使用额外的计算节点来横向扩展你的环境. 节点配置信息说明:

需求:输出redis cluster 主从的对应关系,如果同一个主从关系的master和slave在同一个node节点上,在输出的对应关系末尾输出提示. 为什么会有这样的需求呢?在重新搭建redis cluster的时候,创建集群期间,发现: redis-trib.rb create --replicas 1 \5.5.5.101:29001 5.5.5.102:29002 5.5.5.103:29003 \5.5.5.102:29001 5.5.5.103:29002 5.5.5.101:29