K8S是什么?发展历史 Kubernetes (简称 k8s)是 Google 在2014年开源的,对容器生命周期管理的开源平台,致力于对容器集群提供易于管理.高可用.弹性负载与故障转移的能力,提高服务运维自动化的能力. 最初,Google 开发了一个叫 Borg 的系统(现在命名为Omega)来调度据说有20多亿个容器和工作负载.在积累了 10 余年经验后,Google 决定重写这个容器管理系统,并将其命名为 Kubernetes 贡献给开源社区,让全世界都能因此受益. 自从开源以来,K8S迅…

一.前言 kubectl是apiserver的客户端工具,工作在命令行下,能够连接apiserver上实现各种增删改查等各种操作 kubectl官方使用文档:https://kubernetes.io/docs/reference/kubectl/overview/ 二.设置kubectl输入命令自动补全 [root@k8s-master01 ~]# yum install -y bash-completion [root@k8s-master01 ~]# source /usr/share/b…

前言 在前面的文章中,已经介绍如何在本地通过Docker Machine 创建虚拟Docker 主机,以及也可以在本地Windows 创建虚拟主机,也是可以使用的.这一节,我们将继续学习 Docker 三剑客之一 : Docker Swarm Docker Swarm Docker Swarm 是Docker 的本地聚集类,它将一组Docker 主机转换为一个虚拟单独的 Docker 主机.Docker Swarm 使用标准的Docker API.所以与Docker 守护进程交互的工具都可以使用…

Redis集群是Redis提供的分布式数据库方案,集群通过分片来进行数据共享,并提供复制和故障转移操作. 一个Redis集群通常由多个节点组成,在刚开始的时候每个节点都是相互独立的,他们处于一个只包含自己的集群当中,我们通过使用CLUSTER MEET命令将节点连接到一起,构成一个包含多节点的集群. 集群的数据结构: clusterNode结构保存了一个节点的当前状态,比如节点创建时间.节点名称.节点当前的配置纪元.节点的ip端口.每个节点都会使用一个clusterNode结构记录自己的状态,并…

 一.概述 Redis Cluster与Redis3.0.0同时发布,以此结束了Redis无官方集群方案的时代. Redis Cluster是去中心化,去中间件,也就是说,集群中的每个节点都是平等的关系,都是对等的,每个节点都保存各自的数据和整个集群的状态.每个节点都和其他所有节点连接,而且这些连接保持活跃,这样就保证了我们只需要连接集群中的任意一个节点,就可以获取到其他节点的数据. 那么Redis是如何合理分配这些节点和数据呢? Redis集群并没有使用传统的一致性哈希来分配数据,而是采用另外…

Swarm 集群由管理节点与工作节点组成. 初始化集群 使用命令:docker swarm init 如果你的 Docker 主机有多个网卡, 拥有多个 IP 地址, 必须使用 --advertise-addr 来指定 IP ,例如: docker swarm init --addvertise-addr xxx.xxx.xxx.xxx 我们在 Docker 主机上执行了此命令之后, 即会初始化 Swarm 集群, 也会讲此 Docker 主机初始化为一个 Manager 节点. 增加工作节点…

本文主要讲解如何在Linux环境下安装Spark集群,安装之前我们需要Linux已经安装了JDK和Scala,因为Spark集群依赖这些.下面就如何安装Spark进行讲解说明. 一.安装环境 操作系统:Red Hat Enterprise Linux 6 64 位(版本号6.6) JDK版本:1.8 Scala版本:2.12.2 Spark版本:2.2.0 172.18.3.135 主节点 172.18.3.136 从节点 172.18.3.137 从节点 之后的操作如果是用普通用户操作的话也必…

Spark的一大好处就是可以通过增加机器数量并使用集群模式运行,来扩展计算能力.Spark可以在各种各样的集群管理器(Hadoop YARN , Apache Mesos , 还有Spark自带的独立集群管理器)上运行,所以Spark应用既能够适应专用集群,又能用于共享的云计算环境. Spark运行时架构 Spark在分布式环境中的架构如下图: 在分布式环境下,Spark集群采用的是主/从结构.在Spark集群,驱动器节点负责中央协调,调度各个分布式工作节点.执行器节点是工作节点,作为独立的Ja…

集群通过分片(sharding)来进行数据共享,并提供复制和故障转移功能.   1.节点 一个节点就是一个运行在集群模式下的Redis服务器.启动Redis服务器时,通过判断cluster-enabled选项,选择是否开启集群模式.(Yes开启集群,No则单机模式普通服务器)   一个Redis集群由多个节点组成,每个节点使用的端口各不相同,可以设置.每个节点最开始可以看做一个只有自己节点的集群,节点间通过命令相互握手,组建集群   握手命令 cluster meet //与ip为127.0.0…

[Cluster]集群,一个ES集群由一个或多个节点(Node)组成,每个集群都有一个cluster name作为标识------------------------------------------------[node]节点,一个ES实例就是一个node,一个机器可以有多个实例,所以并不能说一台机器就是一个node,大多数情况下每个node运行在一个独立的环境或虚拟机上.------------------------------------------------[index]索引,即一…