2015-12-14注:加入新节点不更改运行节点参数需求已满足,将在后续文章中陆续总结. 注:目前方案不满足加入新节点(master节点或regionserver节点)而不更改已运行节点的参数的需求,具体讨论见第六部分. 一.背景知识 先看下HBase的组成: Master:Master主要负责管理RegionServer集群,如负载均衡及资源分配等,它本身也可以以集群方式运行,但同一时刻只有一个master处于激活状态.当工作中的master宕掉后,zookeeper会切换到其它备选的mast…

在 Kubernetes 中部署 Redis 集群 在Kubernetes中部署Redis集群面临挑战,因为每个 Redis 实例都依赖于一个配置文件,该文件可以跟踪其他集群实例及其角色.为此,我们需要结合使用Kubernetes StatefulSets和PersistentVolumes. 克隆部署文件 git clone https://github.com/llmgo/redis-sts.git 创建 statefulset 类型资源 [root@node01 redis-sts]# c…

背景 出于数据安全的考虑,自研了一个低成本的时序数据存储系统,用于存储历史行情数据. 系统借鉴了 InfluxDB 的列存与压缩策略,并基于 HBase 实现了海量存储能力. 由于运维同事缺乏 Hadoop 全家桶的运维经验,只能由我这个研发临时兼职,亲自指挥亲自部署了. Hadoop 发行版选择 目前可选的方案并不多,主要有: CDH 目前中小企业选型首选的发行版 Amibari 最为灵活的且可定制的发行版 Apache 最原始的发行版 CDH 的缺点: Hadoop 组件的版本老旧,不支持新…

一.部署前准备: 1.下载ZooKeeper的安装包: http://zookeeper.apache.org/releases.html 我下载的版本是zookeeper-3.4.9. 2.将下载的zookeeper-3.4.9包放到/opt目录下,目录结构如下图所示:  3.在/tmp目录下新建一个zookeeper目录,并在zookeeper目录下新建一个data目录. 4.三台linux系统的ip: ip1:10.43.98.6 ip2:10.43.98.8 ip3:10.43.98.1…

通过snapshot对内网测试环境Hbase生产集群的全量数据(包括原始数据和治理后数据)复制到互联网Hbase临时集群.工具及原理: 1)         Hbase自带镜像导出工具(snapshot和ExportSnapshot) 2)         ExportSnapshot将执行一个MapReduce的Job ,它工作在HDFS层级,不会对Region server造成额外的负担,仅需指定HDFS的位置(即:输出集群的hbase.rootdir). 步骤: 1)         先确…

0x00--背景和目的 在单台PC服务器上部署Redis集群,通过不同的TCP端口启动多实例,模拟多台独立PC组成集群. 0x01--环境描述: Centos版本:CentOS Linux release (Core) Redis版本:Redis (/) bit 安装方式:源码安装 0x02--编辑Redis实例配置文件 在根目录下新建/redis_cluster目录,用于存放多实例配置文件,这里使用6个TCP端口,编写6029--6034共计6个配置文件,使用折6个配置文件启动实例,并搭建Re…

文章转载自:https://www.cnblogs.com/ludongguoa/p/15319861.html 一般情况下 Kubernetes 可以通过 ReplicaSet 以一个 Pod 模板创建多个 pod 副本,但是它们都是无状态的,任何时候它们都可以被一个全新的 pod 替换.然而有状态的 pod 需要另外的方案确保当一个有状态的 pod 挂掉后,这个 pod 实例需要在别的节点上重建,但是新的实例必须与被替换的实例拥有相同的名称.网络标识和状态.这就是 Statefulset 管…

一.简介 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件.它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护.域名服务.分布式同步.组服务等.ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效.功能稳定的系统提供给用户. 二.环境 Windows或者Centos7,本例中使用Centos7测试,Windows上的用和Linux是相似的,只是启动解本…

一)环境准备 服务器操作版本系统 CentOS7 weblogic版本包 weblogic1036_generic.jar(weblogic11g) JDK jdk-8u191-linux-x64.tar.gz(Jdk1.8) 安装方式 控制台安装 安装用户 weblogic 注意:在实际生产环境中,切记要使用weblogic用户组进行安装. 1.上传所有安装包到制定路径 2.基础环境配置及jdk安装 创建weblogic用户组和用户 对weblogic安装目录更改所属用户组和用户 首先查看系统…

程润科 数据库研发工程师,目前从事 RadonDB MySQL Kubernetes 研发,热衷于研究数据库内核.K8s 相关技术. 张莉梅 高级文档工程师,目前负责数据库产品文档开发.维护和管理工作. 本文将演示如何在 KubeSphere[1] 上部署 RadonDB MySQL on Kubernetes 2.1.2,快速实现高可用的 MySQL on K8s. 部署准备 确保已启用 OpenPitrix 系统[2] 创建一个企业空间.一个项目和一个用户供本操作使用[3] 安装过程中,请以…