InfluxDB 分布式时间序列数据库环境搭建   1. 环境说明 Ubuntu14.04  + influxDB V0.10.1 搭建3个节点的分布式数据库,副本数量2,各节点之间自动进行数据备份并与heapster kubernate配合,收集各容器运维数据. 2. InfluxDB安装 wget https://s3.amazonaws.com/influxdb/influxdb_0.10.1-1_amd64.deb sudo dpkg -i influxdb_0.10.1-1_amd64…
需要说明的是我们搭建的SQL Server故障转移集群(SQL Server Failover Cluster)是可用性集群,而不是负载均衡集群,其目的是为了保证服务的连续性和可用性,而不是为了提高服务的性能. SQL Server始终在负载均衡集群方面都缺少自己的产品,多由第三方厂家提供,但SQL Server故障转移集群却由来已久,在SQL Server 2012还提供了一个可用性组(AlwaysOn High Availability Groups)的新特性,我们知道微软的故障转移集群(W…
配置环境说明: KVM虚拟机配置 用途 数量 IP地址 机器名 虚拟IP地址 硬件 内存3G  系统盘20G cpu 4核 Haproxy keepalived 2台 192.168.1.10 192.168.1.20 Haserver01 Haserver02 192.168.30 192.168.40 内存6G  系统盘20G cpu 4核 Weblogic 4台 192.168.1.100 192.168.1.150 192.168.1.200 192.168.1.250 Clusters…
linux -- 基于zookeeper搭建yarn的HA高可用集群 实现方式:配置yarn-site.xml配置文件 <configuration> <property> <name>yarn.resourcemanager.connect.retry-interval.ms</name> <value>2000</value> </property> <property> <name>yarn.…
目录 LVS-DR实战:搭建HTTP和HTTPS负载均衡集群 1. 搭建lvs-dr模式的http负载集群 1.1 LVS上配置IP 1.2 RS上配置arp内核参数 1.3 RS上配置VIP 1.4 DR上配置lvs-dr转发规则 1.5 RS上配置http并启动 1.6 客户端访问测试 搭建https的负载集群 1. LVS服务器搭建CA服务端 1.生成密钥对 2.生成自签署证书 3.RS生成证书签署请求,并发送给CA 4.CA签署证书并发给客户端 2.配置https 1.将RS-1的证书和…
目录 LVS-NAT:搭建HTTP及HTTPS负载均衡集群 环境说明: 搭建NAT模式的HTTP负载集群 1. 配置好IP地址信息 2. DR上开启IP转发 3.DR上配置lvs-nat的转发机制 4. RS上安装httpd并启动 5. 客户端访问测试 搭建NAT模式的HTTPS负载集群 1. LVS服务器搭建CA服务端 1.生成一对密钥 2.生成自签署证书 3.RS生成证书签署请求,并发送给CA 4.CA签署证书并发给客户端 2.配置https 1.将RS-1的证书和密钥发给RS-2 2.修改…
文/朱季谦 我在阿里云服务器上曾参与过公司redis集群的搭建,但时间久了,都快忘记当时的搭建过程了,故而决定在虚拟机centOS 7的环境,自行搭建一套redis5.x版本的集群,该版本集群的搭建比较方便,不用再像以前版本那样还得再搞一个 Ruby,5.x版本可直接使用 redis-cli的方式来构建集群. 提前准备六台虚拟机: 192.168.200.111:6379 192.168.200.112:6379 192.168.200.113:6379 192.168.200.117:6379…
在上一篇:微软分布式云计算框架Orleans(1):Hello World,我们大概了解了Orleans如何运用,当然上一篇的例子可以说是简单且无效的,因为用了Orleans不可能只写一个Hello World吧,Orleans是为分布式和云计算而生的框架,那么今天我们就简单说一说容灾.集群.容灾与集群在Orleans中的运用. 集群是什么? 下面摘抄自百度百科: 集群(cluster)技术是一种较新的技术,通过集群技术,可以在付出较低成本的情况下获得在性能.可靠性.灵活性方面的相对较高的收益,…
1.简介 使用MySQL时随着时间的增长,用户量以及数据量的逐渐增加,访问量更是剧增,最终将会使MySQL达到某个瓶颈,那么MySQL的性能将会大大降低.这一结果也不利于软件的推广. 那么如何跨过这个瓶颈,提高MySQL的并发量呢?方法有很多,分布式数据库.读写分离.高可用负载均衡.增加缓存服务器等等.之前的文章里已经介绍了读写分离的方案了,接下来我将讲解MySQL高可用负载均衡这一方法. 其中实现高可用负载均衡的方法有很多,例如LVS+keepalived组合实现.haproxy+keepal…
前言 上一篇详细介绍了HDFS集群,还有操作HDFS集群的一些命令,常用的命令: hdfs dfs -ls xxx hdfs dfs -mkdir -p /xxx/xxx hdfs dfs -cat xxx hdfs dfs -put local cluster hdfs dfs -get cluster local hdfs dfs -cp /xxx/xxx /xxx/xxx hdfs dfs -chmod -R /xxx hdfs dfs -chown -R zyh:zyh /xxx 注意:…
阅读目录 1.简介 2.基本环境 3.配置MySQL主主复制 4.中间件简述 4.1.Haproxy介绍 4.2.keepalived介绍 5.中间件的安装与配置(haproxy.keepalived) 5.1.安装haproxy 1).编译安装haproxy 2).提供启动脚本 3).提供配置文件 4).启动日志 5).启动haproxy 6).测试haproxy 5.2.安装keepalived 1).解决缺少的软件库文件 2).编译安装keepalived软件 3).创建配置文件 4).创…
1. 学习计划 1.solr集群搭建 2.使用solrj管理solr集群 3.把搜索功能切换到集群版 4.添加商品同步索引库. a) Activemq b) 发送消息 c) 接收消息 2. 什么是SolrCloud SolrCloud(solr 云)是Solr提供的分布式搜索方案,当你需要大规模,容错,分布式索引和检索能力时使用 SolrCloud.当一个系统的索引数据量少的时候是不需要使用SolrCloud的,当索引量很大,搜索请求并发很高,这时需要使用SolrCloud来满足这些需求. So…
转自:http://www.cnblogs.com/phpstudy2015-6/p/6706465.html 阅读目录 1.简介 2.基本环境 3.配置MySQL主主复制 4.中间件简述 4.1.Haproxy介绍 4.2.keepalived介绍 5.中间件的安装与配置(haproxy.keepalived) 5.1.安装haproxy 1).编译安装haproxy 2).提供启动脚本 3).提供配置文件 4).启动日志 5).启动haproxy 6).测试haproxy 5.2.安装kee…
LVS+Keepalived 介绍 LVS LVS是Linux Virtual Server的简写,意即Linux虚拟服务器,是一个虚拟的服务器集群系统.本项目在1998年5月由章文嵩博士成立,是中国国内最早出现的自由软件项目之一.目前有三种IP负载均衡技术(VS/NAT.VS/TUN和VS/DR),十种调度算法(rrr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq). Keepalvied Keepalived在这里主要用作RealServer的健康状态检查以及Mast…
1. 安装LVS软件      (1)安装前准备操作系统:统一采用Centos6.5版本,地址规划如下: 服务器名 IP地址 网关 虚拟设备名 虚拟ip Director Server 192.168.12.25 192.168.12.1 eth0:0 192.168.12.135 Real Server1 192.168.12.246 192.168.12.1 lo:0 192.168.12.135 Real Server2 192.168.12.247 192.168.12.1 lo:0 1…
参考: 龙果学院http://www.roncoo.com/share.html?hamc=hLPG8QsaaWVOl2Z76wpJHp3JBbZZF%2Bywm5vEfPp9LbLkAjAnB%2BnHpF8rHqMAsZ9U%2Ff1CcK%2Fi%2BOWuJ8pVcwcq6A%3D%3D 从 ActiveMQ 5.9 开始,ActiveMQ 的集群实现方式取消了传统的Master-Slave 方式,增加了基于ZooKeeper + LevelDB的 Master-Slave实现方式,其他…
Slithice 集群分布式(多个客户端,基于中央服务器的多个集群服务端) 案例Demo展示: 集群架构图 如下: 如上图,上图 展示了 这个集群 的 结构: >一个中央服务器(可以有多个),负责 为 所有 集群成员服务端 或者 客户端 提供 配置数据: >对外 暴露的 成员服务端 有 两个Socket服务端,两个WebService服务端: >两个 WCF服务端 不对外暴露,客户端 也不会从 中央服务器 得到 这两个WCF服务端的存在: >客户端 从 中央服务器 得知,自己可以调…
0x00 概述 关于如何搭建ELK部分,请参考这篇文章,https://www.cnblogs.com/JetpropelledSnake/p/9893566.html. 该篇用户为非root,使用用户为“elk”. 基于以前ELK架构的基础,结合Kafka队列,实现了ELK+Kafka集群,整体架构如下: # 1. 两台es组成es集群;( 以下对elasticsearch简称es ) # 2. 中间三台服务器就是我的kafka(zookeeper)集群啦; 上面写的 消费者/生产者 这是ka…
一.方案 1. 介绍 redis3.0及以上版本实现,集群中至少应该有奇数个节点,所以至少有三个节点,官方推荐三主三从的配置方式 使用哈希槽的概念,Redis 集群有16384个哈希槽,每个key通过CRC16校验后对16384取模来决定放置哪个槽.集群的每个节点负责一部分hash槽. 使用主从复制模型,每个节点都会有N-1个slave.如果master不可用,会选举slave为新的master继续服务:如果同个节点的master和slave都失效,整个集群将不可用. 2. 集群的不足: Red…
原文:http://www.iteye.com/topic/1145651 从 ActiveMQ 5.9 开始,ActiveMQ 的集群实现方式取消了传统的Master-Slave 方式,增加了基于ZooKeeper + LevelDB的 Master-Slave实现方式,其他两种方式目录共享和数据库共享依然存在. 三种集群方式的对比: (1)基于共享文件系统(KahaDB,默认): <persistenceAdapter> <kahaDB directory="${activ…
!!!该系列使用三台虚拟机搭建一个完整的spark集群,集群环境如下: virtualBox5.2.Ubuntu14.04.securecrt7.3.6_x64英文版(连接虚拟机) jdk1.7.0.hadoop2.6.5.zookeeper3.4.5.Scala2.12.6.kafka_2.9.2-0.8.1.spark1.3.1-bin-hadoop2.6 第一篇:准备三台虚拟机环境,配置静态IP,ssh免密码登录 第二篇:搭建hadoop集群 第三篇:搭建zookeeper集群 第四篇:搭…
!!!该系列使用三台虚拟机搭建一个完整的spark集群,集群环境如下: virtualBox5.2.Ubuntu14.04.securecrt7.3.6_x64英文版(连接虚拟机) jdk1.7.0.hadoop2.6.5.zookeeper3.4.5.Scala2.12.6.kafka_2.9.2-0.8.1.park1.3.1-bin-hadoop2.6 第一篇:准备三台虚拟机环境,配置静态IP,ssh免密码登录 第二篇:搭建hadoop集群 第三篇:搭建zookeeper集群 第四篇:搭建…
!!!该系列使用三台虚拟机搭建一个完整的spark集群,集群环境如下: virtualBox5.2.Ubuntu14.04.securecrt7.3.6_x64英文版(连接虚拟机) jdk1.7.0.hadoop2.6.5.zookeeper3.4.5.Scala2.12.6.kafka_2.9.2-0.8.1.park1.3.1-bin-hadoop2.6 第一篇:准备三台虚拟机环境,配置静态IP,ssh免密码登录 第二篇:搭建hadoop集群 第三篇:搭建zookeeper集群 第四篇:搭建…
!!!该系列使用三台虚拟机搭建一个完整的spark集群,集群环境如下: virtualBox5.2.Ubuntu14.04.securecrt7.3.6_x64英文版(连接虚拟机) jdk1.7.0.hadoop2.6.5.zookeeper3.4.5.Scala2.12.6.kafka_2.9.2-0.8.1.park1.3.1-bin-hadoop2.6 第一篇:准备三台虚拟机环境,配置静态IP,ssh免密码登录 第二篇:搭建hadoop集群 第三篇:搭建zookeeper集群 第四篇:搭建…
一.资源准备 1.准备三台服务器H1.H2.H3 172.26.237.83 H1 172.26.237.84 H2 172.26.237.85 H3 二.配置服务器 1.在H1服务器设置SSH免密登录:在H1生成RSA公钥和私钥(在H1操作) (1)执行ssh-keygen -t rsa命令(2)进入生成密钥所在的文件目录cd /root/.ssh/(3)将公钥(名为id_rsa.pub文件)追加到认证文件(名为authorized_keys文件),先后执行以下指令: ssh-copy-id…
master组件 kube-apiserver kubernetes API集群的同一入口,各组件协调者,以RESTful API提供接口服务,所有对象资源的增删改查和监听操作都交给APIserver处理再提交给Etcd存储 kube-controller-manager 处理集群中常规后台任务,一个资源对应一个控制器,而ControllerManager就是负责管理这些控制器的 kube-scheduler 根据调度算法为新创建的POdxuanz yig Node节点,可以在任意部署,可以部署…
概述 继上一篇 Thanos 部署与实践 发布半年多之后,随着技术的发展,本系列又迎来了一次更新.本文将介绍如何结合 Kvass 与 Thanos,来更好的实现大规模容器集群场景下的监控. 有 Thanos 不够吗 ? 有同学可能会问,Thanos 不就是为了解决 Prometheus 的分布式问题么,有了 Thanos 不就可以实现大规模的 Prometheus 监控了吗?为什么还需要个 Kvass? Thanos 解决了 Prometheus 的分布式存储与查询的问题,但没有解决 Prome…
角色 实例IP 实例端口 宿主机IP 宿主机端口 master 172.19.0.2 6382 192.168.1.200 6382 slave01 172.19.0.3 6383 192.168.1.200 6383 slave02 172.19.0.4 6384 192.168.1.200 6384 1. 创建文件夹 这里我习惯在home文件夹下创建文件夹 #创建文件夹,方便之后生成配置文件 cd /home mkdir redis 2. 编写自动生成配置文件脚本 首先编写配置文件 redi…
前言 干货又来了,全程无废话,可先看目录了解. MySQL搭建集群最常见的是binlog方式,但还有一种方式是强一致性的,能保证集群节点的数据一定能够同步成功,这种方式就是pxc,本篇就使用图文方式一步步展示具体的搭建步骤及最终效果. 搭建 本次搭建集群环境以5节点MySQL为例 1.安装pxc镜像 拉取pxc镜像 docker pull percona/percona-xtradb-cluster 镜像名称太长,修改一下: docker tag percona/percona-xtradb-c…
关于memcached的基础知识可以查看博客其他博文,这里只记录了搭建的过程,谢谢! 1.分别在三台服务器上安装Memcached并启动 第一.由于memcached是基于libevent的事件处理,所以需要安装libevent yum install libevent libevent-devel 第二.上传Memcached到三台服务器(192.168.176.129/192.168.176.130/192.168.176.131)解压并安装 tar -zxvf memcached-.tar…