Apollo开源文档中搭建流程讲的很详细,此处只提供传送门 1.Apollo配置中心开源地址 2.服务包下载地址 3.教程文档地址 4.视频教程地址 5.Apollo使用指南 说明: apollo-configservice 默认端口号是8080,apollo-adminservice 默认端口是8090,apollo-portal 默认端口号是8070 搭建的时候注意端口冲突问题. 拓展: 阿里也开源了一个类似的 配置中心

hadoop 集群HA高可用搭建 目录大纲 1. hadoop HA原理 2. hadoop HA特点 3. Zookeeper 配置 4. 安装Hadoop集群 5. Hadoop HA配置 搭建环境 环境 版本 地址地址 CentOS 6.5 64x 点击下载 hadoop 2.5.1 点击下载 Zookeeper 3.4.5 点击下载 Hadoop Ha配置 null 点击下载 null null null ch01 192.168.128.121 NN DN RM ch02 192.16

                                                              hadoop+zookeeper集群高可用搭建 Senerity 发布于 2016/12/12 09:19  [推荐阅读]滴滴出行的数据架构和信息流处理思路解析->>> Hadoop集群搭建步骤 1.  架构图 2.  准备5台机器 centosa: 192.168.42.128 centosb: 192.168.42.129 centosc: 192.168.42

戳更多文章: 1-Flink入门 2-本地环境搭建&构建第一个Flink应用 3-DataSet API 4-DataSteam API 5-集群部署 6-分布式缓存 7-重启策略 8-Flink中的窗口 9-Flink中的Time Flink时间戳和水印 Broadcast广播变量 FlinkTable&SQL Flink实战项目实时热销排行 Flink写入RedisSink 17-Flink消费Kafka写入Mysql Flink的HA搭建并不复杂,本质来说就是配置2个jobmanag

实验:Xenon on 5.7.30 Xenon (MySQL Plus) 是青云Qingcloud的一个开源项目,号称金融级别强一致性的高可用解决方案,项目地址为 https://github.com/radondb/xenon 本实验笔记创建与Microsoft onenote , 转换到web有格式损失. 环境信息 IP port role hostname 192.168.188.51 3306 node1 ms51 192.168.188.52 3306 node2 ms52 192.

高可用集群 在微服务架构这样的分布式环境中,我们需要充分考虑发生故障的情况,所以在生产环境中必须对各个组件进行高可用部署,对与微服务和服务注册中心都需要高可用部署,Eureka 高可用实际上就是将自己作为服务向其他服务注册中心注册自己,这样就可以形成一组互相注册的服务注册中心,已实现服务清单的互相同步,达到高可用效果,注册中心的高可用至少需要2台服务器分别部署 Eureka 注册中心,集群结构如下: 准备工作 Eureka Server01 Eureka Server02 操作系统 CentOS

首先咱得有KUDU安装包 这里就不提供直接下载地址了(因为有5G,我 的服务器网卡只有4M,你们下的很慢) 这里使用的是CDH版本 官方下载地址http://archive.cloudera.com/cdh5/ 我这里有3个节点node01,node02,node03.这里上传到node03中 这里与imapa做整合了,绿色的为整合部分可以不看 首先上传到/export/data/ 下(没有的同学请创建mkdir /export/data) 到此目录下 cd /export/data 解压在当前

本文通过config server连接git仓库来实现配置中心,除了git还可以使用svn或者系统本地目录都行. 引入依赖 <dependencies> <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-config-server</artifactId> </dependency> <dependen

Spring Cloud的注册中心可以由Eureka.Consul.Zookeeper.ETCD等来实现,这里推荐使用Spring Cloud Eureka来实现注册中心,它基于Netfilix的Eureka做了二次封装,完成分布式服务中服务治理的功能,微服务系统中的服务注册与发现都通过这个注册中心来进行管理. 引入Eureka Server依赖 之前的文章基础上加入Spring Cloud的依赖,现在再加入注册中心Eureka Server的依赖. <dependencies> <de

Redis 单机模式很简单,相关测试水文看这里 Redis5 压力测试结果反馈报告 必须的,今天接着写水文,写一写现在redis 支持的三种集群,主从模式,哨兵模式,Cluster模式,今天先搞主从模式 主从模式 主从模式是最简单的集群模式,其实就是复制基本只能解决读写分离问题,主机服务器一旦宕机基本完蛋,不具备高可用. 基本上redis的性能瓶劲主要在于网络IO和内存主频上面,单机版Redis在不考虑高可用的情况下基本满足80%的项目需要,因为单机版Redis可以实现10W/S的请求,除非缓存

首先我这里是三台节点,都搭tracker和storage,然后使用nginx做负载,只建一个group1,三个tracker! 搭建步骤比较麻烦,里面有很多坑需要注意,步骤就不啰嗦了,这里主要记录几个坑: 1 如果有问题,请看日志,nginx的日志或者fastdfs的日志,这是最快发现问题的方法了 2 首先要开启防火墙端口  23000,22122,这两个是tracker和storage之间通信的端口,不开通日志会报错: RROR - file: tracker_proto.c, line: 4

master 10.205.22.185 #MHA node slave1 10.205.22.186  #MHA node+MHA manager slave2 10.205.22.187  #MHA node 三台服务器的MySQL已经搭建好主从架构,并互相配置好ssh免密码登录. 1.下载MHA,并安装MHA包的依赖软件 https://downloads.mariadb.com/MHA(或者 https://github.com/yotoobo/linux/tree/master/mha

一.概述 spark分布式搭建方式大致分为三种:standalone.yarn.mesos.三种分类的区别这里就不一一介绍了,不明白可自行了解.standalone是官方提供的一种集群方式,企业一般不使用.yarn集群方式在企业中应用是比较广泛的,这里也是介绍yarn的集群安装方式.mesos安装适合于超大型集群. 集群节点分配: hadoop01:Zookeeper.NameNode(active).ResourceManager(active) hadoop02:Zookeeper.Name

########################ElasticSearch#######################环境:192.168.125.200   elasticsearch+logstash+kibana   node-1192.168.125.201   elasticsearch+logstash   node-2192.168.125.202   nginx+Filebeat   node-3192.168.125.203   nginx+filebeat    node-

pgpool-II主备流复制的架设1.环境 OS: CentOS release 6.4 (Final)DB: postgresql 9.3.6pgpool服务器: pgpool 172.16.0.240数据库主服务器:master 172.16.0.241数据库从服务器:slave 172.16.0.242 其中主从数据库使用的流复制,并且已经配置完毕,新配置的pgpool使用postgres用户进行管理.新架构使用的主备模式外加流复制,此架构支持流复制.负载均衡.故障恢复,不支持复制和并行查

在已经安装完hadoop单机和zookeeper前提下 1.免密钥 ssh-keygen -t rsa 分发秘钥 ssh-copy-id -i master ssh-copy-id -i node1 ssh-copy-id -i node2 2.修改hadoop配置文件(我在master中修改) core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml 我是直接导入文件覆盖 3.同步到其他节点 scp * node1:/usr/local

HA 即 (high available)高可用,又被叫做双机热备,用于关键性业务. 简单理解就是,有两台机器A和B,正常是A提供服务,B待命闲置,当A宕机或服务宕掉,会切换至B机器继续提供服务.常用实现高可用的开源软件有heartbeat和keepalived,其中keepalived有负载均衡的功能.<ignore_js_op> HA高可用搭建目的及环境说明: 这次是为nginx服务搭建高可用集群. 环境说明:1台主服务器,一台备用服务器. 其中主服务器的eth0 192.168.2.77

目录 概述 环境准备 keepalived搭建 mysql搭建 mysql双主搭建 mysql双主高可用搭建 概述 传统(不借助中间件)的数据库主从搭建,如果主节点挂掉了,从节点只能读取无法写入,只能把人肉去恢复故障,既不想引用中间件也不想人肉恢复故障,可以折中选择双主方案,本文将介绍通过keepalived搭建mysql双主方案. 本例中vip为:172.16.0.169,  两台mysql实例服务器ip分别为:172.16.0.1和172.16.0.2 转帖请注明来源: https://my

Hadoop Zookeeper 搭建(一) 一.准备工作 VMWARE虚拟机 CentOS 7 系统 虚拟机1:master 虚拟机2:node1 虚拟机3:node2 时间同步 ntpdate ntp.aliyun.com 调整时区 cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime jdk1.8(以1.8为例,目前大多数企业都是使用1.8版本,最稳定) java -version 修改主机名 三台分别执行 vim /etc/hostnam

一. Sentinel 高可用环境准备 1.1 Sentinel 集群环境 环境 说明 操作系统版本 CentOS  7.4.1708  IP地址 172.168.18.200 网关Gateway 172.168.18.1 DNS 172.168.16.11 三个sentinel服务端口 26379,26380,26381 Sentinel密码 无 不设置 是否RDB持久化 不支持 是否 AOF持久化 不支持 1.2 Redis主库库环境,主从库搭建在(redis 系列22 复制Replicat