rabbitmq版本:3.6.12 rabbitmq安装 1.安装openssl wget http://www.openssl.org/source/openssl-1.0.0a.tar.gz && tar zxvf openssl-1.0.0a.tar.gz && cd openssl-1.0.0a && ./config -fPIC --prefix=/usr/local/openssl && make && make…

1. 获取spark下载链接 登录官网:http://spark.apache.org/downloads.html 选择要下载的版本 2. 执行命令下载并安装 cd /usr/local/src/ wget http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.4/spark-2.4.4-bin-hadoop2.7.tgz -bin-hadoop2..tgz -bin-hadoop2. /usr/local/spark cd /u…

原文:(十)RabbitMQ消息队列-高可用集群部署实战 前几章讲到RabbitMQ单主机模式的搭建和使用,我们在实际生产环境中出于对性能还有可用性的考虑会采用集群的模式来部署RabbitMQ. RabbitMQ集群基本概念 Rabbit模式大概分为以下三种:单主机模式.普通集群模式.镜像集群模式. 单主机模式: RabbitMQ服务运行在单独的一台主机中,通常生产环境不使用该模式,性能有限,并且如果服务器宕机服务将完全不可用. 普通集群模式 一说到集群问题瞬间变得复杂多了.首先对于Queue来…

kubeadm安装kubernetes高可用集群搭建  第一步:首先搭建etcd集群 yum install -y etcd 配置文件 /etc/etcd/etcd.confETCD_NAME=infra1 ETCD_DATA_DIR="/var/lib/etcd" ETCD_LISTEN_PEER_URLS="https://172.20.0.113:2380" ETCD_LISTEN_CLIENT_URLS="https://172.20.0.113:…

原文链接:https://www.jianshu.com/p/e7e70ca7c7e5 高可用性即HA(High Availability)指的是通过尽量缩短因日常维护操作(计划)和突发的系统崩溃(非计划)所导致的停机时间,以提高系统和应用的可用性. 高可用集群的解决方案 计算机系统的高可用在不同的层面上有不同的表现: (1)网络高可用 由于网络存储的快速发展,网络冗余技术被不断提升,提高IT系统的高可用性的关键应用就是网络高可用性,网络高可用性与网络高可靠性是有区别的,网络高可用性是通过匹配冗…

>>高可用集群的解决方案 高可用性即HA(High Availability)指的是通过尽量缩短因日常维护操作(计划)和突发的系统崩溃(非计划)所导致的停机时间,以提高系统和应用的可用性. 计算机系统的高可用在不同的层面上有不同的表现: (1)网络高可用 由于网络存储的快速发展,网络冗余技术被不断提升,提高IT系统的高可用性的关键应用就是网络高可用性,网络高可用性与网络高可靠性是有区别的,网络高可用性是通过匹配冗余的网络设备实现网络设备的冗余,达到高可用的目的.比如冗余的交换机,冗余的路由器等…

5.4Eureka高可用集群配置 在高并发的情况下一个注册中心难以满足,因此一般需要集群配置多台. 我们再新建两个module  microservice-eureka-server-2002,  microservice-eureka-server-2003,然后配置,最终的配置结果结构如图: 具体步骤: 第一步:每个模块的pom.xml添加如下依赖: <dependencies> <dependency> <groupId>org.springframework.c…

Eureka高可用集群配置 当注册中心扛不住高并发的时候,这时候 要用集群来扛: 我们再新建两个module  microservice-eureka-server-2002  microservice-eureka-server-2003 第一步: pom.xml 把依赖加下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 <dependencies>          <dependency>             <groupId>or…

什么是mapreduce 首先让我们来重温一下 hadoop 的四大组件:HDFS:分布式存储系统MapReduce:分布式计算系统YARN: hadoop 的资源调度系统Common: 以上三大组件的底层支撑组件,主要提供基础工具包和 RPC 框架等 Mapreduce 是一个分布式运算程序的编程框架,是用户开发“基于 hadoop 的数据分析 应用”的核心框架Mapreduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的 分布式运算程序,并发运行在一个 hadoop 集…

公司要用rabbitmq研究了两周,特把 rabbitmq 高可用的研究成果备下 后续会更新封装的类库 安装erlang wget http://www.gelou.me/yum/erlang-18.3-1.el6.x86_64.rpm yum install erlang-18.3-1.el6.x86_64.rpm 安装rabbitmq rpm包: wget http://www.gelou.me/yum/rabbitmq-server-3.6.1-1.noarch.rpm rpm --imp…

为了实现高可用,我采用LVS+双节点RabbitMq , 架构图如下: 在RabbitMQ之前放了LVS, LVS 采用 rr 轮询算法 , 目的是将请求平均分配到两个真实节点,并配置5672端口监控,异常时转移到另外的节点. 在 ,做完之后测试发现,用上LVS之后,测试会报错,服务器端的队列名称都是一致的,但是队列内容却并不是一致,看来需要做同步. Rabbit提供镜像功能,需要基于rabbitmq策略来实现,政策是用来控制和修改群集范围的某个vhost队列行为和Exchange行为 : se…

一.什么是RHCS    RHCS是Red Hat Cluster Suite的缩写,也就是红帽集群套件,RHCS是一个能够提供高可用性.高可靠性.负载均衡.存储共享且经济廉价的集群工具集合,它将集群系统中三大集群架构融合一体,可以给web应用.数据库应用等提供安全.稳定的运行环境. 更确切的说,RHCS是一个功能完备的集群应用解决方案,它从应用的前端访问到后端的数据存储都提供了一个行之有效的集群架构实现,通过RHCS提供的这种解决方案,不但能保证前端应用持久.稳定的提供服务,同时也保证了后端数…

一.Sharding分片技术 1.分片概述 当数据量比较大的时候,我们需要把数分片运行在不同的机器中,以降低CPU.内存和Io的压力,Sharding就是数据库分片技术. MongoDB分片技术类似MySQL的水平切分和垂直切分,数据库主要由俩种方式做Sharding:垂直扩展和横向切分. 垂直扩展的方式就是进行集群扩展,添加更多的CPU,内存,磁盘空间等. 横向切分则是通过数据分片的方式,通过集群统一提供服务: 二.MongoDB分片架构原理 (1)MongoDB的Sharding架构 其中,…

文章已收录至https://lichong.work,转载请注明原文链接. ps:欢迎关注公众号"Fun肆编程"或添加我的私人微信交流经验 一.Nginx安装配置及常用命令 1.环境搭建 首先在linux系统下安装gcc编译环境,执行: yum install gcc-c++ -y 确保当前系统可以编译nginx及其依赖包. 同时,安装Nginx还需要以下依赖需要进行安装: pcre-9.37.tar.gz openssl-1.0.1t.tar.gz zlib-1.2.8.tar.gz…

目录 说明 双主复制 主从同步 双主复制说明 多harbor实例共享后端存储 方案说明 环境说明 配置说明 安装redis和mysql 导入registry数据库 配置harbor 挂载nfs目录 修改harbor.cfg配置 修改docker-compose.yml配置 说明 在上一篇企业级镜像管理系统Harbor中,我们简要说明了单机版本harbor的配置.然而这种单机部署显然无法满足在生产中需求,必须要保证应用的高可用性. 目前有两种主流的方案来解决这个问题: 双主复制 多harbor实例…

说明:hdfs:nn单点故障,压力过大,内存受限,扩展受阻.hdfs ha :主备切换方式解决单点故障hdfs Federation联邦:解决鸭梨过大.支持水平扩展,每个nn分管一部分目录,所有nn共享dn资源.使用JN集群保证数据一致性,使用zk集群解决主备切换 1.若使用主备节点,常常存在的问题:强一致性,若一致性.强一致性(同步):nn主节点必须等到nn副本返回成功后,才能向客户端返回成功.主和副本之间可能会有如网络延迟.阻塞等问题,就造成了nn的不可用,违背了HA初衷.弱一致性(异步):…

一. HA概述 1. 所谓HA(High Available),即高可用(7*24小时不中断服务). 2. 实现高可用最关键的策略是消除单点故障.HA严格来说应该分成各个组件的HA机制:HDFS的HA和YARN的HA. 3. Hadoop2.0之前,在HDFS集群中NameNode存在单点故障(SPOF). 4 .   NameNode主要在以下两个方面影响HDFS集群 NameNode机器发生意外,如宕机,集群将无法使用,直到管理员重启 NameNode机器需要升级,包括软件.硬件升级,此时集…

1.安装RabbitMQ 1)下载和安装erlang 下载erlang wget http://www.rabbitmq.com/releases/erlang/erlang-18.1-1.el6.x86_64.rpm 安装erlang,root用户使用rpm安装 rpm -ihv erlang-.el6.x86_64.rpm 2)下载和安装RabbitMQ 下载RabbitMQ wget https://github.com/rabbitmq/rabbitmq-server/releases/…

下载Hadoop安装包 登录 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ 镜像站,找到我们要安装的版本,点击进去复制下载链接 安装Hadoop时要注意版本与后续安装的HBase.Spark等相关组件的兼容,不要安装了不匹配的版本,而导致某些组件需要重装 输入命令进行安装操作 cd /usr/local/src/ wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/…

1. 下载安装包 登录官网获取HBase安装包下载地址 https://hbase.apache.org/downloads.html 2. 执行命令下载并安装 cd /usr/local/src/ wget http://mirrors.tuna.tsinghua.edu.cn/apache/hbase/2.1.8/hbase-2.1.8-bin.tar.gz -bin.tar.gz /usr/local/hbase/ 3. 修改服务器系统环境变量 所有服务器都需要按要求修改配置 vi /et…

1.先安装centos扩展源: # yum -y install epel-release 2.安装erlang运行环境以及rabbitmq # yum install erlang ... # yum install rabbitmq-server ... 一般yum源安装的erlang版本太低,可以从erlang官网下载打包好的rpm包手动安装,避免源码编译安装: # wget https://packages.erlang-solutions.com/erlang/esl-erlang/F…

1. 架构信息 系统版本:CentOS 7.6 内核:3.10.0-957.el7.x86_64 Kubernetes: v1.14.1 Docker-ce: 18.09.5 推荐硬件配置:4核8G Keepalived保证apiserever服务器的IP高可用 Haproxy实现apiserver的负载均衡  2. 节点信息 目前测试为 6 台虚拟机,etcd采用 rpm 安装.kubernetes 使用二进制安装,使用 systemd 来做管理,网络组件采用 flannel,Master 实…

1. 获取安装包下载链接 访问https://kafka.apache.org/downloads 找到kafka对应版本 需要与服务器安装的scala版本一致(运行spark-shell可以看到当前安装的scala版本) 2. 执行命令下载并安装 cd /usr/local/src/ wget https://www.apache.org/dyn/closer.cgi?path=/kafka/2.2.2/kafka_2.11-2.2.2.tgz -.tgz - /usr/local/kafka…

安装neo4j高可用集群,抓图安装过程 http://www.ibm.com/developerworks/cn/java/j-lo-neo4j/ Step1.下载neo4j商业版并解压,复制为neo4j01,neo4j02,neo4j03 Step2.修改neo4j.properties 文件和neo4j-server.properties文件, 按照neo4j manual上面的要求修改即可. The following settings should be configured for e…

前提:已经在master01配置好hadoop:在各个slave节点配置好hadoop和zookeeper: (该文是将zookeeper配置在各slave节点上的,其实也可以配置在各master上,在哪配置就在哪启动zookeeper集群) 此文章基于上一篇文章:linux安装配置zookeeper-3.4.10 首先新增虚拟机master02:一.虚拟机中操作(启动网卡) sh /install/initNetwork.sh ifup eth0 二.基础配置(主机名.IP配置.防火墙及sel…

一.简述HA高可用集群 高可用集群就是当集群中的一个节点发生各种软硬件及人为故障时,集群中的其他节点能够自动接管故障节点的资源并向外提供服务.以实现减少业务中断时间,为用户提供更可靠,更高效的服务. 二.基于nfs实现mysql的高可用集群配置 环境准备接上文 实验环境: nfs server准备 .在nfs server准备LVM存储空间 [root@node3 ~]# fdisk /dev/sdb Device contains neither a valid DOS partition t…

                                              mysql-day08     部署MYSQL高可用集群 u 集群架构                                                               MHA 工作过程 • MHA Manager 会定时探测集群中的 master 节点, 当 master 出现故障时,它可以自动将最新数据的 sl ave 提升为新的 master ,然后将所有其他的 slave…

本文大纲: 1. RabbitMQ简介 2. RabbitMQ安装与配置 3. C# 如何使用RabbitMQ 4. 几种Exchange模式 5. RPC 远程过程调用 6. RabbitMQ高可用集群搭建 一.RabbitMQ简介 1.介绍   RabbitMQ是一个由erlang开发的基于AMQP(Advanced Message Queue )协议的开源实现.用于在分布式系统中存储转发消息,在易用性.扩展性.高可用性等方面都非常的优秀.是当前最主流的消息中间件之一. RabbitMQ官网…

1.环境说明 linux版本:CentOS Linux release 7.9.2009 erlang版本:erlang-24.0 rabbitmq版本:rabbitmq_server-3.9.13 2.源码安装erlang.RabbitMQ Rabbitmq采用erlang语言开发,所以在安装rabbitmq之前,需要安装erlang. 2.1 下载erlang.RabbitMQ源码包 erlang官网下载地址:http://www.erlang.org/download 选择opt_src_…

ActiveMQ 高可用集群安装.配置(ZooKeeper + LevelDB) 1.ActiveMQ 集群部署规划: 环境: JDK7 版本:ActiveMQ 5.11.1 ZooKeeper 集群环境:10.14.0.1:2181,10.14.0.2:2182,10.14.0.3:2183(ZooKeeper 集群部署请参考<ZooKeeper 集群的安装.配置>) 主机 集群端口 消息端口 管控台端口 节点安装目录 10.14.0.1 63631 53531 8361 /opt/prod…