用隧道协议实现不同dubbo集群间的透明通信 前言 笔者最近完成了一个非常有意思的隧道机制(已在产线运行),可以让注册到不同zookeeper之间的dubbo集群之间能够正常进行通信.如下图所示: 例如图中A/B两个网络隔离的集群,两者只能通过专线进行通信.但是对于在里面的应用来说,调用另外一个集群的dubbo服务(例如app1调用app3)依旧和原来的方式一模一样,无需做任何修改.这个特性对于新建单元(机房),业务网络隔离等场景非常有用. 本文就稍稍聊一下这个机制. 场景 这个dubbo集群通…

Dubbo是Alibaba开源的分布式服务框架,我们可以非常容易地通过Dubbo来构建分布式服务,并根据自己实际业务应用场景来选择合适的集群容错模式,这个对于很多应用都是迫切希望的,只需要通过简单的配置就能够实现分布式服务调用,也就是说服务提供方(Provider)发布的服务可以天然就是集群服务,比如,在实时性要求很高的应用场景下,可能希望来自消费方(Consumer)的调用响应时间最短,只需要选择Dubbo的Forking Cluster模式配置,就可以对一个调用请求并行发送到多台对等的提供方…

前言 由于项目数据安全的需要,这段时间看了下hadoop的distcp的命令使用,不断的纠结的问度娘,度娘告诉我的结果也让我很纠结,都是抄来抄去, 还好在牺牲大量的时间的基础上还终于搞出来了,顺便写这个随笔,记录下. 环境 目前我们是两套同版本的CDH集群,集群内的节点通信使用的私网,提供浮动ip对外通信,也就是说,两个集群间的私网是不互通的,只能通过浮动ip 进行通信. 操作 使用hadoop提供的distcp命令进行数据迁移 (数据源集群source和目标集群target版本相同) 迁移hd…

1.背景 部门有个需求,在网络互通的情况下,把现有的hadoop集群(未做Kerberos认证,集群名为:bd-stg-hadoop)的一些hdfs文件拷贝到新的hadoop集群(做了Kerberos认证,集群名为zp-tt-hadoop) 如果是两个都没有做安全认证的集群互传文件,使用distcp可以很快实现.在当前情况下,情况可能要复杂一些.通过查阅资料,在cdh的官网上竟然有这么神奇的一个参数可以解决这样的需求.传送门:http://www.cloudera.com/documentati…

集群建备份,它是master/slaves结构式的备份,由master推送,这样更容易跟踪现在备份到哪里了,况且region server是都有自己的WAL 和HLog日志,它就像mysql的主从备份结构一样,只有一个日志来跟踪.一个master集群可以向多个slave集群推送,收到推送的集群会覆盖它本地的edits日志. 这个备份操作是异步的,这意味着,有时候他们的连接可能是断开的,master的变化不会马上反应到slave当中.备份个格式在设计上是和mysql的statement-based…

环境:一个基于B/S的MIS系统,硬件为两台2个CPU.8GB内存的HP小型机,服务器是WebLogic 9.2,每台机器启动了3个WebLogic实例,构成一个6个节点的亲合式集群. 说明:由于是亲合式集群,节点间没有进行Session同步,但是有一些需求要实现部分数据在各个节点间共享.开始这些数据存放在数据库中,但是由于读写频繁竞争很激烈,对性能影响较大,后面使用JBossCache构建了一个全局缓存. 全局缓存启用后,服务正常使用了较长一段时间. 问题:最近不定期地多次出现内存溢出问题.…

一.概述 目前基于中间件uReplicator实现了kafka集群间的迁移复制,可以实现跨区.跨云的kafka集群间复制同步,也可以实现kafka集群的冷热互备架构:在实现集群间同步以后,需要解决一个很重要的问题:如何从主集群切换到备份集群?相应的前端可能需要有对应的Proxy或者LB,那么这里我们着重讨论后端两个集群间的切换策略. 二.步骤 要实现后端集群间的切换,最重要的就是要解决相关的应用在备份集群的开始消费位移问题.目前实现步骤如下: 主要思想可以参考这篇文章:http://www.de…

两个Hadoop集群开启Kerberos验证后,集群间不能够相互访问,需要实现Kerberos之间的互信,使用Hadoop集群A的客户端访问Hadoop集群B的服务(实质上是使用Kerberos Realm A上的Ticket实现访问Realm B的服务).先决条件:1)两个集群(XDF.COM和HADOOP.COM)均开启Kerberos认证2)Kerberos的REALM分别设置为XDF.COM和HADOOP.COM步骤如下: 1 配置KDC之间的信任ticket 实现DXDF.COM和HA…

1.Hbase集群的高可用性与伸缩性 HBase可以实现对Regionserver的监控,当个别Regionserver不可访问时,将其负责的分区分给其他Regionsever,其转移过程较快,因为只需要将分区的相关信息转移.Hlog和表中数据实际存储在HDFS上,本身具有多副本机制容错. Master节点以及HDFS中的Namenode节点,如果只部署一个,可能造成单点故障,可以依托Zookeeper实现这两种关系主节点的高可用性配置. Zookeeper实现的方法是:部署多个Master或N…

dubbo主要核心部件 Remoting:网络通信框架,实现了sync-over-async和request-response消息机制. RPC:一个远程过程调用的抽象,支持负载均衡.容灾和集群功能. Registry:服务目录框架用于服务的注册和服务事件发布和订阅.(类似第一篇文章中的点菜宝) dubbo架构 Provider: 暴露服务的提供方. Consumer:调用远程服务的服务消费方. Registry: 服务注册中心和发现中心. Monitor: 统计服务和调用次数,调用时间监控中心…

转自dubbo官网文档http://dubbo.apache.org/zh-cn/blog/dubbo-cluster-error-handling.html Design For failure 在分布式系统中,集群某个某些节点出现问题是大概率事件,因此在设计分布式RPC框架的过程中,必须要把失败作为设计的一等公民来对待.一次调用失败之后,应该如何选择对失败的选择策略,这是一个见仁见智的问题,每种策略可能都有自己独特的应用场景.因此,作为框架来说,应当针对不同场景提供多种策略,供用户进行选择.…

一.问题描述:项目中2台dubbo服务给移动端提供查询接口,移动端反应说查询时而很快(秒刷),时而很慢(4-5秒). 二.问题分析: 1.问题猜想:网络不稳定原因导致,但是切换公司wifi和手机4G,问题依旧存在.说明问题不是网络原因导致 2.因为服务提供者中有记录服务响应时间日志,打开2台服务提供者的日志,发现有一台不会打印最新日志,而所有的服务调用都在另一台,检查发现一台dubbo服务已经挂了(mark可能是问题原因).   继续分析正常使用的dubbo服务的响应日志发现..响应时间都在20…

集群配置: https://blog.csdn.net/zh520qx/article/details/63679908 https://www.cnblogs.com/hd3013779515/p/6896942.html https://www.cnblogs.com/leeSmall/p/7587334.html 官方文档(中文): http://dubbo.apache.org/zh-cn/docs/user/quick-start.html…

前面写了一篇dubbo的基础应用篇,单机版 http://www.cnblogs.com/yun965861480/p/6257670.html, 这次将集群的相关配置记录下来. 1.zookeeper,dubbo-admin,dubbo应用我就不写了,还是沿用基础应用篇的demo http://www.cnblogs.com/yun965861480/p/6257670.html 2.对于集群的配置使用,只需要在服务端暴露接口的时候添加2个参数就可以了 cluster="failover&qu…

原文地址:Dubbo 源码分析 - 集群容错之 LoadBalance dubbo 提供了4种负载均衡实现,分别是基于权重随机算法的 RandomLoadBalance.基于最少活跃调用数算法的 LeastActiveLoadBalance.基于 hash 一致性的 ConsistentHashLoadBalance,以及基于加权轮询算法的 RoundRobinLoadBalance. 在 Dubbo 中,所有负载均衡实现类均继承自 AbstractLoadBalance,该类实现了 LoadB…

集群容错方案 说明 Failover Cluster 失败自动切换,自动重试其它服务器(默认) Failfast Cluster 快速失败,立即报错,只发起一次调用 Failsafe Cluster 失败安全,出现异常时,直接忽略 Failback Cluster 失败自动恢复,记录失败请求,定时重发 Forking Cluster 并行调用多个服务器,只要一个成功即返回 Broadcast Cluster 广播逐个调用所有提供者,任意一个报错则报错…

1.介绍 官方宣布从6.8和7.1开始,免费提供多项安全功能.其中包括tls加密通信,基于角色访问控制等功能. 可以使用企业CA证书来完成这一步骤,但是一般情况下,我们可以通过elasticsearch自带的elasticsearch-certutil的命令生成证书.然后各节点通过该证书可以进行安全通信. 为节点创建证书 TLS:TLS协议要求Trusted Certificate Authority(CA)签发的X.509的证书 证书认证的不同级别 Certificate:节点加入集群需要使用…

两个基本概念的生命周期 session: 当新客户端发现一个HTTP请求时服务端会创建一个session.并分配一个sessionID作为服务端来客户端的识别,session对象会保存在服务端.此时session对象处天NEW STATE状态,如果调用 session.isNew()则返回true. 当服务器处理完后,会将sessionID同reponse 一起传回客户端,并将其存到cookie中; 当客户端再发送请求的时候.会将sessionID连同request一起发送给服务端; 服务端再根…

hadoop集群之间有时候需要将数据进行迁移,如将一些保存的过期文档放置在一个小集群中进行保存. 使用的是社区提供的功能,distcp.用法非常简单: hadoop distcp hdfs://nn1:8020/foo/bar  hdfs://nn2:8020/bar/foo 加上参数 -i 表示不用去管failure -m 设置map数…

1.https://no-east.gitbooks.io/origin-zookeeper/content/zookeeper_gong_zuo_yuan_li.html 2.http://blog.csdn.net/goliathray/article/details/8565801 3.http://www.itdadao.com/articles/c15a23250p0.html 4.http://www.itdadao.com/articles/c15a1039561p0.html 5…

hadoop distcp -i hdfs://192.168.10.211:9000/fileinfo hdfs://192.168.24.46:9000/fileinfo distcp [OPTIONS] <srcurl>* <desturl> -i Ignore failures…

在要执行distcp 的客户端配置添加 dfs.internal.nameservices 指local service 就是client 所在的hadoop 的逻辑名称 <!-- services --> <!-- local sevice and remote service --> <property> <name>dfs.nameservices</name> <value>ns1,ns8</value> <…

安装pip $ curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py # 下载安装脚本 $ sudo python get-pip.py # 运行安装脚本 wget https://files.pythonhosted.org/packages/d8/b5/5c5eb96463427da7b7206ff22a3470aae374656de2317eaac41dfb69a64a/ansible-2.8.2.tar.gz cd /usr/lo…

WebLogic集群案例分析 2012年8月,某证券交易系统(采用Weblogic中间件),由于基金业务火爆,使系统压力太大,后台服务器频繁死机时,这时工程师们紧急调试系统及恢复操作,等完成这些操作花掉了1天的时间,前端的所有任务都不得不停止,以等待系统恢复最终造成证券交易系统一整天不能服务的重大事故,从以上情形可以看出提高证券交易系统的高可用性是多么重要,这直接关系到到证券投资业务的正常开展.下文为大家介绍如何搭建Weblogic集群高可用案例,其主要介绍如何配置WebLogic集群,拓扑如图…

zookeeper:伪集群安装部署 只有一台linux主机,但却想要模拟搭建一套zookeeper集群的环境.可以使用伪集群模式来搭建.伪集群模式本质上就是在一个linux操作系统里面启动多个zookeeper实例.这些不同的实例使用不同的端口,配置文件以及数据目录. 这样我们就可以happy地来学习Zookeeper了. 创建三个目录,隔离开3个zookeeper实例的数据文件,配置文件: [beanlam@localhost ~]$ mkdir zk1 [beanlam@localhost…

1.简介 为了避免单点故障,现在的应用至少会部署在两台服务器上.对于一些负载比较高的服务,会部署更多台服务器.这样,同一环境下的服务提供者数量会大于1.对于服务消费者来说,同一环境下出现了多个服务提供者.这时会出现一个问题,服务消费者需要决定选择哪个服务提供者进行调用.另外服务调用失败时的处理措施也是需要考虑的,是重试呢,还是抛出异常,亦或是只打印异常等.为了处理这些问题,Dubbo 定义了集群接口 Cluster 以及及 Cluster Invoker.集群 Cluster 用途是将多个服务提…

1. 简介 前面文章分析了服务的导出与引用过程,从本篇文章开始,我将开始分析 Dubbo 集群容错方面的源码.这部分源码包含四个部分,分别是服务目录 Directory.服务路由 Router.集群 Cluster 和负载均衡 LoadBalance.这几个部分的源码逻辑比较独立,我会分四篇文章进行分析.本篇文章作为集群容错的开篇文章,将和大家一起分析服务目录相关的源码.在进行深入分析之前,我们先来了解一下服务目录是什么.服务目录中存储了一些和服务提供者有关的信息,通过服务目录,服务消费者可获取…

再用dubbo作为项目架构的时候,给consumer消费者用nginx提供了负载均衡策略和集群的实现, 但是想了下,consumer再多,但是提供者还是一个,最后还不都是落到了这一个provider上面? 举个列子: 一个饭店有1个后厨在做饭, 前台有100个点菜的服务员, 100个顾客来点餐,每个服务员都来告诉后厨做饭的,那么后厨... Dubbo实现负载均衡,一般是对服务的提供者来实现我们的集群管理,也就是负载均衡,然后服务的消费者在请求消费的时候,通过一定的算法进行寻址(权重),可以参考下…

作者:中华石杉 面试题 dubbo 负载均衡策略和集群容错策略都有哪些?动态代理策略呢? 面试官心理分析 继续深问吧,这些都是用 dubbo 必须知道的一些东西,你得知道基本原理,知道序列化是什么协议,还得知道具体用 dubbo 的时候,如何负载均衡,如何高可用,如何动态代理. 说白了,就是看你对 dubbo 熟悉不熟悉: dubbo 工作原理:服务注册.注册中心.消费者.代理通信.负载均衡: 网络通信.序列化:dubbo 协议.长连接.NIO.hessian 序列化协议: 负载均衡策略.集群容…

目录 Dubbo 系列(07-2)集群容错 - 服务路由 1. 背景介绍 1.1 继承体系 1.2 SPI 2. 源码分析 2.1 创建路由规则 2.2 RouteChain 2.3 条件路由 Dubbo 系列(07-2)集群容错 - 服务路由 1. 背景介绍 相关文档推荐: Dubbo 路由规则配置 Dubbo 源码解读 - 服务路由 在上一节 Dubbo 系列(06-1)集群容错 - 服务字典 中分析服务字典的源码,服务字典是 Dubbo 集群容错的基础,这节只在服务字典的基础上继续分析服务…