两个Hadoop集群开启Kerberos验证后,集群间不能够相互访问,需要实现Kerberos之间的互信,使用Hadoop集群A的客户端访问Hadoop集群B的服务(实质上是使用Kerberos Realm A上的Ticket实现访问Realm B的服务).先决条件:1)两个集群(XDF.COM和HADOOP.COM)均开启Kerberos认证2)Kerberos的REALM分别设置为XDF.COM和HADOOP.COM步骤如下: 1 配置KDC之间的信任ticket 实现DXDF.COM和HA…

在本地配置多个nacos实例(伪集群),一般就是配置多个nacos端口,并启动多个startup.sh脚本.网上一些博客通过修改startup.sh脚本来指定不同nacos端口,比如:./startup.sh -p 3333,但是这种方式启动,nacos版本应该是1.2.x以前的版本号 而在nacos-1.4.x后的版本中,startup.sh脚本中已经对参数 p 有了自己的定义 我们简单分享一篇不用修改startup.sh脚本代码来实现在本地配置多个nacos实例 第一步:在linux中拷贝三…

1.背景 部门有个需求,在网络互通的情况下,把现有的hadoop集群(未做Kerberos认证,集群名为:bd-stg-hadoop)的一些hdfs文件拷贝到新的hadoop集群(做了Kerberos认证,集群名为zp-tt-hadoop) 如果是两个都没有做安全认证的集群互传文件,使用distcp可以很快实现.在当前情况下,情况可能要复杂一些.通过查阅资料,在cdh的官网上竟然有这么神奇的一个参数可以解决这样的需求.传送门:http://www.cloudera.com/documentati…

前言 由于项目数据安全的需要,这段时间看了下hadoop的distcp的命令使用,不断的纠结的问度娘,度娘告诉我的结果也让我很纠结,都是抄来抄去, 还好在牺牲大量的时间的基础上还终于搞出来了,顺便写这个随笔,记录下. 环境 目前我们是两套同版本的CDH集群,集群内的节点通信使用的私网,提供浮动ip对外通信,也就是说,两个集群间的私网是不互通的,只能通过浮动ip 进行通信. 操作 使用hadoop提供的distcp命令进行数据迁移 (数据源集群source和目标集群target版本相同) 迁移hd…

1.Hbase集群的高可用性与伸缩性 HBase可以实现对Regionserver的监控,当个别Regionserver不可访问时,将其负责的分区分给其他Regionsever,其转移过程较快,因为只需要将分区的相关信息转移.Hlog和表中数据实际存储在HDFS上,本身具有多副本机制容错. Master节点以及HDFS中的Namenode节点,如果只部署一个,可能造成单点故障,可以依托Zookeeper实现这两种关系主节点的高可用性配置. Zookeeper实现的方法是:部署多个Master或N…

环境:一个基于B/S的MIS系统,硬件为两台2个CPU.8GB内存的HP小型机,服务器是WebLogic 9.2,每台机器启动了3个WebLogic实例,构成一个6个节点的亲合式集群. 说明:由于是亲合式集群,节点间没有进行Session同步,但是有一些需求要实现部分数据在各个节点间共享.开始这些数据存放在数据库中,但是由于读写频繁竞争很激烈,对性能影响较大,后面使用JBossCache构建了一个全局缓存. 全局缓存启用后,服务正常使用了较长一段时间. 问题:最近不定期地多次出现内存溢出问题.…

一.概述 目前基于中间件uReplicator实现了kafka集群间的迁移复制,可以实现跨区.跨云的kafka集群间复制同步,也可以实现kafka集群的冷热互备架构:在实现集群间同步以后,需要解决一个很重要的问题:如何从主集群切换到备份集群?相应的前端可能需要有对应的Proxy或者LB,那么这里我们着重讨论后端两个集群间的切换策略. 二.步骤 要实现后端集群间的切换,最重要的就是要解决相关的应用在备份集群的开始消费位移问题.目前实现步骤如下: 主要思想可以参考这篇文章:http://www.de…

用隧道协议实现不同dubbo集群间的透明通信 前言 笔者最近完成了一个非常有意思的隧道机制(已在产线运行),可以让注册到不同zookeeper之间的dubbo集群之间能够正常进行通信.如下图所示: 例如图中A/B两个网络隔离的集群,两者只能通过专线进行通信.但是对于在里面的应用来说,调用另外一个集群的dubbo服务(例如app1调用app3)依旧和原来的方式一模一样,无需做任何修改.这个特性对于新建单元(机房),业务网络隔离等场景非常有用. 本文就稍稍聊一下这个机制. 场景 这个dubbo集群通…

集群建备份,它是master/slaves结构式的备份,由master推送,这样更容易跟踪现在备份到哪里了,况且region server是都有自己的WAL 和HLog日志,它就像mysql的主从备份结构一样,只有一个日志来跟踪.一个master集群可以向多个slave集群推送,收到推送的集群会覆盖它本地的edits日志. 这个备份操作是异步的,这意味着,有时候他们的连接可能是断开的,master的变化不会马上反应到slave当中.备份个格式在设计上是和mysql的statement-based…

1.创建主体 注: 192.168.0.230 为单节点集群 192.168.4.50为kdc服务器 192.168.0.9为客户端 1.1.Kdc服务器创建主体 # kadmin.local -q ‘addprinc -randkey presto’ #kadmin.local -q ‘addprinc -randkey presto/yjt’ 1.2.创建秘钥文件 # kadmin.local -q ‘xst -norandkey -k presto.keytab presto presto…