上一篇介绍了ZK的安装以及集群的搭建,这只能算是个软件安装过程,具体是做什么的.怎么用也没有做解释,这一篇中博主就自己的私人理解简单写一下: 1.是什么: a.Zookeeper是一个分布式协调服务,是一个中间件. b.能提供主从协调.服务器节点控制.统一配置管理.分布式共享锁.统一名称服务等功能,比较有名的是大数据以及dubbo中服务的注册以及发现. c.本质上只是管理.读取用户提交的数据,并为数据提供监听服务. 2.应用场景: 大数据 服务注册与发现 等等 3.一些概念: a. ZK的角色:…

Zookeeper特点: 1.中间件,提供协调服务 2.作用于分布式系统,可以为大数据服务 3.支持java,提供java和c语言的客户端的api 分布式系统: 1.很多台计算机组成一个整体,一个整体一致对外并且处理同一请求 2.内部的每台计算机都有可以相互通信(rest/rpc) 3.客户端到服务器的一次请求到响应结束会历经多台计算机 分布式图解: zookeeper的特性: 1.一致性:数据一致性,数据按照顺序分批入库 2.原子性:事务要么成功要么失败,不会局部化 3.单一视图:客户端连接集…

先来说一下Kafka与RabbitMQ的对比: RabbitMQ,遵循AMQP协议,由内在高并发的erlanng语言开发,用在实时的对可靠性要求比较高的消息传递上. kafka是Linkedin于2010年12月份开源的消息发布订阅系统,它主要用于处理活跃的流式数据,大数据量的数据处理上.   RabbitMQ是一个AMQP实现,传统的messaging queue系统实现,基于Erlang.老牌MQ产品了.,AMQP协议更多用在企业系统内,对数据一致性.稳定性和可靠性要求很高的场景,对性能和吞…

    ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,作用简单描述就是相当于一个中介,服务提供者将服务注册到zk,服务调用者直接从zk获取,zk的作用就是协调     最近碰到公司iis服务启动了,然后该服务在zk成功注册节点并且provider有了节点,但是超过20分钟没有访问后,发现provider中的节点消失了,请教了开发知道,对于新增的服务器安装iis服务后,原来对于服务的应用程序池需要做3个操作才行. 如图1-1,需要在服务的应用程序池,选择服务-高级设置-禁用重…

在系统平稳运行一年的基础上,为提供更好的服务,现针对java,kafka,flume,zk,统一进行版本升级,请各位小伙伴跟着走起来,不要掉队啊! 名称 老版本号 新版本号 jdk 1.7.0_25 1.8.0 kafka 2.10-0.8.0.1 2.10-0.10.2.1 flume 1.6.0 1.7.0 zookeeper 3.4.6 3.4.8 jdk,zookeeper,flume: 这两个中间件平滑升级,没有特殊的地方,参考其他博客就好 kafka: 这个的变化还是很大的,咱们详细…

1:zk的相关特性 1.一致性:数据一致性,数据按顺序分批入库. 2.原子性:事务要么都成功,要么都失败,不会局部化. 3.单一视图:客户端连接集群中的任一zk节点,数据都是一致的. 4.可靠性:每次对zk的操作状态都保存在服务器中. 5.实时性:客户端可以读取zk服务端的最新数据 2:linux上环境变量在/etc/profile 中编辑过后需要执行source /etc/profile 重新导入刚刚的配置 3:Zookeeper中zoo.cfg配置 1.tickTime:用于计算的时间单元.…

kafka 很多说不需要安装zk的是因为他们都使用了kafka自带的zk 至于kafka为什么使用zk,你首先要知道zk的作用, 作为去中心化的集群模式. 需要要消费者知道现在那些生产者(对于消费者而言,kafka就是生产者)是可用的. 如果没了zk消费者如何知道呢?如果每次消费者在消费之前都去尝试连接生产者测试下是否连接成功,效率呢? 所以kafka需要zk,在kafka的设计中就依赖了zk了. --- 共有 1 条评论 --- 翟志军: 需要要消费者知道现在那些生产者(对于消费者而言,kaf…

作者:柳树之 www.jianshu.com/p/7b77723d4f96 Kafka是啥?用Kafka官方的话来说就是: Kafka is used for building real-time data pipelines and streaming apps. It is horizontally scalable, fault-tolerant, wicked fast, and runs in production in thousands of companies. 大致的意思就是,…

zk:zookeeper NN:namenode DN:datanode ZF Failover Controller:简称zkfc ,是zk的客户端,只运行在主备的namenode上,主要作用是判断 那个主节点,那莪是备用节点,同事在主备切换的时候也会做判断,zkfc 是active的状态,同理,这台namenode也是active的状态 zk 得作用是为NN做高可用得,zk的数量一般是要为奇数,最少是3个 上图绿色的方块是Journalnode,是保证namenode元数据的同步,journ…

本文作者:HelloGitHub-老荀 本文是 HelloZooKeeper 系列的最后一篇文章,接下来主要聊聊面试中如果被问到 ZooKeeper 的问题如何回答,也可以当作学完本系列的测试. 准备好了吗?面试开始喽~「首发于 HelloGitHub 公众号」 一.模拟面试 终于来到重头戏了,本小节我会从网上找到一些关于 ZK 的面试题进行剖析讲解,并且站在面试官的基础上分析考点,相信看完这一节,出去面试再碰到 ZK 相关的问题你便能披荆斩棘.所向披靡! 我先给大家模拟一个面试的场景: 面试官…