jafka的zk数据
查看topics:
- ls /brokers/topics
- [mytopic]
查看topic所在的broker,下面例子,mytopic在broker 0 中管理。
- ls /brokers/topics/mytopic
- [0]
查看brocker中,某个topic有多少partition:
- get /brokers/topics/mytopic/0
- 3
查看brocker信息: 存在brocker 0
- ls /brokers/ids
- [0]
查看brocker详细信息:机器名-时间戳:机器IP:机器端口
- get /brokers/ids/0
- 10.217.12.109-1401950718319:10.217.12.109:9092
查看consumer信息:
- ls /consumers
- [test_group, mygroup]
- 说明,有两个group
查看group下的信息:
- ls /consumers/test_group
- [offsets, owners, ids]
- offsets内记录消息消费到何处;owners中记录的是topic,通过‘test_group’组消费消息,消息所属的topic。ids记录的是消费者实例的一些信息。
查看offsets下的信息:
- ls /consumers/test_group/offsets
- [mytopic, ww]
- 有两个topic
- ls /consumers/test_group/offsets/mytopic
- [0-2, 0-1, 0-0]
- 每个topic有三个分区
- get /consumers/test_group/offsets/mytopic/0-0
- 1763880
- 这个是offset的值
查看owners信息:
- ls /consumers/test_group/owners
- [mytopic, ww]
- 两个topic
- ls /consumers/test_group/owners/mytopic
- [0-2, 0-1, 0-0]
- get /consumers/test_group/owners/mytopic/0-0
- test_group_fww-PC-1402367921721-e9527998-0
- 上面的内容的格式是:consumerIdString-N,consumerIdString是test_group_fww-PC-1402367921721-e9527998。N代表MessageStream的ID
查看ids:
- ls /consumers/test_group/ids
- [test_group_fww-PC-1402367921721-e9527998]
- group_hostname-时间戳-uuid
- get /consumers/test_group/ids/test_group_fww-PC-1402367921721-e9527998
- {"mytopic":1}
- 说明:{"mytopic":1}是创建consumer时指定的,要创建多少MessageStream。在mytopic上面创建一个MessageStream用于消费消息,代码如下:
Map<String, List<MessageStream<String>>> topicMessageStreams = connector
.createMessageStreams(ImmutableMap.of("mytopic", 1),//topic名称,1表示要创建一个stream
new StringDecoder());
jafka的zk数据的更多相关文章
- JStrom的zk数据
/jstorm/masterlock 用于LeaderSelector的锁. /jstorm/master get /jstorm/master localhost.localdomain:7627 ...
- ZK数据同步
整个集群完成Learner选举后,Learner向Leader发起注册,然后进入数据同步环节,即Leader将learner上缺失的事务请求同步给Learner 1). 获取Learner状态 根据L ...
- zookeeper 各节点数据保证是弱一致性
一致性保证: ZooKeeeper 是一个高性能的,可扩展的服务.不管是读和写操作是被设计成快速,虽然读比写快. 这样做的原因是在读的情况下,Zookeeper 可以提供旧的数据, 反过来又是由于Zo ...
- <zk在大型分布式系统中的应用>
Hadoop 在hadoop中,zk主要用来实现HA(High Availability).这部分逻辑主要集中在hadoop common的HA模块中,HDFS的NameNode和Yarn的Resou ...
- <zk的典型应用场景>
Overview zk是一个典型的发布/订阅模式的分布式数据管理与协调框架,开发人员可以使用它来进行分布式数据的发布与订阅. 另一方面,通过对zk中丰富的数据节点进行交叉使用,配合watcher事件通 ...
- Zookeeper数据查看工具ZooInspector
Zookeeper作为常用的集群协调者组件被广泛应用,尤其是在大数据生态圈中: Zookeeper集群存储各个节点信息,包括:Hadoop.Hbase.Storm.Kafka等等: 二.查询ZK数据的 ...
- 160728、Spark Streaming kafka 实现数据零丢失的几种方式
定义 问题开始之前先解释下流处理中的一些概念: At most once - 每条数据最多被处理一次(0次或1次) At least once - 每条数据最少被处理一次 (1次或更多) Exactl ...
- zookeeper3.3.6 伪分布式安装
下载地址(http://zookeeper.apache.org/releases.html#download) 一:下载zookeeper的安装包,解压,进入到zk的目录文件,进入conf目录 ...
- Storm-源码分析- Storm中Zookeeper的使用
在backtype.storm.cluster.clj中, 定义了storm对于Zookeeper的使用 ClusterState 首先定义操作Zookeeper集群的interface (def ...
随机推荐
- (实用篇)jQuery二级联动代码
jquery二级联动城市代码 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "htt ...
- VoxelGrid体素滤波器对点云进行下采样
使用体素化网格方法实现下采样,即减少点的数量,减少点云数据,并同时保持点云的形状特征,在提高配准.曲面重建.形状识别等算法速度中非常实用. PCL实现的VoxelGrid类通过输入的点云数据创建一个三 ...
- 2016HUAS_ACM暑假集训2L - Points on Cycle(圆上的点)
一个简单的几何题,自己在纸上列出方程解出结果的表达式,再用程序表达出来就行了. 不过老司机(老司机的woodcoding)说用旋转向量法比较简单,有时间要去看一看. 大致题意:一个圆心在原点的圆,半径 ...
- php 单引号 双引号 ,php字符串/ hmtl / 数据库显示/ 及php的几个转化函数
* 以单引号为定界符的php字符串,支持两个转义\'和\\* 以双引号为定界符的php字符串,支持下列转义(\'会直接输出\' ,也会转义 \\): \n 换行(LF 或 ASCII 字符 0x ...
- Python(SQLAlchemy-ORM)模块之mysql操作
一.SQLAlchemy简单介绍 SQLAlchemy是Python编程语言下的一款ORM框架,该框架建立在数据库API之上,使用关系对象映射进行数据库操作,简言之便是:将对象转换成SQL,然后使用数 ...
- SocketTcpClient
public class SocketTcpClient { public static string ErrorMsg = string.Empty; private static Socket _ ...
- Zookeeper安装指南
第一步:修改conf目录下面的 zoo_sample.cfg修改为zoo.cfg tickTime=2000 # The number of ticks that the initial # sync ...
- putty连接ubuntu虚拟机缓慢问题的解决
vmware安装系统使用了ubuntu,安装后每次用PUTTY登录发现都到等很久,经过上网搜索,发现是Ubuntu安全机制导致的连接缓慢问题, 解决方法如下; 1. sudo vim /etc ...
- 使用springMVC实现文件上传和下载之文件下载
接上一篇,文件下载需要获取下载文件的存储路径,这里只是手动填入,如果是在具体项目中,可以把文件名和上传后的存储路径保存在数据库中.然后增加一个文件列表的页面展示文件名和文件路径,然后点击下载的时候把相 ...
- activiti自定义流程之整合(六):获取我的申请任务
流程启动后,流程节点便进入到了任务相关的部分.可以看到我之前的做法是在启动节点就绑定了form表单,启动时就填写相关的数据.实际上在之前我的做法是不对开始节点做任何操作,知道任务节点的时候再填写相关的 ...