在上一章分析了NamesrvController的构造函数时,会生成一个RouteInfoManager对象,该对象存放着整个消息集群的相关消息,所以这里单独拿出来分析。其实试想一下namesrv的功能不就是一个提供了通信功能的一个队列嘛,而RouteInfoManager保留了所有信息的路由。所以要想弄明白RocketMQ,RouteInfoManager必须要攻下。
  
  RouteInfoManager的构造函数
  
  主要提供了topic、broker、cluster、liveBroker的路由信息。
  
  public class RouteInfoManager {
  
  private static final InternalLogger log = InternalLoggerFactory.getLogger(LoggerName.NAMESRV_LOGGER_NAME);
  
  private final static long BROKER_CHANNEL_EXPIRED_TIME = 1000 * 60 * 2;
  
  // 读写锁
  
  private final ReadWriteLock lock = new ReentrantReadWriteLock();
  
  // Topic,以及对应的队列信息
  
  private final HashMap<String/* topic */, List<QueueData>> topicQueueTable;
  
  // 以Broker Name为单位的Broker集合
  
  private final HashMap<String/* brokerName */, BrokerData> brokerAddrTable;
  
  // 集群以及属于该集群的Broker列表
  
  private final HashMap<String/* clusterName */, Set<String/* brokerName */>> clusterAddrTable;
  
  // 存活的Broker地址列表
  
  private final HashMap<String/* brokerAddr */, BrokerLiveInfo> brokerLiveTable;
  
  // Broker对应的Filter Server列表
  
  private final HashMap<String/* brokerAddr */, List<String>/* Filter Server */> filterServerTable;
  
  public RouteInfoManager() {
  
  this.topicQueueTable = new HashMap<String, List<QueueData>>(1024);
  
  this.brokerAddrTable = new HashMap<String, BrokerData>(128);
  
  this.clusterAddrTable = new HashMap<String, Set<String>>(32);
  
  this.brokerLiveTable = new HashMap<String, BrokerLiveInfo>(256);
  
  this.filterServerTable = new HashMap<String, List<String>>(256);
  
  }
  
  ..........省略
  
  topicQueueTable
  
  private final HashMap<String/* topic */, List<QueueData>> topicQueueTable;
  
  1
  
  存放了Topic的一个hashMap,在RocketMQ的插件中RocketMQ控制台,可以看到Topic的列表,这个就是topicQueueTable的一个可视化:
  
  查看QueueData的类信息:
  
  public class QueueData implements Comparable<QueueData> {
  
  // 队列所属的Broker名称
  
  private String brokerName;
  
  // 读队列数量
  
  private int readQueueNums;
  
  // 写队列数量
  
  private int writeQueueNums;
  
  // Topic的读写权限(2是写 4是读 6是读写)
  
  private int perm;
  
  private int topicSynFlag;
  
  点开一个一个topic的配置可以看到和上面类对应的变量:
  
  clusterAddrTable
  
  private final HashMap<String/* clusterName www.quwanyule157.com*/, Set<String/* brokerName */>> clusterAddrTable;
  
  1
  
  根据一个集群名,获得对应的一组BrokerName的列表,在可视化界面就是如下:
  
  虽然只得到了BrokerName,只要调用对应的接口就能得到Broker对应的属性值。
  
  brokerAddrTable
  
  private final HashMap<String/* brokerName */, BrokerData> brokerAddrTable;
  
  1
  
  以Broker Name为Key,BrokerData为Value:
  
  public class BrokerData implements Comparable<BrokerData> {
  
  private String cluster;
  
  private String brokerName;
  
  //同一个brokerName下可以有一个Master和多个Slave,所以brokerAddrs是一个集合
  
  private HashMap<Long/* brokerId */, String/* broker address */> brokerAddrs;
  
  private final Random random = new Random();
  
  Master与Slave 的对应关系通过指定相同的BrokerName,不同的BrokerId来定 义,BrokerId为0 表示Master,非0 表示Slave。
  
  brokerLiveTable
  
  private final HashMap<String/*www.yongshiyule178.com brokerAddr */, BrokerLiveInfo> brokerLiveTable;
  
  1
  
  用于存放存活的Broker信息,BrokerLiveInfo:
  
  class BrokerLiveInfo {
  
  // 最后一次更新时间
  
  private long lastUpdateTimestamp;
  
  // 版本号
  
  private DataVersion dataVersion;
  
  // Netty的Channel
  
  private Channel channel;
  
  /**
  
  * HA Broker的地址
  
  * 是Slave从Master拉取数据时链接的地址,由brokerIp2+HA端口构成 */
  
  private String haServerAddr;
  
  registerBroker
  
  上面的类的解释可能还存在很多遗憾,下面以registerBroker方法,来实际操作一下上面提到类,看看注册一个Broker发生了什么:
  
  public RegisterBrokerResult registerBroker(
  
  final String clusterName,
  
  final String brokerAddr,
  
  final String brokerName,
  
  final long brokerId,
  
  final String haServerAddr,
  
  //TopicConfigSerializeWrapper比较复杂的数据结构,主要包含了broker上所有的topic信息
  
  final TopicConfigSerializeWrapper topicConfigWrapper,
  
  final List<String> filterServerList,
  
  final Channel channel) {
  
  RegisterBrokerResult result = new RegisterBrokerResult();
  
  try {
  
  try {
  
  this.lock.writeLock(www.feifanyule.cn/).lockInterruptibly(www.haom178.com);
  
  // 更新集群信息(根据集群名字,获取当前集群下面的所有brokerName)
  
  Set<String> brokerNames = this.clusterAddrTable.get(clusterName);
  
  // 如果当前集群下面brokerNames为空,则将当前请求broker加入到clusterAddrTable中
  
  if (null == brokerNames) {
  
  brokerNames = new HashSet<String>();
  
  this.clusterAddrTable.put(clusterName, brokerNames);
  
  }
  
  brokerNames.add(brokerName);
  
  boolean registerFirst = false;
  
  //获取所有的名称为brokerNamed 的brokerData,brokerData保留着了。也就是说同一个BrokerName,有可能有多条的brokerId和broker address与之对应
  
  // HashMap<Long/* brokerId */, String/* broker address */> brokerAddrs
  
  BrokerData brokerData = this.brokerAddrTable.get(brokerName);
  
  if (null == brokerData) {
  
  registerFirst = true;
  
  brokerData = new BrokerData(www.michenggw.com clusterName, brokerName, new HashMap<Long, String>());
  
  this.brokerAddrTable.put(brokerName, brokerData);
  
  }
  
  String oldAddr = brokerData.getBrokerAddrs(www.wanmeiyuele.cn).put(brokerId, brokerAddr);
  
  registerFirst = registerFirst || (null == oldAddr);
  
  // 更新Topic信息
  
  //如果topicConfigWrapper不为空,且当前brokerId == 0,即为当前broker为master
  
  //这里会判断只有master才会创建QueueData,因为只有master才包含了读写队列的信息
  
  if (null != topicConfigWrapper
  
  && MixAll.MASTER_ID == brokerId) {
  
  // 如果Topic配置信息发生变更或者该broker为第一次注册
  
  if (this.isBrokerTopicConfigChanged(brokerAddr, topicConfigWrapper.getDataVersion())
  
  || registerFirst)www.furggw.com {
  
  // 获取所有topic信息
  
  ConcurrentMap<String, TopicConfig> tcTable =
  
  topicConfigWrapper.getTopicConfigTable();
  
  if (tcTable != null) {
  
  // 遍历所有Topic
  
  for (Map.Entry<String, TopicConfig> entry : tcTable.entrySet()) {
  
  // 根据brokername及topicconfig(read、write queue数量等)新增或者更新到topicQueueTable中
  
  this.createAndUpdateQueueData(brokerName, entry.getValue());
  
  }
  
  }
  
  }
  
  }
  
  // 更新最后变更时间(将brokerLiveTable中保存的对应的broker的更新时间戳,设置为当前时间)
  
  BrokerLiveInfo prevBrokerLiveInfo = this.brokerLiveTable.put(brokerAddr,
  
  new BrokerLiveInfo(
  
  System.currentTimeMillis(),
  
  topicConfigWrapper.getDataVersion(),
  
  channel,
  
  haServerAddr));
  
  if (null == prevBrokerLiveInfo) {
  
  log.info("new broker registered, {} HAServer: {}", brokerAddr, haServerAddr);
  
  }
  
  if (filterServerList != null) {
  
  if (filterServerList.isEmpty()) {
  
  this.filterServerTable.remove(brokerAddr);
  
  } else {
  
  this.filterServerTable.put(brokerAddr, filterServerList);
  
  }
  
  }
  
  // 返回值(如果当前broker为slave节点)则将haServerAddr、masterAddr等信息设置到result返回值中
  
  if (MixAll.MASTER_ID != brokerId) {
  
  // 通过brokename的brokedate获取当前slave节点的master节点addr
  
  String masterAddr = brokerData.getBrokerAddrs().get(MixAll.MASTER_ID);
  
  if (masterAddr != null) {
  
  BrokerLiveInfo brokerLiveInfo = this.brokerLiveTable.get(masterAddr);
  
  if (brokerLiveInfo != null) {
  
  result.setHaServerAddr(brokerLiveInfo.getHaServerAddr());
  
  result.setMasterAddr(masterAddr);
  
  }
  
  }
  
  }
  
  } finally {
  
  this.lock.writeLock().unlock();
  
  }
  
  } catch (Exception e) {
  
  log.error("registerBroker Exception", e);
  
  }
  
  return result;
  
  插入过程可以看如下这张图:
  
  疑惑
  
  topicQueueTable有一点不明白,为什么一个topic对应的是一个List,难道不是一个topic对应一个QueueData吗?难道可以存在相同的topic?
  
  因为每一个topic可以存在不同的broker中,不同的broker就有不同的QueueData。
  
  brokerAddrTable根据一个brokername获得一个BrokerData,可是为什么一个BrokerData中有一个hashMap的brokerAddrs呢?我能理解的是一个brokername,会有多个address和id,但是cluster为什么又是同一个呢?
  
  这是因为你理解错了,以为BrokerName是唯一的,实际上是指定多个broker为一个name,只不过指定了不同的id和addres来区分是master还是slave。

RocketMQ 源码分析 RouteInfoManager(四)的更多相关文章

  1. RocketMQ 源码分析 —— Message 发送与接收

    1.概述 Producer 发送消息.主要是同步发送消息源码,涉及到 异步/Oneway发送消息,事务消息会跳过. Broker 接收消息.(存储消息在<RocketMQ 源码分析 —— Mes ...

  2. RocketMQ源码分析之从官方示例窥探:RocketMQ事务消息实现基本思想

    摘要: RocketMQ源码分析之从官方示例窥探RocketMQ事务消息实现基本思想. 在阅读本文前,若您对RocketMQ技术感兴趣,请加入RocketMQ技术交流群 RocketMQ4.3.0版本 ...

  3. Java集合源码分析(四)HashMap

    一.HashMap简介 1.1.HashMap概述 HashMap是基于哈希表的Map接口实现的,它存储的是内容是键值对<key,value>映射.此类不保证映射的顺序,假定哈希函数将元素 ...

  4. 插件开发之360 DroidPlugin源码分析(四)Activity预注册占坑

    请尊重分享成果,转载请注明出处: http://blog.csdn.net/hejjunlin/article/details/52258434 在了解系统的activity,service,broa ...

  5. RocketMQ源码分析之RocketMQ事务消息实现原理上篇(二阶段提交)

    在阅读本文前,若您对RocketMQ技术感兴趣,请加入 RocketMQ技术交流群 根据上文的描述,发送事务消息的入口为: TransactionMQProducer#sendMessageInTra ...

  6. Docker源码分析(四):Docker Daemon之NewDaemon实现

    1. 前言 Docker的生态系统日趋完善,开发者群体也在日趋庞大,这让业界对Docker持续抱有极其乐观的态度.如今,对于广大开发者而言,使用Docker这项技术已然不是门槛,享受Docker带来的 ...

  7. ABP源码分析十四:Entity的设计

    IEntity<TPrimaryKey>: 封装了PrimaryKey:Id,这是一个泛型类型 IEntity: 封装了PrimaryKey:Id,这是一个int类型 Entity< ...

  8. ROCKETMQ源码分析笔记1:tools

    rocketmq源码解析笔记 大家好,先安利一下自己,本人男,35岁,已婚.目前就职于小资生活(北京),职位是开发总监. 姓名DaneBrown 好了.我保证本文绝不会太监!转载时请附上以上安利信息. ...

  9. Heritrix源码分析(十四) 如何让Heritrix不间断的抓取(转)

    欢迎加入Heritrix群(QQ):109148319,10447185 , Lucene/Solr群(QQ) :  118972724 本博客已迁移到本人独立博客: http://www.yun5u ...

随机推荐

  1. 递推 HDU 2569

    考虑n-2 n-1 n z[n] 代表n个块 可行方案 1  n-2 和n-1 同 3*z[n-2] 2  n-2和n-1不同 2*(z[n-1]-z[n-2]); 减一减 然后可能是其中一种 *2 ...

  2. phpAdmin安装

    phpAdmin是和Navicat重复的功能 负责管理MySql数据库 不过他是使用浏览器进行管理MySql数据库 PHP环境搭建的完整步骤 http://www.cnblogs.com/azhe-s ...

  3. SQL2012数据库加密方法

    1.非对称密钥来保护新的对称密钥 /*--测试环境 Microsoft SQL Server 2012 (SP1) - 11.0.3000.0 (X64) Oct 19 2012 13:38:57 C ...

  4. POJ2446 二分图最大匹配

    问题:POJ2446 分析: 采用黑白相间的方法把棋盘分成两个点集,是否可以用1*2的卡片实现全覆盖等价于二分图是否有完全匹配. AC代码 //Memory: 172K Time: 32MS #inc ...

  5. 走进C标准库(7)——&quot;string.h&quot;中函数的实现memcmp,memcpy,memmove,memset

    我的memcmp: int memcmp(void *buf1, void *buf2, unsigned int count){ int reval; while(count && ...

  6. eclipse导出jar(含依赖)三步走

    之前用eclipse导出jar运行结果一直不尽人意,排查问题排查很久,最终确定到导出jar时,如果依赖jdk以外的jar时,就要通知eclipse 看了很多帖子,感觉操作起来都比较麻烦,注意点也比较多 ...

  7. j2ee5.0开发中jstl标签失效

    尝试了下,对于Weblogic中的出现的错误,也是有效的!   j2ee5.0开发中jstl标签失效 原因不详, 解决办法, 一:将.web.xml中 <web-app version=&quo ...

  8. oracle 备份脚本

    本文是一个shell脚本.主要用于Oracle 数据库备份.默认情况下,在周一晚上进行全备.其他时间进行累积增量备份. 使用方法: 假如脚本保存名为: oracle_backup.sh 使用方法为 o ...

  9. [UE4]创建游戏、加入游戏

    google搜: UE4 compile dedicated server,编译UE4专用服务器 UE4默认网络端口可以在引擎配置文件中修改: 一.创建文件.需要修改一下工程的配置文件DefaultE ...

  10. SharePoint2010 对象模型 关联列表

    有关列表的创建其实网上已经有很多文章了,其中练习 :利用Visual Studio 2010创建列表这篇文章个人感觉还不错,这里我强调的是对象模型来创建.在这之前我插入一点其他的东东,导入电子表格和数 ...