最近正在研究zookeeper,一些心得记录一下,如有错误,还请大神指正. zookeeper下载地址:http://zookeeper.apache.org/releases.html,百度一下就能找到,不过还是在这里列一下. 我认为学习一个东西,首先要理出一个头绪,否则感觉无从下手,这里我从启动开始研究,即从zkSever.sh入手. if [ "x$JMXDISABLE" = "x" ] then echo "JMX enabled by defau…

Fabric 1.4 源码分析peer节点启动 peer模块采用cobra库来实现cli命令. Cobra提供简单的接口来创建强大的现代化CLI接口,比如git与go工具.Cobra同时也是一个程序, 用于创建CLI程序 peer支持的命令如下所示: Usage: peer [command] Available Commands: chaincode Operate a chaincode: install|instantiate|invoke|package|query|signpackag…

本博客通过debug方式简单跟一下Springboot application启动的源码,Springboot的启动源码是比较复杂的,本博客只是简单梳理一下源码,浅析其原理 为了方便跟源码,先找个Application类,打个断点,进行调试,如图所示: step into,run方法调用了SpringApplication的run方法 通过debug,Springboot启动过程,会先执行如下关键的构造函数 分析构造函数源码: public SpringApplication(ResourceL…

前言 最近准备学习 Zookeeper,想从 Zookeeper 开始逐步深入了解各类中间件,学习分布式计算. 下载源码 执行指令,下载代码: git clone https://github.com/apache/zookeeper.git 安装 ANT 登陆 官网 下载 apache-ant-1.10.5-bin.tar.gz 解压到当前目录: -bin.tar.gz 添加如下到环境变量中: export PATH=/Users/wangao/Install/apache-ant-/bin:…

前言 在 上一篇 文章中,我们学习了 ASP.NET Core MVC 的路由模块,那么在本篇文章中,主要是对 ASP.NET Core MVC 启动流程的一个学习. ASP.NET Core 是新一代的 ASP.NET 应用程序,它是跨平台的,并且不依赖于 IIS,新的 MVC Core 设计加入了依赖注入和模块化的 Http 处理管道,这篇文章我们一起通过源码看一下它的启动过程,每一步都很重要. 我们知道 MVC Core 是作为一个中间件程序,注册到 ASP.NET Core 管道流程中的…

zookeeper一般使用命令工具启动,启动主要就是初始化所有组件,让server可以接收并处理来自client的请求.本文主要结构: main入口 配置解析 组件启动 main入口 我们一般使用命令行工具来部署zk server,zkServer.sh,这个脚本用来启动停止server,通过不同的参数和选项来达到不同的功能.该脚本最后会通过Java执行下面的main方法 org.apache.zookeeper.server.quorum.QuorumPeerMain#main 不管单机还是集…

   1.abp框架的启动是从Global.asax文件的Application_Start启动的,当然代表Global的application必须从AbpWebApplication继承: public class MvcApplication : AbpWebApplication { protected override void Application_Start(object sender, EventArgs e) { AbpBootstrapper.IocManager.IocCo…

ThinkPHP5框架的启动流程图如下: ThinkPHP5的启动流程按照文件分为三步: 1.请求入口(public/index.php) 2.框架启动(thinkphp/start.php) 3.应用启动(thinkphp/library/App.php)   ThinkPHP框架默认是单入口框架,默认的入口文件为public/index.php,所有请求全部经过入口文件index.php来进行访问. index.php代码如下: // 定义应用目录 define('APP_PATH', __…

Fabric 1.4 orderer 服务启动流程 1.提要 orderer提供broadcast和deliver两个服务接口.orderer节点与各个peer节点通过grpc连接,orderer将所有peer节点通过broadcast发来的交易(Envelope格式,比如peer部署后的数据)按照配置的大小依次封装到一个个block中并写入orderer自己的账本中,然后供各个peer节点的gossip服务通过deliver来消费这个账本中的数据进行自身结点账本的同步. 2.初始化过程 先看看…

在AbpBootstrapper中的两个至关重要的属性:IIocManager 和 IAbpModuleManager  public class AbpBootstrapper : IDisposable { /// <summary> /// Gets IIocManager object used by this class. /// </summary> public IIocManager IocManager { get; private set; } /// <…

zookeeper服务端主要包括一下几个模块:     1.启动模块. 2.核心执行模块 3.数据管理模块. 启动模块 读取配置文件,启动程序.详见:zookeeper源码之服务端启动模块. 核心执行模块 ,详见zookeeper源码之服务端核心执行模块. 数据管理模块 管理内存和持久化数据.详见:zookeeper源码之服务端数据管理.…

Zookeeper 源码分析-启动 博客分类: Zookeeper   本文主要介绍了zookeeper启动的过程 运行zkServer.sh start命令可以启动zookeeper.入口的main函数在类中QuorumPeerMain. main函数主要调用了runFromConfig函数,创建了QuorumPeer对象,并且调用了start函数,从而启动了zookeeper. public class QuorumPeerMain { protected QuorumPeer quorum…

简介 关于Zookeeper,目前普遍的应用场景基本作为服务注册中心,用于服务发现.但这只是Zookeeper的一个的功能,根据Apache的官方概述:"The Apache ZooKeeper system for distributed coordination is a high-performance service for building distributed applications." Zookeeper是一个用于构建分布式应用的coordination, 并且为高性…

Zookeeper 源码(五)Leader 选举 前面学习了 Zookeeper 服务端的相关细节,其中对于集群启动而言,很重要的一部分就是 Leader 选举,接着就开始深入学习 Leader 选举. 一.选举规则 Leader 选举是保证分布式数据一致性的关键所在.当 Zookeeper 集群中的一台服务器出现以下两种情况之一时,需要进入 Leader 选举. 服务器初始化启动 服务器运行期间无法和 Leader 保持连接 下面以服务器启动时期的 Leader 选举为例进行分析讲解. 在集群…

前文阅读: [ZooKeeper系列]1.ZooKeeper单机版.伪集群和集群环境搭建 [ZooKeeper系列]2.用Java实现ZooKeeper API的调用 在系列的前两篇文章中,介绍了ZooKeeper环境的搭建(包括单机版.伪集群和集群),对创建.删除.修改节点等场景用命令行的方式进行了测试,让大家对ZooKeeper环境搭建及常用命令行有初步的认识,也为搭建ZooKeeper的开发环境.生产环境起到了抛砖引玉的作用.也介绍了用Java来实现API的调用,包括节点的增.删.改.查.…

leader的实现类为LeaderZooKeeperServer,它间接继承自标准ZookeeperServer.它规定了请求到达leader时需要经历的路径: PrepRequestProcessor -> ProposalRequestProcessor ->CommitProcessor -> Leader.ToBeAppliedRequestProcessor ->FinalRequestProcessor 具体情况可以参看代码: @Override protected v…

上文: zookeeper源码分析之一服务端启动过程 中,我们介绍了zookeeper服务器的启动过程,其中单机是ZookeeperServer启动,集群使用QuorumPeer启动,那么这次我们分析各自一下消息处理过程: 前文可以看到在 1.在单机情况下NettyServerCnxnFactory中启动ZookeeperServer来处理消息: public synchronized void startup() { if (sessionTracker == null) { createSe…

znode 可以被监控,包括这个目录节点中存储的数据的修改,子节点目录的变化等,一旦变化可以通知设置监控的客户端,这个功能是zookeeper对于应用最重要的特性,通过这个特性可以实现的功能包括配置的集中管理,集群管理,分布式锁等等. 知识准备: zookeeper定义的状态有: Unknown (-1),Disconnected (0),NoSyncConnected (1),SyncConnected (3),AuthFailed (4),ConnectedReadOnly (5),Sasl…

原文地址:http://blog.csdn.net/jiyiqinlovexx/article/details/41179293 为了深入学习ZooKeeper源码,首先就想到将其导入到Eclispe中,所以要先将其编译为Eclispe工程.   1.什么是Ant??? Apache Ant™ Apache Ant is a Java library and command-line tool whose mission is to drive processes described in bu…

Zookeeper 源码(七)请求处理 以单机启动为例讲解 Zookeeper 是如何处理请求的.先回顾一下单机时的请求处理链. // 单机包含 3 个请求链:PrepRequestProcessor -> SyncRequestProcessor -> FinalRequestProcessor protected void setupRequestProcessors() { RequestProcessor finalProcessor = new FinalRequestProcess…

Zookeeper 源码(六)Leader-Follower-Observer 上一节介绍了 Leader 选举的全过程,本节讲解一下 Leader-Follower-Observer 服务器的三种角色.经过 Leader 选举后各服务器都能确定自己的角色,下一步就是初始化各自的角色. 先回顾一下[QuorumPeer]的 run 方法选举结束后创建对应的角色: case OBSERVING: setObserver(makeObserver(logFactory)); observer.obs…

Zookeeper 源码(四)Zookeeper 服务端源码 Zookeeper 服务端的启动入口为 QuorumPeerMain public static void main(String[] args) { QuorumPeerMain main = new QuorumPeerMain(); main.initializeAndRun(args); } protected void initializeAndRun(String[] args) throws ConfigExceptio…

Zookeeper 源码(三)Zookeeper 客户端源码 Zookeeper 客户端主要有以下几个重要的组件.客户端会话创建可以分为三个阶段:一是初始化阶段.二是会话创建阶段.三是响应处理阶段. 类 说明 Zookeeper Zookeeper 客户端入口 ClientWatchManager 客户端 Watcher 管理器 ClientCnxn 客户端核心线程,其内部又包含两个线程,即 SendThread 和 EventThread.前者是一个 IO 线程,主要负责 ZooKeeper…

原创技术文章,转载请注明:转自http://newliferen.github.io/ 如何连接ZooKeeper集群   要想了解ZooKeeper客户端实现原理,首先需要关注一下客户端的使用方式,会使用之后,方便更进一步的了解zk的源码实现. 客户端程序连接ZooKeeper集群代码 12345678910111213141516171819202122 public void () { try { final CountDownLatch semaphore = new CountDown…

为了深入学习Zookeeper,准备把zookeeper源码导入eclipse中学习 一.Ant环境准备 因为我自己用的是Mac,直接输入命令:brew install ant即可 如果是window环境,只需要下载对应版本的ant,配置环境变量即可 二.Git上 clone zookeeper源码 git clone https://github.com/apache/zookeeper 三.ant eclipse 编译eclipse工程 进入源码目录,输入ant eclipse 我这边每次都…

1. 安装Ant Ant下载地址:http://ant.apache.org/bindownload.cgi 解压即可. 2. 下载Zookeeper源码包 https://github.com/apache/zookeeper 解压. 3. 利用Ant将Zookeeper源码编译成Eclipse工程. 打开cmd,切换到Zookeeper的解压目录下,即build.xml的当前目录下.用ant eclipse命令进行编译. E:\zookeeper-trunk>E:\apache-ant-1.…

1. 安装Ant Ant下载地址:http://ant.apache.org/bindownload.cgi 解压即可. 注意如果不配置环境变量的话需要使用绝对路径,我配置了. 开始我ant跑错了 Unable to locate tools.jar. Expected to find it in D:\tools\java8\lib\tools.jar 原因是我java环境配置的原因,jdk,jre,这里我jre用的不是jdk里的jre,所以我JAVA_HOME应该用D:java/jdk 因为…

前言 ZooKeeper是雅虎的.用Ant进行软件构建. 千里之行,始于足下.想看源码的第一步,是下载源码并导入某个IDE工具. Ant http://ant.apache.org/ Windows: 下载Ant,解压到硬盘,比如C:\Work\apache-ant-1.9.7,在环境变量中增加ANT_HOME=C:\Work\apache-ant-1.9.7,在PATH中增加%ANT_HOME%\bin:然后在命令提示符中输入 ant -version,如果正确提示Ant版本,则Ant配置成功…

最近在跟着一个大佬学习Hadoop底层源码及架构等知识点,觉得有必要记录下来这个学习过程.想到了这个废弃已久的blog账号,决定重新开始更新. 主要分以下几步来进行源码学习: 一.搭建源码阅读环境二.源码项目结构概览及hdfs源码包结构简介三.NameNode介绍 第一步,搭建源码阅读环境. 把Hadoop源码包导入到开发工具,eclipse或者idea都行.这里我的环境是mac os,使用的工具是idea,Hadoop版本为2.6.5. 首先,解压缩Hadoop源码包,可以选择移动解压之后的源…

Zookeeper 源码(二)序列化组件 Jute 一.序列化组件 Jute 对于一个网络通信,首先需要解决的就是对数据的序列化和反序列化处理,在 ZooKeeper 中,使用了Jute 这一序列化组件来进行数据的序列化和反序列化操作.同时,为了实现一个高效的网络通信程序,良好的通信协议设计也是至关重要的.Zookeeper 团队曾想过将 Jute 替换成 Apache 的 Avro 或是 Google 的 protobuf 但是考虑到新老版本序列化组件的兼容性和当前 Jute 的序列化能力并不…