HBase、HDFS和MapReduce架构异同

.. HBase（公司架构模型） HDFS2.0（公司架构模型） MR2.0（公司架构模型） MR1.0（公司架构模型）
中央 HMaster NameNode(NN) ResourceManger(RM) JobTracker(JT)
地方 HRegionServer(HRS) DataNode(DN) NodeManager(NM) TaskTracker(TT)
监控协调者 ZooKeeper ZooKeeper ZooKeeper 无
是否有HA HMaster-backups NN（Standby） RM（Standby） 无，存在单点故障
故障转移方式 1.HMaster与ZooKeeper直接通讯（谁先建立znode，则谁为active）
2.HRegionServer与ZooKeeper直接通讯		 NM不与ZooKeeper直接通讯，ZKFC监控NM状态，ZKFC与ZK通讯，由ZKFC来参与选举（谁先建立znode，则谁为active） RM直接与ZK直接通讯，谁先建立znode，则谁为active 无，存在单点故障
地方故障谁负责恢复和转移 HMaster NameNode ResourceManager JobTracker
中央与地方的通讯 HRegionServer与ZK心跳，HMaster从ZK获取HRS状态 DN周期性向NN汇报 NM周期性向RM汇报 TT周期性向JT汇报
中央的共同职责
1. 负责地方任务的分配和故障转移
2. 监听地方的健康状态（HMaster从ZooKeeper获取HRegionServer的状态）
3. 地方资源的分配
中央各特点 分配HRegionServer上的Region 分配DN的block 分配NM上container上的任务 分配TaskTracker上的task
负载均衡 HRS上region的负载均衡 block的负载均衡
特点
1.Region的预分区、分裂和合并
2.Compaction机制
3.WAL机制
4.读写流程
1.副本策略
2.数据写入的副本管道传输机制
3.联邦制
1.资源调度和应用管理独立进程
2.NM上节点资源由NM管理，ApplicationManager和 AppliactionMaster管理任务
3.container概念
1.将资源划分为等量以slot为单位
2.maptask和reducetask独立分配

HBase、HDFS和MapReduce架构异同简解的更多相关文章

  1. 2本Hadoop技术内幕电子书百度网盘下载：深入理解MapReduce架构设计与实现原理、深入解析Hadoop Common和HDFS架构设计与实现原理

    这是我收集的两本关于Hadoop的书,高清PDF版,在此和大家分享: 1.<Hadoop技术内幕:深入理解MapReduce架构设计与实现原理>董西成 著  机械工业出版社2013年5月出 ...

  2. Hadoop 新 MapReduce 框架 Yarn 详解

    Hadoop 新 MapReduce 框架 Yarn 详解: http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/ Ap ...

  3. 大数据开发实战：HDFS和MapReduce优缺点分析

    一. HDFS和MapReduce优缺点 1.HDFS的优势 HDFS的英文全称是 Hadoop Distributed File System,即Hadoop分布式文件系统,它是Hadoop的核心子 ...

  4. Hadoop 新 MapReduce 框架 Yarn 详解【转】

    [转自:http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/] 简介: 本文介绍了 Hadoop 自 0.23.0 版本 ...

  5. HDFS的体系架构

    通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS.MapReduce处理过程,以及数据仓库工具Hive和分布式数据库Hbase的介绍.基本涵盖了Hadoop分布式平台的全部技术核心. H ...

  6. Hadoop 中HDFS、MapReduce体系结构

    在网络环境方面,作为分布式系统,Hadoop基于TCP/IP进行节点间的通信和传输. 在数据传输方面,广泛应用HTTP实现. 在监控.通知方面,Hadoop等分布式大数据软件则广泛使用异步消息队列等机 ...

  7. 高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南

    原文:http://my.oschina.net/wstone/blog/365010#OSC_h3_13 (WJW)高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南 [X] ...

  8. 分布式处理框架MapReduce的深入简出

    1).MapReduce的概述 2).MapReduce 编程模型 3).MapReduce架构 4).MapReduce编程 Google MapReduce论文,论文发表于2004年 Hadoop ...

  9. Hadoop的HDFS和MapReduce的安装（三台伪分布式集群）

    一.创建虚拟机 1.从网上下载一个Centos6.X的镜像(http://vault.centos.org/) 2.安装一台虚拟机配置如下:cpu1个.内存1G.磁盘分配20G(看个人配置和需求,本人 ...

随机推荐

  1. ArcGisServer根据最大最小坐标换算瓦片行列号（转载）

    ArcGisServer根据最大最小坐标换算瓦片行列号 1.前言 在上一节中我们知道了屏幕上一像素等于实际中多少单位长度(米或经纬度)的换算方法,而知道这个原理后,接下来我们要怎么用它呢?它和我们前端 ...

  2. PHP生成短信验证码

    简单版本 <?php function generate_code($length = 6) { $min = pow(10 , ($length - 1)); $max = pow(10, $ ...

  3. 使用Flex4容器若干技巧

    本文适用于正在寻找使用Flex 4容器和布局的快速参考指南的开发人员. 尽管这不一定是一个复杂问题,但这似乎是许多开发人员的挫折的来源,特别是对于那些Flex刚刚入门的开发人员. 当开发人员不知道如何 ...

  4. C++中的RAII技法

    Resource Acquisition Is Initialization or RAII, is a C++ programming technique which binds the life ...

  5. Canvas贝塞尔三级曲线

    两个控制点 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF ...

  6. AutoItLibrary安装报错（robotframework）解决

    官网下载地址:http://www.softpedia.com/get/Programming/Components-Libraries/AutoItLibrary.shtml Csdn下载地址:ht ...

  7. libMF阅读记录（一）：首先要编译通过

    libMF是林智仁老师开发的一个用于推荐系统的矩阵分解库,下载地址:libMF 测试用的数据集是MovieLen,一个给电影评分的数据集,下载在此:ML 最近在阅读libMF的源代码,并且准备开发其M ...

  8. 【java设计模式】之 模板方法（Template Method）模式

    1. 模板方法的一个实例 这一节主要来学习一下设计模式中的模板方法模式.我们先来看一个例子:假如现在老板让你做一个汽车的模型,要求只要完成基本功能即可,不考虑扩展性,那你会怎么做呢?我们首先会根据经验 ...

  9. js原生轮播图

    轮播图是新手学前端的必经之路! 直接上代码! <!DOCTYPE html><html lang="en"><head> <meta ch ...

  10. dubbox注解的一个坑

    我和我同事Daniel排查的一个问题,原文是我同事Daniel写的,我做了些修改了补充. 我们dubbox的provider端有很多service开发时没有考虑到幂等问题,于是只能暂时关掉dubbo的 ...