Hadoop平台重要组件:

1、ZooKeeper

  • 一个分布式应用程序协调服务。
  • 包含简单的原语集、实现统一命名服务、配置管理、分布式锁服务、集群管理等功能。

2、Cascading

  • 架构在 Hadoop 上的 API,用来创建复杂和容错数据处理工作流。
  • 抽象了集群拓扑结构和配置来快速开发分布式应用。

3、HBase

  • HBase 是一个 Column-based 的 NOSQL 数据库。
  • 基于 HDFS 进行文件存储,基于 Zookeeper 进行 failover 和调度。

4、Hive

  • 基于 Hadoop 的数据仓库平台,实现类 SQL 操作。
  • 易于进行 ETL 操作。

5、Sqoop

  • 将 Hadoop 与关系型数据库中的数据相互转移的工具。
  • 实现 HDFS 与 DBMS 间数据互迁移。

6、Pig

  • 基于 Hadoop 的大规模数据分析工具,提供类 SQL 的 Pig Latin 语言,进行数据处理。
  • 实现 SQL 任务和 MR 运算转换。

7、Mahout

  • 开源的、可扩展的机器学习算法库。
  • 基于 Hadoop 和 MapReduce 运行,具有良好的扩展性。

8、itellicus

  • 具有先进 UI 报表功能的 BI 工具。
  • 支持多种数据源:Hadoop,NOSQL,MPP,RDBMS。

9、Avro

  • 由 Hadoop 的创始人 Doug Cutting 开发,是一个数据序列化系统,设计用于支持大批量数据交换的应用。
  • 支持二进制序列化方式。

10、ChuKwa

  • 用于监控大型分布式系统的数据收集系统,基于 Hadoop 框架。
  • 用于展示、监控和分析已收集的数据。

Hadoop组件构成的更多相关文章

  1. [hadoop in Action] 第3章 Hadoop组件

    管理HDFS中的文件 分析MapReduce框架中的组件 读写输入输出数据   1.HDFS文件操作   [命令行方式]   Hadoop的文件命令采取的形式为: hadoop fs -cmd < ...

  2. Hadoop组件之-HDFS(HA实现细节)

    NameNode 高可用整体架构概述 在 Hadoop 1.0 时代,Hadoop 的两大核心组件 HDFS NameNode 和 JobTracker 都存在着单点问题,这其中以 NameNode ...

  3. Hadoop组件

    ---------Hive--------------------------zooKeeper-------------------------------kafka---------------- ...

  4. hadoop组件启动和关闭命令

    一.启动相关组件之前 一般安装完hadoop之后需要格式化一遍hdfs: hdfs namenode -format 然后再进行其他组件的启动,hadoop相关组件都是用位于...hadoop/sbi ...

  5. hadoop组件及其作用

    1.hadoop有三个主要的核心组件:HDFS(分布式文件存储).MAPREDUCE(分布式的计算).YARN(资源调度),现在云计算包括大数据和虚拟化进行支撑. 在HADOOP(hdfs.MAPRE ...

  6. 搭建maven开发环境测试Hadoop组件HDFS文件系统的一些命令

    1.PC已经安装Eclipse Software,测试平台windows10及Centos6.8虚拟机 2.新建maven project 3.打开pom.xml,maven工程项目的pom文件加载以 ...

  7. hadoop组件概念理解

    一.HADOOP 二.HIVE 三.SQOOP 1.来由和作用 sqoop由一些封装好的MR程序的jar包构成,后演变成框架,但sqoop只有map任务没有reduce任务. 用于 hdfs.hive ...

  8. 10、Hadoop组件启动方式和SSH无密码登陆

    启动方式 一.各个组件逐一启动 hdfs: hadoop-daemon.sh start|stop namenode|datanode|secondnode yarn: yarn-demon.sh s ...

  9. Hadoop组件详解(随缘摸虾)

    1.1. Hadoop组成: Hadoop = hdfs(存储) + mapreduce(计算) + yarn(资源协调) + common(工具包) + ozone(对象存储) + submarin ...

随机推荐

  1. ios 单例设计模式

    单例模式的意思就是只有一个实例.单例模式确保某一个类只有一个实例,而且自行实例化并向整个系统提供这个实例.这个类称为单例类.单例可用性非常高,用于登录用户管理等可供全局调用. + (AccountMa ...

  2. css 一些灵动性的小方法

    CSS: 1.当鼠标放到一个图片上的时候,他会给你显示一些图片的信息或者是一些其他的信息. <!DOCTYPE html> <html lang="en"> ...

  3. SQL模仿Split 功能

    --方法0:动态SQL法 declare @s varchar(100),@sql varchar(1000) set @s='1,2,3,4,5,6,7,8,9,10' set @sql='sele ...

  4. POST在发送数据的时候使用的是HTTP命令

    防止SQL注入 SQL(结构化查询语言)是基于美国国家标准学会(ANSI)标准,并作为共同的语言与数据库通信.每个数据库系统增加了一些专有功能到基本的ANSI SQL. SQL注入是一门将制作好的SQ ...

  5. java 操作Excel表 创建 查看 修改

    需要用到jxl.jar包  修改有两种方法一种是jxl的  另一种需要apache.poi包 package excelChuLi; import java.io.File; import java. ...

  6. Spring的IOC原理(转载)

    在网上看到一篇文章,感觉写得挺不错的,转载一下,本文转载自:http://www.cnblogs.com/xdp-gacl/p/3707631.html 一. IoC理论的背景 我们都知道,在采用面向 ...

  7. jQuery $ 第二个参数的用法

    jQuery(selector, [context]),相当于 $(context).find(selector) 或者 context.find(selector) $('div').each(fu ...

  8. JavaS:网页中的显示和隐藏

    <!DOCTYPE HTML><html><head><meta http-equiv="Content-Type" content=&q ...

  9. 升级到macOS 10.12 mysqlb报错ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: NO)

    系统升级到macOS 10.12后启动mysql后,在终端输入mysql 报错ERROR 1045 (28000): Access denied for user 'root'@'localhost' ...

  10. BT客户端实现 Peer协议设计

    与peer建立tcp连接后,首先发送handshake消息进行握手 handshake消息格式如下: 一个字节0x19 + 一个字符串'BitTorrent protocol' + 8 byte 保留 ...